web-dev-qa-db-ja.com

Googleは存在しないページをクロールし続けます

私は簡単な新しいWebサイトを作成し、約1か月半前に公開しました（最後のWebサイトを置き換えます）。このサイトには、ナビゲーションマークアップなどの新しいページが含まれています。

<div class="header">
    <div class="navigation menu">
        <ul>
            <li><a href="index.php">Home page</a></li>
            <li><a href="products.php">Products</a></li>
            <li><a href="reference.php">Reference</a></li>
            <li><a href="about_us.php">About us</a></li>
            <li><a href="contact.php">Contact</a></li>
        </ul>
    </div>
</div>

問題は、google crawlers古いページを探し続けることです。古いページは削除しましたが、サーバーにはありません。

ウェブマスターツールでクロールエラー（修正済みとしてマーク）を削除し続けていますが、クローラーはそれらのページをクロールしようとし続けます。

最新のウェブサイトのバージョンはどこかにキャッシュされていると思うので、削除する方法はありますか？ （Googleウェブマスターツールの経験はあまりありません。）

seogoogle-search-consoleweb-crawlers
2
Vucko

これは間もなく発生します。他のサイトが古いURLにリンクしている可能性があり、Googleにそれらをクロールするように促したり、サイトが（Googleの目には）問題を抱えている可能性があり、ページが戻る可能性があるという疑念の恩恵を与えています。いずれにしても、Googleは古いページを長時間クロールし続けます。 404を大量に取得した後、Googleが突然ページのクロールを停止するのはさらに悪いことです。

ページが本当に存在せず、代替手段がない場合は、404（Not Found）を返すのが正しいです。または、戻ることのないこれらのページの代わりに410（Gone）を返すことができます。これは、ページが戻ってこないことをGoogleにはるかに強く/明確に示します。

これらのページに404（または410）を提供し、GWTでそのように報告することは必ずしも悪いことではなく、サイト自体に悪影響を与えることはありません。これはあなたの利益のためのプライベートレポートです。

ただし、SEOにとって悪いことは、そうでなければPageRankに合格する古いページにリンクしている他のサイトがある場合です。 404を返すことにより、これらのサイトはそのPageRankを渡すことができなくなります。削除されたページの代替ページがある場合、ランキングを維持するために301を新しい場所にリダイレクトし、検索エンジンがコンテンツのインデックスを再作成し、ユーザーを喜ばせるようにします。ただし、古いコンテンツを単に削除し、置き換えていない場合は、潜在的なSEOヒットを取得する準備をする必要があります。

3
MrWhite

これを行うための最良の方法または正しい方法ではないかもしれませんが、私は同じ問題を抱えていました。最終的に行ったのは、ホームページまたは404にリダイレクトすることでした。リダイレクトがまだあるかどうかを確認する必要がありますが、クロールエラーは表示されなくなりました。

0
Rob