Googleは、6か月間存在せず、私のサイトでリンクされていないURLで404エラーを報告します
Googleウェブマスターツールアカウントに、存在しないページへのリンク（404が見つかりません）が原因のクロールエラーがあることが示されています。
しかし、これらの壊れたリンクがあると非難されているソースページを見ると、そのようなリンクはありません。
現在のところ、サイトマップには6つの404エラーがあり、残りのサイトには28のエラーがあります。
例えば。アドレス http://www.webdesk.co.il/articles.php?id=1 は存在しませんが、Googleはこのアドレスにリンクする3つのページがあることを示しています。
http://www.webdesk.co.il/sitemapgen.php
http://www.webdesk.co.il/articles.php?t=css
http://www.webdesk.co.il/articles.php?id=17 //this address dont even exist
これらの各ページを開くと、これらのリンクがページに含まれていないことがわかります。
これはまだ更新されていない古いクロールの結果であると考えましたが、これらのページは6か月以上存在しておらず、Googleはすべてのクロール結果が最新であることを示しています（2012年12月22日）。
なぜこれらの404エラーがGoogleによって引き続き表示されるのですか？
Googleは非常に長い間古いURLに固執しているように見えますが、私の推測では：
これらのリンクは、タイプミスやその他のエラーのために別のサイトに存在します。
コンテンツは非常に長い時間前に存在していた可能性があります。たとえば、ドメインの以前の所有者によって作成された古いバージョンのサイトなどです。
Htaccessリダイレクトのために新しいリンクのように見える古いリンク。私のサイトの1つは、まだネイキッドIPへのリンクを取得しますが、URLリダイレクト設定のためにドメインとしてログに表示されます（それを追跡するには年齢を要しました）。
リンクはhtmlコンテンツに存在しますが、ページの表示部分には存在しません-これは、ビジュアルhtmlエディターのエラーまたはコメントされたコンテンツが原因で最も頻繁に発生します。
最良の計画は、サーバーがこれらのURLのリクエストに 410ステータスコード で応答するようにすることです。そうしないと、Googleはそれらを探し続けます。
410 Gone要求されたリソースが利用できなくなり、再び利用できなくなることを示します。これは、リソースが意図的に削除され、リソースをパージする必要がある場合に使用する必要があります。 410ステータスコードを受信すると、クライアントは将来リソースを再度要求しないでください。検索エンジンなどのクライアントは、インデックスからリソースを削除する必要があります。ほとんどのユースケースでは、クライアントと検索エンジンがリソースをパージする必要はなく、代わりに「404 Not Found」が使用される場合があります。
ここに、GoogleのJohn Mueller（ウェブマスターツールとサイトマップで作業している）があります ウェブマスターツールに表示される404エラーについて言わなければなりません ：
ヘルプ！私のサイトには939クロールエラーがあります!! 1
私はこの種の質問を週に数回見ます。あなただけではありません-多くのウェブサイトにはクロールエラーがあります。
- 404の無効なURLのエラーは、サイトのインデックス作成やランキングに悪影響を与えません。 1億または1千万であっても、サイトのランキングを損なうことはありません。 http://googlewebmastercentral.blogspot.ch/2011/05/do-404s-hurt-my-site.html
- 場合によっては、クロールエラーは、WebサイトまたはCMS内の正当な構造上の問題に起因する場合があります。どうやって言うの？クロールエラーの原因を再確認してください。サイトの壊れたリンクがページの静的HTMLにある場合は、常に修正する価値があります。 （ありがとう + Martino Mosna ）
- 「明らかに壊れている」ファンキーなURLについてはどうでしょうか？あなたのサイトのような当社のアルゴリズムは、たとえばJavaScriptで新しいURLを見つけようとすることで、より素晴らしいコンテンツを見つけようとします。これらの「URL」を試して404を見つけたら、それは素晴らしいことであり、期待されています。重要なものを見逃したくないだけです（ここに過剰に添付されたGooglebotミームを挿入してください）。 http://support.google.com/webmasters/bin/answer.py?answer=1154698
- ウェブマスターツールでクロールエラーを修正する必要はありません。 「修正済みとしてマークする」機能は、進捗状況を追跡したい場合にのみ役立ちます。 Googleのウェブ検索パイプラインでは何も変わりませんので、不要な場合は無視してください。 http://support.google.com/webmasters/bin/answer.py?answer=24674
- ウェブマスターツールのクロールエラーは、いくつかの要因に基づいて優先度順にリストされています。クロールエラーの最初のページが明らかに無関係である場合、他のページで重要なクロールエラーを見つけることはおそらくないでしょう。 http://googlewebmastercentral.blogspot.ch/2012/03/crawl-errors-next-generation.html
- ウェブサイトのクロールエラーを「修正」する必要はありません。 404を見つけることは正常であり、健全で適切に構成されたWebサイトに期待されます。同等の新しいURLがある場合は、そのURLにリダイレクトすることをお勧めします。それ以外の場合は、偽のコンテンツを作成したり、ホームページにリダイレクトしたり、robots.txtでこれらのURLを禁止したりしないでください。これらのすべてにより、サイトの構造を認識して適切に処理することが難しくなります。これらを「ソフト404」エラーと呼びます。 http://support.google.com/webmasters/bin/answer.py?answer=181708
- 明らかに-これらのクロールエラーが、関心のあるURL、おそらくサイトマップファイルのURLに表示される場合、すぐに対処する必要があります。 Googlebotが重要なURLをクロールできない場合、検索結果から削除され、ユーザーもそれらにアクセスできない可能性があります。