ファーマハック後もURL /クロールエラーが増加し続ける
数か月前にハッキングされ、大量のスパムを送信していたサイトで作業しています。この問題は、サイトの一部である休止状態のWordPressブログで始まったようです（したがって、サイトはWordPressそのものではなく、ブログがそうでした）。使用されなくなったため、ブログとそのデータベースを削除し、imagesフォルダーとメインサイトのjavascriptファイルで感染ファイルを見つけました。これにより、404エラーが劇的に減少しました。その後、彼らは再び増加し始めました。 。htacessファイルを使用して、バイアグラリンクでこのサイトをリンクしていると思われるリファラーをブロックしようとしました。繰り返しになりますが、クロールエラーは劇的に減少し、再び起動しました。ここで何が起こっているのかわかりません。奇妙なコード（主にbase decode64を探します）を削除し、スパムサイトからの参照をブロックしました。少なくともこれらのスパムサイトからのクロールエラーが減少し続けないようにすべきではありませんか？
リファラーによるブロックは役に立ちません。Googlebotはクロール時にリファラーヘッダーを送信しないため、ブロックは表示されません。
以下は、GoogleのJohn Mueller（ウェブマスターツールとサイトマップで作業している） がウェブマスターツールに表示される404エラーについて述べていることです ：
ヘルプ！私のサイトには939クロールエラーがあります!! 1
私はこの種の質問を週に数回見ます。あなただけではありません-多くのウェブサイトにはクロールエラーがあります。
- 404の無効なURLのエラーは、サイトのインデックス作成やランキングに悪影響を与えません。 1億または1千万であっても、サイトのランキングを損なうことはありません。 http://googlewebmastercentral.blogspot.ch/2011/05/do-404s-hurt-my-site.html
- 場合によっては、クロールエラーは、WebサイトまたはCMS内の正当な構造上の問題に起因する場合があります。どうやって言うの？クロールエラーの原因を再確認してください。サイトの壊れたリンクがページの静的HTMLにある場合は、常に修正する価値があります。 （ありがとう + Martino Mosna ）
- 「明らかに壊れている」ファンキーなURLについてはどうでしょうか？あなたのサイトのような当社のアルゴリズムは、たとえばJavaScriptで新しいURLを見つけようとすることで、より素晴らしいコンテンツを見つけようとします。これらの「URL」を試して404を見つけたら、それは素晴らしいことであり、期待されています。重要なものを見逃したくないだけです（ここに過剰に添付されたGooglebotミームを挿入してください）。 http://support.google.com/webmasters/bin/answer.py?answer=1154698
- ウェブマスターツールでクロールエラーを修正する必要はありません。 「修正済みとしてマークする」機能は、進捗状況を追跡したい場合にのみ役立ちます。 Googleのウェブ検索パイプラインでは何も変わりませんので、不要な場合は無視してください。 http://support.google.com/webmasters/bin/answer.py?answer=2467403
- ウェブマスターツールのクロールエラーは、いくつかの要因に基づいて優先度順にリストされています。クロールエラーの最初のページが明らかに無関係である場合、他のページで重要なクロールエラーを見つけることはおそらくないでしょう。 http://googlewebmastercentral.blogspot.ch/2012/03/crawl-errors-next-generation.html
- ウェブサイトのクロールエラーを「修正」する必要はありません。 404を見つけることは正常であり、健全で適切に構成されたWebサイトに期待されます。同等の新しいURLがある場合は、そのURLにリダイレクトすることをお勧めします。それ以外の場合は、偽のコンテンツを作成したり、ホームページにリダイレクトしたり、robots.txtでこれらのURLを禁止したりしないでください。これらのすべてにより、サイトの構造を認識して適切に処理することが難しくなります。これらを「ソフト404」エラーと呼びます。 http://support.google.com/webmasters/bin/answer.py?answer=181708
- 明らかに-これらのクロールエラーが、関心のあるURL、おそらくサイトマップファイルのURLで表示されている場合は、すぐに対処する必要があります。 Googlebotが重要なURLをクロールできない場合、検索結果から削除され、ユーザーもそれらにアクセスできない可能性があります。
Googleが報告する404エラーは、お客様の利益のためです。それらが実際に修正する必要のある問題でない場合は、それらについて何もする必要はありません。