Googlebotは、サーバー上にないファイルを繰り返し検索します
私はボランティア団体のサイトをホストしています。サイトをWordPressに移動しましたが、必ずしもそうとは限りませんでした。ある時点で、ひどくハッキングされたのではないかと思います。
私のApacheエラーログファイルは、過去18時間で122kBに増加しました。ログに記録されるエラーの大部分はこの形式です。今日だけでも、ログファイルで何百回も繰り返されています。
[Mon Nov 12 18:29:27 2012] [error] [client xx.xxx.xx.xxx] File does not exist: /home/*******/public_html/*******.org/calendar.php
[Mon Nov 12 18:29:27 2012] [error] [client xx.xxx.xx.xxx] File does not exist: /home/*******/public_html/*******.org/404.shtml
（xx.xxx.xx.xxxがGoogleサーバーであることを確認しました。）
以前のどこか、おそらくcalendar.phpに、悪用されたセキュリティホールがあったのではないかと思います。
ファイルはもう存在しませんが、ここを参照するバックリンクが多数存在する可能性があるため、googlebotがファイルのクロールに非常に興味を持っているのはなぜですか。
これを適切に修正するにはどうすればよいですか？それでもGoogleにサイトのインデックスを作成してもらいたい。どういうわけか、これらのファイルをもう検索しないように伝えたいだけです。
これは、 410 Gone エラーを使用できることの1つです。
Googleや他の検索エンジンは、この情報を使用して RLが無効であると判断する であり、二度と有効になることはないと予想されるため、インデックスから削除します。