web-dev-qa-db-ja.com

Googlebotが自分のサイトにアクセスできませんウェブマスターツールの返信到達不能robots.txt

ウェブマスターツールで自分のサイトをグーグルボットとして取得しようとすると、到達不能なrobots.txtが返されます。調査したところ、グーグルボットがサーバーを認識できることがわかりました。

tcpdump | grep google

グーグルがIPaa.bb.cc.xxまたはaa.bb.cc.yyで私のサーバーにアクセスできることを返します。ただし、access_log、error_log、またはその他のApacheログには何もありません。

cat access_log | grep google or cat error_log | grep aa.bb.cc.xx

他のボット（bing、...）はApacheにアクセスできますが、googleはアクセスできません。

robots.txtまたはその権限に問題はありません。ご存知のように、robots.txtは必要ないので削除しましたが、ウェブマスターツールが「Unreachablerobots.txt」を返しましたが、404が見つかりませんでした。

サーバーに関する情報：

  • サーバーOS：CentOS 6
  • Webサーバー：Apache 2.x
  • ファイアウォール：IPTablesが停止しています
  • SELinuxが無効になっている
  • 私のサーバーには他にセキュリティについての考えはありません。

問題を調査するにはどうすればよいですか？問題を見つけるのに役立つ他のコマンドはありますか？

apache-2.2robots.txtgooglebot
1
Ahmad Ahmadi

robots.txtファイルを削除しましたが、もちろん「到達不能」です。ファイルが存在しないために、リクエストに応じてGoogleが取得する404エラーです。

ツールにrobots.txtが存在する必要がある場合は、おそらく1つ必要です。

2
Shane Madden