web-dev-qa-db-ja.com

Googleを起動してrobots.txtを確認できますか？

この質問の回答を読みましたが、質問は未解決のままです。 Googleはrobots.txtをキャッシュしますか？

Google Webmaster Toolsでrobots.txtの再ダウンロードを呼び出す方法が見つかりませんでした。

何らかのエラーにより、myrobots.txtは次のように置き換えられました：

User-agent: *
Disallow: /

これで、すべてのコンテンツがGoogle検索結果から削除されました。

明らかに、私はこれをできるだけ早く修正することに興味があります。既にrobots.txtを置き換えましたが、Googleにキャッシュバージョンを更新させる方法が見つかりません。

enter image description here

googlegoogle-search-consolerobots.txt
11
Der Hochstapler

必要なときにrobots.txtを再ダウンロードさせることはできません。 Googleはそれを再クロールし、サイトに適していると判断した場合は新しいデータを使用します。彼らは定期的にクロールする傾向があるので、更新されたファイルが見つかり、ページが再クロールされ、インデックスが再作成されるのに時間がかかるとは思わないでしょう。新しいrobots.txtファイルが検出されてからページが再クロールされるまでに時間がかかり、Googleの検索結果に再び表示されるまでにさらに時間がかかる場合があることに注意してください。

10
John Conde

6月16日に新しいウェブサイトwww.satyabrata.comを開始したときに、同じ問題に直面しました。

robots.txtにDisallow: /がありました。これはOliverとまったく同じです。 Googleウェブマスターツールには、ブロックされたURLに関する警告メッセージもありました。

昨日、6月18日、問題は解決しました。次のことを行いました。どのステップが機能したのかわかりません。

  1. 健康-> Fetch as Google：robots.txtおよびホームページ。次に、インデックスに送信します。
  2. 設定->優先ドメイン：表示URL www.satyabrata.com
  3. 最適化->サイトマップ：XMLサイトマップを追加しました。

ブロックされたURLに関する警告メッセージはなくなり、新しいrobots.txtがGoogleウェブマスターツールにダウンロードされて表示されます。

現在、Googleでインデックス登録されているホームページとrobots.txtの2つのページしかない。ウェブサイトに10ページあります。残りがすぐにインデックス化されることを願っています。

1
Satyabrata Das

画像が別のCNAMEサーバーに移動され、画像フォルダーに許可が設定されないという問題がありました。私が明確にした方法は、ウェブマスターツールでrobots.txtを取得して、ウェブページをGoogleツールとして読み取ることでした。 robots.txtを取得して読み取ったと通知したら、送信しました。これにより、Googleがrobots.txtファイルを読み込んでいると報告したが、画像フォルダーを許可するために変更されたルールに一致するようスパイダーを変更していなかった画像のスキャンで3か月の禁輸措置が破られました。 1週間以内に、画像のインデックスが再び作成されました。

試してみる価値があるかもしれません。 Googleがときどき動けなくなり、ファイルの再読み取りに失敗することが知られています。

0
Fiasco Labs