web-dev-qa-db-ja.com

Googleウェブマスターツールのインスタントプレビューではrobots.txtが考慮されますか？

Googlebotが見ているものを視覚的に見たい場合、それは行く方法ですか？ robots.txtでブロックしたフォルダーを確認しようとしています。

  • フォルダーをgooglebotとして取得すると、問題なく取得されるため、ブロックが機能しているかどうかについては何もわかりません
  • ブロッキングをチェックするツールがあることは知っていますが、robots.txtの入力に依存しています

したがって、私はインスタントプレビューを試しましたが、ボットが見るもののプレビューを取得しません（「事前レンダリング」）。したがって、robots.txtがブロックするためだと思いますが、そうではありません。ボットが事前に更新されたrobots.txtにアクセスしようとしたので、このフォルダーがブロックされていることをどうやって知るのかわかりませんか？（ブロックされていない別の新しいフォルダーをプレビューします）

seogoogle-search-consolerobots.txtgooglebot
2
rockyraw

https://support.google.com/webmasters/answer/156449?hl=en に従った場合は、問題ありません。 robot.txtはこれらの領域を適切にブロックする必要があります。数日から1週間ほど待ってから、ウェブマスターツールをチェックし（まだ登録していない場合は登録してください）、robots.txtによってブロックされたページ数が表示され、それらのページが時間とともにGoogle検索から消えます。

また、Googleに送信するサイトマップやHTMLサイトマップがある場合は、robots.txtによってブロックされていてもそれらのページがインデックスに登録される可能性があるため、そこにリストされているブロックされたページを持たないでください

Robots.txtでブロックした場合でも、検索エンジンがインデックスを作成しないことを保証しません。

1
Vagish

Webmasterツールのインスタントプレビューでは、robots.txtがブロックされるとエラーが発生するというインスタントプレビューのFAQとして考慮されていると思います。

Roboted：Googlebotのrobots.txtディレクティブを使用してリソースを取得することは許可されていません。

https://sites.google.com/site/webmasterhelpforum/en/faq-instant-previews#14

1
user29671