web-dev-qa-db-ja.com

Bloggerのrobots.txtでDisallow：/ searchを使用する理由

Bloggerの「robots.txt」ファイルでこれが何を意味するのか、誰にも教えてもらえますか？その中の何かを編集する必要がありますか？ /search行からDisallow:を削除する必要がありますか？

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://css3wdesign.blogspot.com/sitemap.xml
robots.txtbloggerblogspot
7
arximughal

Closetnocの答えに加えて...

/search行からDisallow:を削除する必要がありますか？

いいえ。ボットによる検索結果のクロールをブロックすることをお勧めします（これが参照していることです）。

通常、検索結果ページがGoogleの検索結果ページに表示されることは望ましくありません。そしてGoogleもこれを望んでいない。 Googleは実際のページのインデックスを作成し、これらをSERPで返します。ボットが検索結果をクロールできるようにすると（潜在的に無限になる可能性があります）、不必要な帯域幅を大量に消費する可能性があります。

ただし、Mediapartners-Google（GoogleのAdSenseボット）は、/検索結果をクロールできます。これは、検索結果ページから広告を配信する場合に必要だと思います。

その中の何かを編集する必要がありますか？

一部のボットがサイトの特定の領域をクロールするのをブロックする必要がある場合を除きます。とにかく、一部のボットはrobots.txtファイルを完全に無視することに注意してください。

7
MrWhite

Robots.txtは、ボット（ロボットエージェント）に移動できる場所と移動できない場所を伝える方法です。簡単に見つけられるように、標準としてWebサイトのルートに配置されます。本当に簡単です。

あなたの例では：

ユーザーエージェント：Mediapartners-Googleはnot許可されていません。 Disallow：以下は何も許可せずにすべてを許可します（制限なし）。

User-agent：*は、アクセスURI/search（example.com/search）を許可せず、サイトへのアクセスを許可するすべてのボットに適用されるディレクティブです。

サイトマップ：サイトマップが利用可能であることをボットに伝えます。サイトマップは、サイトのページをリストするXML（標準化されたデータマークアップ言語）形式のファイルです。これは、検索エンジンがサイトのページを知るのに便利です。サイトマップは必ずしも必要ではありませんが、一部のページが検索エンジンで簡単に利用できない場合、サイトマップは検索エンジンがページを見つけやすくします。

3
closetnoc

Robots.txtは、他のWebサイト、ISP、および検索エンジンが訪問しても問題ないかを「尋ねる」ために使用するファイルです。領域の領域からすべてまたは特定のボットをホワイトリストまたはブラックリストに登録できます。それは条約のようなものです。それは約束だ。良いことは約束を守りますが、悪いことは約束しません。

検索に関する限り：私は、過去にロボットが検索をヒットできるようにすることは良い習慣ではなかったことに同意します。最近では、Googleが検索をヒットできるようになりましたうまくいくかもしれません;少なくとも特定のニッチでは;検索キャッシュも必要ありません。

プラットフォームごとのrobots.txtはさまざまですが、常に検索禁止をコメントアウトのままにします（別名、ロボットは検索を許可していますが、必要に応じてコメント解除する準備ができています）。いくつかの理由があります。

  • SEOの入力-時々、見逃したカテゴリニッチの検索結果ポップアップが表示されます。
  • LSIに記入-有機物から自動的に有機物を作成できます
  • ヘルプRDF-これはEdgeですが、Gによる検索を許可すると、リッチスニペットがより速く公開される可能性があります
  • オーソリティを高める-検索ページSERPの結果がオーガニックを支配していますか？着陸船に変えてPRを獲得する
  • Gの理解に役立つ-アドレスバーのタブ検索、分析検索ティーチ、ウェブマスターツールのクエリ文字列パラメーター間で、Gは理解して支援します。

Gアナリティクス、Gウェブマスターツール、その他のGエリアで現在および将来の検索を設定するエリアを探します。

2
dhaupin