robots.txtの検索とタグ
Blogspot.comでブログを設定した後、Googleのウェブマスターツールにサイトを追加しました。
「robots.txtによる制限」というエラーに気づき、問題を少し調べました。 blogspotのrobots.txtで、Googleが検索エンジンでエントリの重複を避けるためにデフォルトで/ searchディレクトリを禁止していることがわかりました。タグは/ search/label/SOME_TAGにあるため、これらにもインデックスが付けられていません。
さまざまなサイトを運営していますが、特に1つは私にとって重要なeコマースサイトです。製品ごとに、タグを使用します。各タグは/ tags/tag1 /のような個別のサイトにつながり、このタグにリンクされているすべての製品をリストします。
そして、これは私の質問に私を導きます：
robots.txtを使用してサイトの検索やタグページをブロックする必要がありますか？
この「低品質」コンテンツを使用すると、Googleがpagerank/resultsを罰する可能性があると思います。しかし、それらは非常に便利だと思います。各タグの簡単な説明と、タグに記載されている問題に対してリストされた製品をどのように使用できるかを示します。
さらに、タグページにアクセスしたユーザーの直帰率は非常に高く（> 90％）、平均直帰率を大きく上回っています。
だから、ベストプラクティスは何ですか？
Googleの検索結果には、タグページ、最も一般的な質問など、さまざまなStackExchangeサイトの多くのページがあります。そのため、Googleがそれらを低品質と見なすようには見えません。 Pandaの更新がランキングに非常に悪い影響を与えるなどの何らかの問題が見られない限り、ブロックしないでおきます。それ以外の場合、これらのページはトラフィックのソースであり、直帰率は高いものの、これらのページが検索結果に含まれているため、サイトにさらにアクセスする訪問者を受け入れています。