web-dev-qa-db-ja.com

内部検索結果:NOINDEXまたはrobots.txtブロック?

ダウンロードセクションには、独自の内部検索結果ページがあります。

これらの結果は現在クロール可能ですが、NOINDEXメタタグがあるため、検索インデックスに表示されません。

人々はこれらの結果にリンクしていますが、これらの結果は数万ページあり、クロールの予算を使い果たしている可能性があります。

これらのページへのrobots.txtを使用したインデックス作成を禁止する必要がありますか、またはこれらの検索結果ページにリンクしているユーザーが引き続き「リンクジュース」を渡すようにMETA NOINDEX(フォロー)を続行する必要がありますか?

Googleは(ウェブマスターガイドラインで)「ウェブサーバー上のrobots.txtファイルを使用して、検索結果ページなどの無限のスペースのクロールを防止することでクロール予算を管理します。」

アドバイス、提案、意見は大歓迎です。前もって感謝します。

1
Ted Wilmont

興味深い質問です!私にとっては、実際にはクロール予算とリンクジュースの問題のようです。

  • 結果ページセットの特定の部分をブロックすることはおそらく可能ですか?例えば、誰もリンクしていない特定のパラメーターを持っているものは?
  • サイトのクロール予算にすでに問題があるように見えますか?そうでない場合は、代わりにリンクジュースを保持することをお勧めします。
  • これらのリンクは高品質のWebサイトからのものですか?クロール予算の中で、リンクジュースは価値がありますか?
  • これらの検索結果ページは、キーワードのセットに最適化されていますか?ドメインへのリンクジュースの増加はプラスですが、検索結果ページがトラフィックを獲得したり、コンバージョンを生成したりする可能性はありますか?
  • これらの検索結果ページにはかなり一意のコンテンツが含まれていますか、それともほとんど同じ検索結果の別の順序ですか?
  • おそらく最もリンクされた検索結果ページを取得し、代わりにあなたのウェブサイトでそれらのための優れたリソースを作成し、ウェブマスターに上位ページへのリンクを変更するようにリクエストできますか?

ご覧のとおり、残念ながら、ここには簡単な解決策はないようですが、詳細は次のとおりです。

1