ダウンロードセクションには、独自の内部検索結果ページがあります。
これらの結果は現在クロール可能ですが、NOINDEXメタタグがあるため、検索インデックスに表示されません。
人々はこれらの結果にリンクしていますが、これらの結果は数万ページあり、クロールの予算を使い果たしている可能性があります。
これらのページへのrobots.txtを使用したインデックス作成を禁止する必要がありますか、またはこれらの検索結果ページにリンクしているユーザーが引き続き「リンクジュース」を渡すようにMETA NOINDEX(フォロー)を続行する必要がありますか?
Googleは(ウェブマスターガイドラインで)「ウェブサーバー上のrobots.txtファイルを使用して、検索結果ページなどの無限のスペースのクロールを防止することでクロール予算を管理します。」
アドバイス、提案、意見は大歓迎です。前もって感謝します。
興味深い質問です!私にとっては、実際にはクロール予算とリンクジュースの問題のようです。
ご覧のとおり、残念ながら、ここには簡単な解決策はないようですが、詳細は次のとおりです。