クロールする必要のない内部リンクでnofollowを使用する必要がありますか？
顧客が属性（サイズ、色など）に基づいて製品をフィルタリングできるようにする製品ナビゲーションエンジンがあります。 「複数選択」の改良を使用できるアップグレードを実装しています。基本的に、「赤、青、緑のすべての製品を見せて」と言うことができます。検索エンジンは、改良を加えずに最初のページのみをクロールする必要があります。改良を加えたページの正規化を、改良を加えていないものに設定しました。
システムリソースの観点から、Googleがこれらすべての絞り込みリンクをクロールするかどうかはわかりません。これらの絞り込みが生成するリンクは、絞り込みの順序、選択された数などに基づいて指数関数的に異なる場合があります。Googleがそれらのページを試行してインデックスを作成するのは無駄です。
Googleがクロールしないように、これらの絞り込みURLにノーフォロータグを配置する必要がありますか？
Nofollowは、Googleによるページのクロールを停止するわけではなく、それらのページに渡される「リンクジュース」を停止します。
Robots.txtは、Googleがページをクロールしないようにするものです。
Googleがすべての製品にアクセスしていると確信しており、正規のURLを使用しているように見える場合は、帯域幅を食い尽くすだけなので、Googleがそれらのページをクロールしないようにすることをお勧めしますおよびサーバーのリソース。
内部リンクでnofollowを使用することは良い出発点です。また、 robots meta tag または x-robots-tag HTTP heade rを使用して、インデックスを作成しないように指示することも検討します。そうすれば、外部リンクを介してそれらのURLを見つけたとしても、そうでなければそれらのページのインデックスを作成しないことは間違いありません。 robots.txt でブロックすることも良いことです クエリ文字列でページをキャッチするためにワイルドカードを使用する など.
ページは「指数関数的に異なる」可能性があると述べたので、「follow、noindex」メタタグの使用を検討することをお勧めします。異なる分類子はGoogleに製品に関する追加情報を提供できます。インデックスを作成したくない場合でも、コンテンツ（これはロングテールクエリに役立ちます）.