検索結果ページをインデックスに登録する必要がありますか
カタログ内のすべての製品のキーワードのリストを含むカタログのページがあり、それらのキーワードから検索ページへのリンクを作成したい。
たとえば、ページにtelevision 24", electronic, sound systemのキーワードが含まれている場合、ユーザーが各キーワードをクリックすると、たとえば/search/television 24"のページが開きます。
それらのページをインデックスに登録するか、robots.txtでブロックする必要がありますか？
Robots.txtを使用して、検索結果ページや、検索エンジンからアクセスするユーザーにとってあまり価値のない自動生成ページのクロールを防止します。
多くの場合、これらのページは「スパム」であり、価値の低いものである可能性があります。