アフィリエイト製品フィードから何万もの製品を新しいサイトにインポートする予定です。各製品には、オリジナルと同じタイトルと説明を持つ独自のページがあります。重複するコンテンツが多すぎると、検索エンジンにペナルティが生じるのではないかと心配しています。ペナルティの問題を回避するために、これらのページに「noindex」ロボットメタタグを付ける必要がありますか?
これらのページが重複コンテンツであることがわかっている場合は、「実際の」ページとしてカウントしないようにGoogleに指示する必要があります。より良いオプションは、 正規URL を使用することです。これは、何が起こっているかをより意味的に示すためです。これらのページはオリジナルの複製であり、どのページがオリジナルであるかをGoogleに伝えています。さらに、ページが検索エンジンにリストされない場合でも、クロールする必要があります、そうすることで、内部リンク構造から利益を得ることができます提供。正規URLを実行できない場合は、noindexメタタグまたはHTTPヘッダーを使用してこれらを確実にブロックしてください。 robots.txtを使用してブロックすることもできます。