検索エンジンロボットは、クエリ文字列のパラメーターの値のみが異なる動的URLをクロールしますか？
私は同様の質問がたくさんあることを知っており、周りを検索しましたが、完全に答えを見つけられなかったので、ここに私の質問があります：
検索エンジンロボットは、動的に生成されたURLをクロールしますか？これは、URLのGET変数に基づいてphpによって生成されたhtmlページを意味します。リンクは次のようになります。
www.mywebsite.com/view.php?name=something
www.mywebsite.com/view.php?name=somethingelse
www.mywebsite.com/view.php?name=something
ここにあるテストクローラーを使用してWebサイトをクロールしようとしました： http://robhammond.co/tools/seo-crawler ヘッダー内の変数。
私のウェブサイトのコンテンツのほとんどは、データベースからのこれらのGET変数によって生成されているので、検索エンジンにこれらのページをクロールさせてください。
はい。検索エンジンと適切にコーディングされたクローラーは、パラメーターを使用してページをクロールし、それらを個別のページとしてインデックス付けできます。参照/使用したクローラーがこれを処理できないという事実は、このツールを再び使用しないことを示しています。
サイトに直接アクセスできる場合は、 http://www.screamingfrog.co.uk/seo-spider/ を使用することをお勧めします。このツールを使用すると、500ページを無料で利用でき、支払いを希望する場合はかなり手頃です。 ScreamingFrogは、ウェブマスターが懸念している問題の長いリストを報告するのに非常に優れています。
このツールまたはこのようなツールを使用する場合は、トラブルに巻き込まれないように、AdSense広告または使用している他の広告をオフにすることをお勧めします。
Googlebotおよびその他の検索エンジンロボットは、デフォルトでさまざまなクエリ文字列を含むURLをクロールします。必要なのは、それぞれへのリンク、またはそれぞれを含むサイトマップです。クエリ文字列だけが異なる場合でも、GoogleはURLを異なると見なします。
Googleウェブマスターツールを使用すると、サイトのこの動作をカスタマイズできます。ページを実際に変更しないクエリパラメータがある場合は、サイト設定でそのことをGoogleに伝えることができます。その後、Googleはパラメーターの各値ではなく、1つの代表URLのみをクロールする場合があります。