サイトがwwwにリダイレクトされない場合、robots.txtのサイトマップURLに「www」を含めますか？

Question

ウェブサイトはwwwを削除するようにリダイレクトされるため、www.example.comはexample.comにリダイレクトされます。

robots.txtのサイトマップにwwwを含める必要がありますか？

Answer 1

Robots.txtからサイトマップディレクティブを読み取るWebクローラーは、サイトマップの「www」バージョンにアクセスしようとし、その後、非wwwバージョンのURLにリダイレクトされるため、「www」を含めないでください。 。

「www」を含めることで余分なバイトを浪費するだけでなく、サイトマップディレクティブを適切に解析するクローラーは、サーバーに対して2つのリクエストを作成します。1つはwwwバージョン用、もう1つは非wwwバージョン用です。