robots.txt内のすべての* .xml.gzサイトマップファイルを参照しますか
100万を超えるURLを含むWebサイトがあります。そのため、多くのsitemap0000.xml.gz、sitemap0001.xml.gz ... sitemap0030.xml.gzなどのファイルのインデックスとして機能するsitemap.xmlファイルが1つあります。
私の質問は、robots.txtファイルでサイトマップファイルを指定するにはどうすればよいですか？
Sitemap.xmlのみを参照しますか？次のように：
User-agent: *
Allow: /
Sitemap: www.mysite.com/sitemap/sitemap.xml
または、サイトマップの* .xml.gzファイルもすべて指定する必要がありますか？
はい、 インデックスファイルのみを参照 。 （「robots.txtの使用」の見出しを参照してください。）その後、クローラーを他の場所に誘導します。