web-dev-qa-db-ja.com

相対的なサイトマップのURLをrobots.txtで使用できますか。

Robots.txtに、サイトマップファイルの次の相対URLを記述できますか。

sitemap: /sitemap.ashx

または、サイトマップファイルには完全な（絶対）URLを使用する必要がありますか。

sitemap: http://subdomain.domain.com/sitemap.ashx

なぜ私は疑問に思う：

  • 私はユーザーがaccountname.domain.comにブログを書くことを可能にする新しいブログサービス、www.domain.comを所有しています。
  • 私はワイルドカードを使用しているので、すべてのサブドメイン（アカウント）は "blog.domain.com"を指しています。

Blog.domain.comに検索エンジンにサイトマップを見つけさせるためにrobots.txtを入れました。しかし、ワイルドカードが原因で、すべてのユーザーアカウントが同じrobots.txtファイルを共有しています。2番目の方法を使用できないのはそのためです。そして今のところ私はtxtファイルにurl rewriteを使うことができません。 （私は、IISの後のバージョンでこれを処理できると思いますか？）

seositemaprobots.txt
177
Easyrider

公式によると sitemaps.orgのドキュメント それは完全なURLである必要があります：

Robots.txtファイルを使用してサイトマップの場所を指定できます。これを行うには、サイトマップにthe full URLを含む次の行を追加します。

Sitemap: http://www.example.com/sitemap.xml
304
unor

Googleのクローラは賢くない、相対的なURLはクロールできない、そのため絶対的なURLを使用することをお勧めします。

したがって、あなたはこのバリエーションを使用することはできません

> sitemap: /sitemap.xml

推奨される構文は

Sitemap: https://www.yourdomain.com/sitemap.xml

注意：

  • "sitemap"の最初の文字を大文字にすることを忘れないでください
  • 「サイトマップ」の後にスペースを入れるのを忘れないでください。
2
Deepak Mathur