web-dev-qa-db-ja.com

複数のサイトマップ：robots.txtのエントリ？

Googleを使用して検索していますが、この質問に対する答えが見つかりません。

Robots.txtファイルには、次の行を含めることができます。

Sitemap: http://www.mysite.com/sitemapindex.xml

robots.txtで複数のサイトマップインデックスファイルを指定し、検索エンジンにそれを認識させ、各サイトマップインデックスファイルで参照されているすべてのサイトマップをクロールさせることは可能ですか？たとえば、これは動作します：

Sitemap: http://www.mysite.com/sitemapindex1.xml

Sitemap: http://www.mysite.com/sitemapindex2.xml

Sitemap: http://www.mysite.com/sitemapindex3.xml
sitemaprobots.txt
37
user306942

はい、 複数のsitemap-index-file を持つことができます：

複数/サイトマップインデックスファイルを使用できます。

私によるハイライト。

はい、robots.txt内に複数のサイトマップファイルをリストすることができます。同様に sitemap.orgサイト内 を参照してください。

more than one robots.txtファイルごとにサイトマップファイルを指定できます。

Sitemap: http://www.example.com/sitemap-Host1.xml

Sitemap: http://www.example.com/sitemap-Host2.xml

私によるハイライト、これは私が言うと誤解されることはありませんので、簡単に言えば、これを行うことができます。

これは、クロスサブミットにも必要です。 robots.txtが選択されました。

Btw Google 、 Yahoo および Bing 、すべて sitemaps.orgのメンバー ：

Sitemap 0.90はAttribution-ShareAlike Creative Commons Licenseの条件の下で提供され、Google、Yahoo！、Microsoftからのサポートを含む幅広い採用があります。

そのため、サイトマップエントリが検索エンジンボットによって適切に読み取られるので安心できます。

John Mueller commented のように、ウェブマスターツールを介して送信しても問題はありません。

81
Miltan Chaudhury

サイトマップが10 MBを超える（圧縮されていない）場合、または50 000を超えるエントリがある場合、サイトマップインデックスファイルにバンドルされた複数のサイトマップを使用する必要があります。

Robots.txtで、次のようなサイトマップインデックスをポイントします。

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
      <lastmod>2012-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
      <lastmod>2012-01-01</lastmod>
   </sitemap>
</sitemapindex>
8
scott

Robots.txtファイルに配置するXML URLを個別に作成するのではなく、サイトマップインデックスファイルを作成することをお勧めします。

次に、以下のようにrobots.txtファイルにインデックス付きのサイトマップURLを挿入します。

Sitemap: http://www.yoursite.com/sitemap_index.xml

インデックス付きサイトマップURLを作成する方法を知りたい場合は、この sitemap.orgからのガイド に従ってください。

ベストプラクティス：

  • ウェブサイトにそのようなコンテンツが大量にある場合は、画像サイトマップとビデオサイトマップを別々に作成します。
  • ロボットファイルのスペルを確認します。robots.txtである必要があります。robot.txtまたはスペルミスを使用しないでください。 robots.txtファイルを直接ルートにのみ配置します。
  • 詳細については、 robots.txtの公式Webサイト にアクセスしてください。
0
Deepak Mathur