web-dev-qa-db-ja.com

別のドメインのサイトマップとrobots.txtのクロール

次のサブドメインがあります。

  • www.example.com
  • api.example.com

サブドメインapi.example.comは、Googleには見えないはずです。そのrobots.txtにはDisallow /ディレクティブがありました。しかし、サーバー処理をwww.example.comで実行したくないのです。

メインのsitewww.example.com/robots.txtはapi.example.com/sitemap.xmlを指します（サイトマップには処理が必要です）。

問題は、GoogleのSearch Consoleがsitemap.xmlがrobots.txtファイルによってブロックされていると不平を言っていることです... api.domain.comでロボットを読んでいると思います。そこで、wwwのロボットにwww.domain.com/sitemap.xmlを指定してリダイレクトを試みました。運がありません。

したがって、Allow /sitemap.xmlをapiのrobots.txtに配置する必要があるようです。 Googleはこれに混乱するでしょうか？サイトマップのURL（サイトマップはwww.example.comを指す100％絶対URL）のインデックスを作成し、2つのドメイン間の権限を何らかの方法で希釈しようとしますか？ api.example.comはSearch Consoleにプロパティとして登録されていません。

google-searchsitemaprobots.txt
3
Ubermann

まず、api.domain.comをGoogle Search Console（GSC）に登録する必要があります。これにより、そのサブドメインのページがGoogleによってインデックスに登録されている数を確認できます。

必要に応じて、GSCを使用してGoogleからapi.domain.comを完全にブロックすることもできます。 （状況によってはこれは推奨されません）

Api.domain.comのインデックスを作成したくない場合は、最初にサイトマップを作成しないでください。また、www。にapi.domain.comを含めないでください。バージョンのサイトマップ。

つまり、APIにアクセスしないようにGoogleに指示しているため、Googleは混乱します。 Googleはサイトのインデックス作成に役立つと思われるサイトマップを提供しています。

1
Tony Hsieh