サブドメインサイトマップ/ robots.txtを個別に追加する必要がありますか？
ドメインexample.comがあるとします
そして、サブドメインsub.example.comがあります
そして別のサブドメインinternal.example.com
Googleがクロールするためのexample.comとsub.example.comにいくつかのリンクがあります。しかし、Googleがinternal.example.comで何かを取得したくない
この場合、どうすればよいですか？
Googleのドキュメント へのリンクは、場所ごとのURL robots.txtの有効性についてです。
メインドメインまたは他のサブドメインからinternal.domain.comへのリンクはありますか？
そうでない場合、一般的に、Googleはサブドメインを単独で表示しません。過去に公開されたことがない場合は、robots.txtファイルでブロックすることをお勧めします。もし、万が一internal.example.comのURLがGoogleに公開されていたら、 Robots-Meta Tag を使用してこれらのページをインデックス不可能でフォローしないことを宣言してください。