web-dev-qa-db-ja.com

廃止されたサブドメインでrobots.txtのスキャン速度を下げるように検索エンジンに指示するにはどうすればよいですか？

サイトを複数のサブドメインではなく1つのドメインに配置した後、ログを確認し、検索エンジン（特にgoogle）が各サブドメインについて1日に数回robots.txtをスキャンしていることに気付きました。古いURLにアクセスしたユーザーが適切なURLに自動的にリダイレクトされるように、サブドメインをアクティブなままにしました。

すべてのウェブマスターツールアカウントからサブドメイン（使用しているアクティブなサブドメインを除く）を削除し、サイトでそれらを参照しません。

古いサブドメインで検索エンジンがrobots.txtをスキャンする回数を最小限に抑える方法はありますか？

理想的には、検索エンジンに、廃止された各ドメインで見つかったrobots.txtを一度だけスキャンしてから、サブドメインで必要なすべてのURLをスキャンして、robots.txtを数秒ごとにスキャンしないようにします。

googleweb-crawlersrobots.txtcrawl-rate
2
Mike

サイトのコンテンツを新しい場所に移動したため、Googleがrobots.txtを頻繁にチェックする場合があります。 robots.txtのクロール速度を制御する方法はありません。

ただし、robots.txtがディレクトリなどをブロックしていない場合は、robots.txtを使用しないでください。他のボットをブロックするには、httacessを使用できます。ほとんどのサイトを見てきましたが、robots.txtを適切に使用しないでください。このように、ユーザーエージェントを指定し、クロールを許可します。

User-agent: Googlebot
Allow: /
User-agent: Mediapartners-Google
Disallow:

このタイプのrobots.txtはジャンクです。スペースと帯域幅を浪費するだけです。

したがって、Robots.txtを使用するのは、そのようなことを本当にブロックしたい場合だけです。小さなタイプの場合は、 X-Robotsヘッダータグ を使用することをお勧めします。

1
Goyllo

トップレベルドメインへのリダイレクトを使用してサブドメインの設定を維持する必要があります。古いトラフィックが機能するウェブサイトに到達し、Googleが時間とともに再クロールし、すべてのトラフィックが他の場所に向けられていることを認識します

これを.htaccessに追加し、サイトのURLに合わせて変更します

RewriteEngine on
RewriteCond %{HTTP_Host} ^m\.example\.com$
RewriteRule ^ http://example.com/m%{REQUEST_URI} [L,P]

詳細はこちら： https://stackoverflow.com/questions/1456956/redirect-subdomain-into-top-level-domains-folder

0
Trent