検索エンジンがサイトにアクセスする頻度を制御するにはどうすればよいですか？
私は私のサイトの<head>で次の行を何年も使用しています。
<meta name="revisit-after" content="3 days" />
私は最近、それが メタタグ の1つではないことを発見しました。これはGoogleが理解していることです。
検索エンジンがデフォルトでウェブサイトをクロールする頻度と、その頻度を増減させる信頼できる方法は何ですか？
GoogleウェブマスターツールでGoogleがサイトをクロールする速度を制御 。
サイトのクロールレートは、Googlebotが各訪問でサイトをクロールするために使用する時間を決定します。私たちの目標は、サーバーの帯域幅に顕著な影響を与えることなく、サイトを徹底的にクロールすることです（そうすると、ページのインデックスが作成され、検索結果に返されます）。ほとんどのウェブマスターはデフォルトのクロール設定を使用しても問題ありません（つまり、変更は不要です。詳細は以下をご覧ください）。一部のウェブマスターには、より具体的なニーズがあります。
Googlebotは、アクセスする各サイトをクロールする量を決定する高度なアルゴリズムを採用しています。大部分のサイトでは、デフォルトの「Googleにクロール速度を決定させる」オプションを選択するのがおそらく最善です。ただし、上級ユーザーの場合、またはサーバーの帯域幅の問題に直面している場合は、クロールレートをWebサーバーに最適な速度にカスタマイズできます。カスタムクロールレートオプションを使用すると、1秒あたりの最大リクエスト数と、ご使用の環境に最適と思われるリクエスト間の秒数についてGooglebotの洞察を提供できます。
Googlebotは、ウェブマスターツールで使用できるクロールレート値の範囲を決定します。これは、サーバーの機能に関する当社の理解に基づいています。この範囲は、いくつかの要因に基づいて、サイトごとに、また時間とともに変化する場合があります。クロールレートをデフォルト値よりも低く設定すると、Googleの検索結果でのサイトのカバレッジと鮮度に影響する場合があります。ただし、デフォルトよりも高い値に設定しても、カバレッジやランキングは改善されません。カスタムクロールレートを設定した場合、新しいレートは90日間有効になり、その後Googleの推奨値にリセットされます。
この設定は、ルートレベルのサイトと、blogspot.comのような大規模なドメインでホストされていないサイトにのみ使用できます（特別な設定が割り当てられています）。クロールレートの設定を確認するには、ウェブマスターツールにログインして、[設定]タブにアクセスします。他にご質問がある場合は、ウェブマスターヘルプセンターにアクセスして、Googleがサイトをクロールする方法の詳細をご覧になるか、ウェブマスターヘルプフォーラムに質問を投稿してください。
それ以外の場合は、ユーザーエージェントを盗聴し、ユーザーエージェントに基づいて検索エンジンボットを許可または拒否する独自のフィルタリングシステムを作成する必要があります。しかし、それは頻度の減少にのみ影響します。
質問の2番目の部分に答えるには、ウェブマスターツールを使用してGoogleに伝えることができます
クロール速度を変更するには：
ウェブマスターツールのホームページで、目的のサイトをクリックします。
[サイトの構成]で、[設定]をクリックします。
[クロール速度]セクションで、必要なオプションを選択します。
https://www.google.com/support/webmasters/bin/answer.py?answer=48620&hl=en_GB
Bing FAQ では、 この投稿 を参照します。これは、Crawl-Delay: Xの設定を推奨します。xは、各リクエスト間で待機する秒数です。
もちろん、サイトマップはページが変更される頻度を示します。