Googlebotのクロール速度が巨大なサイトには遅すぎる
サイトマップによると、140kページの新しいWebサイトがあります。
サイトマップインデックスをGoogleに送信した後、Googlebotは数時間前に安定したペースでサイトのクロールを開始しましたが、その速度が遅すぎます。1分あたり約1回のリクエストです。
そのようなレートでは、サイトがインデックスに登録されるまでに100日かかります。レートを上げる方法はありますか？ Googleのすべてのドキュメントで、クロールレートを変更することは推奨されておらず、クロールレートを変更してもクロールが遅くなるだけであると示唆されているのはなぜですか？
Googlebotのクロールを高速化するには、次のものが必要です。
- 高速サーバー。 Googlebotが各ページをダウンロードする時間が短くなるほど、クロールが速くなります。画像、CSS、およびJavaScriptについて心配する必要はありません。 HTMLをより速く提供するだけです。 gzip圧縮を有効にすると役立ちます。必要に応じて、サイトのデータの一部をキャッシュしてプリロードします。ページサイズをできるだけ縮小します。
- その他のページランク。サイトのページランクが高いほど、Googlebotはより多くクロールします。また、ページランクが高いページをより頻繁に返して再クロールします。
ページランクが十分でない場合、Googleはおそらく、ページをクロールしても、ページの大部分をインデックスに登録しないことを選択します。