サイトマップによると、140kページの新しいWebサイトがあります。
サイトマップインデックスをGoogleに送信した後、Googlebotは数時間前に安定したペースでサイトのクロールを開始しましたが、その速度が遅すぎます。1分あたり約1回のリクエストです。
そのようなレートでは、サイトがインデックスに登録されるまでに100日かかります。レートを上げる方法はありますか? Googleのすべてのドキュメントで、クロールレートを変更することは推奨されておらず、クロールレートを変更してもクロールが遅くなるだけであると示唆されているのはなぜですか?
Googlebotのクロールを高速化するには、次のものが必要です。
ページランクが十分でない場合、Googleはおそらく、ページをクロールしても、ページの大部分をインデックスに登録しないことを選択します。