クロール速度の大幅な低下

Question

以下は、クロールレート（1日あたりのクロールされたページ）が大幅に減少した私のウェブサイトのグラフです

以下は、ページをダウンロードする時間のグラフです

9月以降、このクロールレートの継続的な低下の理由を知りたかった。 9月の終わりまでに修正された約30のサーバーエラー（HTTPコード500）がありました。 404エラーは約350で、すべて有効な404でした。 Webサイトには約20万ページがあり、サイトマップを介して約2万のURLを選択的に送信します。 8月以降、サーバーの接続時間が100％であることを確認しました。 Webサイトに展開された変更を確認しましたが、この問題を指しているものはありません。 8月の開始時にURLの再構築を行い、適切な301とキャノニックを確保しました（URLの再構築についてはクロールエラーは報告されませんでした）

どちらの方向に目を向けるべきかについてのアドバイスは大歓迎です。また、オーガニックトラフィックの減少も経験しています。

Answer 1

Googleはアルゴリズムを使用して、ページを再クロールする頻度を決定します。正確なメカニズムは秘密に保たれますが、基本は、サイトの大きさ、サイトの品質、サイトにリンクしている他のサイトの数、ページのコンテンツが変更される頻度に基づいているということです。あなたが投稿した数字は、あなたのサイズのサイトに対して非常に合理的なクロール速度のようです。