GoDaddy Managed Wordpress Hosting and Cloudflareを使用したGoogleウェブマスターツールでの「429」クロールエラーの多く
次のセットアップ：
- GoDaddy Managed Wordpressホスティング+ SSL
- CDNとしてのCloudflare
Googleウェブマスターツールでは、すべてのページに429クロールエラーが表示されます。 monitor.usなどのツールを使用して手動でテストしたところ、どのページの読み込みでも問題が見つかりませんでした。
CloudflareとSSLを追加する前は、問題なく動作していました。この問題のより可能性の高い原因は何ですか？最適なデバッグ方法は？
429エラー は次のとおりです。
429リクエストが多すぎます
429ステータスコードは、一定時間内にユーザーが送信したリクエストが多すぎることを示します（「レート制限」）。
応答表現には、条件を説明する詳細を含める必要があり（SHOULD）、新しい要求を行うまでの待機時間を示すRetry-Afterヘッダーを含めることができます（MAY）。
ほとんどのWebホストは、このタイプのエラーでクロールのレートを制限しません。検索エンジンは、ウェブサイトのインデックスを作成するために、すべてのページをクロールできる必要があります。クロール時にこのエラーが原因でGooglebotがページを取得できない場合、SEOの問題が発生します。
ここにスレッドがあります 誰かが同様の問題を抱えており、GoDaddyホスティングでも同様です。あるポスターは、Screaming Frogクローラーで問題のあるサイトをクロールし、問題を再現することができました。クロールが速くなると、429エラーが増えました。
この問題を修正する唯一の方法は次のとおりです。
- GoDaddyに連絡してこのエラーを無効にするか、Googlebotによるクロールの高速化を許可してください
- 新しいホスティング会社を見つけて、ウェブサイトをそこに移動します
- Googleウェブマスターツールでのクロールレート を調整して、Googlebotのクロール速度を遅くします（ただし、再設定が必要な時点で有効になるのは90日間のみです）
[開示：GoDaddyでホスティング用のプロダクトマネジメントを実行しており、管理対象PM製品の代理WordPressです]
ご質問とフィードバックに基づいて、設定にいくつかの変更を加えました。
- ボットのレート制限は、3リクエスト/秒から15リクエスト/秒に引き上げられました。
- ボットのレート制限により、静的ファイルが除外されるようになりました。動的な、キャッシュされていないコンテンツのみがレート制限され、マネージドWordPress製品でキャッシュできるコンテンツの量を考えると、最大の勝利になります。
サイドノート：Googlebotがどのように動作するかを確認するためにCloudFlareで動作をテストする必要がありますが、これらの変更を加えてより広く開いたので、準備ができているはずです。