web-dev-qa-db-ja.com

このモバイル/画像Googlebotクロールレートがこんなに速いのはなぜですか？ （1秒あたり10-30リクエスト）

今朝のログで、ユーザーが1秒以内にスロットルで3回制限されていることに気づきました（429の多すぎるリクエストエラー）午前3:30:11 EST：Mozilla/5.0 (Linux; Android 6.0; GCE x86 phone Build/MRA59G.MZC35) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2679.0 Safari/537.36 at IP 104.196.83.207。このIPでGoogleを見るのは1度だけなので、その目的がわからない。

調べてみると、確かにGooglebotのようです。 以下は、Google CloudからのAnalogによるものです。 30秒間制限される前に試行していた最後のパスは画像でした。 Googleは昨夜までサイトの高速化に問題がなかった。ユーザーが5秒のウィンドウで10個のリクエストをヒットした場合（セッション変数ベース）、30秒429エラーをトリガーするようにスロットルが設定されます。 3つのログは、1秒以内にこの制限に3回ヒットしたことを意味します（1秒あたり合計30リクエスト）。

現在、Search Consoleの設定では、「Googleに決定させて」という設定になっています。ラジオをクリックしてレートを変更すると、「10秒ごとに1リクエスト」で中央に四角が表示されます。最大設定では、1秒間に2つの要求（つまり、スロットルゾーン）が許可されます。

クロールレートを10秒ごとに1に手動で調整しますが、その間にこのボットが非常に高速にクロールするのはなぜですか。また、Androidモバイルで画像のみをクロールするのはなぜですか？

googlebotperformancecrawl-rate
1
dhaupin

すべてのgoogleボットクローラーのIPアドレスは、「crawl IP ADDRESS）.googlebot.com」の行に沿って設定されたRDNSによって識別できることを理解しています。

あなたが言及したユーザーエージェントは、グーグルボットによっても使用されません。 Googleは、すべてのボットのユーザーエージェント文字列をリストします---（here 。

投稿したIPアドレスは、ASNコメントにあるように、Google Cloudの顧客が使用するネットブロックの一部です

NetRange:       104.196.0.0 - 104.199.255.255
CIDR:           104.196.0.0/14
NetName:        GOOGLE-CLOUD
NetHandle:      NET-104-196-0-0-1
Parent:         NET104 (NET-104-0-0-0-0)
NetType:        Direct Allocation
OriginAS:       AS15169
Organization:   Google Inc. (GOOGL-2)
RegDate:        2014-08-27
Updated:        2015-09-21
Comment:        ** The IP addresses under this netblock are in use by Google Cloud customers ** 
Comment:        
Comment:        Direct all copyright and legal complaints to 
Comment:        https://support.google.com/legal/go/report
Comment:        
Comment:        Direct all spam and abuse complaints to 
Comment:        https://support.google.com/code/go/gce_abuse_report
Comment:        
Comment:        For fastest response, use the relevant forms above.
Comment:        
Comment:        Complaints can also be sent to the GC Abuse desk 
Comment:        ([email protected]) 
Comment:        but may have longer turnaround times.
Comment:        
Comment:        Complaints sent to any other POC will be ignored.
3
Analog