web-dev-qa-db-ja.com

クロールレートを最小に設定しても、bingbotがサイトに最も頻繁にアクセスするのはなぜですか？

最近、私のサイトが過負荷になり、bingbotが犯人であることが判明しました。サイトのクロールレートをbingウェブマスターツールで最小値に設定しましたが、bingbotがすべてのクローラーの中で最も多くのアクセス（1日あたり約30000リクエスト）を持っています。 Googleは1日あたりのリクエストが少なくなっています。

また、bingbotから大量のトラフィックが発生しますか？クロールレートを最小に設定しても動作しないのはなぜですか？

web-crawlersperformancebingbotcrawl-rate
1
Tom

本当にBingボットだと思いますか？ Digを使用して逆IPルックアップを行うときに、予想外の場所からのものであることが判明した不許可を無視するボットを見てきました。

Dig -x 157.55.39.142

; <<>> Dig 9.9.5-3-Ubuntu <<>> -x 157.55.39.142
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 30244
;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 512
;; QUESTION SECTION:
;142.39.55.157.in-addr.arpa.    IN      PTR

;; ANSWER SECTION:
142.39.55.157.in-addr.arpa. 71  IN      PTR     msnbot-157-55-39-142.search.msn.com.

;; Query time: 57 msec
;; SERVER: 8.8.4.4#53(8.8.4.4)
;; WHEN: Thu Jun 12 18:18:06 EDT 2014
;; MSG SIZE  rcvd: 104

逆ルックアップは、IPが実際にBingの検索ボットに関連していることを示しています。

彼らは、robots.txtファイルのクロール制御ディレクティブが、設定された設定よりも優先されると述べています。

http://www.bing.com/webmaster/help/crawl-control-55a30302

そうでない場合は、コントロールを使用してサイトのクロールを調整してみてください。

1
Dave Lozier