web-dev-qa-db-ja.com

Baidu Spiderは1日に3Gbのトラフィックを引き起こしますが、私は中国でビジネスを行っています

私は困難な状況にあり、Baiduスパイダーが私のサイトを攻撃しており、1日あたり約3Gbの帯域幅を発生させています。同時に私は中国でビジネスをしているので、ただそれをブロックしたくありません。

他の誰かが同じような状況にありましたか(クモ)?あなたは魔法の解決策に出くわしましたか?それとも、それを受け入れてボットをブロックするかブロックしないかのどちらかでしたか?

3
d.lanza38

Robots.txtに従っている限り、リクエストを調整できます

User-agent: *
Crawl-delay: 10
3
Mike