私は困難な状況にあり、Baiduスパイダーが私のサイトを攻撃しており、1日あたり約3Gbの帯域幅を発生させています。同時に私は中国でビジネスをしているので、ただそれをブロックしたくありません。
他の誰かが同じような状況にありましたか(クモ)?あなたは魔法の解決策に出くわしましたか?それとも、それを受け入れてボットをブロックするかブロックしないかのどちらかでしたか?
Robots.txtに従っている限り、リクエストを調整できます
User-agent: * Crawl-delay: 10