Webクローラー/スクレーパーを操作すると、Webサイトの帯域幅が消費されますか？
WebサーバーからWebサイトクローラー/スクレーパーを操作したい（もちろん、倫理的に行う）。
私が疑問に思っているのは、これが私のウェブサイトの帯域幅を使用するかどうかです？もしそうなら、どれほどひどく、帯域幅の使用を最小限に抑えることは可能ですか？現在、1か月あたり5000GBのWebサイト帯域幅が割り当てられています。
サーバーからリソース（Webページ、画像ファイル、スタイルシートなど）を要求するものはすべて帯域幅を使用します。したがって、サーバーから他のサイトをクロールすると、帯域幅の制限にカウントされます。