ユーザーエージェントのブラックリストを推奨
Perishable Pressは、マネージドユーザーエージェントのブラックリストを頻繁に公開しています。これにより、htaccessディレクティブである不正なボットがブロックされます。
ここにある記事： http://perishablepress.com/press/2009/03/29/4g-ultimate-user-agent-blacklist/
そのようなブラックリストの使用をお勧めしますか？私のサイトにアクセスするボットによって大量のトラフィックが消費されていることがわかるため、主な目標はサーバーでのリクエストを減らすことです。
乾杯
それがあなたの要件/ニーズを満たしている場合、それらの定義および/またはアプローチで見つけることができる特定の矛盾がない限り、一般的にはい。慎重なルートは、最初の実装時に非常に綿密に監視して、予期しない/予期しない副作用を発生させることなく、ニーズに適合していることを確認することです。
robots.txtを使用して、正常に動作するボットを制御し、悪意のあるボットのレート制限を要求することをお勧めします。クライアントによって制御されているものを不正な動作のボットに使用することはできません。ボットは自分自身を変更してフィルターを回避できるためです。