不要なクローラー（詐欺師、詐欺師など）によるクローキングに対するGoogleの許容範囲はどのくらいですか？
クラシファイド広告のウェブサイトがあります。
一部の詐欺師、詐欺師、子供はコンテンツをクロールします。
いくつかの可能性があります：
- マルチスレッド化されたcurlリクエストで複数のEC2を実行し、1時間あたり10万件のリクエストが発生します。
- 不公平、彼らは自分のウェブサイトのコンテンツを使用します。
- 危険なのは、ユーザーをスパム（電子メールまたはSMS）するためにコンテンツを使用することです。
- 非常に危険です、彼らはユーザーを詐欺しようとします。
ユーザーからユーザーを保護するために、電話番号の変更、テキストのスクランブルなど、クローキングをいくつか行います（これらの限定された不要なクローラーでのみ）。
Googleはこの種のクローキングに耐性がありますか？
Googleは、ユーザーが見るものと同じものを見ることにのみ関心を持っています。これらの悪いクローラーに異なるコンテンツのみを提供し、ユーザーが通常のコンテンツを取得していて、Googleが同じコンテンツを取得している場合は、問題ありません。
クローキングに関するGoogleのドキュメント です。クローキングを「人間のユーザーと検索エンジンに異なるコンテンツまたはURLを提示する慣行」と定義しています。
このページには、Matt Cuttsのビデオもあります。 0:28のビデオで、Mattはクローキングを「Googlebotとは異なるコンテンツをユーザーに表示する」と定義しています。
Googleは、実際のユーザーに表示するものと、検索エンジンのクローラーに表示するもののみを考慮します。他のユーザーエージェントに異なるコンテンツを表示できますが、Googleは気にしません。また、検索エンジンから来たものではなく、Googleが気にしないユーザーにさまざまなコンテンツを表示することもできます。 Googlebotが見るコンテンツがGoogleのユーザーが見るものである限り、ペナルティはありません。