web-dev-qa-db-ja.com

IPアドレスまたはアドレス範囲をいつブロックするかをどのように決定しますか?

いくつかのサイトへのトラフィックを分析するとき、ほとんどの場合、日本、ロシア、および私のサイトを訪問しているビジネスを実際に持たない他の国のようなあいまいなソースからの大量のトラフィックに気づきます。

ほとんどの場合、これらの「訪問者」は、正当と思われる他の訪問者よりもかなり多くサイトを閲覧しています。

これらのボットは私のサイトにインデックスを付けるのですか、それとも本質的に悪意のあるボットですか?IP拒否フィルターを使用して禁止する必要がありますか?

また、これらの訪問者を処理するより良い方法があります。そうすれば、私は両方の訪問者の意図を判断し、サイトからそれらを「集め」ます。


編集:

利用可能なすべてのリソースを使用してこれらの「訪問者」の意図を判断できない場合、サイトのページ/セクションを作成することは(SEOの観点から)悪い考えでしょうか? 、「訪問者」がボット(ロボットではなく、サイトをp索して欠陥をさらすボット)であることを疑いなく教えてくれますか?

1
CheeseConQueso

これらのボットは私のサイトにインデックスを付けるのですか、それとも本質的に悪意のあるボットですか?IP拒否フィルターを使用して禁止する必要がありますか?

教えてください。通常のユーザーと同じようにサイトとやり取りしている場合、それらをブロックする必要はありません。他の地域の訪問者よりも多くサイトを使用している場合、あなたのサイトは他の地域のユーザーにアピールするかもしれません。

また、これらの訪問者を処理するより良い方法があります。そうすれば、私は両方の訪問者の意図を判断し、サイトからそれらを「集め」ます。

IPアドレスまたはIPアドレスの全範囲をブロックする前に、これらのユーザーが悪意があることを確認する必要があります。ログを確認してください。悪意のあるリクエストがありますか?長時間の訪問やページリクエスト以外の異常なアクティビティがありますか?彼らはどのユーザーエージェントを使用していますか?彼らは自分自身をボットとして識別していますか?もしそうなら、あなたはそれらを研究しましたか? robots.txtを尊重していますか?

一連のアクションを決定する前に、ここに問題があるかどうかを判断する必要があります。現時点では、ここに投稿した内容について疑わしい点や異常な点はありません。

利用可能なすべてのリソースを使用してこれらの「訪問者」の意図を判断できない場合、サイトのページ/セクションを作成することは(SEOの観点から)悪い考えでしょうか? 、「訪問者」がボット(ロボットではなく、サイトをp索して欠陥をさらすボット)であることを疑いなく教えてくれますか?

承知しました。人間が見つけられず、robots.txtによってブロックされているWebサイトのページへのリンクを配置するだけです。これにより、人間と良いボットを排除します。その後、このページが不正なボットに見舞われると、ログに記録できます。 robots.txtファイルに従わなかったため、不正なボットであり、ブロックすることに傾くことができます。また、それをログと比較して、アクションのコースに関して十分な情報に基づいた決定を下すために何ができるかを確認することもできます。

3
John Conde

Googleアナリティクス( http://www.google.com/analytics/ )のようなものを試してみて、彼らが何をしているかを確認することができます。また、サイトにビジネスがない理由を検討し、興味のあるコミュニティになる可能性のあるものをカバーするように拡張することも検討してください。また、中国のような国のすべてが悪意があるわけではなく、物を盗もうとはしません。

0
Daniel F