会社は私のウェブサイトをクロールする権利を暗示していますか？
McAfee SiteAdvisorが私のWebサイトを「セキュリティ上の問題がある可能性がある」と報告していることがわかりました。
マカフィーが私のWebサイトについて考えていることはほとんど気にしません（私は自分でそれを保護できます。そうでない場合、マカフィーは間違いなく私が助けを求める会社ではありません。ありがとうございました）。しかし、私が気になったのは、彼らがどうやら私の許可なしに私のウェブサイトをクロールしたことです。
明確にするために、私のWebサイトにはまだコンテンツがほとんどありません。私の個人的な使用のためのいくつかのプレースホルダーといくつかのファイルがあります。 ToSはありません。
私の質問は次のとおりです。McAffeeは私のウェブサイトからコンテンツをダウンロード/クロールする権利を持っていますか？禁止することはできますか？ 「私の城、私のルール」のような原則があるべきだと思いますが、基本的にすべての法的事項について何も知りません。
pdate：サーバープロバイダーがSiteAdvisorの調査結果について定期的にメールを送信していることを述べたはずです。それが私が彼らの「評価」を知り、それが私が不快である理由です。
これには法的な先例があります。 Field v。Google Inc.、412 F. Supp。 2d 1106、（U.S. Dist。Ct。Nevada 2006）。 Googleはいくつかの要因に基づいて略式判決を勝ち取りました。特に、著者がウェブサイトのメタタグでrobots.txtファイルを使用しなかったため、ウェブサイトの所有者がインデックスに登録したくないページをGoogleがクロールおよびキャッシュできなかった可能性があります。
特にrobots.txtファイルを扱う米国の法律はありません。ただし、別の裁判で先例があり、最終的にrobots.txtファイルがコンテンツを保護するためにとられた意図的な電子的手段を回避していると見なされる可能性があります。 HEALTHCARE ADVOCATES、INC対HARDING、EARLEY、FOLLMER＆FRAILEYなどヘルスケア提唱者たちは、robots.txtファイルを含む新しいバージョンのページのキャッシュファイルにアクセスするために、ハーディングらが本質的にウェイバックマシンの機能をハッキングしたと主張しました。 Healthcare Advocatesがこの事件を失ったが、地裁は問題はハーディングらが「ロックを選択した」のではなく、Wayback Machineへのアクセスを許可したWayback Machineのサーバー負荷問題のためにファイルへのアクセスを得たことであると指摘した。キャッシュされるべきではないファイルがキャッシュされたため、「選択するロックがありませんでした」。
誰かがこの判決を受け入れてそれを横に倒すまでの時間はIMHOのみです：裁判所はrobots.txtが防止するためのロックであることを示しましたそれをクロールして迂回するはロックを選択します。
残念ながら、これらの訴訟の多くは、「許可されていないためクローラーにこれらの設定やコマンドを無視したことをクローラーに伝えようとした」ほど単純ではありません。これらすべてのケースには、robots.txtファイルを米国のDCMA法に基づく電子的保護方法と見なすかどうかという主要な問題よりも最終的に結果に影響を与える多くの他の問題があります。
そうは言っても、これは米国の法律であり、中国の誰かが法的問題のためではなく、中国が米国の商標および著作権保護を強制しないため、彼らの後に続く幸運のために彼らが望むことを行うことができます。
短い答えではありませんが、質問に対する短い簡単な答えはありません。
はい、彼らはそうする権利を持っています-あなたは公開ウェブサイトを作成しましたが、彼らがそうではないと思う理由は何ですか？
もちろん、あなたにも彼らを止める権利があります。 robots.txt を使用してWebサイトをクロールしないよう依頼するか、または fail2ban のような方法でWebサイトへのアクセスを積極的に禁止することができます。
あるいは、それについて心配することなく、あなたの人生を続けてください。それは何も傷つけておらず、間違いなくインターネット調査の良性の側にあります。
この行動が倫理的であるかどうかは、完全に明確ではありません。
公開サイトをクロールする行為自体は、非倫理的ではありません（robots.txtまたはその他の技術的手段を使用して明示的に禁止し、それらを回避している場合を除く）。
彼らがしていることは、あなたに電話をかけるのとほぼ同じですが、あなたが安全でない可能性があることを世界に告知します。それがあなたの評判を損ない、正当化されない場合、それは非倫理的です。それがそれであり、そのための唯一の解決策があなたがそれらを支払うことを含む場合、それは悪党です。しかし、私はこれが起こっているとは思いません。
これが非倫理的となるもう1つのケースは、誰かがあなたのサイトをクロールしてあなたのコンテンツまたはデータを適切なものにしてから、それを自分のサイトとして表す場合です。しかし、それも起こっていることではありません。
したがって、この場合の彼らの行動は倫理的であり、ほとんどの場合無視することができます。
彼らとの関係がなく、電子メールを要求しなかった場合、それらに関連するスパム行為は倫理的ではありませんが、彼らは実際に購読解除を行っていると思います。
特定の人または企業があなたのWebサイトにアクセスするのをブロックする技術的アプローチ：
特定のIPアドレスまたはアドレスの範囲がサイトのページにアクセスするのをブロックできます。これは.htaccessファイルにあります（サイトがApache Webサーバーで実行されている場合）。
http://www.htaccess-guide.com/deny-visitors-by-ip-address/
Webサーバーにアクセス元のIPアドレスを記録させ、それらのIPアドレスを調べて、McAfeeに関連付けられているIPアドレスを見つけます。通常の訪問者がいない場合は、おそらくすぐにわかります。
もちろん、将来的にIPアドレスが変更される可能性があります。それでも、見つけたIPアドレスを調べて、その所有者を確認すると、McAfeeが所有するアドレスのブロック全体を把握し、それらすべてをブロックできる場合があります。
そうするための法的根拠：
「ウェブサイトの所有者は法的に一部のユーザーを法的にブロックできる」
（あなたのウェブサイトが個人的なものである場合、一部のユーザーをブロックするあなたの権利に誰も異議を唱えることはありません。しかし、それがビジネスのウェブサイトである場合、その議論の両側に法的および道徳的な議論があります。あなたのビジネスが小さければ小さいほど、簡単ですそれは法的に保護されるべきです-そして、とにかく誰もが文句を言うのに十分気にかけないでしょう。
「リファラーによる訪問者の拒否」にも興味があるかもしれません。
「ログを見て、トラフィックの驚くべき増加に気づいたにもかかわらず、実際のファイルリクエストの増加が見られない場合、おそらく誰かがコンテンツ（CSSファイルなど）をつまんでいるか、誰かがWebサイトをハッキングしようとしている（これは単に非公開コンテンツを見つけるために）。」