私が世話をするサイトは、172.31.13.241と172.31.42.227の誰かによってクロールされ始めたところです。 WHOIS情報によると、これらは特別な目的、特にプライベートネットワークのためにIANAによって予約されたブロックの一部です。
彼らは400 rpmを作っています-それほど悪くはなく、インフラストラクチャの問題ではありませんが、完全に無害なクロールのようには感じません1〜5 rpm)。
私は今のところそれらを禁止しましたが、ApacheアクセスログのプライベートIPが何らかの理由で通常の「通常の」ものであることを示すもっともらしい説明があるかどうか知りたいです。これまでのところ、Superuser.com、Webmasters SE、またはより広いネットでそのような説明を見つけることができませんでした。
編集:ジョン・マクナマラの包括的な概要をありがとう。 2つのIPは、AWSインスタンスの前のElastic Load Balancerに属していることが判明しました。問題は、通常、リクエストのIPをインスタンスに直接渡すことです(たとえば、GoogleBotのIPを見ることができ、閲覧中にユーザーと自分のIPを見ることができます)。ロードバランサーのログを使用してパブリックIPを見つけましたが、それはクロールが必要なトライアル中の製品であることが判明しました。彼らは通常、私たちのものよりもはるかに大きなウェブサイトをクロールしているため、異常に多くのウェブサイトをクロールしていると思います。
サーバーログのプライベートIPアドレスについて、異常なまたは悪意のあるものはありますか?
apacheアクセスログのプライベートIPが何らかの理由で通常の「通常の」ものであることを示すもっともらしい説明があるかどうかを知りたい
珍しい。おそらく、それはトラフィックが何をしようとしているかに大きく依存します。
from https://www.iana.org/help/abuse-answers
これらのアドレス範囲のいずれかからの明らかな攻撃またはスパムが表示される場合、ローカル環境、ISP、またはアドレスが「 なりすまし "。
根本原因は次のいずれかです。