web-dev-qa-db-ja.com

Opera Miniからの同じあいまいなページへのログ内の多くのリクエスト。説明は何ですか？

私は自分のサイトのログを確認しましたが、同じ日にすべてのサイトの不明瞭なページに対する2万件のリクエストを見つけました。リクエストのIPアドレスはOpera Miniに属します。

誰かがこれを説明できますか？

リクエストがサイト全体に分散されている場合、ユーザーによる通常のOperaミニトラフィックである可能性があるため、それほど驚かないでしょう。しかし、なぜ私のサイトのまったく興味のないページへの2万件のリクエストなのでしょうか？

そして、Analyticsにはこの兆候はありません。したがって、JavaScriptは実行されないため、通常のトラフィックではありません。したがって、Analyticsでトラフィックが急増することはありません。

trafficlogginghigh-trafficopera-mini
1
Tom

Opera-mini.netのサブドメインが何百もあります。数え切れないほど多い！そのうち約20件について簡単に確認したところ、次の2つのことがわかりました。

1] Rogue Spider：robots.txtファイルを無視または無視するスパイダーまたはボット。

2]ステルススパイダー：ログファイルを分析するときに、サイト所有者のレーダーの下を飛行しようとするスパイダーまたはボット。

これは、ブロックしたいスクレーパーボットである可能性があります。

私はいくつかのブロックコードを提供して、試してみました。私はApacheに精通しています。間違いを犯した場合はお知らせください。ホスト名、IPアドレス、またはIPアドレスブロックでブロックできます。 この場合、IPアドレスブロックによるブロックをお勧めします。

IP: 82.145.208.160
Host: z27-11.opera-mini.net
ASN: AS39832 - Opera Software ASA

IPアドレス範囲：

82.145.208.0 - 82.145.223.255

NetMask：

Block: 82.145.208.0/20
Base Address: 82.145.208.0
Broadcast Address: 82.145.223.255
Net Mask: 255.255.240.0
Host Mask: 0.0.15.255
Bits: 20
Size: 4096
2nd Element: 82.145.208.2

ホストごとにブロック

Apache .htaccessを使用

RewriteCond %{HTTP_Host} ^z27-11\.opera-mini\.net$ [NC]
RewriteRule .* - [F,L]

Microsoft IIS Webサーバーを使用

<rule name="abort domain name z27-11.opera-mini.net" stopProcessing="true">
 <match url=".*" />
  <conditions>
   <add input="{REMOTE_Host}" pattern="^z27-11\.opera-mini\.net$" />
  </conditions>
 <action type="AbortRequest" />
</rule>

IPアドレスでブロック

Apache .htaccessファイル

RewriteCond %{REMOTE_ADDR} ^82\.145\.208\.160$ [NC]
RewriteRule .* - [F,L]

Cisco Firewall

access-list deny-82-145-208-160-32 deny ip 82.145.208.160 any
permit ip any any

Nginx

Edit nginx.conf and insert include blockips.conf; if it does not exist. Edit blockips.conf and add the following:
deny 82.145.208.160;

Microsoft IIS Webサーバー

<rule name="abort ip address 82.145.208.160/32" stopProcessing="true">
 <match url=".*" />
  <conditions>
   <add input="{REMOTE_ADDR}" pattern="^82\.145\.208\.160$" />
  </conditions>
 <action type="AbortRequest" />
</rule>

Windows netsh ADVFirewall Firewall

netsh advfirewall firewall add rule name="block-ip-82-145-208-160-32" dir=in interface=any action=block remoteip=82.145.208.160/32

IPアドレスによるブロック

Apache .htaccessファイル

RewriteCond %{REMOTE_ADDR} ^82\.145\.(2*[0-2]+[8901234567]+)\.([0-2]+[0-5]+[0-5]+)$ [NC]
RewriteRule .* - [F,L]

Cisco Firewall

access-list deny-82-145-208-0-20 deny ip 82.145.208.0 0.0.15.255 any
permit ip any any

Nginx

Edit nginx.conf and insert include blockips.conf; if it does not exist. Edit blockips.conf and add the following:
deny 82.145.208.0/20;

Linux IPTablesファイアウォールを使用してIPアドレスをブロックする方法。

Note: Use with caution.
/sbin/iptables -A INPUT -s 82.145.208.0/20 -j DROP

Microsoft IIS Webサーバー

<rule name="abort ip address block 82.145.208.0/20" stopProcessing="true">
 <match url=".*" />
  <conditions>
   <add input="{REMOTE_ADDR}" pattern="^82\.145\.223\..*$" />
  </conditions>
 <action type="AbortRequest" />
</rule>

Windows netsh ADVFirewall Firewall

netsh advfirewall firewall add rule name="block-ip-block-82-145-208-0-20" dir=in interface=any action=block remoteip=82.145.208.0/20
2
closetnoc