web-dev-qa-db-ja.com

User-Agent "gce-spider"はよく知られた詐欺師、悪いボットですか？

私のウェブサイトは、「詐欺ウェブサイトがプロキシを介してコンテンツを盗み、盗まれたコンテンツを独自のドメインから提供し、SERPのサイトを置き換えます」という手法を使用して詐欺されています。

Apacheログは、次のエントリで詐欺が開始されたことを示しています。

185.32.189.38 - - [14/Apr/2017:05:57:32 +0200] "GET / HTTP/1.1" 200 27428 "https://dbwebb.se/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
185.32.189.38 - - [14/Apr/2017:19:55:46 +0200] "GET / HTTP/1.1" 200 27428 "https://dbwebb.se/" "AppEngine-Google; (+http://code.google.com/appengine; appid: s~gce-spider)"
185.32.189.38 - - [14/Apr/2017:19:55:47 +0200] "GET / HTTP/1.1" 200 24445 "https://dbwebb.se/" "AppEngine-Google; (+http://code.google.com/appengine; appid: s~gce-spider)"
185.32.189.38 - - [14/Apr/2017:19:55:50 +0200] "GET / HTTP/1.1" 200 27428 "https://dbwebb.se/" "AppEngine-Google; (+http://code.google.com/appengine; appid: s~gce-spider)"

詐欺はユーザーエージェントから発生したようです。

"AppEngine-Google; (+http://code.google.com/appengine; appid: s~gce-spider)"

同じユーザーエージェントは、2017年6月23日までの14日間ごとに私のWebサイトにアクセスしました。

このUser-Agentにはgce-spiderが含まれていますか？

web-crawlersscraper-sites
2
Mikael Roos

これらのユーザーエージェントの最初の部分：

AppEngine-Google; (+http://code.google.com/appengine; appid

google App Engineで実行されている何らかのソフトウェアであることを示します。これは一般的なユーザーエージェントです。

これは、Googleがすべてのアプリに付加す​​る一般的なユーザーエージェントフラグメントです。次のビットは、開発者が選択した個々の「アプリ名」です。

サーバーにアクセスしてコンテンツを盗むボットの場合、それはgce-spider（アプリ名の前にs~が付いていることもあります）

ユーザーエージェントを調べることで収集できる以上のものはありません。

周りを検索すると、少なくとも2016年から存在しています。コンテンツを盗んでいると確信している場合は、アプリ名（Google Compute Engine）で「GCE」を使用していることを考慮して、Googleに報告する必要があります予約語！ （誤解を招くように思われるため、「Facebook」という単語を含むFacebookアプリを作成できない方法で）

3
whatismybrowser.com