web-dev-qa-db-ja.com

Automatticとは誰で、なぜWordpress以外のサイトに頻繁にアクセスするのですか?

スクレイピング活動に携わってきたさまざまな人々や組織の中で、Automatticは最も奇妙なものの1つです。彼らはブロックされることを知っているかのように、多くの独立したIP範囲を持っているので、それを難し​​くしたいのです。しかし、彼らは誰ですか?なぜ彼らは私のサイトをスクレイピングするのですか?

更新スクレイピングとは、WordPress以外のサイトへの過度の不当な訪問を意味します。 1分以内に同じページに10回アクセスするのが好きです。または毎日訪れます。私はそれらの多くのIP範囲を禁止する必要がありました。これは多くの地理的地域にある範囲です。

1
Funnelcake

Automattic Analytics Crawler

Automatticでは、世界でこれまでにない最高の出版プラットフォームの作成に情熱を注いでいます。これまでのところかなり良い仕事をしたと思いますが、栄誉にとどまりません。 WordPressの改善に常に努めています。これを行うためのより効果的な方法の1つは、ユーザーの意見を聞くことです。 Automattic Analytics Crawlerは、WordPressの使用方法を発見するために使用するユーティリティです。クローラーについてご質問がある場合はお知らせください。

ソース: http://en.wordpress.com/crawler/

1
Simon Hayter

私の知る限り、Automatticは一般的に評判の良い会社と見なされているため、おそらくそれらに連絡して説明を求めるべきでしょう。スクレーパーにバグがあるのか​​もしれません。

ただし、IPがさまざまな場所から来ていると言った場合(私はあなたが多くの異なる国を意味すると仮定します)、これはAutomatticがこれらの要求をまったく行っておらず、実際にはスパムボットなどではない可能性が非常に高いです.

その場合、不正なリクエストを行うIPを引き続きブロックする必要があります。ただし、あまりにも一般的でIPの範囲をブロックすることはお勧めしません。実際の訪問者をブロックすることになります。

0
DisgruntledGoat