スクレイピング活動に携わってきたさまざまな人々や組織の中で、Automatticは最も奇妙なものの1つです。彼らはブロックされることを知っているかのように、多くの独立したIP範囲を持っているので、それを難しくしたいのです。しかし、彼らは誰ですか?なぜ彼らは私のサイトをスクレイピングするのですか?
更新スクレイピングとは、WordPress以外のサイトへの過度の不当な訪問を意味します。 1分以内に同じページに10回アクセスするのが好きです。または毎日訪れます。私はそれらの多くのIP範囲を禁止する必要がありました。これは多くの地理的地域にある範囲です。
Automattic Analytics Crawler
Automatticでは、世界でこれまでにない最高の出版プラットフォームの作成に情熱を注いでいます。これまでのところかなり良い仕事をしたと思いますが、栄誉にとどまりません。 WordPressの改善に常に努めています。これを行うためのより効果的な方法の1つは、ユーザーの意見を聞くことです。 Automattic Analytics Crawlerは、WordPressの使用方法を発見するために使用するユーティリティです。クローラーについてご質問がある場合はお知らせください。
私の知る限り、Automatticは一般的に評判の良い会社と見なされているため、おそらくそれらに連絡して説明を求めるべきでしょう。スクレーパーにバグがあるのかもしれません。
ただし、IPがさまざまな場所から来ていると言った場合(私はあなたが多くの異なる国を意味すると仮定します)、これはAutomatticがこれらの要求をまったく行っておらず、実際にはスパムボットなどではない可能性が非常に高いです.
その場合、不正なリクエストを行うIPを引き続きブロックする必要があります。ただし、あまりにも一般的でIPの範囲をブロックすることはお勧めしません。実際の訪問者をブロックすることになります。