web-dev-qa-db-ja.com

Yandexはページ名をアンパサンドに頻繁に置き換えます

Yandexクモは、私が管理しているサイトの1つに頻繁にアクセスします。場合によっては、ページ名を2つのアンパサンドと1つのスペースに置き換えます。したがって、ページが次の場合：

/mypage.aspx?param=value

次に、次のようにクロールしようとします。

/&& ?param=value

なぜこれをやっているのでしょうか？

編集：
このmistakeの発信元であるIPを正しく覚えている場合は、ロシアではなくカリフォルニアに基づいています。彼らは米国のIPアドレスから米国のサイトをクロールすると信じています。それが役立つかどうかわかりません。

リクエストに関する詳細情報：

IP: 199.21.99.82
City: Palo Alto
State: California
Country: United States
ISP: Yandex Inc.
User-Agent: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
web-crawlerscrawl-errorsyandex
3
Guy

この動作については、2つの説明しかありません。

  1. クローラーは、サイトまたは他のサイトで、その不正なURLへのリンクを見つけました。
  2. Yandexクローラーにはバグがあります。

そのURLが他のボットによってクロールされたり、実際のユーザーによってアクセスされたりしていない場合は、Yandexクローラーのバグであると思われます。 Yandexがその特定のバグを持つ理由については、私には言えません。ユーザーエージェントがURLでそのタイプの置換を行う正当な理由はありません。

1
Stephen Ostermiller