web-dev-qa-db-ja.com

Googlebotが地図ロケーターに何千ものリクエストを送信し、APIクォータを使い果たしている

お客様のサイトに店舗検索ページがあります。エンドユーザーが郵便番号と検索範囲を入力すると、Googleマップに結果が表示されます。

最近、サイト全体のトラフィックが著しく増加することなく、サイトが無料の地図検索制限（24時間あたり約25,000）に達していることに気付き始めました。問題が何であるかを見つけるために、追加のロギングをいくつかオンにしました。

Googlebotはこの地図で何千もの検索を押し進めていることがわかりました。これは小さなサンプルです：

 2017-07-09 23：56：22,719 [7] INFO ShopLanding-[スレッド41] Googleマップ：検索されたG23は66.249.66.221 
 2017-07-09 23:56からOKを受け取りました： 35,469 [7] INFO ShopLanding-[スレッド10] Googleマップ：検索されたCA6は66.249.66.221 
 2017-07-09 23：57：24,563からOKを受け取りました[7] INFO ShopLanding-[スレッド48] Googleマップ：検索されたBN14は66.249.66.223 
 2017-07-09 23：58：00,970からOKを受け取りました[7] INFO ShopLanding-[スレッド42] Googleマップ：検索されたCB4は66.249.66.221 
 2017からOKを受け取りました-07-09 23：58：13,064 [7] INFO ShopLanding-[スレッド54] Googleマップ：検索されたDY9は66.249.66.221 
 2017-07-09 23：59：18,722 [7] INFO ShopLandingからOKを受け取りました-[スレッド59] Google Maps：検索TS3は66.249.66.223 
 2017-07-09 23：59：53,223からOKを受信しました[7] INFO ShopLanding-[スレッド49] Google Maps：検索S45は66.249からOKを受信しました.66.221

Googleが非常に多くのリクエストをプッシュするのを止める方法はありますか？これは、無料手当のかなりの割合を消費しています。正規の検索は1日あたり約200未満のようです。

編集

このサイトはC＃ASP.NET上に構築されています。ストア検索はPOSTを使用しており、URLは送信時に変更されません。明日の朝、IISログのサンプルを投稿して、この動作を確認できます。

web-crawlersgoogle-maps
10
Burgi

Googlebotがgooglemapsを介して検索するのを停止するには、ドメインのルートにrobots.txtという名前のファイルを配置します。例えば https://www.wikipedia.org/robots.txt

サンプルrobots.txt：

User-agent: Googlebot
Disallow: /search-store/

/ search-store /は、Googleマップにリクエストを送信するページです。

たまたまGooglebot以外の場合は、このページへのすべてのクロールを無効にしてみてください：

User-agent: *
Disallow: /search-store/

Robots.txtを無視するスクリプトの誤動作を止めないことに注意してください。

11
satibel