空のユーザーエージェントの解釈
空のユーザーエージェントをどのように解釈すればよいですか？カスタム分析コードがいくつかあり、そのコードは人のトラフィックのみを分析する必要があります。人間のトラフィックとボットのトラフィックを示すユーザーエージェントの作業リストがありますが、空のユーザーエージェントには問題があることがわかっています。そして、空のUser-agentで約10％のトラフィックを大量に取得しています。
さらに、現在のログを分析することで、人間のトラフィックとボットトラフィックのユーザーエージェントリストを作成しました。そのため、そこに多くのエントリが不足している可能性があります。ボットのトラフィックを示すユーザーエージェントのよく管理されたリストや、逆に人のトラフィックを示すユーザーエージェントのリストはありますか？
「人間のトラフィック」のみを分析する場合、ユーザーエージェント文字列が空または欠落しているものはカウントしません。私の経験では、ほとんどすべてのブラウザーが常に1つを送信します。 UA文字列を偽造（他のOSまたはクライアント名を含む）または「正規化」（リリース番号なしなど）またはランダム化（例えばFF、時にはIE文字列）ではなく、ほとんどのプライバシープラグインまたは拡張それらを削除します（これが良いアイデアではない場合でも、これに依存する一部のサイトで問題が発生する可能性があるため）。
UAを使用しない単純なリクエストは、次のように実行できます。
wget --user-agent="" www.example.com
ご覧のように、必要なものを追加できます。 「野生」で見つかったUAを保存および公開するサイトは、多くのがらくたを見つけるので、あまり役に立ちません。
誰かがあなたのコンテンツを再帰的に取得しただけかもしれません。または、SEOツールを使用してサイトを分析しました（ユーザーがヘッダーを手動で変更できるものもあれば、robots.txt行を無視する意図があるものもあります）。そういうもの。そのような状況では、UAヘッダーはしばしばクライアントと目的を隠すために偽造されます。
これらの要求が絶えず回避されている場合、ヘッダー（プロキシ？）またはIP（特定のブロック？プライバシーに関する会社/プロキシ？）をさらに分析すると役立つ場合があります。
私は警備会社で働いており、とりわけ、Bad Botのトラフィックを監視しています。
私の経験に基づいて、空白のユーザーエージェントデータでの人間の訪問は、「ヘッドレスブラウザー」ボットによるスクレイピング/スパム行為（通常はスクレイピング）を示しています。
これらの訪問者は時々JSを実行することができるため、GAに表示されます-それでも、このことは人間を人間にしません:)
「プラグ」についておpoび申し上げますが、必要に応じて、CDNアクセラレーションやその他の特典と組み合わせて、無料のBad Bot保護サービスを提供しています。
この特定のケースでは、システムはこの訪問を「疑わしい」と認識し、既知の攻撃ベクトルに対して検証し、まだ不明な場合はさらにテストとチャレンジを実行します。これらの課題は、セッションを遅延させることなくシームレスに実行されます。
インターネットにアクセスするすべてのソフトウェアに、魔法のようにユーザーエージェントが与えられるわけではありません。ソフトウェア開発者は、その機能をソフトウェアにプログラムする必要があります。空のユーザーエージェントとは、ソフトウェア開発者がソフトウェアにユーザーエージェントを追加するのを忘れたことを意味します。
この質問に対する回答には、ユーザーエージェントとあなたの身元を隠すことや人間であることを比較するコメントがいくつかあります。これはばかげた比較です。 User-Agentは、アイデンティティや人間であることとは関係ありません。
履物のように考えてください。あなたが彼らを入れる前に彼らが履いている靴の種類を訪問者に尋ねています。これの最も一般的な用途は、あなたが展開する必要のあるカーペットの種類、きれいなドレスシューズのニースレッドカーペット、泥のforい玄関マットを知ることですブーツ、アレルギーのカーペットである訪問者のためのカーペットはありません。
訪問者が彼らが持っている履物（別名空のユーザーエージェント）を言いたくないとき、あなたはそれらを無視します。
はい、User-Agentおよびその他のリクエストヘッダー情報に基づいてWebリクエストに関することを想定しようとする多くの優れたプラクティスがあります。それらは、99％の時間でうまく機能しますが、他の多くの同様のプラクティスと同様に、偽陽性になりやすく、それによって通常の無知なユーザーを傷つけます。
空のUser-Agentを自分で誤って使用するという問題に遭遇したので、Webサービスがあなたの履物についてそれを伝えることを考えなかったという理由だけであなたを異なるように扱うとき、それは間違いなく楽しいと言えます。