StackOverflowのような大規模なサイトは、アクセスログをどのように処理しますか？
StackOverflowのような大規模なサイトがアクセスログをどのように処理するのか疑問に思っています。リクエストごとにディスクに書き込むことは少し不経済に思えますが、Google Analyticsはそれを唯一の情報リソースとして使用するのに信頼性がありますか？
Webサーバーのログには、Googleアナリティクスで利用できない情報がたくさんあります。私が考えられる2つのことです。
- 404などのエラー.
- 画像などのメディアファイルへのアクセス（画像にリンクしている外部Webサイトを含む）
- IPアドレス。ただし、別の質問への回答では、ユーザー変数として設定できることが指摘されています。
- たとえば、Googleは製品検索やWeb検索などからリンクを送信します。各検索にはキーワードがありますが、Googleアナリティクスは
&source=productsなどの他の変数を表示しません。
私はちょうど今考えることができないより多くのものでなければなりません。
また、エラーログもあります。私の意見では、ウェブサイトがスムーズに動作するためには重要でなければなりません。無視するものではありません。
* nixシステムでは、 syslog-ng を使用して、負荷分散されたクラスターの専用ログサーバーにログメッセージを保存してから、 Splunk などのログ分析ソリューション-StackExchangeサイトが実際に実行しているものに関しては、 StackOverflow Meta 。
私はこれらのログを実際に見ていないので、毎月それらを削除することになります。私はトラブルシューティングのためにそれらを見るだけです。監視アプリケーションがGoogleアナリティクスを使用するのに関しては、CrazyEggなどが素晴らしい仕事をしています。
そのようなサービスが存在する前は、これらのログは非常に貴重でした。現在、これらは優れた開発者ツールですが、これらのログを積極的にアーカイブしたり、データを解析したりする同僚や友人を知りません。