ログ収集/ syslogサーバーのディスク/システム構成
私はsyslog /ロギングインフラストラクチャの構築を検討しており、いくつかのアーキテクチャのベストプラクティスについて考えています。基本的に、syslogシステムは2つの競合するワークロードをサポートする必要があることがわかります。
- ログ収集。潜在的に大量のデータストリームをディスクにすばやく書き込み、インデックスを作成する必要があります。
- ログクエリ。ログは、日付やソースなどの固定フィールドとテキスト検索の両方でクエリされます。
今のところ単一のサーバーに保持したい場合、最適なディスク/システムのセットアップは何ですか？ SSDまたはRAMディスクを使用して一部の処理をオフロードする必要がありますか？ストライプのディスクとraid5のディスクはありますか？
特にElasticSearch/MongoDBでGraylog2に注目しています
まず、ログの値を定義するのに役立つと思います。これが大量の金融取引ログである場合は、バッテリーでバックアップされたキャッシュがたくさんある非常にハイエンドのRAIDコントローラーと、タグ付きの書き込みまたはNCQを備えたハイエンドディスクを選択できます。
一般的なケースでは、ZFSファイルシステムが非常に役立ちます。HDDが提供する安価な容量でHDDを自由に使用し、必要に応じて読み取り用のキャッシュ（ZFSのL2 ARCキャッシュ）としてSSDを追加できます。書き込みがボトルネックになった場合は、ZILにSSDを使用できます（事実上、ZFSの書き込みキャッシュ）。良いことは、それがすべてうまく機能することです。私の経験でも本当にうまくいきます。
競合するワークロードの懸念に対処するためにさらに進んで、Cassandra（他にも多くのオプションがあります）のような製品は、効率的な方法でこれらの要件をきちんと解決するアーキテクチャを備えています。