大規模なログ管理とストレージ
私は常に非常に大量のログ（1日あたり約1Gbで増加）を処理しており、ログを中央サーバーにローテーションする前にダンプしてからテープに保存するという古い方法で管理しています。
さて、これらのログは当局から要求される可能性があるため、ある時点で私はそれらを読み、必要なものを見つけて、興味深い部分を送り返す必要があります[私はイタリアにいます] ...とにかく取引生成されたログの量が増え続けるにつれて、そのようなものは非常に困難になりました。私のテープストレージも、数年前ほど簡単ではありません。
私はすでにGraylog2を試しましたが、それは非常に優れたソフトウェアのようです。途中の唯一の問題は、ログを別のストレージにエクスポートし、必要に応じてインポートし直す簡単な方法がないことです（おそらく私は間違って理解しましたそれが機能する方法）。
誰かが、そのような量のログを管理するために使用するプロセスの例、またはログを簡単にエクスポートして必要なときにインポートし直すソリューションを教えてもらえますか？
前もって感謝します
個人的には、Graylog2を使用しています。ログはあなたのログほど大きくないかもしれませんが、ログを保存および管理するための優れた方法です。
あなたの状況で私がすることは、Graylog2がログストレージにElasticSearchを使用することに注意することです。サーバーが処理できる限り、Graylog2を設定して、コンテンツをライブで検索可能に保ちます。 （X日より古いコンテンツを削除するように設定できます。）
アーカイブの目的で、設定された間隔ごとに（つまり、毎日）、その間隔のデータをコールドストレージにエクスポートするスクリプトを実行します。これは、ElasticSearchへの単純なJSONクエリと同じくらい簡単なはずです。
なぜ再インポートする必要があるのかわかりません。すべてテキストなので、必要に応じて標準ツール（grepなど）を使用して検索することも、独自のElasticSearchインポーターを作成することもできます。