Splunkの代替？
私は Splunk 、特にバージョン4にかなり感心しています。かなりのグラフ、アラート（エンタープライズのみ）、高速で正確な検索。それは素晴らしい製品です。
ただし、コストが高すぎて、当社の完全な生産での使用を検討できません。私たちが本当に必要なのは、さまざまなログのインデックスを一元的に作成し、それを適切に検索できることです。保存された検索に基づいてアラートを持つことも、本当に素晴らしいことです。それを超えることはありません。
実際、私たちの最大の用途は、新しいアプリケーションの展開です。すべてがWindowsのイベントログまたはLinuxのテキストファイルのいずれかにlog4net経由で記録されます。 Splunkを使用すると、それらをすばやく簡単に検索して、アプリのすべての部分が正常に機能していることを確認できます。これにより、個々のログソースを探すのに比べて、多くの時間を節約できます。
この市場にはどのような選択肢がありますか？私はSplunkの価格設定が非常に高いので、彼らが最高の製品を持っているので、彼らはそれを知っているという沈黙の気持ちを持っています。サーバーをWindowsで実行する必要があります。
私は、一般的なログ用に1つの製品（syslog/Snareを介して収集）と、カスタムアプリ専用の製品（ Log4Net Dashboard など）を使用して、分割モデルに対応します。
SQL Serverに送信された（おそらくフルテキストが有効になっている）Kiwiなどの単純なsyslogサーバーを使用できますか？
コストは5ドルをはるかに下回るはずです。 （もちろん、私は知っています。私たちは安いです。私たちはほとんどお金のないスタートアップであり、BizSparkはすべてのMSライセンスを処理します。）
編集：追加する必要があります。約10台の物理サーバー、20台のVM、およびいくつかのファイアウォールとスイッチがあります。 90％はWindowsです。
注：これはLinuxとフリーソフトウェアに関するすべてですが、これは私が主に使用しているものですが、 Linuxのsyslogサーバーにログを送信するWindows上のsyslogクライアント
SQLサーバーへのロギング：〜30台のマシンのみで、集中化されたsyslogとSQLバックエンドのほとんどすべてで問題ないはずです。私は syslog-ng とMySQL on Linuxを使用しています。
グラフ化のためのかなりのフロントエンドが主な問題です-ログからアイテムを取得する多くのハッキングされたフロントエンドがあり、ヒット、アラートなどの数を表示しますが、統合されたクリーンなものは見つかりませんでした。確かに、これはあなたが探している主なものです...（何か良いものがあれば、このセクションを更新します！）
Alerting：Linuxサーバーで [〜＃〜] sec [〜＃〜] を使用して、発生している問題を検出しますログとさまざまな方法で私に警告します。それは信じられないほど柔軟性があり、Splunkほどクリック感がありません。 ここでは素敵なチュートリアル があり、可能な機能の多くをガイドしています。
また、さまざまな統計のグラフや、ログから取得できないアラート（サービスがダウンしているときなど）にも Nagios を使用しています。これは簡単にカスタマイズして、好きなもののグラフを追加できます。エージェントに check_logfiles プラグインを使用してログのヒット数をカウントさせることにより、httpサーバーへのヒット数などの項目のグラフを追加しました（取得した位置を保存します）チェック期間ごとに）。
全体的に、これを設定するのにかかる時間に依存します。使用できるオプションはたくさんありますが、統合されていません。 Splunkと同様に、おそらくあなたが望むことをするためにもっと努力が必要になるでしょう。 Nagiosグラフは設定が簡単ですが、グラフを追加する前の履歴データを提供しませんが、Splunk（およびおそらく他のフロントエンド）を使用すると、過去のログと過去のログを振り返ることができますそれらから見て考えた。
また、SQLデータベースのフォーマットとインデックス作成はクエリの速度にhugeの影響を与えるため、フルテキストインデックス作成のアイデアは、検索の速度。 MySQLとPostgreSQLのどちらが同じように動作するかはわかりません。
Edit：MySQLはフルテキストインデックスを作成しますが、MyISAMテーブルのみ MySQL 5.6より前。 5.6ではInnoDBのサポートが追加されました。
編集：Postgresqlはもちろん全文検索を実行できます： http://www.postgresql.org/docs/9.0/static/textsearch.html
Windowsよりも* nixを対象としていますが、 octopussy はWindowsをサポートしており、splunkと同じ種類のものを対象にしているようです。
多くの優れた機能を備えた一元化されたSyslogの場合は、 rsyslog で十分です。そのオープンソースのsyslogサーバーは、あなたが知っていて愛している通常のsyslogdのドロップイン置換としてうまく動作します。現在、Ubuntuで選択されているsyslogデーモンです。RedHatとFedoraもその道を進んでいると思います。私はその多くが簡単に起動して実行し、syslog-ngが望んでいることを実行するのが簡単だと感じました。
現在、当店には数百のサーバーのログを受信する2つの中央rsyslogサーバー（各サイトに1つ）があります。 Syslogの何かがアラート以上をトリガーするときはいつでも、自動電子メールアラートを受け取ります（もちろん、いくつかの微調整では、少し警戒心が強いアプリもあります）。おそらくnagiosなどにデータを送信するなど、もう少し賢くできるかもしれませんが、今のところ、十分に対応できます。
これはすべてmysqlデータベースにも入ります（ロールバックする方法であれば、Oracleまたはpostgresqlもサポートされています）。
Rsyslogサーバーにイベントログログを送信するための webフロントエンド と windows agent もあります。 Webフロントエンドは明らかにスプリンクルほど滑らかではありませんが、$ 0で仕事が完了します。
私はいくつかの監視ソリューションを試す途中ですが、主にウィンドウを監視したいと考えています。ほとんどのシステムは、SNMPモニタリングを対象としています。SNMPモニタリングは、エージェントなしで驚くべき量の情報を引き出します。
これらは私がこれまでに試したシステムのいくつかです：
Nagios-オープンソース。構成する豚ですが、高い評価があり、非常に柔軟に見えます。それは本質的にカウンターレコーダーのようで、リモートスクリプトの実行を許可しないため、MSシステムセンターやKaseyaのような設定の問題を拾うために使用することはできません。エージェントレスですが、各クライアントにNSclientツールがインストールされていないと、本質的には役に立ちません。
Cacti-snmp統計の取得に基づいた、かなりシンプルなグラフ作成ツール。エージェントレス。
OpsView-Nagiosに基づいていますが、設定が簡単で、フロントエンドが優れています。
HypericHQ-Windowsで簡単に起動して実行できます。基本バージョンは無料で十分です。商用のHypericHQエンタープライズがあります。エージェントは各クライアントにインストールする必要があります。
Zabbix-別の素晴らしい監視ツール。 nagiosよりも使いやすい。 Windowsおよびクライアントマシンにインストールできるエージェントがあります。これまでのところ、これを少しだけ調べました。
Zenoss-オープンソース。ゼノスのプロ意識に感動しました。そのSNMPベースのモニターと、HPプロリアント、Windowsサービス、ms sqlサーバー、mysqlのモニタリングを可能にする拡張機能のロードがあります。拡張機能はすべてSNMP経由で機能するため、クライアントマシンに何もインストールする必要はありません。私はまだそれをすべて調べていません。まだ活用していない機能がたくさんあるようです。それはZopeに基づいているので、Zopeのインストールに慣れていない限り、事前に用意されたVMをダウンロードすることをお勧めします-箱から出してすぐに夢のように動作します。
商業面では、いくつかのツールを見ることができます。
Kaseya-私が正しく覚えていれば、250ノードで年間約6kのコストがかかりますが、優れたツールであり、非常にアクティブなユーザーコミュニティがあります。そのmsp市場を目的とし、複数の企業システムの監視を可能にします。内部で問題なく使用できます。
GFIハウンドドッグ-Kaseyaよりもシンプルですが、現時点では非常に安価です。間違いなく一見の価値があります。
MSPシステムとして販売されているソリューションは数多くありますが、基本的には、モニター+リモート管理を組み合わせたものです。
イアン
Splunkはすばらしいと思います。ただし、小規模で支配的なLinux環境の場合は、 epylog のようなものを確認することをお勧めします。
かつて私が働いていた場所の1つで使用しました。
Linux Syslogコレクターに送信されるWindows Syslogメッセージをどの程度うまく処理できるかはわかりませんが、一見の価値があるかもしれません。
http://www.codeplex.com/polymon を見てください。
そのオープンソース、バックエンドでSQL Serverを使用し、豪華なUIを備えています
GFI EventsManager のようなものは約$ 4kのトリックを行うかもしれません。
- SNMPトラップ、Windowsイベントログ、W3Cログ、Syslogなどのイベントログの分析
- リアルタイムアラート、SNMPv2トラップアラートが含まれています
- 現在行われている主要なセキュリティ情報に関するレポートを表示する
- 集中型イベントログ
- すべてのセキュリティイベントの大部分を占める「ノイズ」または些細なイベントを削除する
- 24時間365日のリアルタイムの監視とアラート
- 組み込みのステータスモニターを使用して、GFI EventsManagerおよびネットワークのステータスをグラフィカルに監視します
- 仮想環境のサポート
SysLogの代替品を探している場合は、LogLogic、 http://loglogic.com のような商用のsyslog/rsyslogの代替品を検討することもできます。私たち（私が働いている場所）には、完全な機能を備えたロギング、ストレージ、およびレポートのアプライアンスセットがあります。基本的に、1秒あたり100,000通のメッセージを収集し、それらを痛め付け、索引付けして、検索を実行できるようにします。
Php-syslog-ngを試しましたか？ http://code.google.com/p/php-syslog-ng/
Splunkのはるかに手頃な価格の代替品を探している場合は、LogZilla（ http://www.logzilla.pro ）を試してください。 Splunkと同等またはそれ以上に拡張でき（約1〜2秒で300mを超えるログを検索できます）、コストの1/10を簡単に達成できます。 http://demo.logzilla.pro でデモが実行されています
重複スレッドを投稿しました： Splunkは非常に高価です：代替手段は何ですか？
xpologとすべての深刻な商用ソリューションはBIG $（splunk未満であっても、ほとんどが5桁です！）
Sooooo、私たちが最後にやったこと（splunkが多すぎるため）：
1）sql dbパイプラインへの単純なsyslogが必要でした
2）kiwi syslogを試しました。これは1週間うまく機能し、動作を停止し、キウイサポートはそれを修正できませんでした。だからキウイを落とした
3）winsyslogを試しました。アプリの老犬、私たちはそれを学びたくありませんでした。
4）私たちはこの無料の.netアプリを使用しました： http://www.aonaware.com/syslog.htm
出来上がり。データベースにsyslogメッセージがあります。
私たちはとても幸せです。 $ 0費やしましたが、数時間ですが、多すぎません。
ここではSplunkを使用していますが、彼らがあなたに言った価格にちょっとショックを受けました。私たちに与えられた基本的な内訳は、1GBのデータあたりおよそ$ 1k USのどこかにありました。コストはかかりますが、非常に強力で、開発は非常に高速です。データソースとそれらをどのように処理したいかに応じて、いくつかのpythonとPerlスクリプトを使用すると、多くの同様のデータが得られる可能性があります。大きな違いは時間です。テキスト処理の言語です。sysloggerを取得してテキストファイルに情報を出力することでこれを修正できますが、リアルタイムのIP情報（syslogなど）を取得することもできません。申し訳ありませんが、特定のソリューション、Python、Perl、およびbashスクリプトを使用するためにsplunkを使用できない理由。
Liquidlabsからlogscapeを試すこともできます-splunkによく似ていますが、いくつかの異なる機能も備えています... http://www.liquidlabs-cloud.com/products/logscape.html
私は前の仕事（ちなみにMySQLでした）でSQLバックエンドの処理を行いました。スクリプト、Drupalインターフェイス、カスタムPHPスクリプトを使用して完成しました。
正直なところ、それは非常に多くの工数を要し、それでもSplunkではありませんでした。
現在、代わりにSplunkをテストしています。ええ、それは無料ではありませんが、全体像を見ると、実際には安いかもしれません。
ELSA-エンタープライズログ検索とアーカイブ
主な特徴：
- メッセージまたは解析済みフィールド内の任意のWordの全文検索。
- 任意のフィールドでグループ化し、結果に基づいてレポートを作成します。
- 検索をスケジュールします。
- 新しいログでの検索ヒットに関するアラート。
- 検索を保存し、保存した検索結果をメールで送信します。
- 検索結果に基づいてインシデントチケットを作成します（プラグインを使用）。
- 結果のための完全なプラグインシステム。
- 結果をパーマリンクとして、またはExcel、PDF、CSV、HTMLでエクスポートします。
- 権限の完全なLDAP統合。
- ユーザー別のクエリの統計、ログのサイズと数。
- 完全に分散されたアーキテクチャで、n個のノードを処理し、すべてのクエリを並行して実行できます。
- 10：1を超える比率の圧縮アーカイブ。
パフォーマンスの詳細：
システムの仕様については、重要度の順に：ディスクサイズ、RAM、ディスク速度、CPU数。優先するパフォーマンス要因はSphinxのインデクサーと検索デーモンです。ドキュメントについては、sphinxsearch.comを参照してください。私の与えられた統計は大規模システム（16 CPU、144 GB RAM、12 TB HD））から取得されますが、4 CPU、8 GB RAM、および線形にスケーリングするHDのサイズ。システムは最初に4 GBのIBMブレードで実行されましたRAMおよび低速SANドライブであり、ほぼ同じ速度で実行されましたが、4 GBは少し近づいています。
パフォーマンスの詳細と主な機能のリスト、およびアーキテクチャの説明： http://ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html
コード： https://code.google.com/p/enterprise-log-search-and-archive/
VM： http://ossectools.blogspot.com/2011/07/elsa-vmware-appliance-available.html
プロジェクトに関する詳細： http://ossectools.blogspot.com/2011/03/comprehensive-log-collection.html