ニューラルネットワークと異常検出
任意のデータから行動パターンを学習する能力を備えたニューラルネットワークは、侵入検知に対処する自然な方法のように見えます。このトピックについては、優れたパフォーマンスとさらに優れた可能性を報告する多くの学術論文があります。
問題は、実際の実装はありますか？単一のインテリジェントファイアウォール、ファイアウォールモジュール、または実際にNNを使用する他の種類のインテリジェント侵入検知器はありますか？
異常検出 、つまりネットワークトラフィックをスキャンして侵入を検出するための機械学習技術の使用については、膨大な量の研究が行われてきました。ただし、この研究は実際にはほとんど影響を与えていません。これらの手法はほとんど展開されておらず、実際に使用されることはほとんどありません。
何故なの？理由はいくつかあります。
まず、これらのシステムは高い誤警報率を持つ傾向があります。多くの場合、1日あたり複数（場合によっては1日あたり数十個）の偽のアラームが発生し、システム管理者の時間がかかります。異常検出システムは「干し草の山」の問題に悩まされているため、これは異常検出システムの根本的な課題です。毎日何十億ものパケットがネットワークを通過し、それらのほとんどすべてが無害です。アルゴリズムの誤警報率が0.1％と低い場合でも、数千のパケットに誤ってフラグが付けられています。実用的には、異常検出アルゴリズムは非常に低い誤警報率を持っている必要があります。これは、空港のスクリーニングでテロリストを検出することは非常に困難であるのと同じ理由で、多くの誤警報を導入することなく非常に困難です。日常の人々を検索する必要があります。
第二に、異常検出システムはあまり堅牢ではない傾向があります。これらは、ネットワークトラフィックの異常なパターンや斬新なパターンを検出することに重点を置いています。その結果、ネットワークに何か変化があった場合は、どんなに無害であっても、アラームが発生する傾向があります。あなたのウェブサイトはスラッシュドット化されましたか？ばか、偽の警報が狂ってしまう。一部のユーザーは、小説を再生する新しいアプリケーションをインストールしましたかNAT=トラバーサルゲーム？Blam、ここで偽のアラームが発生しました。誰かが初めてIPv6をインストールしただけですか？Blam。誰かが新しい携帯電話を壊れたパケットを送信する奇妙なTCP/IPスタック？Blam。アイデアがわかります。
この分野でのイノベーションの課題について詳しくお読みになりたい場合は、以下の論文をお勧めします。
閉じた世界の外：ネットワーク侵入検出に機械学習を使用する場合 。ロビン・ソマーとヴァーン・パクソン。 IEEE Security＆Privacy 2010。
- 抜粋：「他の侵入検知アプローチと比較して、機械学習が運用の「現実世界」の設定で使用されることはめったにありません。[...]異常検出に関する広範な学術研究努力にもかかわらず、そのような成功が最初に認識されるのは驚くべきことです。運用環境のシステムは非常に制限されています。」
基本レートの誤謬と侵入検知の難易度に対するその意味 。ステファン・アクセルソン。 RAID 1999。
- 抜粋：「侵入検知システムのパフォーマンスを制限する要因は、動作を侵入と正しく識別する能力ではなく、誤ったアラームを抑制する能力です。」
MLの問題はトレーニングにあります。オーバートレーニングは、正確なトレーニングセットを一致させることにつながり、学習が一般的ではなくなります。
私の現在の雇用主はPython用の科学計算ライブラリを開発しているので、ログファイルで一般的なクラスターを見つけるためにディスコでmap-reduceを実行するように指示できます。 https://github.com/JensRantil/disco-slct
これはNNではありませんが、データを分析する方法の1つです。
SLCTの助けを借りて、ログファイルのモデルをすばやく構築し、モデルに適合しない（そしておそらく異常な）まれな行を特定することもできます。
このドメインは非常に商業化されており、オープンソースの実装はほとんど利用できず、ほとんどの作業はクローズドエコシステムで行われているため、商用製品を見つけることができるとは思えません。 link にあるこのトピックについての議論がありました。私が見つけた唯一のオープンソースツールは [〜＃〜] ossec [〜＃〜] ホストです-Based Intrusion DetectionとAI技術との統合に関する最近の研究があり、それに興味深い book もあります。
AIが私の主な仕事なので、NNだけではダイナミックアーキテクチャには役に立たないソリューションであるとすぐに言えます。
あなたが探しているのは、NN <=>オペレーター間の自動化です。
これは、たとえば次のように機能します。
- NNは既存のマルウェアを認識するようにトレーニングされています
- 新しいマルウェアは、対応チームによって検査されます。
あなたが言うような既存のアプリケーションはありません。なぜなら、それはこのように行われず、未来がなく、NNを使用して動的アーキテクチャを作成することは本質的に悪い設計だからです。
使用されるのは、実際にはベイズ分類と他のヒューリスティック手法です。実装例は、MicrosoftによるCloud Exchangeです。また、多層アーキテクチャを使用しています。
本当に頑張って科学的な方法を使いたい場合は、各セキュリティレイヤーをリアルタイムで分析し、オペレーターと一緒にワークフローを作成する必要があります。
AIの専門家もエンジニアもいないため、このフォーラムはこのような質問をするのに適した場所ではありません。実際には、MSDNを試すことができます。
トピックに関するさらに別の論文を見つけました： "異常ベースのネットワーク侵入検知：技術、システム、および課題" 、ガルシアテオドロ他、2008年。