web-dev-qa-db-ja.com

線形カーネルでsvmを使用するのが最適な場所はどこですか?

私は現在svmを研究していて、線形カーネルでのsvmのアプリケーションが何であるか疑問に思っていました。私の意見では、これは線形最適化問題の解決に適用されるものでなければなりません。これは正しいです?

回答ありがとうございます!

20
Anna.Klee

もう1つ追加する必要があります。線形SVMは非線形よりも過剰適合しにくい傾向があります。また、状況に基づいて選択するカーネルを決定する必要があります。機能の数がトレーニングサンプルと比較して非常に多い場合は、線形カーネルを使用します。機能の数は少ないがトレーニングサンプルが多い場合は、線形カーネルも必要になることがありますが、機能を追加してみてください。フィーチャー番号が小さく(10 ^ 0-10 ^ 3)、サンプル番号が中間(10 ^ 1-10 ^ 4)である場合は、ガウスカーネルを使用することをお勧めします。

私の知る限り、通常、線形カーネルを備えたSVMはロジスティック回帰と同等です。

24
lennon310

線形カーネルにはいくつかの利点がありますが、おそらく(私の意見では)最も重要なものは、RBFなどの非線形カーネルと比較して、トレーニングが一般的にはるかに速いという事実です。

データセットのサイズがギガバイト単位である場合、トレーニング時間の差が大きいことがわかります(分と時間)。

4
Pedrom

線形カーネルは、線形分離可能なデータに適用するのが最適です。データセットに2つのフィーチャと2つのクラスしかないと想像してください。 XとYの2つの機能を使用してデータセットサンプルをグラフにプロットすると、異なるクラスのサンプルが相互にどのように配置されるかを確認できます。

2つのクラスを区切る線を引くのが簡単な場合は、線形カーネルが最適です。

enter image description here

もちろん、これは2つだけでなく、多くの機能で機能し、多次元空間をレンダリングします。ただし、データが線形分離可能でない場合は、RBFや多項式などのカーネルを使用して、サンプルを別の次元空間にマッピングする必要があります。

また、線形カーネルはマッピングを実行しないため、通常、他のカーネルよりも分類器をトレーニングする方が高速です。

4
Anoyz

線形カーネルを持つサポートベクターマシンのアプリケーションは、分類または回帰を実行することです。線形決定境界またはデータへの線形フィット、つまり線形カーネルがある場合に、最高のパフォーマンスを発揮します。

3
aplassard

線形カーネルを備えたSVMは確かに最も単純な分類子の1つですが、データ分布が線形分離可能であるときに非常に高いパフォーマンス精度が得られたとしても、驚くことではありません。

その意味で、あなたの意見は正しいと思います。ただし、SVMの能力が、はるかに複雑な非線形カーネル(RBFなど)の拡張機能にあることを理解する必要があります。

choosing classifiers の1つのリンク。

2
Ray