ニューラルネットワークで重みベクトルが決定平面に直交するのはなぜですか
私はニューラルネットワークの初心者です。私はパーセプトロンについて学んでいます。私の質問は、なぜ重みベクトルが決定境界（超平面）に垂直なのですか？私は多くの本を参照しましたが、すべてが重みベクトルが決定境界に垂直であると述べていますが、誰も理由を言っていませんか？
誰かが私に本の説明や参照を教えてもらえますか？
重みは、単に分離面を定義する係数です。今のところ、ニューロンを忘れて、N次元の平面の幾何学的定義を考えてみてください。
w1*x1 + w2*x2 + ... + wN*xN - w0 = 0
これはドット積と考えることもできます。
w*x - w0 = 0
ここで、wとxは両方とも長さNのベクトルです。この方程式は、平面上のすべての点に当てはまります。上記の方程式に定数を掛けることができ、それがまだ成り立つので、ベクトルwが単位長になるように定数を定義できることを思い出してください。次に、一枚の紙を取り出し、x-y軸（上記の式のx1とx2）を描きます。次に、原点の近くに線（2Dの平面）を描画します。 w0は、原点から平面までの垂直距離であり、wは、原点からその垂線に沿って指す単位ベクトルです。ここで、原点から平面上の任意の点にベクトルを描画すると、そのベクトルと単位ベクトルwの内積は常にw0に等しくなるため、上記の式が成り立ちますよね？これは単に平面の幾何学的定義です。平面の垂線（w）と原点から平面までの距離（w0）を定義する単位ベクトルです。
これで、ニューロンは上記と同じ平面を表すだけですが、変数の説明が少し異なります。 xのコンポーネントを「入力」と呼び、wのコンポーネントを「重み」と呼び、距離をw0をバイアスと呼びます。これですべてです。
あなたの実際の質問を少し超えて、私たちは飛行機のポイントを本当に気にしません。平面のどちら側に点が当たるかを本当に知りたいのです。 w*x - w0は平面上では正確にゼロですが、平面の片側の点には正の値があり、反対側の点には負の値があります。そこでニューロンの活性化関数が登場しますが、それはあなたの実際の質問を超えています。
直感的には、バイナリ問題では、重みベクトルは「1」クラスの方向を指しますが、重みベクトルから離れる方向を指すと「0」クラスが見つかります。したがって、決定境界は重みベクトルに対して垂直に描画する必要があります。
簡略化された例については、画像を参照してください。入力が1つしかないニューラルネットワークがあり、重みが1つあります。重みが-1（青いベクトル）の場合、すべての負の入力が正になるため、負のスペクトル全体が「1」クラスに割り当てられ、正のスペクトルは「0」クラスに割り当てられます。したがって、2軸平面の決定境界は、原点を通る垂直線（赤い線）です。簡単に言うと、重みベクトルに垂直な線です。
この例をいくつかの値で見ていきましょう。すべてのinputs * weightsの合計が0（デフォルトのしきい値）より大きい場合、パーセプトロンの出力はクラス1です。それ以外の場合、出力がしきい値0より小さい場合、クラスは0です。入力の値は1です。 。この単一の入力に適用される重みは-1であるため、1 * -1 = -1は0未満です。したがって、入力にはクラス0が割り当てられます（注：クラス0およびクラス1は、クラスAまたはクラスBと呼ばれる可能性があります。それらを入力値および重み値と混同しないでください）。逆に、入力が-1の場合、input * weightは-1 * -1 = 1であり、0より大きいため、入力はクラス1に割り当てられます。すべての入力値を試すと、すべての入力値がこの例の負の値の出力は0より大きいため、すべてクラス1に属します。すべての正の値の出力は0より小さいため、クラス0として分類されます。すべての正と負を区切る線を引きます。値（赤い線）を入力すると、この線が重みベクトルに垂直であることがわかります。
また、重みベクトルは、必要な出力に合うように入力を変更するためにのみ使用されることに注意してください。重みベクトルがないとどうなりますか？ 1の入力は、0のしきい値よりも大きい1の出力になります。したがって、クラスは「1」です。
このページ の2番目の画像は、2つの入力とバイアスを持つパーセプトロンを示しています。最初の入力の重みは私の例と同じですが、2番目の入力の重みは1です。したがって、対応する重みベクトルと決定境界が、画像に示すように変更されます。また、バイアスが1に追加されたため、決定境界は右に変換されています。
2年前に質問されましたが、多くの学生が同じ疑問を持っていると思います。同じ質問をしたので、この答えに到達しました。
ここで、X、Yについて考えてみます（デカルト座標系は、点から2つの固定された垂直な有向線までの符号付き距離である数値座標のペアによって平面内の各点を一意に指定する座標系です[ ウィキペディアから ]）。
Y = 3Xの場合、ジオメトリYはXに垂直であるため、w = 3とし、Y = wX、w = Y/Xとします。Xとwの関係を描画する場合は、次のように2本の垂直線があります。 X、Yの間の関係を描きます。したがって、常にw係数をXとYに垂直であると考えてください。