web-dev-qa-db-ja.com

tensorflowの正則化損失とは何ですか?

Tensorflows Object Detection APIを使用してオブジェクト検出DNNをトレーニングすると、その視覚化プラットフォームTensorboardはregularization_loss_1という名前のスカラーをプロットします

これは何ですか?私は正則化が何であるかを知っています(ネットワークをドロップアウトなどのさまざまな方法で一般化するのに優れているため)。

ありがとう!

12
gustavz

TL; DR:正則化関数によって生成される追加の損失です。これをネットワークの損失に追加して、2つの合計を最適化するにします。

あなたが正しく述べているように、正則化法は、最適化法がより一般化するのを助けるために使用されます。これを取得する方法は、損失関数に正規化項を追加することです。この用語は一般的な関数であり、「グローバルな」損失を修正します(-sumネットワーク損失正則化損失のように)最適化アルゴリズムを望ましい方向に動かすため。

たとえば、何らかの理由で、可能な限りゼロに近い重みを持つ最適化のソリューションを推奨したいとします。次に、1つのアプローチは、ネットワークによって生成される損失に、ネットワークの重みの関数(たとえば、重みのすべての絶対値の縮小された合計)を追加することです。 最適化アルゴリズムがグローバルな損失を最小化するなので、私の正則化項(重みがゼロから遠い場合に高い)は、重みがゼロに近いソリューションに向けて最適化をプッシュします。

6
GPhilo