この文脈でエントロピーはどういう意味ですか？

Question

信号（この場合は画像）は複数の信号（画像内のオブジェクト）とノイズで構成されているというパラダイム「信号分離」を使用して問題に取り組む画像セグメンテーションペーパーを読んでいます。、タスクは信号を分離することです（画像をセグメント化します）。

アルゴリズムの出力は行列です $S \in R^{MxT}$ これは画像のMコンポーネントへのセグメンテーションを表します。 Tは画像の総ピクセル数です $s_{ij}$ は、ピクセルjでのソースコンポーネント（/信号/オブジェクト）iの値です。

私が読んでいる論文では、著者はコンポーネントmを選択したいと考えています $m \in [1,M]$ これは特定の滑らかさとエントロピーの基準に一致します。しかし、この場合のエントロピーが何であるかを理解できていません。

エントロピーは次のように定義されます。

$H(s_m</a> - \sum_{n=1}^{256} p_n (s_m) \cdot log_2 (p_n (s_m)), m= 1,..., M$ ）==

そして彼らはそれを言う '' ${p_n(s_m)}_{n=1}^{256}$ は、のヒストグラムのビンに関連付けられた確率です。 s_m ''

標的成分は腫瘍であり、論文には次のように書かれています。「腫瘍関連成分「ほぼ」定数値の場合、エントロピーの値が最も低くなると予想されます。」

しかし、この文脈で低エントロピーはどういう意味ですか？各ビンは何を表していますか？エントロピーの低いベクトルはどのように見えますか？

論文へのリンク

Tapio Friberg · Accepted Answer

彼らはシャノンのエントロピーについて話している。エントロピーを表示する1つの方法は、特定の確率分布に関連付けられたイベントに関する不確実性の量にエントロピーを関連付けることです。エントロピーは「障害」の尺度として役立ちます。無秩序のレベルが上がると、エントロピーが上がり、イベントの予測が難しくなります。

論文のエントロピーの定義に戻る：

H（s_m）は、確率変数s_mのエントロピーです。ここに - は、結果s_mが発生する確率です。 mはすべての可能な結果です。確率密度p_nは、グレーレベルヒストグラムを使用して計算されます。これが、合計が1から256まで実行される理由です。ビンは可能な状態を表します。

では、これはどういう意味ですか？画像処理では、エントロピーを使用してテクスチャを分類する場合があります。特定のパターンがほぼ特定の方法で繰り返されるため、特定のテクスチャに特定のエントロピーが含まれる場合があります。論文の文脈では、低エントロピー（H（s_m）は、コンポーネントm内の低無秩序、低分散を意味します。低エントロピーのコンポーネントは、高エントロピーのコンポーネントよりも均質であり、滑らかさの基準と組み合わせて分類します。コンポーネント。

エントロピーを見る別の方法は、それを情報量の尺度として見ることです。エントロピーが比較的「低い」ベクトルは、情報量が比較的少ないベクトルです。 [0 1 0 1 1 10]の可能性があります。エントロピーが比較的「高い」ベクトルは、情報量が比較的高いベクトルです。 [0 242 124 222 14913]の可能性があります。

これは魅力的で複雑なテーマであり、1つの投稿にまとめることはできません。

Abdullah Amer Mohammed Salih · Answer

エントロピーはシャノン（1948）によって導入され、エントロピーの値が高い=より詳細な情報でした。エントロピーは画像情報コンテンツの尺度であり、情報ソースの平均的な不確実性として解釈されます。画像では、エントロピーは、個々のピクセルが適応できる強度レベルの対応する状態として定義されます。画像の詳細の定量分析と評価に使用され、画像の詳細をより適切に比較できるようにエントロピー値が使用されます。

user11490381 · Answer

おそらく、画像のエントロピーと情報コンテンツについて考える別の方法は、画像をどれだけ圧縮できるかを検討することです。圧縮方式（ランレングスエンコーディングは多くの1つです）とは関係なく、情報が少ない（エントロピーが低い）単純な画像は少ないバイト数のデータでエンコードできますが、完全にランダムな画像（ホワイトノイズなど）はあまり圧縮できません。あったとしても。