web-dev-qa-db-ja.com

Scikit-learnによる情報ゲインの計算

テキスト分類にScikit-learnを使用しています。 （スパース）ドキュメント用語マトリックスのクラスに関して、各属性の情報ゲインを計算したい。情報ゲインは、H(Class)-H（Class | Attribute）として定義されます。ここで、Hはエントロピーです。

Wekaを使用すると、これは InfoGainAttribute で実現できます。しかし、私はscikit-learnでこの尺度を見つけていません。

しかし、 推奨 は、上記の情報ゲインの式が相互情報量と同じ尺度であることです。これは wikipedia の定義とも一致します。

このタスクを達成するために、scikit-learnの相互情報に特定の設定を使用することは可能ですか？

pythonmachine-learningscikit-learntext-classificationfeature-selection
17
Characeae

Scikit-learnの mutual_info_classif ここに例があります

from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_selection import mutual_info_classif
from sklearn.feature_extraction.text import CountVectorizer

categories = ['talk.religion.misc',
              'comp.graphics', 'sci.space']
newsgroups_train = fetch_20newsgroups(subset='train',
                                      categories=categories)

X, Y = newsgroups_train.data, newsgroups_train.target
cv = CountVectorizer(max_df=0.95, min_df=2,
                                     max_features=10000,
                                     stop_words='english')
X_vec = cv.fit_transform(X)

res = dict(Zip(cv.get_feature_names(),
               mutual_info_classif(X_vec, Y, discrete_features=True)
               ))
print(res)

これにより、各属性の辞書が出力されます。つまり、語彙のアイテムがキーとして、その情報が値として取得されます

ここに出力のサンプルがあります

{'bible': 0.072327479595571439,
 'christ': 0.057293733680219089,
 'christian': 0.12862867565281702,
 'christians': 0.068511328611810071,
 'file': 0.048056478042481157,
 'god': 0.12252523919766867,
 'gov': 0.053547274485785577,
 'graphics': 0.13044709565039875,
 'jesus': 0.09245436105573257,
 'launch': 0.059882179387444862,
 'moon': 0.064977781072557236,
 'morality': 0.050235104394123153,
 'nasa': 0.11146392824624819,
 'orbit': 0.087254803670582998,
 'people': 0.068118370234354936,
 'prb': 0.049176995204404481,
 'religion': 0.067695617096125316,
 'shuttle': 0.053440976618359261,
 'space': 0.20115901737978983,
 'thanks': 0.060202010019767334}
20
sgDysregulation