web-dev-qa-db-ja.com

gensimのget_document_topicsおよびget_term_topics

Gensimの ldamodel には、2つのメソッド_get_document_topics_および_get_term_topics_があります。

このgensimチュートリアル notebook での使用にもかかわらず、_get_term_topics_の出力を解釈する方法を完全には理解しておらず、以下の自己完結型コードを作成して、意味を示します。

_from gensim import corpora, models

texts = [['human', 'interface', 'computer'],
 ['survey', 'user', 'computer', 'system', 'response', 'time'],
 ['eps', 'user', 'interface', 'system'],
 ['system', 'human', 'system', 'eps'],
 ['user', 'response', 'time'],
 ['trees'],
 ['graph', 'trees'],
 ['graph', 'minors', 'trees'],
 ['graph', 'minors', 'survey']]

# build the corpus, dict and train the model
dictionary = corpora.Dictionary(texts)
corpus = [dictionary.doc2bow(text) for text in texts]
model = models.ldamodel.LdaModel(corpus=corpus, id2Word=dictionary, num_topics=2, 
                                 random_state=0, chunksize=2, passes=10)

# show the topics
topics = model.show_topics()
for topic in topics:
    print topic
### (0, u'0.159*"system" + 0.137*"user" + 0.102*"response" + 0.102*"time" + 0.099*"eps" + 0.090*"human" + 0.090*"interface" + 0.080*"computer" + 0.052*"survey" + 0.030*"minors"')
### (1, u'0.267*"graph" + 0.216*"minors" + 0.167*"survey" + 0.163*"trees" + 0.024*"time" + 0.024*"response" + 0.024*"eps" + 0.023*"user" + 0.023*"system" + 0.023*"computer"')

# get_document_topics for a document with a single token 'user'
text = ["user"]
bow = dictionary.doc2bow(text)
print "get_document_topics", model.get_document_topics(bow)
### get_document_topics [(0, 0.74568415806946331), (1, 0.25431584193053675)]

# get_term_topics for the token user
print "get_term_topics: ", model.get_term_topics("user", minimum_probability=0.000001)
### get_term_topics:  [(0, 0.1124525558321441), (1, 0.006876306738765027)]
_

_get_document_topics_の場合、出力には意味があります。 2つの確率の合計は1.0になり、userの確率が高い（model.show_topics()から）トピックには、割り当てられる確率も高くなります。

しかし、_get_term_topics_については、次の質問があります。

  1. 確率の合計が1.0にならないのはなぜですか？
  2. 数値的には、userがより高い確率を持つトピック（model.show_topics()から）にもより高い番号が割り当てられていますが、この番号は何を意味していますか？
  3. _get_term_topics_が（一見）同じ機能を提供でき、意味のある出力がある場合、なぜ_get_document_topics_を使用する必要があるのですか？
pythongensimtopic-modeling
9
tkja

私はLDAトピックモデリングに取り組んでいて、この投稿に出くわしました。トピック1とトピック2の2つのトピックを作成しました。

各トピックの上位10ワードは次のとおりです：_0.009*"would" + 0.008*"experi" + 0.008*"need" + 0.007*"like" + 0.007*"code" + 0.007*"work" + 0.006*"think" + 0.006*"make" + 0.006*"one" + 0.006*"get_

_0.027*"ierr" + 0.018*"line" + 0.014*"0.0e+00" + 0.010*"error" + 0.009*"defin" + 0.009*"norm" + 0.006*"call" + 0.005*"type" + 0.005*"de" + 0.005*"warn_

最終的に、最も近いトピックを決定するために1つのドキュメントを取得しました。

_for d in doc:
    bow = dictionary.doc2bow(d.split())
    t = lda.get_document_topics(bow)
_

出力は[(0, 0.88935698141006414), (1, 0.1106430185899358)]です。

最初の質問に答えるために、確率はドキュメントに対して1.0まで加算され、それがget_document_topicsが行うことです。ドキュメントは、指定されたドキュメントbowのトピック分布を（topic_id、topic_probability）2タプルのリストとして返すことを明確に述べています。

さらに、キーワード "ierr"のget_term_topicsを試しました

t = lda.get_term_topics("ierr", minimum_probability=0.000001)であり、結果は[(1, 0.027292299843400435)]です。これは、各トピックを決定するためのWordの貢献にすぎません。

したがって、get_document_topicsを使用して取得したトピックの分布に基づいてドキュメントにラベルを付けることができ、get_term_topicsによって与えられた貢献に基づいてWordの重要性を判断できます。

これがお役に立てば幸いです。

8
user1211