web-dev-qa-db-ja.com

gensimを使用してコーパスからフレーズを抽出する方法

コーパスを前処理するために、コーパスから一般的なフレーズを抽出することを計画していたため、gensimでPhrases modelを使用してみましたが、以下のコードを試しましたが、目的の出力が得られませんでした。

私のコード

from gensim.models import Phrases
documents = ["the mayor of new york was there", "machine learning can be useful sometimes"]

sentence_stream = [doc.split(" ") for doc in documents]
bigram = Phrases(sentence_stream)
sent = [u'the', u'mayor', u'of', u'new', u'york', u'was', u'there']
print(bigram[sent])

出力

[u'the', u'mayor', u'of', u'new', u'york', u'was', u'there']

ただし、次のようになります

[u'the', u'mayor', u'of', u'new_york', u'was', u'there']

しかし、電車のデータのボキャブを印刷しようとしたとき、私はバイグラムを見ることができますが、テストデータで動作しません、どこで間違っていますか？

print bigram.vocab

defaultdict(<type 'int'>, {'useful': 1, 'was_there': 1, 'learning_can': 1, 'learning': 1, 'of_new': 1, 'can_be': 1, 'mayor': 1, 'there': 1, 'machine': 1, 'new': 1, 'was': 1, 'useful_sometimes': 1, 'be': 1, 'mayor_of': 1, 'york_was': 1, 'york': 1, 'machine_learning': 1, 'the_mayor': 1, 'new_york': 1, 'of': 1, 'sometimes': 1, 'can': 1, 'be_useful': 1, 'the': 1})
pythonnlpgensim
28
Prashant Puri

私は問題の解決策を手に入れました、私はそれを気にしない2つのパラメータがありましたPhrases（）modelに渡す必要があります、それらは

  1. min_count収集された総数がこれよりも少ないすべての単語とバイグラムを無視します。 デフォルトでは、値は5

  2. thresholdは、フレーズを形成するためのしきい値を表します（値が大きいほどフレーズが少なくなります）。単語aおよびbのフレーズは、（cnt（a、b）-min_count）* N /（cnt（a）* cnt（b））> thresholdの場合に受け入れられます。ここで、Nは合計語彙サイズです。 デフォルトではその値は10.0です

上記の2つのステートメントを含む列車データでは、しきい値はであったため、列車データセットを変更し、これらの2つのパラメータを追加します。

私の新しいコード

from gensim.models import Phrases
documents = ["the mayor of new york was there", "machine learning can be useful sometimes","new york mayor was present"]

sentence_stream = [doc.split(" ") for doc in documents]
bigram = Phrases(sentence_stream, min_count=1, threshold=2)
sent = [u'the', u'mayor', u'of', u'new', u'york', u'was', u'there']
print(bigram[sent])

出力

[u'the', u'mayor', u'of', u'new_york', u'was', u'there']

Gensimは本当に素晴らしいです:)

36
Prashant Puri