web-dev-qa-db-ja.com

Python NLTK：バイグラムトライグラムフォーグラム

私はこの例を持っていますが、この結果を得る方法を知りたいです。テキストがあり、それをトークン化してから、そのようなバイグラムとトライグラムとフォーグラムを収集します

_import nltk
from nltk import Word_tokenize
from nltk.util import ngrams
text = "Hi How are you? i am fine and you"
token=nltk.Word_tokenize(text)
bigrams=ngrams(token,2)
_

バイグラム：[('Hi', 'How'), ('How', 'are'), ('are', 'you'), ('you', '?'), ('?', 'i'), ('i', 'am'), ('am', 'fine'), ('fine', 'and'), ('and', 'you')]

_trigrams=ngrams(token,3)
_

トライグラム：[('Hi', 'How', 'are'), ('How', 'are', 'you'), ('are', 'you', '?'), ('you', '?', 'i'), ('?', 'i', 'am'), ('i', 'am', 'fine'), ('am', 'fine', 'and'), ('fine', 'and', 'you')]

_bigram [(a,b) (b,c) (c,d)]
trigram [(a,b,c) (b,c,d) (c,d,f)]
i want the new trigram should be [(c,d,f)]
which mean 
newtrigram = [('are', 'you', '?'),('?', 'i','am'),...etc
_

どんなアイデアでも役に立ちます

pythonnltkn-gram
16
M.A.Hassan

いくつかの集合論を適用すると（質問を正しく解釈している場合）、必要なトリグラムは単に[2：5]、[4：7]、[6：8]などの要素であることがわかります。 tokenリスト。

次のように生成できます。

>>> new_trigrams = []
>>> c = 2
>>> while c < len(token) - 2:
...     new_trigrams.append((token[c], token[c+1], token[c+2]))
...     c += 2
>>> print new_trigrams
[('are', 'you', '?'), ('?', 'i', 'am'), ('am', 'fine', 'and')]
8
prooffreader

私はこのようにします：

def words_to_ngrams(words, n, sep=" "):
    return [sep.join(words[i:i+n]) for i in range(len(words)-n+1)]

これは、入力としてlistの単語を取り、sep（この場合はスペース）で区切られたngrams（与えられたn）のリストを返します。

3
Lewistrick

everygramsを試してください：

from nltk import everygrams
list(everygrams('hello', 1, 5))

[でる]：

[('h',),
 ('e',),
 ('l',),
 ('l',),
 ('o',),
 ('h', 'e'),
 ('e', 'l'),
 ('l', 'l'),
 ('l', 'o'),
 ('h', 'e', 'l'),
 ('e', 'l', 'l'),
 ('l', 'l', 'o'),
 ('h', 'e', 'l', 'l'),
 ('e', 'l', 'l', 'o'),
 ('h', 'e', 'l', 'l', 'o')]

ワードトークン：

from nltk import everygrams

list(everygrams('hello Word is a fun program'.split(), 1, 5))

[でる]：

[('hello',),
 ('Word',),
 ('is',),
 ('a',),
 ('fun',),
 ('program',),
 ('hello', 'Word'),
 ('Word', 'is'),
 ('is', 'a'),
 ('a', 'fun'),
 ('fun', 'program'),
 ('hello', 'Word', 'is'),
 ('Word', 'is', 'a'),
 ('is', 'a', 'fun'),
 ('a', 'fun', 'program'),
 ('hello', 'Word', 'is', 'a'),
 ('Word', 'is', 'a', 'fun'),
 ('is', 'a', 'fun', 'program'),
 ('hello', 'Word', 'is', 'a', 'fun'),
 ('Word', 'is', 'a', 'fun', 'program')]
3
alvas
from nltk.util import ngrams

text = "Hi How are you? i am fine and you"

n = int(input("ngram value = "))

n_grams = ngrams(text.split(), n)

for grams in n_grams :

   print(grams)
0
python_user