web-dev-qa-db-ja.com

NLTKを使用して新しいコーパスを作成する

多くの場合、私のタイトルに対する答えはドキュメントを読みに行くことであると考えましたが、 NLTK book を実行しましたが、答えはありません。私はPythonを初めて使いました。

.txtファイルがたくさんあるので、NLTKがコーパスnltk_dataに提供するコーパス関数を使用できるようにしたいと思います。

PlaintextCorpusReaderを試しましたが、それ以上のことはできませんでした：

>>>import nltk
>>>from nltk.corpus import PlaintextCorpusReader
>>>corpus_root = './'
>>>newcorpus = PlaintextCorpusReader(corpus_root, '.*')
>>>newcorpus.words()

Punktを使用してnewcorpus文を分割するにはどうすればよいですか？パンク関数を使用してみましたが、パンク関数がPlaintextCorpusReaderクラスを読み込めませんでしたか？

セグメント化されたデータをテキストファイルに書き込む方法についても教えてください。

pythonnlpnltkcorpus
77
alvas

少なくとも入力言語が英語の場合、PlaintextCorpusReaderはすでにpunktトークナイザーで入力をセグメント化していると思います。

PlainTextCorpusReaderのコンストラクター

_def __init__(self, root, fileids,
             Word_tokenizer=WordPunctTokenizer(),
             sent_tokenizer=nltk.data.LazyLoader(
                 'tokenizers/punkt/english.pickle'),
             para_block_reader=read_blankline_block,
             encoding='utf8'):
_

リーダーにWordと文のトークナイザーを渡すことができますが、後者の場合、デフォルトはすでにnltk.data.LazyLoader('tokenizers/punkt/english.pickle')です。

単一の文字列の場合、トークナイザーは次のように使用されます（説明は here 、punktトークナイザーのセクション5を参照）。

_>>> import nltk.data
>>> text = """
... Punkt knows that the periods in Mr. Smith and Johann S. Bach
... do not mark sentence boundaries.  And sometimes sentences
... can start with non-capitalized words.  i is a good variable
... name.
... """
>>> tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')
>>> tokenizer.tokenize(text.strip())
_
38
Reiner Gerecke

それがどのように機能するかを数年間理解した後、ここに更新されたチュートリアルがあります

テキストファイルのディレクトリでNLTKコーパスを作成する方法は？

主なアイデアは、 nltk.corpus.reader パッケージを使用することです。 英語にテキストファイルのディレクトリがある場合、 PlaintextCorpusReaderを使用するのが最善です .

次のようなディレクトリがある場合：

_newcorpus/
         file1.txt
         file2.txt
         ...
_

これらのコード行を使用するだけで、コーパスを取得できます。

_import os
from nltk.corpus.reader.plaintext import PlaintextCorpusReader

corpusdir = 'newcorpus/' # Directory of corpus.

newcorpus = PlaintextCorpusReader(corpusdir, '.*')
_

注：PlaintextCorpusReaderはデフォルトのnltk.tokenize.sent_tokenize()とnltk.tokenize.Word_tokenize()を使用して分割しますテキストを文章や単語に変換し、これらの関数は英語用に構築されています。[〜＃〜] not [〜＃〜]はすべての言語で機能します。

テストテキストファイルの作成とNLTKを使用したコーパスの作成方法、およびさまざまなレベルでコーパスにアクセスする方法の完全なコードを次に示します。

_import os
from nltk.corpus.reader.plaintext import PlaintextCorpusReader

# Let's create a corpus with 2 texts in different textfile.
txt1 = """This is a foo bar sentence.\nAnd this is the first txtfile in the corpus."""
txt2 = """Are you a foo bar? Yes I am. Possibly, everyone is.\n"""
corpus = [txt1,txt2]

# Make new dir for the corpus.
corpusdir = 'newcorpus/'
if not os.path.isdir(corpusdir):
    os.mkdir(corpusdir)

# Output the files into the directory.
filename = 0
for text in corpus:
    filename+=1
    with open(corpusdir+str(filename)+'.txt','w') as fout:
        print>>fout, text

# Check that our corpus do exist and the files are correct.
assert os.path.isdir(corpusdir)
for infile, text in Zip(sorted(os.listdir(corpusdir)),corpus):
    assert open(corpusdir+infile,'r').read().strip() == text.strip()


# Create a new corpus by specifying the parameters
# (1) directory of the new corpus
# (2) the fileids of the corpus
# NOTE: in this case the fileids are simply the filenames.
newcorpus = PlaintextCorpusReader('newcorpus/', '.*')

# Access each file in the corpus.
for infile in sorted(newcorpus.fileids()):
    print infile # The fileids of each file.
    with newcorpus.open(infile) as fin: # Opens the file.
        print fin.read().strip() # Prints the content of the file
print

# Access the plaintext; outputs pure string/basestring.
print newcorpus.raw().strip()
print 

# Access paragraphs in the corpus. (list of list of list of strings)
# NOTE: NLTK automatically calls nltk.tokenize.sent_tokenize and 
#       nltk.tokenize.Word_tokenize.
#
# Each element in the outermost list is a paragraph, and
# Each paragraph contains sentence(s), and
# Each sentence contains token(s)
print newcorpus.paras()
print

# To access pargraphs of a specific fileid.
print newcorpus.paras(newcorpus.fileids()[0])

# Access sentences in the corpus. (list of list of strings)
# NOTE: That the texts are flattened into sentences that contains tokens.
print newcorpus.sents()
print

# To access sentences of a specific fileid.
print newcorpus.sents(newcorpus.fileids()[0])

# Access just tokens/words in the corpus. (list of strings)
print newcorpus.words()

# To access tokens of a specific fileid.
print newcorpus.words(newcorpus.fileids()[0])
_

最後に、テキストのディレクトリを読み取り、別の言語でNLTKコーパスを作成するには、最初にpython-callableWord tokenizationおよびsentence tokenization文字列/基本文字列の入力を受け取り、そのような出力を生成するモジュール：

_>>> from nltk.tokenize import sent_tokenize, Word_tokenize
>>> txt1 = """This is a foo bar sentence.\nAnd this is the first txtfile in the corpus."""
>>> sent_tokenize(txt1)
['This is a foo bar sentence.', 'And this is the first txtfile in the corpus.']
>>> Word_tokenize(sent_tokenize(txt1)[0])
['This', 'is', 'a', 'foo', 'bar', 'sentence', '.']
_
61
alvas
 >>> import nltk
 >>> from nltk.corpus import PlaintextCorpusReader
 >>> corpus_root = './'
 >>> newcorpus = PlaintextCorpusReader(corpus_root, '.*')
 """
 if the ./ dir contains the file my_corpus.txt, then you 
 can view say all the words it by doing this 
 """
 >>> newcorpus.words('my_corpus.txt')
10
Krolique