web-dev-qa-db-ja.com

Pandas Dataframeから異なる単語を数える

Pandasデータフレーム。1つの列にテキストが含まれています。列全体に表示される一意の単語のリストを取得したいです（スペースのみが分割されます）。

import pandas as pd

r1=['My nickname is ft.jgt','Someone is going to my place']

df=pd.DataFrame(r1,columns=['text'])

出力は次のようになります。

['my','nickname','is','ft.jgt','someone','going','to','place']

カウントを取得するのに問題はありませんが、必須ではありません。

pythontextpandas
32
ADJ

setを使用して、一意の要素のシーケンスを作成します。

dfをクリーンアップして、文字列を小文字で分割します：

df['text'].str.lower().str.split()
Out[43]: 
0             [my, nickname, is, ft.jgt]
1    [someone, is, going, to, my, place]

この列の各リストをset.update関数に渡して、一意の値を取得できます。使用するには apply を使用します。

results = set()
df['text'].str.lower().str.split().apply(results.update)
print results

set(['someone', 'ft.jgt', 'my', 'is', 'to', 'going', 'place', 'nickname'])
51
Boud

使用する collections.Counter：

>>> from collections import Counter
>>> r1=['My nickname is ft.jgt','Someone is going to my place']
>>> Counter(" ".join(r1).split(" ")).items()
[('Someone', 1), ('ft.jgt', 1), ('My', 1), ('is', 2), ('to', 1), ('going', 1), ('place', 1), ('my', 1), ('nickname', 1)]
24
Ofir Israel

DataFrameコンストラクトから実行する場合：

import pandas as pd

r1=['My nickname is ft.jgt','Someone is going to my place']

df=pd.DataFrame(r1,columns=['text'])

df.text.apply(lambda x: pd.value_counts(x.split(" "))).sum(axis = 0)

My          1
Someone     1
ft.jgt      1
going       1
is          2
my          1
nickname    1
place       1
to          1
dtype: float64

より柔軟なトークン化が必要な場合は、nltkとそのtokenizeを使用します

19
cwharland

パンダに固有の@Ofir Israelの回答に基づいて：

from collections import Counter
result = Counter(" ".join(df['text'].values.tolist()).split(" ")).items()
result

必要なものが得られます。これにより、テキスト列シリーズの値がリストに変換され、スペースで分割され、インスタンスがカウントされます。

8
EdChum
uniqueWords = list(set(" ".join(r1).lower().split(" ")))
count = len(uniqueWords)
1
Brionius

TL; DR

使用する collections.Counterデータフレームの列の一意の単語の数を取得する（ストップワードなし）

与えられた：

$ cat test.csv 
Description
crazy mind california medical service data base...
california licensed producer recreational & medic...
silicon valley data clients live beyond status...
mycrazynotes inc. announces $144.6 million expans...
leading provider sustainable energy company prod ...
livefreecompany founded 2005, listed new york stock...

コード：

from collections import Counter
from string import punctuation

import pandas as pd

from nltk.corpus import stopwords
from nltk import Word_tokenize

stoplist = set(stopwords.words('english') + list(punctuation))

df = pd.read_csv("test.csv", sep='\t')

texts = df['Description'].str.lower()

Word_counts = Counter(Word_tokenize('\n'.join(texts)))

Word_count.most_common()

[でる]：

[('...', 6), ('california', 2), ('data', 2), ('crazy', 1), ('mind', 1), ('medical', 1), ('service', 1), ('base', 1), ('licensed', 1), ('producer', 1), ('recreational', 1), ('&', 1), ('medic', 1), ('silicon', 1), ('valley', 1), ('clients', 1), ('live', 1), ('beyond', 1), ('status', 1), ('mycrazynotes', 1), ('inc.', 1), ('announces', 1), ('$', 1), ('144.6', 1), ('million', 1), ('expans', 1), ('leading', 1), ('provider', 1), ('sustainable', 1), ('energy', 1), ('company', 1), ('prod', 1), ('livefreecompany', 1), ('founded', 1), ('2005', 1), (',', 1), ('listed', 1), ('new', 1), ('york', 1), ('stock', 1)]
0
alvas