私はDataFrame
を持っています。そのうちの2つは文字列値を含みます。特定の列に対する部分文字列の一致に基づいて行を選択する方法があるかどうか私は思っていませんでしたか。
言い換えれば、関数またはラムダ関数は次のようになります。
re.search(pattern, cell_in_question)
ブール値を返します。私はdf[df['A'] == "hello world"]
の構文に精通していますが、部分的な文字列の一致で同じことをする方法を見つけることができないようです'hello'
。
誰かが私を正しい方向に向けることができるでしょうか。
Github issue #620 に基づくと、すぐに次のことができるようになります。
df[df['A'].str.contains("hello")]
更新: ベクトル化された文字列メソッド(すなわちSeries.str) はパンダ0.8.1以降で利用可能です。
私はipythonのノートブックのmacosでパンダ0.14.1を使っています。私は上記の提案された行を試してみました:
df[df['A'].str.contains("Hello|Britain")]
そしてエラーが発生しました:
"cannot index with vector containing NA / NaN values"
しかし、次のように "== True"条件が追加されていれば完璧に機能します。
df[df['A'].str.contains("Hello|Britain")==True]
誰かが関連する問題をどのように実行するか疑問に思うなら: "部分的な文字列で列を選択する"
つかいます:
df.filter(like='hello') # select columns which contain the Word hello
そして部分的な文字列マッチングで行を選択するには、axis=0
をfilterに渡します:
# selects rows which contain the Word hello in their index label
df.filter(like='hello', axis=0)
クイックノート:インデックスに含まれる部分文字列に基づいて選択したい場合は、以下を試してください。
df['stridx']=df.index
df[df['stridx'].str.contains("Hello|Britain")]
次のようなDataFrame
があるとしましょう。
>>> df = pd.DataFrame([['hello', 'hello world'], ['abcd', 'defg']], columns=['a','b'])
>>> df
a b
0 hello hello world
1 abcd defg
フィルタを作成するには、ラムダ式でin
演算子をいつでも使用できます。
>>> df.apply(lambda x: x['a'] in x['b'], axis=1)
0 True
1 False
dtype: bool
ここでのコツは、apply
でaxis=1
オプションを使用して、列ごとではなく行ごとに要素をラムダ関数に渡すことです。
どのように私はパンダDataFrameから部分的なストリングによって選択するのですか?
この記事は、読みたい読者を対象としています。
isin
に似ています)...そして、どの方法が他の方法よりも優先されるべきかについてもっと知りたいのです。
(P:。私は同様のトピックについて多くの質問を見ました、私はこれをここに残すのが良いだろうと思いました。)
df1 = pd.DataFrame({'col': ['foo', 'foobar', 'bar', 'baz']})
df1
col
0 foo
1 foobar
2 bar
3 baz
"foo"を含むすべての行を選択するには、 str.contains
を使用します。
df1[df1['col'].str.contains('foo')]
col
0 foo
1 foobar
これは純粋な部分文字列検索なので、正規表現ベースのマッチングを無効にしても問題ありません。
df1[df1['col'].str.contains('foo', regex=False)]
col
0 foo
1 foobar
パフォーマンス面では、これは違いを生む。
df2 = pd.concat([df1] * 1000, ignore_index=True)
%timeit df2[df2['col'].str.contains('foo')]
%timeit df2[df2['col'].str.contains('foo', regex=False)]
6.31 ms ± 126 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
2.8 ms ± 241 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
必要ない場合は、正規表現ベースの検索を使用しないでください。
注
文字列の先頭または末尾に固定されている部分的なサブストリング検索は、それぞれstr.startswith
またはstr.endswith
を使用して実行できます。さらに、先頭に固定された正規表現ベースの検索には、
str.match
を使用します。
正規表現ベースの検索
ほとんどのstr
メソッドは正規表現をサポートしています。たとえば、df1
の中に "foo"の後に他のものが続く行を見つけるには、次のようにします。
df1[df1['col'].str.contains(r'foo(?!$)')]
col
1 foobar
これはregex OR pipeを使った正規表現検索によって最も簡単に実現できます。
# Slightly modified example.
df4 = pd.DataFrame({'col': ['foo abc', 'foobar xyz', 'bar32', 'baz 45']})
df4
col
0 foo abc
1 foobar xyz
2 bar32
3 baz 45
df4[df4['col'].str.contains(r'foo|baz')]
col
0 foo abc
1 foobar xyz
3 baz 45
また、用語のリストを作成してそれらを結合することもできます。
terms = ['foo', 'baz']
df4[df4['col'].str.contains('|'.join(terms))]
col
0 foo abc
1 foobar xyz
3 baz 45
時々、 正規表現メタ文字 として解釈できる文字がある場合は、あなたの用語をエスケープするのが賢明です。用語に次の文字が含まれている場合.
. ^ $ * + ? { } [ ] \ | ( )
それから、 re.escape
をescapeに使う必要があります。
import re
df4[df4['col'].str.contains('|'.join(map(re.escape, terms)))]
col
0 foo abc
1 foobar xyz
3 baz 45
re.escape
は特殊文字をエスケープする効果があるので、それらは文字通りに扱われます。
re.escape(r'.foo^')
# '\\.foo\\^'
既定では、部分文字列検索は、完全なWordであるかどうかにかかわらず、指定された部分文字列/パターンを検索します。完全な単語のみを一致させるには、ここで正規表現を使用する必要があります。特に、パターンではWordの境界を指定する必要があります(\b
)。
例えば、
df3 = pd.DataFrame({'col': ['the sky is blue', 'bluejay by the window']})
df3
col
0 the sky is blue
1 bluejay by the window
今考える、
df3[df3['col'].str.contains('blue')]
col
0 the sky is blue
1 bluejay by the window
v/s
df3[df3['col'].str.contains(r'\bblue\b')]
col
0 the sky is blue
上と同じですが、結合パターンにWordの境界(\b
)を追加する点が異なります。
p = r'\b(?:{})\b'.format('|'.join(map(re.escape, terms)))
df4[df4['col'].str.contains(p)]
col
0 foo abc
3 baz 45
p
はこのようになります、
p
# '\\b(?:foo|baz)\\b'
できるから! そしてあなたはそうすべきです! 文字列メソッドはベクトル化するのが難しく、そして通常ルーピー実装を持っているので、それらは通常文字列メソッドより少し速いです。
の代わりに、
df1[df1['col'].str.contains('foo', regex=False)]
リストcompの中でin
演算子を使う、
df1[['foo' in x for x in df1['col']]]
col
0 foo abc
1 foobar
の代わりに、
regex_pattern = r'foo(?!$)'
df1[df1['col'].str.contains(regex_pattern)]
re.compile
(正規表現をキャッシュする)+ Pattern.search
list compの中で
p = re.compile(regex_pattern, flags=re.IGNORECASE)
df1[[bool(p.search(x)) for x in df1['col']]]
col
1 foobar
"col"にNaNがある場合は、代わりに
df1[df1['col'].str.contains(regex_pattern, na=False)]
つかいます、
def try_search(p, x):
try:
return bool(p.search(x))
except TypeError:
return False
p = re.compile(regex_pattern)
df1[[try_search(p, x) for x in df1['col']]]
col
1 foobar
np.char.find
、 np.vectorize
、 DataFrame.query
。str.contains
とリスト内包表記に加えて、以下の代替手段も使用できます。
np.char.find
部分文字列検索(read:no regex)のみをサポートします。
df4[np.char.find(df4['col'].values.astype(str), 'foo') > -1]
col
0 foo abc
1 foobar xyz
np.vectorize
これはループのラッパーですが、ほとんどのパンダのstr
メソッドよりもオーバーヘッドが少なくて済みます。
f = np.vectorize(lambda haystack, needle: needle in haystack)
f(df1['col'], 'foo')
# array([ True, True, False, False])
df1[f(df1['col'], 'foo')]
col
0 foo abc
1 foobar
可能な正規表現ソリューション:
regex_pattern = r'foo(?!$)'
p = re.compile(regex_pattern)
f = np.vectorize(lambda x: pd.notna(x) and bool(p.search(x)))
df1[f(df1['col'])]
col
1 foobar
DataFrame.query
pythonエンジンを介した文字列メソッドをサポートします。目に見えるパフォーマンス上の利点はありませんが、それでもクエリを動的に生成する必要があるかどうかを知るのに役立ちます。
df1.query('col.str.contains("foo")', engine='python')
col
0 foo
1 foobar
メソッドのquery
およびeval
ファミリーに関する詳細情報は、 pd.eval()を使用したパンダでの動的式評価 にあります。
str.contains
、その単純さのためにnp.vectorize
df.query
これが部分的な文字列の一致のためにやったことです。誰かがこれを行うより効率的な方法を持っているなら私に知らせてください。
def stringSearchColumn_DataFrame(df, colName, regex):
newdf = DataFrame()
for idx, record in df[colName].iteritems():
if re.search(regex, record):
newdf = concat([df[df[colName] == record], newdf], ignore_index=True)
return newdf
とにかく私が最も一般的な方法を示したいと思います、これの前に尋ねられた機能を達成する答えがあります:
df.filter(regex=".*STRING_YOU_LOOK_FOR.*")
このようにして、どのように書かれたものであれ、あなたが探すコラムを手に入れましょう。
(もちろん、それぞれの場合に適切な正規表現を書く必要があります)