web-dev-qa-db-ja.com

パンダ固有値複数列

df = pd.DataFrame({'Col1': ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
                   'Col2': ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
                   'Col3': np.random.random(5)})

'Col1'と 'Col2'の固有値を返すための最善の方法は何ですか？

望ましい出力は

'Bob', 'Joe', 'Bill', 'Mary', 'Steve'
pythonpandasdataframeunique
84
user2333196

pd.unique は、入力配列、またはDataFrame列またはインデックスから一意の値を返します。

この関数への入力は1次元である必要があるため、複数の列を組み合わせる必要があります。最も簡単な方法は、必要な列を選択してから、平坦化されたNumPy配列で値を表示することです。操作全体は次のようになります。

>>> pd.unique(df[['Col1', 'Col2']].values.ravel('K'))
array(['Bob', 'Joe', 'Bill', 'Mary', 'Steve'], dtype=object)

ravel()は多次元配列の（可能であれば）ビューを返す配列メソッドです。引数'K'は、要素がメモリに格納されている順序で配列を平坦化するようメソッドに指示します（パンダは通常、基礎となる配列を Fortran-contiguous order ;行の前の列に格納します）。これは、メソッドのデフォルトの 'C'順序を使用するよりもかなり速くなります。

代わりの方法は、列を選択してそれらをに渡すことです np.unique ：

>>> np.unique(df[['Col1', 'Col2']].values)
array(['Bill', 'Bob', 'Joe', 'Mary', 'Steve'], dtype=object)

このメソッドは多次元配列を処理するので、ここでravel()を使用する必要はありません。それでも、一意の値を識別するためにハッシュテーブルではなくソートベースのアルゴリズムを使用するため、これはpd.uniqueよりも遅くなる可能性があります。

速度の違いは、大きなDataFrameにとって重要です（特に少数の固有値しかない場合）。

>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows
>>> %timeit np.unique(df1[['Col1', 'Col2']].values)
1 loop, best of 3: 1.12 s per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K'))
10 loops, best of 3: 38.9 ms per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order
10 loops, best of 3: 49.9 ms per loop
138
Alex Riley

その列にいくつかの単純な文字列を含むDataFrameを設定しました。

>>> df
   a  b
0  a  g
1  b  h
2  d  a
3  e  e

興味のある列を連結してunique関数を呼び出すことができます。

>>> pandas.concat([df['a'], df['b']]).unique()
array(['a', 'b', 'd', 'e', 'g', 'h'], dtype=object)
7
Mike
In [5]: set(df.Col1).union(set(df.Col2))
Out[5]: {'Bill', 'Bob', 'Joe', 'Mary', 'Steve'}

または

set(df.Col1) | set(df.Col2)
5
James Little

Numpy v1.13 +を使用した最新のソリューションでは、複数の列を使用する場合は np.unique で軸を指定する必要があります。それ以外の場合、配列は暗黙的に平坦化されます。

import numpy as np

np.unique(df[['col1', 'col2']], axis=0)

この変更は2016年11月に導入されました。 https://github.com/numpy/numpy/commit/1f764dbff7c496d6636dc0430f083ada9ff4e4be

1
erikreed

_ pandas以外の解決策：set（）を使用してください。

import pandas as pd
import numpy as np

df = pd.DataFrame({'Col1' : ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
              'Col2' : ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
               'Col3' : np.random.random(5)})

print df

print set(df.Col1.append(df.Col2).values)

出力：

   Col1   Col2      Col3
0   Bob    Joe  0.201079
1   Joe  Steve  0.703279
2  Bill    Bob  0.722724
3  Mary    Bob  0.093912
4   Joe  Steve  0.766027
set(['Steve', 'Bob', 'Bill', 'Joe', 'Mary'])
1
Jerome Montino

パンダが大好きで、当てはまり、そしてもちろんラムダ関数を愛する私たちのために：

df['Col3'] = df[['Col1', 'Col2']].apply(lambda x: ''.join(x), axis=1)
0
Lisle
np.unique(df.values.flatten())
0
Cohensius

これは別の方法です


import numpy as np
set(np.concatenate(df.values))
0
muon
list(set(df[['Col1', 'Col2']].as_matrix().reshape((1,-1)).tolist()[0]))

出力は['Mary'、 'Joe'、 'Steve'、 'Bob'、 'Bill']になります。

0
smishra