web-dev-qa-db-ja.com

パンダでスパースピボットテーブルを効率的に作成しますか？

2つの列（AとB）を持つレコードのリストを行列表現に変換する作業をしています。私はパンダ内でピボット機能を使用していますが、結果はかなり大きくなります。 pandasは、スパース形式へのピボットをサポートしていますか？ピボットして、ある種のスパース表現に変換できることはわかっていますが、希望するほどエレガントではありません。私の最終目標は予測モデルの入力として使用します。

あるいは、パンダの外にある種のまばらなピボット機能がありますか？

編集：これは非スパースピボットの例です

import pandas as pd
frame=pd.DataFrame()
frame['person']=['me','you','him','you','him','me']
frame['thing']=['a','a','b','c','d','d']
frame['count']=[1,1,1,1,1,1]

frame

  person thing  count
0     me     a      1
1    you     a      1
2    him     b      1
3    you     c      1
4    him     d      1
5     me     d      1

frame.pivot('person','thing')

        count            
thing       a   b   c   d
person                   
him       NaN   1 NaN   1
me          1 NaN NaN   1
you         1 NaN   1 NaN

これにより、人と物のあらゆる可能な組み合わせを含むことができるマトリックスが作成されますが、スパースではありません。

http://docs.scipy.org/doc/scipy/reference/sparse.html

スパース行列は、NaNや0などを意味する可能性があるため、必要なスペースが少なくなります。非常に大きなデータセットがある場合、このピボット関数は、多数のNaNまたは0のためにスパースであるはずの行列を生成できます。密な行列を作成してスパースに変換するのではなく、すぐにスパースなものを生成することで、多くのスペース/メモリを節約できることを望んでいました。

pythonpandasscipyscikit-learnsparse-matrix
27
neelshiv

以前に@khammelによって投稿された回答は役に立ちましたが、pandasとPythonの変更により、残念ながら機能しなくなりました。以下は同じ出力を生成するはずです。

_from scipy.sparse import csr_matrix
from pandas.api.types import CategoricalDtype

person_c = CategoricalDtype(sorted(frame.person.unique()), ordered=True)
thing_c = CategoricalDtype(sorted(frame.thing.unique()), ordered=True)

row = frame.person.astype(person_c).cat.codes
col = frame.thing.astype(thing_c).cat.codes
sparse_matrix = csr_matrix((frame["count"], (row, col)), \
                           shape=(person_c.categories.size, thing_c.categories.size))

>>> sparse_matrix
<3x4 sparse matrix of type '<class 'numpy.int64'>'
     with 6 stored elements in Compressed Sparse Row format>

>>> sparse_matrix.todense()
matrix([[0, 1, 0, 1],
        [1, 0, 0, 1],
        [1, 0, 1, 0]], dtype=int64)


dfs = pd.SparseDataFrame(sparse_matrix, \
                         index=person_c.categories, \
                         columns=thing_c.categories, \
                         default_fill_value=0)
>>> dfs
        a   b   c   d
 him    0   1   0   1
  me    1   0   0   1
 you    1   0   1   0
_

主な変更点は次のとおりです。

  • .astype()は「カテゴリ」を受け入れなくなりました。 CategoricalDtypeオブジェクトを作成する必要があります。
  • sort()が機能しなくなった

その他の変更は表面的なものでした。

  • 不必要に別のオブジェクトを作成したくなかったために、一意のSeriesオブジェクトの長さの代わりにカテゴリサイズを使用
  • _csr_matrix_（_frame["count"]_）のデータ入力はリストオブジェクトである必要はありません
  • pandas SparseDataFrameはscipy.sparseオブジェクトを直接受け入れます
7
Alnilam

これは、人と物のデータとインデックスに基づいてスパースscipy行列を作成する方法です。 person_uおよびthing_uは、作成するピボットの行と列の一意のエントリを表すリストです。注：これは、カウント列に必要な値がすでに含まれていることを前提としています。

from scipy.sparse import csr_matrix

person_u = list(sort(frame.person.unique()))
thing_u = list(sort(frame.thing.unique()))

data = frame['count'].tolist()
row = frame.person.astype('category', categories=person_u).cat.codes
col = frame.thing.astype('category', categories=thing_u).cat.codes
sparse_matrix = csr_matrix((data, (row, col)), shape=(len(person_u), len(thing_u)))

>>> sparse_matrix 
<3x4 sparse matrix of type '<type 'numpy.int64'>'
    with 6 stored elements in Compressed Sparse Row format>

>>> sparse_matrix.todense()

matrix([[0, 1, 0, 1],
        [1, 0, 0, 1],
        [1, 0, 1, 0]])

元の質問に基づいて、scipyスパースマトリックスで十分ですが、スパースデータフレームが必要な場合は、以下を実行できます。

dfs=pd.SparseDataFrame([ pd.SparseSeries(sparse_matrix[i].toarray().ravel(), fill_value=0) 
                              for i in np.arange(sparse_matrix.shape[0]) ], index=person_u, columns=thing_u, default_fill_value=0)

>>> dfs
     a  b  c  d
him  0  1  0  1
me   1  0  0  1
you  1  0  1  0

>>> type(dfs)
pandas.sparse.frame.SparseDataFrame
33
khammel

私にも同様の問題があり、この投稿を偶然見つけました。唯一の違いは、出力行列の「行の次元」（DataFrame）を定義する2つの列がiにあったことです。これは興味深い一般化かもしれないと思ったので、grouperを使用しました：

# function
import pandas as pd

from scipy.sparse import csr_matrix

def df_to_sm(data, vars_i, vars_j):
    grpr_i = data.groupby(vars_i).grouper

    idx_i = grpr_i.group_info[0]

    grpr_j = data.groupby(vars_j).grouper

    idx_j = grpr_j.group_info[0]

    data_sm = csr_matrix((data['val'].values, (idx_i, idx_j)),
                         shape=(grpr_i.ngroups, grpr_j.ngroups))

    return data_sm, grpr_i, grpr_j


# example
data = pd.DataFrame({'var_i_1' : ['a1', 'a1', 'a1', 'a2', 'a2', 'a3'],
                     'var_i_2' : ['b2', 'b1', 'b1', 'b1', 'b1', 'b4'],
                     'var_j_1' : ['c2', 'c3', 'c2', 'c1', 'c2', 'c3'],
                     'val' : [1, 2, 3, 4, 5, 6]})

data_sm, _, _ = df_to_sm(data, ['var_i_1', 'var_i_2'], ['var_j_1'])

data_sm.todense()
2
sbstn