web-dev-qa-db-ja.com

Pythonのサブセットデータ

私が書いているいくつかのPythonコードには、Rのサブセットコマンドと同等のものを使用したいと思います。

これが私のデータです：

col1    col2    col3    col4    col5
100002  2006    1.1 0.01    6352
100002  2006    1.2 0.84    304518
100002  2006    2   1.52    148219
100002  2007    1.1 0.01    6292
10002   2006    1.1 0.01    5968
10002   2006    1.2 0.25    104318
10002   2007    1.1 0.01    6800
10002   2007    4   2.03    25446
10002   2008    1.1 0.01    6408

col1とcol2の内容に基づいてデータをサブセット化したい。 （col1の一意の値は100002と10002であり、col2の一意の値は2006、2007、および2008です。）

これはサブセットコマンドを使用してRで実行できますが、Pythonで同様のものはありますか？

pythonarraysrnumpysubset
17
user308827

イテレータベースの回答は完全に問題ありませんが、（あなたが言っているように）numpy配列を使用している場合は、より適切で高速な方法で選択できます。

import numpy as np
data = np.array([
        [100002, 2006, 1.1, 0.01, 6352],
        [100002, 2006, 1.2, 0.84, 304518],
        [100002, 2006, 2,   1.52, 148219],
        [100002, 2007, 1.1, 0.01, 6292],
        [10002,  2006, 1.1, 0.01, 5968],
        [10002,  2006, 1.2, 0.25, 104318],
        [10002,  2007, 1.1, 0.01, 6800],
        [10002,  2007, 4,   2.03, 25446],
        [10002,  2008, 1.1, 0.01, 6408]    ])

subset1 = data[data[:,0] == 100002]
subset2 = data[data[:,0] == 10002]

これは

サブセット1：

array([[  1.00002e+05,   2.006e+03,   1.10e+00, 1.00e-02,   6.352e+03],
       [  1.00002e+05,   2.006e+03,   1.20e+00, 8.40e-01,   3.04518e+05],
       [  1.00002e+05,   2.006e+03,   2.00e+00, 1.52e+00,   1.48219e+05],
       [  1.00002e+05,   2.007e+03,   1.10e+00, 1.00e-02,   6.292e+03]])

サブセット2：

array([[  1.0002e+04,   2.006e+03,   1.10e+00, 1.00e-02,   5.968e+03],
       [  1.0002e+04,   2.006e+03,   1.20e+00, 2.50e-01,   1.04318e+05],
       [  1.0002e+04,   2.007e+03,   1.10e+00, 1.00e-02,   6.800e+03],
       [  1.0002e+04,   2.007e+03,   4.00e+00, 2.03e+00,   2.5446e+04],
       [  1.0002e+04,   2.008e+03,   1.10e+00, 1.00e-02,   6.408e+03]])

最初の列の一意の値を事前に知らなかった場合は、次のいずれかを使用できます numpy.unique1d または組み込み関数setを使用してそれらを検索します。

編集：2つの列の一意の組み合わせがあるデータを選択したいことに気づきました...

col1 = data[:,0]
col2 = data[:,1]

subsets = {}
for val1, val2 in itertools.product(np.unique(col1), np.unique(col2)):
    subset = data[(col1 == val1) & (col2 == val2)]
    if np.any(subset):
        subsets[(val1, val2)] = subset

（私はサブセットをディクショナリーとして保存しています。キーは組み合わせのタプルです...これを行う方法は確かに他にも（そして何をしているのかによりますが）あります！）

20
Joe Kington

Rのsubset()は、Pythonのfilter()によく似ています。リファレンスノートとして、これはリスト内包表記によって暗黙的に使用されるため、コードを記述する最も簡潔で明確な方法は、

[ item for item in items if item.col2 == 2006 ]

たとえば、データ行がitemsという反復可能オブジェクトにある場合。

5
ngroot

私はRに精通しておらず、説明に基づいてこのサブセットコマンドがどのように機能するかについてもよく知らないので、itertoolのgroupby機能を確認することをお勧めします。値を出力する関数を指定すると、その関数の出力に基づいてグループを形成できます。 groupby から取得：

groups = []
uniquekeys = []
data = sorted(data, key=keyfunc)
for k, g in groupby(data, keyfunc):
    groups.append(list(g))      # Store group iterator as a list
    uniquekeys.append(k)

そして、あなたはあなたのサブセットを手に入れました。ただし、返される値は本格的なリストではないため、注意してください。彼らはイテレータです。

私はあなたの値が行ごとに返されると想定しています。

2
wheaties