サンプルデータの使用:
df = pd.DataFrame({'key1' : ['a','a','b','b','a'],
'key2' : ['one', 'two', 'one', 'two', 'one'],
'data1' : np.random.randn(5),
'data2' : np. random.randn(5)})
df
data1 data2 key1 key2
0 0.361601 0.375297 a one
1 0.069889 0.809772 a two
2 1.468194 0.272929 b one
3 -1.138458 0.865060 b two
4 -0.268210 1.250340 a one
Key1でデータをグループ化し、key2が「1」であるdata1値のみを合計する方法を理解しようとしています。
これが私が試したものです
def f(d,a,b):
d.ix[d[a] == b, 'data1'].sum()
df.groupby(['key1']).apply(f, a = 'key2', b = 'one').reset_index()
しかし、これは私に「なし」の値を持つデータフレームを与えます
index key1 0
0 a None
1 b None
ここに何かアイデアはありますか? Pandas次のSQLに相当するものを探しています。
SELECT Key1, SUM(CASE WHEN Key2 = 'one' then data1 else 0 end)
FROM df
GROUP BY key1
参考までに =の条件付き合計pandas aggregate を見ましたが、カウントではなく合計で機能するようにそこに提供された回答を変換できませんでした。
前もって感謝します
最初のgroupby key1列:
In [11]: g = df.groupby('key1')
次に、各グループについて、key2が「1」に等しいsubDataFrameを取得し、data1列を合計します。
In [12]: g.apply(lambda x: x[x['key2'] == 'one']['data1'].sum())
Out[12]:
key1
a 0.093391
b 1.468194
dtype: float64
何が起こっているのかを説明するために、「a」グループを見てみましょう。
In [21]: a = g.get_group('a')
In [22]: a
Out[22]:
data1 data2 key1 key2
0 0.361601 0.375297 a one
1 0.069889 0.809772 a two
4 -0.268210 1.250340 a one
In [23]: a[a['key2'] == 'one']
Out[23]:
data1 data2 key1 key2
0 0.361601 0.375297 a one
4 -0.268210 1.250340 a one
In [24]: a[a['key2'] == 'one']['data1']
Out[24]:
0 0.361601
4 -0.268210
Name: data1, dtype: float64
In [25]: a[a['key2'] == 'one']['data1'].sum()
Out[25]: 0.093391000000000002
データフレームを最初にkey2が1に等しいものに制限することで、これを行うのが少し簡単/明確になる場合があります。
In [31]: df1 = df[df['key2'] == 'one']
In [32]: df1
Out[32]:
data1 data2 key1 key2
0 0.361601 0.375297 a one
2 1.468194 0.272929 b one
4 -0.268210 1.250340 a one
In [33]: df1.groupby('key1')['data1'].sum()
Out[33]:
key1
a 0.093391
b 1.468194
Name: data1, dtype: float64
今日はpandas 0.23でこれができると思います:
import numpy as np
df.assign(result = np.where(df['key2']=='one',df.data1,0))\
.groupby('key1').agg({'result':sum})
これの利点は、同じデータフレームの複数の列に適用できることです
df.assign(
result1 = np.where(df['key2']=='one',df.data1,0),
result2 = np.where(df['key2']=='two',df.data1,0)
).groupby('key1').agg({'result1':sum, 'result2':sum})
データフレームをフィルタリングできますbeforegroupby
操作を実行します。すべての値が範囲外であるためにシリーズインデックスが減少する場合は、reindex
をfillna
とともに使用できます。
res = df.loc[df['key2'].eq('one')]\
.groupby('key1')['data1'].sum()\
.reindex(df['key1'].unique()).fillna(0)
print(res)
key1
a 3.631610
b 0.978738
c 0.000000
Name: data1, dtype: float64
デモ用に行を追加しました。
np.random.seed(0)
df = pd.DataFrame({'key1': ['a','a','b','b','a','c'],
'key2': ['one', 'two', 'one', 'two', 'one', 'two'],
'data1': np.random.randn(6),
'data2': np.random.randn(6)})