SQLクエリをPythonに変換しようとしています。 sqlステートメントは次のとおりです。
select * from table 1
union
select * from table 2
union
select * from table 3
union
select * from table 4
現在、これらのテーブルは4つのデータフレームにありますdf1, df2, df3, df4
と結合したい4 pandas dataframeこれは、sqlクエリと同じ結果に一致します。sqlunionと同等のどの操作を使用するか混乱していますか?前進!!
注:すべてのデータフレームの列名は同じです。
問題をよく理解していれば、concat
関数を探しています。
列名が両方のデータフレームで同じである場合、pandas.concat([df1, df2, df3, df4])
は正しく機能するはずです。
これはJezraelの回答に対するコメント(merge
に対してconcat
を+1したもの)になるはずですが、十分な評判がありません。
OPはdfをunion
する方法を尋ねましたが、merge
はデフォルトでintersection
を返します: http://pandas.pydata.org/pandas-docs/stable /generated/pandas.merge.html#pandas.merge
union
sを取得するには、merge
呼び出しにhow='outer'
を追加します。
IIUCでは、 merge
を使用して、すべてのデータフレームの列matching_col
で結合できます。
import pandas as pd
# Merge multiple dataframes
df1 = pd.DataFrame({"matching_col": pd.Series({1: 4, 2: 5, 3: 7}),
"a": pd.Series({1: 52, 2: 42, 3:7})}, columns=['matching_col','a'])
print df1
matching_col a
1 4 52
2 5 42
3 7 7
df2 = pd.DataFrame({"matching_col": pd.Series({1: 2, 2: 7, 3: 8}),
"a": pd.Series({1: 62, 2: 28, 3:9})}, columns=['matching_col','a'])
print df2
matching_col a
1 2 62
2 7 28
3 8 9
df3 = pd.DataFrame({"matching_col": pd.Series({1: 1, 2: 0, 3: 7}),
"a": pd.Series({1: 28, 2: 52, 3:3})}, columns=['matching_col','a'])
print df3
matching_col a
1 1 28
2 0 52
3 7 3
df4 = pd.DataFrame({"matching_col": pd.Series({1: 4, 2: 9, 3: 7}),
"a": pd.Series({1: 27, 2: 24, 3:7})}, columns=['matching_col','a'])
print df4
matching_col a
1 4 27
2 9 24
3 7 7
Solution1:
df = pd.merge(pd.merge(pd.merge(df1,df2,on='matching_col'),df3,on='matching_col'), df4, on='matching_col')
set columns names
df.columns = ['matching_col','a1','a2','a3','a4']
print df
matching_col a1 a2 a3 a4
0 7 7 28 3 7
Solution2:
dfs = [df1, df2, df3, df4]
#use built-in python reduce
df = reduce(lambda left,right: pd.merge(left,right,on='matching_col'), dfs)
#set columns names
df.columns = ['matching_col','a1','a2','a3','a4']
print df
matching_col a1 a2 a3 a4
0 7 7 28 3 7
ただし、連結データフレームのみが必要な場合は、パラメータignore_index=True
でインデックスをリセットして concat
を使用します。
print pd.concat([df1, df2, df3, df4], ignore_index=True)
matching_col a
0 4 52
1 5 42
2 7 7
3 2 62
4 7 28
5 8 9
6 1 28
7 0 52
8 7 3
9 4 27
10 9 24
11 7 7