web-dev-qa-db-ja.com

pandas）の2つのデータフレーム間の差分

2つのデータフレームがあり、どちらも同じ基本スキーマを持っています。 （4つの日付フィールド、2つの文字列フィールド、および4〜5つの浮動小数点フィールド）。それらを_df1_および_df2_と呼びます。

私がやりたいのは、基本的に2つの「差分」を取得することです。ここでは、2つのデータフレーム間で共有されていない（設定された交差点にない）すべての行を取得します。 2つのデータフレームは同じ長さである必要はないことに注意してください。

pandas.merge(how='outer')を使用してみましたが、実際には1つがなく、試したさまざまな組み合わせが機能しなかったため、「キー」として渡す列がわかりませんでした。 _df1_または_df2_に同一の2つ（またはそれ以上）の行がある可能性があります。

パンダ/ Pythonでこれを行うための良い方法は何ですか？

pythonpandasmergecomparediff
3
mhy

これを試して：

diff_df = pd.merge(df1, df2, how='outer', indicator='Exist')

diff_df = diff_df.loc[diff_df['Exist'] != 'both']

Df1とdf2の両方に存在しないすべての行のデータフレームが作成されます。

1
niceGuy

  1. _df2.columns = df1.columns_を設定します

  2. ここで、すべての列をインデックスとして設定します：df1 = df1.set_index(df1.columns.tolist())、および同様に_df2_。

  3. これで、df1.index.difference(df2.index)とdf2.index.difference(df1.index)を実行でき、2つの結果は個別の列になります。

1
coldspeed

IIUC：
pd.Index.symmetric_differenceを使用できます

pd.concat([df1, df2]).loc[
    df1.index.symmetric_difference(df2.index)
]
1
piRSquared

この関数を使用できます。出力は、さらに分析するためにExcelに書き込むことができる6つのデータフレームの順序付けられた辞書です。

  • 「df1」および「df2」は、入力データフレームを指します。
  • 「uid」は、一意のキーを構成する列または列の組み合わせを指します。 （つまり、「果物」）
  • 'dedupe'（default = True）は、df1とdf2の重複を削除します。 （コメントのステップ4を参照）
  • 'labels'（デフォルト=（ 'df1'、 'df2'））を使用すると、入力データフレームに名前を付けることができます。一意のキーが両方のデータフレームに存在するが、1つ以上の列に異なる値がある場合、通常、これらの行を認識し、それらを重ねて、行に名前を付けて、どのデータフレームがどのデータフレームに対応するかを知ることが重要です。に属します。
  • 'drop'は、違いを考慮するときに考慮から除外される列のリストを取ることができます

ここに行きます：

df1 = pd.DataFrame([['Apple', '1'], ['banana', 2], ['coconut',3]], columns=['Fruits','Quantity'])
df2 = pd.DataFrame([['Apple', '1'], ['banana', 3], ['durian',4]], columns=['Fruits','Quantity'])
dict1 = diff_func(df1, df2, 'Fruits')

In [10]: dict1['df1_only']:
Out[10]:
    Fruits Quantity
1  coconut        3

In [11]: dict1['df2_only']:
Out[11]:
   Fruits Quantity
3  durian        4

In [12]: dict1['Diff']:
Out[12]:
   Fruits Quantity df1 or df2
0  banana        2        df1
1  banana        3        df2

In [13]: dict1['Merge']:
Out[13]:
  Fruits Quantity
0  Apple        1

コードは次のとおりです。

import pandas as pd
from collections import OrderedDict as od

def diff_func(df1, df2, uid, dedupe=True, labels=('df1', 'df2'), drop=[]):
    dict_df = {labels[0]: df1, labels[1]: df2}
    col1 = df1.columns.values.tolist()
    col2 = df2.columns.values.tolist()

    # There could be columns known to be different, hence allow user to pass this as a list to be dropped.
    if drop:
        print ('Ignoring columns {} in comparison.'.format(', '.join(drop)))
        col1 = list(filter(lambda x: x not in drop, col1))
        col2 = list(filter(lambda x: x not in drop, col2))
        df1 = df1[col1]
        df2 = df2[col2]


    # Step 1 - Check if no. of columns are the same:
    len_lr = len(col1), len(col2)
    assert len_lr[0]==len_lr[1], \
    'Cannot compare frames with different number of columns: {}.'.format(len_lr)

    # Step 2a - Check if the set of column headers are the same
    #           (order doesnt matter)
    assert set(col1)==set(col2), \
    'Left column headers are different from right column headers.' \
       +'\n   Left orphans: {}'.format(list(set(col1)-set(col2))) \
       +'\n   Right orphans: {}'.format(list(set(col2)-set(col1)))

    # Step 2b - Check if the column headers are in the same order
    if col1 != col2:
        print ('[Note] Reordering right Dataframe...')
        df2 = df2[col1]

    # Step 3 - Check datatype are the same [Order is important]
    if set((df1.dtypes == df2.dtypes).tolist()) - {True}:
        print ('dtypes are not the same.')
        df_dtypes = pd.DataFrame({labels[0]:df1.dtypes,labels[1]:df2.dtypes,'Diff':(df1.dtypes == df2.dtypes)})
        df_dtypes = df_dtypes[df_dtypes['Diff']==False][[labels[0],labels[1],'Diff']]
        print (df_dtypes)
    else:
        print ('DataType check: Passed')

    # Step 4 - Check for duplicate rows
    if dedupe:
        for key, df in dict_df.items():
            if df.shape[0] != df.drop_duplicates().shape[0]:
                print(key + ': Duplicates exists, they will be dropped.')
                dict_df[key] = df.drop_duplicates()

    # Step 5 - Check for duplicate uids.
    if type(uid)==str or type(uid)==list:
        print ('Uniqueness check: {}'.format(uid))
        for key, df in dict_df.items():
            count_uid = df.shape[0]
            count_uid_unique = df[uid].drop_duplicates().shape[0]
            var = [0,1][count_uid_unique == df.shape[0]] #<-- Round off to the nearest integer if it is 100%
            pct = round(100*count_uid_unique/df.shape[0], var)
            print ('{}: {} out of {} are unique ({}%).'.format(key, count_uid_unique, count_uid, pct))

    # Checks complete, begin merge. '''Remenber to dedupe, provide labels for common_no_match'''
    dict_result = od()
    df_merge = pd.merge(df1, df2, on=col1, how='inner')
    if not df_merge.shape[0]:
        print ('Error: Merged DataFrame is empty.')
    else:
        dict_result[labels[0]] = df1
        dict_result[labels[1]] = df2
        dict_result['Merge'] = df_merge
        if type(uid)==str:
            uid = [uid]

        if type(uid)==list:
            df1_only = df1.append(df_merge).reset_index(drop=True)
            df1_only['Duplicated']=df1_only.duplicated(subset=uid, keep=False)  #keep=False, marks all duplicates as True
            df1_only = df1_only[df1_only['Duplicated']==False]
            df2_only = df2.append(df_merge).reset_index(drop=True)
            df2_only['Duplicated']=df2_only.duplicated(subset=uid, keep=False)
            df2_only = df2_only[df2_only['Duplicated']==False]

            label = labels[0]+' or '+labels[1]
            df_lc = df1_only.copy()
            df_lc[label] = labels[0]
            df_rc = df2_only.copy()
            df_rc[label] = labels[1]
            df_c = df_lc.append(df_rc).reset_index(drop=True)
            df_c['Duplicated'] = df_c.duplicated(subset=uid, keep=False)
            df_c1 = df_c[df_c['Duplicated']==True]
            df_c1 = df_c1.drop('Duplicated', axis=1)
            df_uc = df_c[df_c['Duplicated']==False]

            df_uc_left = df_uc[df_uc[label]==labels[0]]
            df_uc_right = df_uc[df_uc[label]==labels[1]]

            dict_result[labels[0]+'_only'] = df_uc_left.drop(['Duplicated', label], axis=1)
            dict_result[labels[1]+'_only'] = df_uc_right.drop(['Duplicated', label], axis=1)
            dict_result['Diff'] = df_c1.sort_values(uid).reset_index(drop=True)

    return dict_result
0
Ji Wei