web-dev-qa-db-ja.com

パンダの一意でないインデックスのパフォーマンスへの影響は何ですか？

pandasのドキュメントから、一意の値のインデックスが特定の操作を効率的にすること、および一意でないインデックスがときどき許容されることを収集しました。

外から見ると、一意でないインデックスが何らかの方法で利用されているようには見えません。たとえば、次のixクエリは、データフレーム全体をスキャンしているように見えるほど低速です

In [23]: import numpy as np
In [24]: import pandas as pd
In [25]: x = np.random.randint(0, 10**7, 10**7)
In [26]: df1 = pd.DataFrame({'x':x})
In [27]: df2 = df1.set_index('x', drop=False)
In [28]: %timeit df2.ix[0]
1 loops, best of 3: 402 ms per loop
In [29]: %timeit df1.ix[0]
10000 loops, best of 3: 123 us per loop

（2つのixクエリは同じ結果を返さないことに気づきました。これは、一意でないインデックスでixを呼び出すのが非常に遅く見える例にすぎません）

pandasを使用して、一意でないインデックスやソートされたインデックスでのバイナリ検索などのより高速な検索方法を使用する方法はありますか？

pythonperformanceindexingpandasbinary-search
39
ChrisB

インデックスが一意の場合、pandasハッシュテーブルを使用して、キーを値O（1）にマップします。インデックスが一意でなくソートされている場合、pandasバイナリ検索を使用しますO（logN）、インデックスがランダムな順序の場合pandasインデックスO（N）のすべてのキーをチェックする必要があります。

sort_indexメソッドを呼び出すことができます：

import numpy as np
import pandas as pd
x = np.random.randint(0, 200, 10**6)
df1 = pd.DataFrame({'x':x})
df2 = df1.set_index('x', drop=False)
df3 = df2.sort_index()
%timeit df1.loc[100]
%timeit df2.loc[100]
%timeit df3.loc[100]

結果：

10000 loops, best of 3: 71.2 µs per loop
10 loops, best of 3: 38.9 ms per loop
10000 loops, best of 3: 134 µs per loop
81
HYRY

@ HYRYがうまく言った だが、タイミングのあるカラフルなグラフのようにそれをまったく言っていない。

enter image description here

プロットは perfplot を使用して生成されました。参考のために、コード：

import pandas as pd
import perfplot

_rnd = np.random.RandomState(42)

def make_data(n):    
    x = _rnd.randint(0, 200, n)
    df1 = pd.DataFrame({'x':x})
    df2 = df1.set_index('x', drop=False)
    df3 = df2.sort_index()

    return df1, df2, df3

perfplot.show(
    setup=lambda n: make_data(n),
    kernels=[
        lambda dfs: dfs[0].loc[100],
        lambda dfs: dfs[1].loc[100],        
        lambda dfs: dfs[2].loc[100],
    ],
    labels=['Unique index', 'Non-unique, unsorted index', 'Non-unique, sorted index'],
    n_range=[2 ** k for k in range(8, 23)],
    xlabel='N',
    logx=True,
    logy=True,
    equality_check=False)
14
cs95