web-dev-qa-db-ja.com

xおよびy座標のnumpy配列で最も近い点のインデックスを見つける

2つの2D numpy配列があります。x_arrayにはx方向の位置情報が含まれ、y_arrayにはy方向の位置が含まれます。

次に、x、yポイントの長いリストがあります。

リスト内の各ポイントについて、そのポイントに最も近い場所（配列で指定）の配列インデックスを見つける必要があります。

この質問に基づいて、動作するコードを単純に作成しました： numpy配列の最も近い値を見つける

つまり.

import time
import numpy

def find_index_of_nearest_xy(y_array, x_array, y_point, x_point):
    distance = (y_array-y_point)**2 + (x_array-x_point)**2
    idy,idx = numpy.where(distance==distance.min())
    return idy[0],idx[0]

def do_all(y_array, x_array, points):
    store = []
    for i in xrange(points.shape[1]):
        store.append(find_index_of_nearest_xy(y_array,x_array,points[0,i],points[1,i]))
    return store


# Create some dummy data
y_array = numpy.random.random(10000).reshape(100,100)
x_array = numpy.random.random(10000).reshape(100,100)

points = numpy.random.random(10000).reshape(2,5000)

# Time how long it takes to run
start = time.time()
results = do_all(y_array, x_array, points)
end = time.time()
print 'Completed in: ',end-start

私はこれを大規模なデータセットで実行していますが、少し高速化したいと思っています。誰でもこれを最適化できますか？

ありがとう。

更新：@silvadoと@justinによる提案に従うソリューション（下記）

# Shoe-horn existing data for entry into KDTree routines
combined_x_y_arrays = numpy.dstack([y_array.ravel(),x_array.ravel()])[0]
points_list = list(points.transpose())


def do_kdtree(combined_x_y_arrays,points):
    mytree = scipy.spatial.cKDTree(combined_x_y_arrays)
    dist, indexes = mytree.query(points)
    return indexes

start = time.time()
results2 = do_kdtree(combined_x_y_arrays,points_list)
end = time.time()
print 'Completed in: ',end-start

上記のこのコードは、コード（100x100マトリックスで5000ポイントを検索）を100倍高速化しました。興味深いことに、（scipy.spatial.cKDTreeの代わりに）scipy.spatial.KDTreeを使用すると、単純なソリューションに匹敵するタイミングが得られたため、cKDTreeバージョンを使用する価値は間違いありません...

pythonalgorithmnumpy
62
Pete W

scipy.spatialにはk-dツリー実装もあります。 scipy.spatial.KDTree 。

アプローチは一般に、最初にポイントデータを使用してk-dツリーを構築することです。その計算の複雑さは、N log Nのオーダーです。ここで、Nはデータポイントの数です。範囲クエリと最近傍検索は、log Nの複雑さで実行できます。これは、すべてのポイントを単純に循環するよりもはるかに効率的です（複雑度N）。

したがって、範囲クエリまたは最近傍クエリを繰り返している場合は、k-dツリーを強くお勧めします。

41
silvado

がここにあります scipy.spatial.KDTree例

In [1]: from scipy import spatial

In [2]: import numpy as np

In [3]: A = np.random.random((10,2))*100

In [4]: A
Out[4]:
array([[ 68.83402637,  38.07632221],
       [ 76.84704074,  24.9395109 ],
       [ 16.26715795,  98.52763827],
       [ 70.99411985,  67.31740151],
       [ 71.72452181,  24.13516764],
       [ 17.22707611,  20.65425362],
       [ 43.85122458,  21.50624882],
       [ 76.71987125,  44.95031274],
       [ 63.77341073,  78.87417774],
       [  8.45828909,  30.18426696]])

In [5]: pt = [6, 30]  # <-- the point to find

In [6]: A[spatial.KDTree(A).query(pt)[1]] # <-- the nearest point 
Out[6]: array([  8.45828909,  30.18426696])

#how it works!
In [7]: distance,index = spatial.KDTree(A).query(pt)

In [8]: distance # <-- The distances to the nearest neighbors
Out[8]: 2.4651855048258393

In [9]: index # <-- The locations of the neighbors
Out[9]: 9

#then 
In [10]: A[index]
Out[10]: array([  8.45828909,  30.18426696])
50
efirvida

データを適切な形式にマッサージできる場合、最も簡単な方法はscipy.spatial.distance：

http://docs.scipy.org/doc/scipy/reference/spatial.distance.html

特に、pdistとcdistは、ペアワイズ距離を計算する高速な方法を提供します。

5
JoshAdel