Numpy ndarrayマトリックス内の非NaN要素の数を計算する必要があります。 Pythonでこれをどのように効率的に行うのでしょうか?これを実現するための簡単なコードを次に示します。
import numpy as np
def numberOfNonNans(data):
count = 0
for i in data:
if not np.isnan(i):
count += 1
return count
Numpyにはこれのための組み込み関数がありますか?ビッグデータ分析を行っているため、効率が重要です。
Thnxがお手伝いします!
np.count_nonzero(~np.isnan(data))
~
は、np.isnan
から返されたブール行列を反転します。
np.count_nonzero
は、0\falseではない値をカウントします。 .sum
は同じ結果になるはずです。ただし、count_nonzero
を使用する方がより明確な場合があります
テスト速度:
In [23]: data = np.random.random((10000,10000))
In [24]: data[[np.random.random_integers(0,10000, 100)],:][:, [np.random.random_integers(0,99, 100)]] = np.nan
In [25]: %timeit data.size - np.count_nonzero(np.isnan(data))
1 loops, best of 3: 309 ms per loop
In [26]: %timeit np.count_nonzero(~np.isnan(data))
1 loops, best of 3: 345 ms per loop
In [27]: %timeit data.size - np.isnan(data).sum()
1 loops, best of 3: 339 ms per loop
data.size - np.count_nonzero(np.isnan(data))
は、ここではかろうじて最速のようです。他のデータでは、相対速度の結果が異なる場合があります。
最速の選択肢ではありませんが、パフォーマンスが問題にならない場合は、次を使用できます。
sum(~np.isnan(data))
。
In [7]: %timeit data.size - np.count_nonzero(np.isnan(data))
10 loops, best of 3: 67.5 ms per loop
In [8]: %timeit sum(~np.isnan(data))
10 loops, best of 3: 154 ms per loop
In [9]: %timeit np.sum(~np.isnan(data))
10 loops, best of 3: 140 ms per loop
代替案ですが、少し遅い代替案は、索引付けよりもそれを行うことです。
np.isnan(data)[np.isnan(data) == False].size
In [30]: %timeit np.isnan(data)[np.isnan(data) == False].size
1 loops, best of 3: 498 ms per loop
np.isnan(data)
と==
演算子の二重使用は少しやり過ぎかもしれないので、完全を期すためだけに答えを投稿しました。
配列がスパースかどうかを判断するには、nan値の割合を取得すると役立つ場合があります
np.isnan(ndarr).sum() / ndarr.size
その割合がしきい値を超える場合、スパース配列を使用します。 - https://sparse.pydata.org/en/latest/