web-dev-qa-db-ja.com

PythonシーケンスをNumPy配列に変換し、欠損値を埋めます

Python variable-lengthリストのシーケンスをNumPy配列に暗黙的に変換すると、配列のタイプはobjectになります。

v = [[1], [1, 2]]
np.array(v)
>>> array([[1], [1, 2]], dtype=object)

別のタイプを強制しようとすると、例外が発生します。

np.array(v, dtype=np.int32)
ValueError: setting an array element with a sequence.

「欠落している」値を所定のプレースホルダーで埋めることにより、int32型の密なNumPy配列を取得する最も効率的な方法は何ですか？

私のサンプルシーケンスvから、0がプレースホルダーである場合、このようなものを取得したいと思います

array([[1, 0], [1, 2]], dtype=int32)
pythonarraysnumpysequencevariable-length-array
21
Marco Ancona

itertools.Zip_longest を使用できます：

import itertools
np.array(list(itertools.Zip_longest(*v, fillvalue=0))).T
Out: 
array([[1, 0],
       [1, 2]])

注：Python 2の場合、これは itertools.izip_longest です。

23
ayhan

ここに私が他のいくつかの投稿で使用したほぼ*ベクトル化されたブールインデックスベースのアプローチがあります-

def boolean_indexing(v):
    lens = np.array([len(item) for item in v])
    mask = lens[:,None] > np.arange(lens.max())
    out = np.zeros(mask.shape,dtype=int)
    out[mask] = np.concatenate(v)
    return out

サンプル実行

In [27]: v
Out[27]: [[1], [1, 2], [3, 6, 7, 8, 9], [4]]

In [28]: out
Out[28]: 
array([[1, 0, 0, 0, 0],
       [1, 2, 0, 0, 0],
       [3, 6, 7, 8, 9],
       [4, 0, 0, 0, 0]])

*ここで実行される唯一のループは、リスト要素の長さを取得する最初に行われるため、これはほぼベクトル化されていることに注意してください。しかし、計算量がそれほど多くない部分は、ランタイム全体への影響が最小限に抑えられます。

ランタイムテスト

このセクションでは、タイミングを計っています DataFrame-based solution by @Alberto Garcia-Raboso 、 itertools-based solution by @ayhan 彼らはうまくスケーリングしているようで、リスト要素全体で3レベルのサイズ変動がある比較的大きなデータセットのこの投稿からのブールインデックスに基づいています。

ケース＃1：大きなサイズのバリエーション

In [44]: v = [[1], [1,2,4,8,4],[6,7,3,6,7,8,9,3,6,4,8,3,2,4,5,6,6,8,7,9,3,6,4]]

In [45]: v = v*1000

In [46]: %timeit pd.DataFrame(v).fillna(0).values.astype(np.int32)
100 loops, best of 3: 9.82 ms per loop

In [47]: %timeit np.array(list(itertools.izip_longest(*v, fillvalue=0))).T
100 loops, best of 3: 5.11 ms per loop

In [48]: %timeit boolean_indexing(v)
100 loops, best of 3: 6.88 ms per loop

ケース＃2：サイズのばらつきが少ない

In [49]: v = [[1], [1,2,4,8,4],[6,7,3,6,7,8]]

In [50]: v = v*1000

In [51]: %timeit pd.DataFrame(v).fillna(0).values.astype(np.int32)
100 loops, best of 3: 3.12 ms per loop

In [52]: %timeit np.array(list(itertools.izip_longest(*v, fillvalue=0))).T
1000 loops, best of 3: 1.55 ms per loop

In [53]: %timeit boolean_indexing(v)
100 loops, best of 3: 5 ms per loop

ケース＃3：リスト要素あたりの要素数が多い（最大100）

In [139]: # Setup inputs
     ...: N = 10000 # Number of elems in list
     ...: maxn = 100 # Max. size of a list element
     ...: lens = np.random.randint(0,maxn,(N))
     ...: v = [list(np.random.randint(0,9,(L))) for L in lens]
     ...: 

In [140]: %timeit pd.DataFrame(v).fillna(0).values.astype(np.int32)
1 loops, best of 3: 292 ms per loop

In [141]: %timeit np.array(list(itertools.izip_longest(*v, fillvalue=0))).T
1 loops, best of 3: 264 ms per loop

In [142]: %timeit boolean_indexing(v)
10 loops, best of 3: 95.7 ms per loop

私には、 itertools.izip_longestはかなり順調です！ 明確な勝者はありませんが、ケースバイケースで採用する必要があります！

15
Divakar

パンダとそのDataFrame- sは、欠落しているデータを美しく扱います。

import numpy as np
import pandas as pd

v = [[1], [1, 2]]
print(pd.DataFrame(v).fillna(0).values.astype(np.int32))

# array([[1, 0],
#        [1, 2]], dtype=int32)
12
Alberto Garcia-Raboso

一般的な方法は次のとおりです。

>>> v = [[1], [2, 3, 4], [5, 6], [7, 8, 9, 10], [11, 12]]
>>> max_len = np.argmax(v)
>>> np.hstack(np.insert(v, range(1, len(v)+1),[[0]*(max_len-len(i)) for i in v])).astype('int32').reshape(len(v), max_len)
array([[ 1,  0,  0,  0],
       [ 2,  3,  4,  0],
       [ 5,  6,  0,  0],
       [ 7,  8,  9, 10],
       [11, 12,  0,  0]], dtype=int32)
2
Kasramvd
max_len = max(len(sub_list) for sub_list in v)

result = np.array([sub_list + [0] * (max_len - len(sub_list)) for sub_list in v])

>>> result
array([[1, 0],
       [1, 2]])

>>> type(result)
numpy.ndarray
2
Alexander