2つのnumpy配列を同時にシャッフルするより良い方法
異なる形状の2つのnumpy配列がありますが、長さは同じです（主要寸法）。対応する要素が対応し続けるように、それぞれをシャッフルします。つまり、それらの主要なインデックスに関して一致してシャッフルします。
このコードは機能し、私の目標を示しています：
def shuffle_in_unison(a, b):
assert len(a) == len(b)
shuffled_a = numpy.empty(a.shape, dtype=a.dtype)
shuffled_b = numpy.empty(b.shape, dtype=b.dtype)
permutation = numpy.random.permutation(len(a))
for old_index, new_index in enumerate(permutation):
shuffled_a[new_index] = a[old_index]
shuffled_b[new_index] = b[old_index]
return shuffled_a, shuffled_b
例えば：
>>> a = numpy.asarray([[1, 1], [2, 2], [3, 3]])
>>> b = numpy.asarray([1, 2, 3])
>>> shuffle_in_unison(a, b)
(array([[2, 2],
[1, 1],
[3, 3]]), array([2, 1, 3]))
ただし、これは不格好で非効率的で遅いように感じられ、配列のコピーを作成する必要があります-配列がかなり大きくなるので、それらをその場でシャッフルします。
これについてもっと良い方法はありますか？実行の高速化とメモリ使用量の削減が私の主な目標ですが、エレガントなコードもいいでしょう。
私が持っていたもう1つの考えはこれでした：
def shuffle_in_unison_scary(a, b):
rng_state = numpy.random.get_state()
numpy.random.shuffle(a)
numpy.random.set_state(rng_state)
numpy.random.shuffle(b)
これは動作します...しかし、動作し続けるという保証がほとんどないので、少し怖いです-たとえば、numpyバージョンで生き残ることが保証されているようなものではないようです。
あなたの「怖い」解決策は私には怖くないようです。同じ長さの2つのシーケンスに対してshuffle()を呼び出すと、乱数ジェネレーターの呼び出し数が同じになります。これらはシャッフルアルゴリズムの唯一の「ランダム」要素です。状態をリセットすることにより、乱数ジェネレーターへの呼び出しがshuffle()への2回目の呼び出しで同じ結果になるようにし、アルゴリズム全体が同じ置換を生成するようにします。
これが気に入らない場合は、データを最初から2つではなく1つの配列に保存し、現在の2つの配列をシミュレートするこの単一の配列に2つのビューを作成することで解決できます。単一の配列をシャッフルに使用し、ビューを他のすべての目的に使用できます。
例：配列aとbが次のように見えると仮定しましょう：
a = numpy.array([[[ 0., 1., 2.],
[ 3., 4., 5.]],
[[ 6., 7., 8.],
[ 9., 10., 11.]],
[[ 12., 13., 14.],
[ 15., 16., 17.]]])
b = numpy.array([[ 0., 1.],
[ 2., 3.],
[ 4., 5.]])
これで、すべてのデータを含む単一の配列を作成できます。
c = numpy.c_[a.reshape(len(a), -1), b.reshape(len(b), -1)]
# array([[ 0., 1., 2., 3., 4., 5., 0., 1.],
# [ 6., 7., 8., 9., 10., 11., 2., 3.],
# [ 12., 13., 14., 15., 16., 17., 4., 5.]])
次に、元のaおよびbをシミュレートするビューを作成します。
a2 = c[:, :a.size//len(a)].reshape(a.shape)
b2 = c[:, a.size//len(a):].reshape(b.shape)
a2およびb2のデータは、cと共有されます。両方の配列を同時にシャッフルするには、numpy.random.shuffle(c)を使用します。
実動コードでは、もちろん、元のaとbをまったく作成せず、すぐにc、a2およびb2を作成しないようにしてください。
このソリューションは、aとbのdtypeが異なる場合に適応できます。
NumPyの array indexing を使用できます。
def unison_shuffled_copies(a, b):
assert len(a) == len(b)
p = numpy.random.permutation(len(a))
return a[p], b[p]
これにより、ユニゾンシャッフルアレイが個別に作成されます。
X = np.array([[1., 0.], [2., 1.], [0., 0.]])
y = np.array([0, 1, 2])
from sklearn.utils import shuffle
X, y = shuffle(X, y, random_state=0)
詳細については、 http://scikit-learn.org/stable/modules/generated/sklearn.utils.shuffle.html を参照してください
非常に簡単なソリューション：
randomize = np.arange(len(x))
np.random.shuffle(randomize)
x = x[randomize]
y = y[randomize]
2つの配列x、yは両方とも同じ方法でランダムにシャッフルされます
ジェームズは2015年にsklearn solution を書いています。これは役に立ちます。しかし、彼はランダムな状態変数を追加しましたが、これは必要ありません。以下のコードでは、numpyからのランダムな状態が自動的に想定されています。
X = np.array([[1., 0.], [2., 1.], [0., 0.]])
y = np.array([0, 1, 2])
from sklearn.utils import shuffle
X, y = shuffle(X, y)
NumPyのみを使用して、インプレースで任意の数の配列をシャッフルします。
import numpy as np
def shuffle_arrays(arrays, set_seed=-1):
"""Shuffles arrays in-place, in the same order, along axis=0
Parameters:
-----------
arrays : List of NumPy arrays.
set_seed : Seed value if int >= 0, else seed is random.
"""
assert all(len(arr) == len(arrays[0]) for arr in arrays)
seed = np.random.randint(0, 2**(32 - 1) - 1) if set_seed < 0 else set_seed
for arr in arrays:
rstate = np.random.RandomState(seed)
rstate.shuffle(arr)
そして、このように使用することができます
a = np.array([1, 2, 3, 4, 5])
b = np.array([10,20,30,40,50])
c = np.array([[1,10,11], [2,20,22], [3,30,33], [4,40,44], [5,50,55]])
shuffle_arrays([a, b, c])
注意すべきいくつかの点：
- このアサートにより、すべての入力配列が最初の次元に沿って同じ長さになることが保証されます。
- 配列は最初の次元でインプレースでシャッフルされました-何も返されませんでした。
- 正のint32範囲内のランダムシード。
- 反復可能なシャッフルが必要な場合、シード値を設定できます。
シャッフル後、アプリケーションに応じて、np.splitを使用してデータを分割するか、スライスを使用して参照できます。
次のような配列を作成できます。
s = np.arange(0, len(a), 1)
それをシャッフルします：
np.random.shuffle(s)
これを配列の引数として使用します。同じシャッフルされた引数は、同じシャッフルされたベクトルを返します。
x_data = x_data[s]
x_label = x_label[s]
from np.random import permutation
from sklearn.datasets import load_iris
iris = load_iris()
X = iris.data #numpy array
y = iris.target #numpy array
# Data is currently unshuffled; we should shuffle
# each X[i] with its corresponding y[i]
perm = permutation(len(X))
X = X[perm]
y = y[perm]
接続リストに対してインプレースシャッフルを実行する1つの方法は、シード（ランダムにすることも可能）を使用し、numpy.random.shuffleを使用してシャッフルを実行することです。
# Set seed to a random number if you want the shuffling to be non-deterministic.
def shuffle(a, b, seed):
np.random.seed(seed)
np.random.shuffle(a)
np.random.seed(seed)
np.random.shuffle(b)
それでおしまい。これは、まったく同じ方法でaとbの両方をシャッフルします。これもインプレースで行われ、常にプラスになります。
編集、np.random.seed（）を使用しないで、代わりにnp.random.RandomStateを使用してください
def shuffle(a, b, seed):
Rand_state = np.random.RandomState(seed)
Rand_state.shuffle(a)
Rand_state.seed(seed)
Rand_state.shuffle(b)
呼び出すときは、任意のシードを渡してランダムな状態をフィードします。
a = [1,2,3,4]
b = [11, 22, 33, 44]
shuffle(a, b, 12345)
出力：
>>> a
[1, 4, 2, 3]
>>> b
[11, 44, 22, 33]
編集：ランダム状態を再シードするためのコードを修正
これを処理できる既知の関数があります。
from sklearn.model_selection import train_test_split
X, _, Y, _ = train_test_split(X,Y, test_size=0.0)
Test_sizeを0に設定するだけで、分割が回避され、データがシャッフルされます。通常、列車と試験データの分割に使用されますが、それらもシャッフルします。
From ドキュメント
配列または行列をランダムトレインに分割し、サブセットをテストする
入力検証とnext（ShuffleSplit（）。split（X、y））およびアプリケーションをラップして、ワンライナーでデータを分割（およびオプションでサブサンプリング）するための単一の呼び出しにデータを入力するクイックユーティリティ。
Aとbの2つの配列があるとします。
a = np.array([[1,2,3],[4,5,6],[7,8,9]])
b = np.array([[9,1,1],[6,6,6],[4,2,0]])
最初に1次元を並べ替えることで行インデックスを取得できます
indices = np.random.permutation(a.shape[0])
[1 2 0]
次に、高度なインデックス作成を使用します。ここでは、同じインデックスを使用して、両方の配列を同時にシャッフルします。
a_shuffled = a[indices[:,np.newaxis], np.arange(a.shape[1])]
b_shuffled = b[indices[:,np.newaxis], np.arange(b.shape[1])]
これは同等です
np.take(a, indices, axis=0)
[[4 5 6]
[7 8 9]
[1 2 3]]
np.take(b, indices, axis=0)
[[6 6 6]
[4 2 0]
[9 1 1]]
Pythonのrandom.shuffle（）を拡張して、2番目の引数を取ります。
def shuffle_together(x, y):
assert len(x) == len(y)
for i in reversed(xrange(1, len(x))):
# pick an element in x[:i+1] with which to exchange x[i]
j = int(random.random() * (i+1))
x[i], x[j] = x[j], x[i]
y[i], y[j] = y[j], y[i]
そうすれば、シャッフルがインプレースで行われ、機能が長すぎたり複雑になったりすることはないと確信できます。
例では、これは私がやっていることです：
combo = []
for i in range(60000):
combo.append((images[i], labels[i]))
shuffle(combo)
im = []
lab = []
for c in combo:
im.append(c[0])
lab.append(c[1])
images = np.asarray(im)
labels = np.asarray(lab)
配列のコピーを避けたい場合は、順列リストを生成する代わりに、配列内のすべての要素を調べて、配列内の別の位置にランダムに交換することをお勧めします
for old_index in len(a):
new_index = numpy.random.randint(old_index+1)
a[old_index], a[new_index] = a[new_index], a[old_index]
b[old_index], b[new_index] = b[new_index], b[old_index]
これにより、Knuth-Fisher-Yatesシャッフルアルゴリズムが実装されます。