1つのNumPy配列の規範が欲しいのですが。より具体的には、私はこの機能の同等のバージョンを探しています
def normalize(v):
norm = np.linalg.norm(v)
if norm == 0:
return v
return v / norm
skearn
やnumpy
にそのようなものはありますか?
この関数は、v
が0ベクトルの場合に機能します。
あなたがscikit-learnを使っているなら、 sklearn.preprocessing.normalize
を使うことができます。
import numpy as np
from sklearn.preprocessing import normalize
x = np.random.Rand(1000)*10
norm1 = x / np.linalg.norm(x)
norm2 = normalize(x[:,np.newaxis], axis=0).ravel()
print np.all(norm1 == norm2)
# True
そのような機能が含まれている電池の一部であるならば、私はそれがいいと思ったことに同意するでしょう。しかし、私の知る限りではありません。これは任意の軸のためのバージョンであり、そして最適な性能を与えます。
import numpy as np
def normalized(a, axis=-1, order=2):
l2 = np.atleast_1d(np.linalg.norm(a, order, axis))
l2[l2==0] = 1
return a / np.expand_dims(l2, axis)
A = np.random.randn(3,3,3)
print(normalized(A,0))
print(normalized(A,1))
print(normalized(A,2))
print(normalized(np.arange(3)[:,None]))
print(normalized(np.arange(3)))
Ordを指定してL1ノルムを取得できます。ゼロ除算を避けるために私はepsを使いますが、それはおそらく素晴らしいことではありません。
def normalize(v):
norm=np.linalg.norm(v, ord=1)
if norm==0:
norm=np.finfo(v.dtype).eps
return v/norm
多次元データがあり、各軸をそれ自体に正規化したい場合は、次のようにします。
def normalize(d):
# d is a (n x dimension) np array
d -= np.min(d, axis=0)
d /= np.ptp(d, axis=0)
return d
Numpys peak to peak functionを使用します。
これはまたあなたのために働くかもしれません
import numpy as np
normalized_v = v / np.sqrt(np.sum(v**2))
v
の長さが0の場合は失敗します。
Christoph Gohlkeによる人気の 変換 モジュールのベクトルを正規化する関数unit_vector()
もあります。
import transformations as trafo
import numpy as np
data = np.array([[1.0, 1.0, 0.0],
[1.0, 1.0, 1.0],
[1.0, 2.0, 3.0]])
print(trafo.unit_vector(data, axis=1))
3Dテンソルに格納されているn次元の特徴ベクトルを正規化したい場合は、PyTorchも使用できます。
import numpy as np
from torch import FloatTensor
from torch.nn.functional import normalize
vecs = np.random.Rand(3, 16, 16, 16)
norm_vecs = normalize(FloatTensor(vecs), dim=0, eps=1e-16).numpy()
3Dベクトルを使っているのなら、toolbelt vg を使ってこれを簡潔に行うことができます。それはでこぼこの上に軽い層であり、それは単一の値と積み重ねられたベクトルをサポートします。
import numpy as np
import vg
x = np.random.Rand(1000)*10
norm1 = x / np.linalg.norm(x)
norm2 = vg.normalize(x)
print np.all(norm1 == norm2)
# True
私は前回の起動時にこのライブラリを作成しましたが、このライブラリは次のような用途に動機付けられていました。NumPyではあまりにも冗長すぎる単純なアイデア。
最大限の精度が必要ない場合は、関数を次のように縮小できます。
v_norm = v / (np.linalg.norm(v) + 1e-16)
あなたはsci-kitが学んだと言ったので、私は別の解決策を共有したいと思います。
MinMaxScaler
を学ぶSci-kit learnには、あなたが好きなように値の範囲をカスタマイズできるMinMaxScaler
と呼ばれるAPIがあります。
それはまた私達のためにNaN問題を扱います。
NaNは欠損値として扱われます。近似では無視され、変換では維持されます。 ...参考文献[1]を参照してください。
コードは単純です、ただタイプ
# Let's say X_train is your input dataframe
from sklearn.preprocessing import MinMaxScaler
# call MinMaxScaler object
min_max_scaler = MinMaxScaler()
# feed in a numpy array
X_train_norm = min_max_scaler.fit_transform(X_train.values)
# wrap it up if you need a dataframe
df = pd.DataFrame(X_train_norm)
sklearn
なしで、numpy
のみを使用します。関数を定義するだけです。
行が変数であり、列がサンプル(axis= 1
):
import numpy as np
# Example array
X = np.array([[1,2,3],[4,5,6]])
def stdmtx(X):
means = X.mean(axis =1)
stds = X.std(axis= 1, ddof=1)
X= X - means[:, np.newaxis]
X= X / stds[:, np.newaxis]
return np.nan_to_num(X)
出力:
X
array([[1, 2, 3],
[4, 5, 6]])
stdmtx(X)
array([[-1., 0., 1.],
[-1., 0., 1.]])