web-dev-qa-db-ja.com

NumpyでReLU機能を実装する方法

単純なニューラルネットワークを作成し、ReLU関数を使用したいと思います。誰かがnumpyを使用して関数を実装する方法の手がかりを教えてもらえますか？御時間ありがとうございます！

pythonnumpymachine-learningneural-network
50
Andoni Zubizarreta

いくつかの方法があります。

>>> x = np.random.random((3, 2)) - 0.5
>>> x
array([[-0.00590765,  0.18932873],
       [-0.32396051,  0.25586596],
       [ 0.22358098,  0.02217555]])
>>> np.maximum(x, 0)
array([[ 0.        ,  0.18932873],
       [ 0.        ,  0.25586596],
       [ 0.22358098,  0.02217555]])
>>> x * (x > 0)
array([[-0.        ,  0.18932873],
       [-0.        ,  0.25586596],
       [ 0.22358098,  0.02217555]])
>>> (abs(x) + x) / 2
array([[ 0.        ,  0.18932873],
       [ 0.        ,  0.25586596],
       [ 0.22358098,  0.02217555]])

次のコードで結果のタイミングをとる場合：

import numpy as np

x = np.random.random((5000, 5000)) - 0.5
print("max method:")
%timeit -n10 np.maximum(x, 0)

print("multiplication method:")
%timeit -n10 x * (x > 0)

print("abs method:")
%timeit -n10 (abs(x) + x) / 2

我々が得る：

max method:
10 loops, best of 3: 239 ms per loop
multiplication method:
10 loops, best of 3: 145 ms per loop
abs method:
10 loops, best of 3: 288 ms per loop

したがって、乗算は最速のようです。

93
Sid

xの変更を気にしない場合は、np.maximum(x, 0, x)を使用します。これは Daniel S によって指摘されました。それははるかに速く、人々はそれを見落とすかもしれないので、答えとして再投稿します。比較は次のとおりです。

max method:
10 loops, best of 3: 238 ms per loop
multiplication method:
10 loops, best of 3: 128 ms per loop
abs method:
10 loops, best of 3: 311 ms per loop
in-place max method:
10 loops, best of 3: 38.4 ms per loop
37
Richard Möhn

Numpyを使用したReLUの高速な方法を見つけました。 numpyのファンシーインデックス機能も使用できます。

ファンシーインデックス：

20. msループあたりms±272 µs（平均±標準偏差7実行、各10ループ）

>>> x = np.random.random((5,5)) - 0.5 
>>> x
array([[-0.21444316, -0.05676216,  0.43956365, -0.30788116, -0.19952038],
       [-0.43062223,  0.12144647, -0.05698369, -0.32187085,  0.24901568],
       [ 0.06785385, -0.43476031, -0.0735933 ,  0.3736868 ,  0.24832288],
       [ 0.47085262, -0.06379623,  0.46904916, -0.29421609, -0.15091168],
       [ 0.08381359, -0.25068492, -0.25733763, -0.1852205 , -0.42816953]])
>>> x[x<0]=0
>>> x
array([[ 0.        ,  0.        ,  0.43956365,  0.        ,  0.        ],
       [ 0.        ,  0.12144647,  0.        ,  0.        ,  0.24901568],
       [ 0.06785385,  0.        ,  0.        ,  0.3736868 ,  0.24832288],
       [ 0.47085262,  0.        ,  0.46904916,  0.        ,  0.        ],
       [ 0.08381359,  0.        ,  0.        ,  0.        ,  0.        ]])

これが私のベンチマークです。

import numpy as np
x = np.random.random((5000, 5000)) - 0.5
print("max method:")
%timeit -n10 np.maximum(x, 0)
print("max inplace method:")
%timeit -n10 np.maximum(x, 0,x)
print("multiplication method:")
%timeit -n10 x * (x > 0)
print("abs method:")
%timeit -n10 (abs(x) + x) / 2
print("fancy index:")
%timeit -n10 x[x<0] =0

max method:
241 ms ± 3.53 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
max inplace method:
38.5 ms ± 4 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
multiplication method:
162 ms ± 3.1 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
abs method:
181 ms ± 4.18 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
fancy index:
20.3 ms ± 272 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
19
Tobias

あなたははるかに簡単な方法で、numpyなしでそれを行うことができます：

def ReLU(x):
    return x * (x > 0)

def dReLU(x):
    return 1. * (x > 0)
13
Shital Shah

リチャードモーンの比較 は公平ではありません。
アンドレアディビアジオのコメント のように、インプレースメソッドnp.maximum(x, 0, x)は最初のループでxを変更します。
これが私のベンチマークです。

import numpy as np

def baseline():
    x = np.random.random((5000, 5000)) - 0.5
    return x

def relu_mul():
    x = np.random.random((5000, 5000)) - 0.5
    out = x * (x > 0)
    return out

def relu_max():
    x = np.random.random((5000, 5000)) - 0.5
    out = np.maximum(x, 0)
    return out

def relu_max_inplace():
    x = np.random.random((5000, 5000)) - 0.5
    np.maximum(x, 0, x)
    return x

タイミングをとる：

print("baseline:")
%timeit -n10 baseline()
print("multiplication method:")
%timeit -n10 relu_mul()
print("max method:")
%timeit -n10 relu_max()
print("max inplace method:")
%timeit -n10 relu_max_inplace()

結果を取得する：

baseline:
10 loops, best of 3: 425 ms per loop
multiplication method:
10 loops, best of 3: 596 ms per loop
max method:
10 loops, best of 3: 682 ms per loop
max inplace method:
10 loops, best of 3: 602 ms per loop

インプレース最大メソッドは、最大メソッドよりも少しだけ高速です。これは、「out」の変数割り当てが省略されているためかもしれません。そして、それは乗算法よりもまだ遅いです。
そして、あなたはReLU funcを実装しています。 reluを介してbackpropの 'x'を保存する必要がある場合があります。例えば。：

def relu_backward(dout, cache):
    x = cache
    dx = np.where(x > 0, dout, 0)
    return dx

だから、乗算法を使うことをお勧めします。

4
ivanpp

numpyにはreluの機能はありませんでしたが、次のように自分で定義します。

def relu(x):
    return np.maximum(0, x)

例えば：

arr = np.array([[-1,2,3],[1,2,3]])

ret = relu(arr)
print(ret) # print [[0 2 3] [1 2 3]]
0
Donald Su

Reluの(t0, a0, a1)パラメータが3つある場合、それは実装したい

if x > t0:
    x = x * a1
else:
    x = x * a0

次のコードを使用できます。

X = X * (X > t0) * a1 +  X * (X < t0) * a0

Xマトリックスがあります。

0
Boooooooooms