web-dev-qa-db-ja.com

PyTorch：単一の例を予測する

以下の例に従ってください：

https://github.com/jcjohnson/pytorch-examples

このコードは正常にトレーニングします。

# Code in file tensor/two_layer_net_tensor.py
import torch

device = torch.device('cpu')
# device = torch.device('cuda') # Uncomment this to run on GPU

# N is batch size; D_in is input dimension;
# H is hidden dimension; D_out is output dimension.
N, D_in, H, D_out = 64, 1000, 100, 10

# Create random input and output data
x = torch.randn(N, D_in, device=device)
y = torch.randn(N, D_out, device=device)

# Randomly initialize weights
w1 = torch.randn(D_in, H, device=device)
w2 = torch.randn(H, D_out, device=device)

learning_rate = 1e-6
for t in range(500):
  # Forward pass: compute predicted y
  h = x.mm(w1)
  h_relu = h.clamp(min=0)
  y_pred = h_relu.mm(w2)

  # Compute and print loss; loss is a scalar, and is stored in a PyTorch Tensor
  # of shape (); we can get its value as a Python number with loss.item().
  loss = (y_pred - y).pow(2).sum()
  print(t, loss.item())

  # Backprop to compute gradients of w1 and w2 with respect to loss
  grad_y_pred = 2.0 * (y_pred - y)
  grad_w2 = h_relu.t().mm(grad_y_pred)
  grad_h_relu = grad_y_pred.mm(w2.t())
  grad_h = grad_h_relu.clone()
  grad_h[h < 0] = 0
  grad_w1 = x.t().mm(grad_h)

  # Update weights using gradient descent
  w1 -= learning_rate * grad_w1
  w2 -= learning_rate * grad_w2

単一の例をどのように予測できますか？これまでの私の経験は、numpyだけを使用したフィードフォワードネットワークの利用です。モデルをトレーニングした後、フォワードプロパゲーションを利用しますが、1つの例では：

numpyコードスニペットここで、newは、予測しようとしている出力値です。

new = np.asarray(toclassify) 
Z1 = np.dot(weight_layer_1, new.T) + bias_1 
sigmoid_activation_1 = sigmoid(Z1) 
Z2 = np.dot(weight_layer_2, sigmoid_activation_1) + bias_2 
sigmoid_activation_2 = sigmoid(Z2)

sigmoid_activation_2には予測ベクトル属性が含まれています

慣用的なPyTorchは同じですか？単一の予測を行うために順方向伝搬を使用しますか？

pythonmachine-learningpytorchbackpropagation
4
blue-sky

あなたが投稿したコードは、そのようなディープラーニングフレームワークの内部メカニズムを明らかにしようとする単純なデモです。 PyTorch、Keras、Tensorflowなどを含むこれらのフレームワークは、ネットワーク構造を定義している限り、フォワード計算、追跡、勾配の適用を自動的に処理します。しかし、あなたが示したコードはまだこれらのものを手動で実行しようとします。これが、1つの例を予測するときに面倒だと感じる理由です。

実際には、torch.nn.Moduleから継承されたモデルクラスを定義し、__init__関数ですべてのネットワークコンポーネント（ニューラルレイヤー、GRU、LSTMレイヤーなど）を初期化し、これらのコンポーネントがどのように相互作用するかを定義しますforward関数のネットワーク入力。

指定したページの例を見てみましょう。

# Code in file nn/two_layer_net_module.py
import torch

class TwoLayerNet(torch.nn.Module):
    def __init__(self, D_in, H, D_out):
        """
        In the constructor we instantiate two nn.Linear modules and 
        assign them as
        member variables.
        """
        super(TwoLayerNet, self).__init__()
        self.linear1 = torch.nn.Linear(D_in, H)
        self.linear2 = torch.nn.Linear(H, D_out)

    def forward(self, x):
        """
        In the forward function we accept a Tensor of input data and we must return
        a Tensor of output data. We can use Modules defined in the constructor as
        well as arbitrary (differentiable) operations on Tensors.
        """
        h_relu = self.linear1(x).clamp(min=0)
        y_pred = self.linear2(h_relu)
        return y_pred

# N is batch size; D_in is input dimension;
# H is hidden dimension; D_out is output dimension.
N, D_in, H, D_out = 64, 1000, 100, 10

# Create random Tensors to hold inputs and outputs
x = torch.randn(N, D_in)
y = torch.randn(N, D_out)

# Construct our model by instantiating the class defined above.
model = TwoLayerNet(D_in, H, D_out)

# Construct our loss function and an Optimizer. The call to 
model.parameters()
# in the SGD constructor will contain the learnable parameters of the two
# nn.Linear modules which are members of the model.
loss_fn = torch.nn.MSELoss(size_average=False)
optimizer = torch.optim.SGD(model.parameters(), lr=1e-4)
for t in range(500):
    # Forward pass: Compute predicted y by passing x to the model
    y_pred = model(x)

    # Compute and print loss
    loss = loss_fn(y_pred, y)
    print(t, loss.item())

    # Zero gradients, perform a backward pass, and update the weights.
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

このコードは、TwoLayerNetという名前のモデルを定義し、__init__関数の2つの線形レイヤーを初期化し、これらの2つの線形がx関数の入力forwardとどのように相互作用するかをさらに定義します。モデルを定義したら、コードスニペットの最後に示すように、モデルインスタンスを呼び出すだけで、単一のフィードフォワード操作を実行できます。

y_pred = model(x)
6
AveryLiu