カスタム損失関数はどのように実装する必要がありますか?以下のコードを使用するとエラーが発生します:
_import torch
import torch.nn as nn
import torchvision
import torchvision.transforms as transforms
import numpy as np
import matplotlib.pyplot as plt
import torch.utils.data as data_utils
import torch.nn as nn
import torch.nn.functional as F
num_epochs = 20
x1 = np.array([0,0])
x2 = np.array([0,1])
x3 = np.array([1,0])
x4 = np.array([1,1])
num_epochs = 200
class cus2(torch.nn.Module):
def __init__(self):
super(cus2,self).__init__()
def forward(self, outputs, labels):
# reshape labels to give a flat vector of length batch_size*seq_len
labels = labels.view(-1)
# mask out 'PAD' tokens
mask = (labels >= 0).float()
# the number of tokens is the sum of elements in mask
num_tokens = int(torch.sum(mask).data[0])
# pick the values corresponding to labels and multiply by mask
outputs = outputs[range(outputs.shape[0]), labels]*mask
# cross entropy loss for all non 'PAD' tokens
return -torch.sum(outputs)/num_tokens
x = torch.tensor([x1,x2,x3,x4]).float()
y = torch.tensor([0,1,1,0]).long()
train = data_utils.TensorDataset(x,y)
train_loader = data_utils.DataLoader(train , batch_size=2 , shuffle=True)
device = 'cpu'
input_size = 2
hidden_size = 100
num_classes = 2
learning_rate = .0001
class NeuralNet(nn.Module) :
def __init__(self, input_size, hidden_size, num_classes) :
super(NeuralNet, self).__init__()
self.fc1 = nn.Linear(input_size , hidden_size)
self.relu = nn.ReLU()
self.fc2 = nn.Linear(hidden_size , num_classes)
def forward(self, x) :
out = self.fc1(x)
out = self.relu(out)
out = self.fc2(out)
return out
for i in range(0 , 1) :
model = NeuralNet(input_size, hidden_size, num_classes).to(device)
criterion = nn.CrossEntropyLoss()
# criterion = Regress_Loss()
# criterion = cus2()
optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate)
total_step = len(train_loader)
for Epoch in range(num_epochs) :
for i,(images , labels) in enumerate(train_loader) :
images = images.reshape(-1 , 2).to(device)
labels = labels.to(device)
outputs = model(images)
loss = criterion(outputs , labels)
optimizer.zero_grad()
loss.backward()
optimizer.step()
# print(loss)
outputs = model(x)
print(outputs.data.max(1)[1])
_
トレーニングデータの完全な予測を行います。
_tensor([0, 1, 1, 0])
_
https://cs230-stanford.github.io/pytorch-nlp.html#writing-a-custom-loss-function のカスタム損失関数を使用する:
上記のコードでは_cus2
_として実装されています
この損失関数を使用するためのコメント解除コード# criterion = cus2()
は以下を返します。
_tensor([0, 0, 0, 0])
_
警告も返されます:
UserWarning:0次元テンソルのインデックスが無効です。これはPyTorch 0.5ではエラーになります。 tensor.item()を使用して、0次元のテンソルをPython number
カスタム損失関数を正しく実装していませんか?
以下の場合を除き、損失関数はプログラム的に正しいです。
_ # the number of tokens is the sum of elements in mask
num_tokens = int(torch.sum(mask).data[0])
_
_torch.sum
_を実行すると、0次元のテンソルが返されるため、インデックスを作成できないという警告が表示されます。これを修正するには、提案どおりint(torch.sum(mask).item())
を実行するか、int(torch.sum(mask))
も機能します。
さて、カスタム損失を使用してCE損失をエミュレートしようとしていますか?はいの場合、_log_softmax
_が欠落しています
これを修正するには、ステートメント4の前にoutputs = torch.nn.functional.log_softmax(outputs, dim=1)
を追加します。チュートリアルの場合、_log_softmax
_は前方呼び出しで既に実行されています。それもできます。
また、学習速度が遅く、CEが失われた場合でも、結果に一貫性がないことに気付きました。学習率を1e-3に上げると、カスタムおよびCE損失の場合にうまく機能します。