web-dev-qa-db-ja.com

PyTorch：学習した重みを正しく抽出する

線形レイヤーから重みを抽出しようとしていますが、エラーが単調に減少している（つまり、トレーニングが行われている）にもかかわらず、重みが変化していないようです。重みの合計を出力しても、一定のままなので何も起こりません。

np.sum（model.fc2.weight.data.numpy（））

ここにコードスニペットがあります：

def train(epochs):
    model.train()
    for Epoch in range(1, epochs+1):
        # Train on train set
        print(np.sum(model.fc2.weight.data.numpy()))
        for batch_idx, (data, target) in enumerate(train_loader):
            data, target = Variable(data), Variable(data)
            optimizer.zero_grad()
            output = model(data)
            loss = criterion(output, target)
            loss.backward()
            optimizer.step()

そして

# Define model
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        # an affine operation: y = Wx + b
        self.fc1 = nn.Linear(100, 80, bias=False)
        init.normal(self.fc1.weight, mean=0, std=1)
        self.fc2 = nn.Linear(80, 87)
        self.fc3 = nn.Linear(87, 94)
        self.fc4 = nn.Linear(94, 100)

    def forward(self, x):
        x = self.fc1(x)
        x = F.relu(self.fc2(x))
        x = F.relu(self.fc3(x))
        x = F.relu(self.fc4(x))
        return x

私はドキュメントをチェックしましたが、多分私は間違ったパラメータを探しています。ご協力いただきありがとうございます！

pythonpytorch
10
N8_Coder

model.parameters()を使用して、任意のモデルまたはレイヤーのトレーニング可能な重みを取得します。 list（）内に配置することを忘れないでください。そうしないと、印刷できません。

次のコードの切り取りは機能しました

>>> import torch
>>> import torch.nn as nn
>>> l = nn.Linear(3,5)
>>> w = list(l.parameters())
>>> w
16
Haha TTpro