PyTorch-トレーニング中に学習率を取得する方法は？

Question

トレーニング中に、learning_rateの値を知りたいです。私は何をすべきか？

次のような私のコードです：

my_optimizer = torch.optim.SGD(my_model.parameters(), 
                               lr=0.001, 
                               momentum=0.99, 
                               weight_decay=2e-3)

ありがとうございました。

Answer 1

指定した例のような1つのパラメーターグループのみに対して、この関数を使用し、トレーニング中に呼び出して現在の学習率を取得できます。

def get_lr(optimizer):
    for param_group in optimizer.param_groups:
        return param_group['lr']