首页 文章

Pytorch：剪切激活的可学习阈值

提问于
浏览 次
1

使用可学习阈值剪辑ReLU激活的正确方法是什么？这是我实现它的方式，但是我不确定这是否正确：

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()

        self.act_max = nn.Parameter(torch.Tensor([0]), requires_grad=True)

        self.conv1 = nn.Conv2d(3, 32, kernel_size=5)
        self.conv2 = nn.Conv2d(32, 64, kernel_size=5)
        self.pool = nn.MaxPool2d(2, 2)
        self.relu = nn.ReLU()
        self.linear = nn.Linear(64 * 5 * 5, 10)

    def forward(self, input):
        conv1 = self.conv1(input)
        pool1 = self.pool(conv1)
        relu1 = self.relu(pool1)

        relu1[relu1 > self.act_max] = self.act_max

        conv2 = self.conv2(relu1)
        pool2 = self.pool(conv2)
        relu2 = self.relu(pool2)
        relu2 = relu2.view(relu2.size(0), -1)
        linear = self.linear(relu2)
        return linear


model = Net()
torch.nn.init.kaiming_normal_(model.parameters)
nn.init.constant(model.act_max, 1.0)
model = model.cuda()
optimizer = torch.optim.SGD(model.parameters(), lr=0.001)
for epoch in range(100):
    for i in range(1000):
        output = model(input)
        loss = nn.CrossEntropyLoss()(output, label)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        model.act_max.data = model.act_max.data - 0.001 * model.act_max.grad.data

我不得不添加最后一行，因为没有它，值不会因某种原因而更新 .

pytorch

1 回答

  • 1

    该代码存在两个问题 .

    • 实现级别的一个是你可以很好地使用autograd . 代替

    relu1[relu1 > self.act_max] = self.act_max

    你应该使用像这样的非现场操作

    relu1 = torch.where(relu1 > self.act_max, self.act_max, relu1)

    • 另一个更通用：神经网络通常使用梯度下降方法训练，并且阈值可以没有梯度 - 损失函数在阈值方面不可微分 .

    在你的模型中，你正在使用一个脏的hackaround（无论你是按原样写还是使用 torch.where ） - 只定义 model.act_max.grad.data 因为某些元素的值设置为 model.act_max . 但是这个梯度并不知道为什么将它们设置为该值 . 为了使事情更具体，让我们定义截止操作 C(x, t) ，它定义 x 是高于还是低于阈值 t

    C(x, t) = 1 if x < t else 0

    并将剪辑操作写为产品

    clip(x, t) = C(x, t) * x + (1 - C(x, t)) * t

    然后，您可以看到阈值 t 具有双重含义：它控制何时截止（在 C 内）并且它控制截止值以上的值（尾随 t ） . 因此，我们可以将操作概括为

    clip(x, t1, t2) = C(x, t1) * x + (1 - C(x, t1)) * t2

    你的操作的问题在于它只能与 t2 相区别，而不是 t1 . 你的解决方案将两者联系在一起，以便 t1 == t2 ，但仍然会出现梯度下降就好像没有改变阈值，只改变阈值以上的情况 .

    出于这个原因，一般来说，您的阈值操作可能无法学习您希望它学习的 Value . 在开发操作时要记住这一点，但不能保证失败 - 事实上，如果你考虑某些线性单位的偏置输出的标准 ReLU ，我们会得到类似的图片 . 我们定义了截止操作 H

    H(x, t) = 1 if x > t else 0

    和 ReLU as

    ReLU(x + b, t) = (x + b) * H(x + b, t) = (x + b) * H(x, t - b)

    在哪里我们可以再次推广到

    ReLU(x, b, t) = (x + b) * H(x, t)

    我们再次只能学习 b 和 t 隐含地跟随 b . 但似乎工作:)

    回复于

相关问题