我已经制作了一个自定义损失函数来计算多输出多标签问题的交叉熵(CE) . 在课堂上,我想设置我不需要渐变的目标变量 . 我在前向函数中使用类外部的预定义函数(取自pytorch源代码)来执行此操作 .
def _assert_no_grad(variable):
assert not variable.requires_grad
def forward(self, predicted, target):
"""
Computes cross entropy between targets and predictions.
"""
# No gradient over target
_assert_no_grad(target)
# Define variables
p = predicted.clamp(0.01, 0.99)
t = target.float()
#Compute cross entropy
h1 = p.log()*t
h2 = (1-t)*((1-p).log())
ce = torch.add(h1, h2)
ce_out = torch.mean(ce, 1)
ce_out = torch.mean(ce_out, 0)
# Save for backward step
self.save_for_backward(ce_out)
此时,当我在批量for循环中运行代码时(见下文),我收到以下错误:
AttributeError:'torch.FloatTensor'对象没有属性'requires_grad'
这看起来很简单,因为我们应该传递一个torch.autograd.Variable,但是我已经这样做了,如下面的片段中所示 .
for t in range(50):
print('Epoch {}'.format(t))
if t > 0:
print('Loss ->', loss)
for batch_idx, (x_batch, y_batch) in enumerate(train_loader):
# Wrap in Variable
x_in, target = Variable(x_batch), Variable(y_batch)
predicted = model(x_in)
# Compute and print loss
loss = criterion(predicted, target)
# Zero gradients, perform a backward pass, and update the weights.
optimizer.zero_grad()
loss.backward()
optimizer.step()
要添加注释,我的最终目标是生成一个类似BCELoss的类,除了多个标签而不仅仅是二进制 . 我觉得我已经浏览了整个PyTorch文档,主要是使用这个和一些论坛条目 . http://pytorch.org/docs/master/notes/extending.html
所以
1 回答
问题出在“target.float()”行,它将你的t变量转换为Tensor . 您可以在CE计算中直接使用目标而不会出现任何问题 .
另外,我猜你真的不需要“self.save_for_backward(ce_out)”因为我猜你正在定义nn.Module类,它将在内部处理后向传递 .