我有一个损失函数和一个权重矩阵列表,我正在尝试计算二阶导数 . 这是一段代码:

loss.backward(retain_graph=True)
grad_params_w=torch.autograd.grad(loss, weight_list,create_graph=True)

for i in range(layers[a]): 
       for j in range (layers[a+1]): 
          second_der=torch.autograd.grad(grad_params_w[a][i,j], my_weight_list[b], create_graph=True)

上面的代码是有效的(实际上二阶导数是在一个单独的函数中调用的,但我为了简洁起见直接使用它) . 但我完全混淆何时使用create和retain graph .

第一:如果我不做loss.backward(retain_graph)我得到错误A:

RuntimeError:变量元组的元素0是volatile

如果我使用它,但不在一阶导数上放置任何“图形”语句,我得到错误B:

RuntimeError:尝试第二次向后遍历图形,但缓冲区已被释放 . 第一次向后调用时指定retain_graph = True .

如果我指定retain_graph = True,无论是否在那里放置创建图形语句,我都会得到二阶导数的错误A(即在for循环中) .

因此,只有上面的代码段有效,但我需要loss.backward和所有创建图形语句感觉很奇怪 . 有人可以向我澄清一下吗?非常感谢提前!!