首页 文章

如何计算RNN / LSTM的损失?

提问于
浏览
0

我通过练习时间序列训练数据来学习LSTM是如何工作的(输入是一个特征列表,输出是一个标量) . 在计算RNN / LSTM的损失时,我无法理解这个问题:

如何计算损失?它是在每次我给出nn新输入或通过所有给定输入进行累计时计算的,然后是backprop

1 回答

  • 1

    答案不依赖于神经网络模型 . 这取决于您选择的优化方法 .

    如果您使用批量梯度下降,则在整个训练集中平均丢失 . 这对于神经网络来说通常是不切实际的,因为训练集太大而不适合RAM,并且每个优化步骤都需要花费很多时间 .

    在随机梯度下降中,计算每个新输入的损失 . 这种方法的问题是它很吵 .

    在小批量梯度下降中,每个新的小批量平均损失 - 一些小固定大小的输入的子样本 . 通常在实践中使用这种方法的一些方法 .

    因此,您的问题的答案取决于您选择的小批量大小 .

    Convergence of gradient descent depending on minibatch size

    (图片来自here

相关问题