在神经网络中添加丢失的位置?

我已经看到有关神经网络不同部分的丢失的描述:

  • 权重矩阵中的丢失,

在矩阵乘法之后和relu之前隐藏层中的

  • dropout,

relu之后隐藏层中的

  • dropout,

在softmax函数之前的输出分数中

  • 和dropout

我对应该在哪里执行辍学感到有点困惑 . 有人可以帮忙解释一下吗?谢谢!

回答(1)

2 years ago

所以:

  • 您描述的第一个用法称为权重下降 .

  • 第二次和第三次使用've described are the same and they'通常被描述为激活时的退出 . 人们可能很容易注意到,当整行(或列 - 取决于实现)被关闭时,它可能以权重的下降来表示 .

  • 在第四种情况下,'s not a proper usage of dropout - the layer you want to use dropout on is an output layer - so it'不是最好的想法,在那里使用dropout .