首页 文章

使用ReLu函数反向传播

提问于
浏览 1790
2

我正在学习神经网络中的激活函数 . 简单线性函数的问题如下:

A = cx,相对于x的导数是c . 这意味着梯度与X无关 . 它是一个恒定的梯度,下降将是一个恒定的梯度 . 如果预测中存在错误,则反向传播所做的更改是不变的,并且不依赖于输入增量(x)的变化!

ReLu函数的导数也是常数 . 我的问题是“当它的导数是一个常数并且不依赖于输入的变化时,我们怎么能用ReLu函数反向传播?”

1 回答

  • 0

    线性函数不用作神经网络中的激活函数 .

    ReLU激活功能定义为

    f(x)= max(0,x)

    它不是线性的,它的导数不是常数 . 对于负x,导数为0,对于正x,导数为1 .

相关问题