我正在学习神经网络中的激活函数 . 简单线性函数的问题如下：
A = cx，相对于x的导数是c . 这意味着梯度与X无关 . 它是一个恒定的梯度，下降将是一个恒定的梯度 . 如果预测中存在错误，则反向传播所做的更改是不变的，并且不依赖于输入增量（x）的变化！
ReLu函数的导数也是常数 . 我的问题是“当它的导数是一个常数并且不依赖于输入的变化时，我们怎么能用ReLu函数反向传播？”
线性函数不用作神经网络中的激活函数 .
ReLU激活功能定义为
f（x）= max（0，x）
它不是线性的，它的导数不是常数 . 对于负x，导数为0，对于正x，导数为1 .
1 回答
线性函数不用作神经网络中的激活函数 .
ReLU激活功能定义为
f（x）= max（0，x）
它不是线性的，它的导数不是常数 . 对于负x，导数为0，对于正x，导数为1 .