我很难构建好的神经网络教学算法，因为有一些manu nuanses . 首先要做的事情是：我的目标是教授nn xor函数我使用sigmoid作为激活函数和简单的梯度下降 . 前馈很容易，但backprop在某种程度上令人困惑 - 大多数算法描述的常见步骤是：1 . 计算输出层的误差 . 2.将此错误传播到关于权重的隐藏层3.更新突触上的权重
所以我的问题：1 . 偏见是否也应该更新，如果是，如何？目前我选择随机偏倚[0.5; 1]？ 2.可以在步骤2中更新权重吗？ 3.我的approch假设nn中的第一层是带神经元的输入层 . 那么这层中的哪些值必须更新？只有连接输入层和第一个隐藏层的突触权重？
1 回答
偏见也应该更新 . 通过激活1将偏差视为重量 .
反向传播步骤应包括权重更新 . 这就是这一步的目的 .
第一层是术语问题 . 输入通常被建模为一个层 . 然而，这是输入=激活的特殊情况 . 输入本身没有重量 . 权重是到下一层的连接 . 然后，该层与其他层的其他层没有区别 .