我试图通过我的numpy神经网络解决狗与猫的问题 .
验证丢失
训练损失
我的训练损失很好，但验证损失增加，所以我的模型绝对过度拟合 . 我使用了两个大小为125,50的隐藏层 . 我使用0.075的学习率运行600次迭代的模型 .
我也试过使用lambda = 0.01或0.03的正则化，但仍然没有帮助 .
解决这个问题的任何方法？
将Dropout添加到每个图层，丢失概率为.5 . 了解它如何影响验证错误，如果您的训练误差不会超过特定点，请将概率降低到.3或从第一层依次删除 . 这里有点尝试和错误 .
我猜你的意思是使用lamda进行L2正则化（权重衰减） . 如今，网络通常使用辍学和非常小的L2，如0.0005 . L2使权重接近于零并防止它们爆炸 . Dropout是一个更好的调节器，因为它在训练期间随机丢弃节点，从而导致某种特殊化 .
祝好运 .
1 回答
将Dropout添加到每个图层，丢失概率为.5 . 了解它如何影响验证错误，如果您的训练误差不会超过特定点，请将概率降低到.3或从第一层依次删除 . 这里有点尝试和错误 .
我猜你的意思是使用lamda进行L2正则化（权重衰减） . 如今，网络通常使用辍学和非常小的L2，如0.0005 . L2使权重接近于零并防止它们爆炸 . Dropout是一个更好的调节器，因为它在训练期间随机丢弃节点，从而导致某种特殊化 .
祝好运 .