我正在使用CNN网络将图像分为5类 . 我的数据集大小约为370K . 我正在使用Adam优化器，学习率为0.0001，批量大小为32.令人惊讶的是，我在验证准确性方面有所提高，但验证损失却在不断增长 .
我假设模型对验证集越来越不确定，但精度更高，因为softmax输出的值大于阈值 .
这背后的原因是什么？在这方面的任何帮助将受到高度赞赏 .
正如之前的评论所指出的那样，我认为这是过度拟合的情况 . 过度拟合可能是数据集中高度变化的结果 . 当您训练CNN时，它显示出与减少训练误差的良好比率，从而产生更复杂的模型 . 更复杂的模型会产生过度拟合，并且可以在验证错误趋于增加时注意到 .
Adam优化器正在处理学习速率，指数衰减以及模型优化的一般情况，但它不会采取任何措施来防止过度拟合 . 如果你想减少它（过度拟合），你需要添加一个正则化技术，它会惩罚模型中较大的权重值 .
您可以在深度学习书中阅读有关此内容的更多详细信息：http://www.deeplearningbook.org/contents/regularization.html
1 回答
正如之前的评论所指出的那样，我认为这是过度拟合的情况 . 过度拟合可能是数据集中高度变化的结果 . 当您训练CNN时，它显示出与减少训练误差的良好比率，从而产生更复杂的模型 . 更复杂的模型会产生过度拟合，并且可以在验证错误趋于增加时注意到 .
Adam优化器正在处理学习速率，指数衰减以及模型优化的一般情况，但它不会采取任何措施来防止过度拟合 . 如果你想减少它（过度拟合），你需要添加一个正则化技术，它会惩罚模型中较大的权重值 .
您可以在深度学习书中阅读有关此内容的更多详细信息：http://www.deeplearningbook.org/contents/regularization.html