我训练了一个具有张量流（4301级）的人脸识别模型 . 培训过程如下（我已经 grab 了培训过程的图表）：training accuracy training loss
训练精度稳步提高，然而，对于训练损失，它首先减少，然后经过一定次数的迭代后，它会奇怪地增加 .
我只是使用softmax loss和权重正则化器 . 我使用AdamOptimizer来减少损失 . 对于学习率设置，初始lr设置为0.0001，学习率将每7个epoc减少一半（总共380000个训练图像，批量大小为16） . 我对验证集进行了测试（由8300个面部图像组成），验证准确率约为55.0％，远低于训练精度 .
它是否过度拟合？过度拟合会导致培训损失最终增加吗？
1 回答
过度拟合是指您在训练和测试数据方面的表现出现分歧时 - 由于您仅报告训练表现，因此情况并非如此 .
培训正在为您的损失运行最小化算法 . 当您的损失开始增加时，这意味着培训失败了应该做的事情 . 您可能希望更改最小化设置以使您的训练损失最终收敛 .
至于为什么你的准确度在你的损失开始出现后很长时间内继续增加，很难在不知道更多的情况下告诉你 . 解释可能是您的损失是不同术语的总和，例如交叉熵术语和正则化术语，并且只有后者发散 .