在训练keras / tensorflow网络时，我观察到验证数据集中的损失远低于训练数据集中的损失 - 按数量级 . 我正在使用adam优化器和mean_squared_error丢失 . 在不同的网络类型和数据集大小上，行为是一致的 . 我认为验证中的平均损失大于火车 . 也许mean_squared_error是错误的绝对平方误差，由于验证通常小于火车，因此可以解释较低的值？如果不是那么解释这种行为的原因
这部分是由于以下事实：对于一个时期的训练误差被计算为批量训练数据的平均值，而验证误差是在整个验证集的时期结束时计算的 . 由于培训在一个时期内取得进展，因此第一批的培训错误通常高于最后一批 . 但它不应该产生数量级的差异 .
可能是您的培训和验证数据根本不同，或者您没有正确预处理数据 . 确保标准化您的数据 . 此外，如果您不使用时间序列，则在分割为train / val集之前随机地随机播放数据集 .
1 回答
这部分是由于以下事实：对于一个时期的训练误差被计算为批量训练数据的平均值，而验证误差是在整个验证集的时期结束时计算的 . 由于培训在一个时期内取得进展，因此第一批的培训错误通常高于最后一批 . 但它不应该产生数量级的差异 .
可能是您的培训和验证数据根本不同，或者您没有正确预处理数据 . 确保标准化您的数据 . 此外，如果您不使用时间序列，则在分割为train / val集之前随机地随机播放数据集 .