首页 文章

重新加载模型后,validation_loss突然下降

提问于
浏览
1

我正在测试keras / tensorflow中的cGAN,并且在1000个时期之后我保存了模型 .

经过一段时间我恢复了

  • 发电机模型重量

  • 鉴别器模型权重

  • GAN权重(模型重新创建)

这是由此产生的val_accuracy:

sudden drop

可以清楚地看到恢复模型后val_loss有大幅下降 .

有人可以解释一下为什么/可能导致这种情况的原因?

1 回答

  • 2

    可能需要进一步分析来证明这一点,但您可能只是无意中发现了一种名为“warm restarting”的技术 . 简单的说,你训练你的模型正常退火学习,停止,重置学习率并重新开始 . 直观地,你给模型机会跳出局部最小值,这可能导致观察到的行为 .

相关问题