我正在测试keras / tensorflow中的cGAN,并且在1000个时期之后我保存了模型 .
经过一段时间我恢复了
发电机模型重量
鉴别器模型权重
GAN权重(模型重新创建)
这是由此产生的val_accuracy:
可以清楚地看到恢复模型后val_loss有大幅下降 .
有人可以解释一下为什么/可能导致这种情况的原因?
可能需要进一步分析来证明这一点,但您可能只是无意中发现了一种名为“warm restarting”的技术 . 简单的说,你训练你的模型正常退火学习,停止,重置学习率并重新开始 . 直观地,你给模型机会跳出局部最小值,这可能导致观察到的行为 .
1 回答
可能需要进一步分析来证明这一点,但您可能只是无意中发现了一种名为“warm restarting”的技术 . 简单的说,你训练你的模型正常退火学习,停止,重置学习率并重新开始 . 直观地,你给模型机会跳出局部最小值,这可能导致观察到的行为 .