我正在进行图像分类比赛 . 我有80个不同 class 的近50000个训练数据 . 我已经使用Vgg或Resnet这样的预训练模型进行了一些测试，两者都运行良好但不够好，训练acc几乎为1，验证为0.85（过度拟合） . 我认为瓶颈在于数据，而不是模型，所以我提出了图像增强 .
现在我很困惑，我应该将转换后的图像保存到磁盘，或者只为每个时期的每一批应用随机变换 . 我现在正在练习后者，事情并没有那么多改进 .
保存或不保存预处理数据首先是时间问题和一匙可重复性，以防您在预处理过程中出现任何随机性 .
如果不耗时，那么动态执行应该是更简单的方法 . 另一方面，如果您的预处理很重（例如，当仅训练最后几层并因此使用中间层输出时），将此结果转储到磁盘应该更有用，这样您就不需要计算所有初始值每次都有层次 .
换句话说，它不是一个技术问题，倾销数据不应该干扰你的结果，而只是一个方便的问题 .
1 回答
保存或不保存预处理数据首先是时间问题和一匙可重复性，以防您在预处理过程中出现任何随机性 .
如果不耗时，那么动态执行应该是更简单的方法 . 另一方面，如果您的预处理很重（例如，当仅训练最后几层并因此使用中间层输出时），将此结果转储到磁盘应该更有用，这样您就不需要计算所有初始值每次都有层次 .
换句话说，它不是一个技术问题，倾销数据不应该干扰你的结果，而只是一个方便的问题 .