我有一个非常小的数据集（40个训练样例，10个验证示例，120个类），我在Keras中使用非常简单的模型获得了非常高的精度（仅限于batchnorm，flatten和dense layers） .
我的训练准确率为94-95％，验证准确率为76-78％ . 我知道它过度拟合了，我尝试了一些东西 . 数据不是图像，所以我不能增加数据 . 我也无法添加数据，因为它是特定类型 . 我正在使用两个0.5级的丢包层，架构非常简单，所以我认为我不能降低架构的复杂性 . 如果有人喜欢，我可以粘贴模型 .
我的问题是：是否存在验证准确度不能达到训练准确度的情况？是否存在基于数据集大小的限制？或者，总是有可能验证精度以匹配训练精度，网络只需要正确的参数吗？
非常感谢
1 回答
这肯定是过度拟合的 .
过度拟合不仅仅是因为“太强大的模型”，而且还有很多，因为没有足够的数据，而且我相信这是你的情况 .
120个 class 的40个例子？这听起来很像缺少很多数据 .