我正在使用Tensorflow RNN来预测一堆序列 . 我使用Grucell和dynamic_rnn . 在训练时，我输入训练数据集，我将其分成 8 批次，每批次的批量大小为 10 （1批次的形状为 [10, 6, 2] ，即 [batchsize, seqlen, dim] ） . 为了防止过度拟合，我在训练数据集中的预测率开始超过80％时停止训练（通常在80％~83％的准确率下停止） .
训练之后，我让相同的图表只预测（不训练）相同的训练数据集 . 但这次，由于tf.nn.dynamic_rnn可以提供可变大小的批量，我可以将数据集定制为 80 批次，每个批次的批量大小为 1 ，形状为 [1, 10, 2] （只需降低批量大小，因此批量增加） . 然后，准确度通常超过90％，这明显高于80％ . 出于某种原因，缩小批量大小会导致更高的准确率 . 为什么会这样？
1 回答
据我所知，您的训练数据量较少，而且您在训练期间也提前停止，不要盲目地停止处理过度拟合检查您的训练和验证损失差异，如果差异在增加，则意味着您的模型开始过度拟合 . 在训练检查之前，您的数据集是偏向还是正确 balancer . 我认为这种情况正在发生，因为您的训练数据非常少，或者您的数据集不均衡 .