我使用ImageDataGenerator,fit_generator和evaluate_generator遇到了一个非常奇怪的keras模型 .
我正在创建这样的模型:
classes = <list of classes>
num_classes = len(classes)
pretrained_model = Sequential()
pretrained_model.add(ResNet50(include_top=False, weights='imagenet', pooling='avg'))
pretrained_model.add(Dense(num_classes, activation='softmax'))
pretrained_model.layers[0].trainable = False
pretrained_model.compile(
optimizer='adam',
loss='categorical_crossentropy',
metrics=['accuracy']
)
我正在训练它:
idg_final = ImageDataGenerator(
data_format='channels_last',
rescale=1./255,
width_shift_range = 0.2,
height_shift_range = 0.2,
rotation_range=15,
)
traing_gen = idg_final.flow_from_directory('./train', classes=classes, target_size=(224, 224), class_mode='categorical')
pretrained_model.fit_generator(traing_gen, epochs=1, verbose=1)
fit_generator
打印 loss: 1.0297 - acc: 0.7546
.
然后,我试图评估 exact same data it was trained on. 上的模型
debug_gen = idg_final.flow_from_directory('./train', target_size=(224, 224), class_mode='categorical', classes=classes, shuffle=True)
print(pretrained_model.evaluate_generator(debug_gen, steps=100))
其中打印 [10.278913383483888, 0.0]
.
为什么在相同的精确数据上精度如此不同?
编辑:我还想指出,有时精度高于0.0 . 例如,当我使用经历了五个时期训练的模型时, evaluate_accuracy
返回6%的准确度 .
编辑2:基于下面的答案,我确保训练更多的时期,并且评估的 ImageDataGenerator
没有随机的轮班和轮换 . 我在训练期间仍然获得非常高的准确度,并且在同一数据集的评估期间精度极低 .
我训练像
idg_final = ImageDataGenerator(
data_format='channels_last',
rescale=1./255,
width_shift_range = 0.2,
height_shift_range = 0.2,
rotation_range=15,
)
traing_gen = idg_final.flow_from_directory('./train', classes=classes, target_size=(224, 224), class_mode='categorical')
pretrained_model.fit_generator(traing_gen, epochs=10, verbose=1)
其中打印以下内容:
Found 9850 images belonging to 4251 classes.
Epoch 1/10
308/308 [==============================] - 3985s 13s/step - loss: 8.9218 - acc: 0.0860
Epoch 2/10
308/308 [==============================] - 3555s 12s/step - loss: 3.2710 - acc: 0.3403
Epoch 3/10
308/308 [==============================] - 3594s 12s/step - loss: 1.8597 - acc: 0.5836
Epoch 4/10
308/308 [==============================] - 3656s 12s/step - loss: 1.2712 - acc: 0.7058
Epoch 5/10
308/308 [==============================] - 3667s 12s/step - loss: 0.9556 - acc: 0.7795
Epoch 6/10
308/308 [==============================] - 3689s 12s/step - loss: 0.7665 - acc: 0.8207
Epoch 7/10
308/308 [==============================] - 3693s 12s/step - loss: 0.6581 - acc: 0.8498
Epoch 8/10
308/308 [==============================] - 3618s 12s/step - loss: 0.5874 - acc: 0.8636
Epoch 9/10
308/308 [==============================] - 3823s 12s/step - loss: 0.5144 - acc: 0.8797
Epoch 10/10
308/308 [==============================] - 4334s 14s/step - loss: 0.4835 - acc: 0.8854
而且我正在评估 exact same dataset
idg_debug = ImageDataGenerator(
data_format='channels_last',
rescale=1./255,
)
debug_gen = idg_debug.flow_from_directory('./train', target_size=(224, 224), class_mode='categorical', classes=classes)
print(pretrained_model.evaluate_generator(debug_gen))
其打印精度如下: [10.743386410747084, 0.0001015228426395939]
完整代码是here .
1 回答
我怀疑的两件事 .
1 - No, your data is not the same.
你在
ImageDataGenerator
中使用了三种类型的扩充,似乎没有设置随机种子 . 因此,测试数据不等于训练数据 .而且看起来,你're also training for only one epoch, which is very little (unless you really have tons of data, but since you'正在使用扩充,也许's not the case). (PS: I don't在你的
fit_generator
调用中看到steps_per_epoch
参数...)所以,如果你想看到好的结果,这里有一些解决方案:
从生成器中删除此测试的增强参数(训练和测试数据) - 这意味着,删除
width_shift_range
,height_shift_range
和rotation_range
;如果没有,训练真的很长,足以让你的模型真正适应各种增强图像(因为看起来,五个时代似乎仍然太少);
或设置随机种子并保证测试数据等于训练数据(参数
seed
inflow_from_directory
)2 - (如果您不是're very new to Keras/programming, so please ignore if it',可能会发生这种情况) You might be running the code that defines the model again when testing.
如果您再次运行定义模型的代码,它将使用随机权重替换您之前的所有训练 .
3 - Since we're out of suggestions:
也许保存重量而不是保存模型 . 我通常这样做而不是保存模型 . (由于某种原因,我不明白,我从来没有能够加载这样的模型)
Hint:
它与错误无关,但要确保基础模型层真的是第0层 . 如果我记得很清楚,顺序模型有一个输入层,你实际上应该使第1层无法处理 .
使用
model.summary()
确认无法处理的参数数量 .