首页 文章

Keras - 训练期间的负损失和val_loss

提问于
浏览
0

我在Keras有小型神经网络 .

contextTrain, contextTest, utteranceTrain, utteranceTest = train_test_split(context, utterance, test_size=0.1, random_state=1)
model = Sequential()
model.add(LSTM(input_shape=contextTrain.shape[1:], return_sequences=True, units=300, activation="sigmoid", kernel_initializer="glorot_normal", recurrent_initializer="glorot_normal"))
model.add(LSTM(return_sequences=True, units=300, activation="sigmoid", kernel_initializer="glorot_normal", recurrent_initializer="glorot_normal"))
model.compile(loss="cosine_proximity", optimizer="adam", metrics=["accuracy"])
model.fit(contextTrain, utteranceTrain, epochs=5000, validation_data=(contextTest, utteranceTest), callbacks=[ModelCheckpoint("model{epoch:02d}.h5", monitor='val_acc', save_best_only=True, mode='max')])

上下文和话语是具有形状的numpy数组,例如(100,15,300) . fisrt LSTM的Input_shape应为(15,300) .

我不知道发生了什么但突然在训练期间打印出负损和val_loss . 它过去通常是正的(约0.18左右) .

培训90个样本,验证10个样本大纪元1/5000 90/90 [==============================] - 5s 52ms /步 - 损失:-0.4729 - acc:0.0059 - val_loss:-0.4405 - val_acc:0.0133 Epoch 2/5000 90/90 [==================== ==========] - 2s 18ms /步 - 损失:-0.5091 - acc:0.0089 - val_loss:-0.4658 - val_acc:0.0133 Epoch 3/5000 90/90 [======== ====================== - 2s 18ms /步 - 损失:-0.5204 - acc:0.0170 - val_loss:-0.4829 - val_acc:0.0200 Epoch 4/5000 90/90 [==============================] - 2s 20ms /步 - 损失:-0.5296 - acc:0.0244 - val_loss:-0.4949 - val_acc:0.0333 Epoch 5/5000 90/90 [==============================] - 2s 20ms /步 - 损失:-0.5370 - acc:0.0422 - val_loss:-0.5021 - val_acc:0.0400

这是什么意思?可能的原因是什么?

谢谢你的回复

1 回答

  • 2

    你的损失函数 cosine_proximity 确实可以取负值;根据Keras创作者Francois Chollet的说法,它通常是否定的(Github comment):

    损失只是您试图最小化的标量 . 它不应该是积极的!例如,余弦邻近损失通常是负的(试图通过最小化负标量来使接近度尽可能高) .

    这是another example使用余弦接近,其中值也是负的 .

相关问题