首页 文章

我怎样才能在Keras中故意过度卷积神经网络以确保模型正常工作？

提问于
浏览 次
3

我正在尝试在训练我的模型时诊断导致低精度的原因 . 在这一点上，我只是希望能够达到高训练精度（我可以担心以后测试准确性/过度拟合问题） . 如何根据训练准确度调整模型以过度指数？我想这样做是为了确保我在预处理步骤中没有犯任何错误（改组，拆分，规范化等） .

#PARAMS
dropout_prob = 0.2
activation_function = 'relu'
loss_function = 'categorical_crossentropy'
verbose_level = 1
convolutional_batches = 32
convolutional_epochs = 5
inp_shape = X_train.shape[1:]
num_classes = 3


def train_convolutional_neural():
    y_train_cat = np_utils.to_categorical(y_train, 3) 
    y_test_cat = np_utils.to_categorical(y_test, 3)

    model = Sequential()
    model.add(Conv2D(filters=16, kernel_size=(3, 3), input_shape=inp_shape))
    model.add(Conv2D(filters=32, kernel_size=(3, 3)))
    model.add(MaxPooling2D(pool_size = (2,2)))
    model.add(Dropout(rate=dropout_prob))
    model.add(Flatten())
    model.add(Dense(64,activation=activation_function))
    model.add(Dense(num_classes,activation='softmax'))
    model.summary()
    model.compile(loss=loss_function, optimizer="adam", metrics=['accuracy'])
    history = model.fit(X_train, y_train_cat, batch_size=convolutional_batches, epochs = convolutional_epochs, verbose = verbose_level, validation_data=(X_test, y_test_cat))
    model.save('./models/convolutional_model.h5')
python tensorflow neural-network keras

2 回答

  • 5

    您需要删除Dropout图层 . 这是一个故意过度拟合的小清单：

    • 删除所有正则化（Dropout，L1和L2正则化）

    • 确保设置较慢的学习率（Adam是自适应的，所以在你的情况下它很好）

    • 你可能想不推诿训练样本（例如，所有的第一100个样本为A类，接下来的100是B类，最后100是C类） . Update ：正如petezurich在下面的答案中指出的那样，应该谨慎考虑，因为它可能导致根本没有训练效果 .

    现在，如果您轻松地对过度拟合进行建模，那么它就是一个能够表示数据的强大模型的好兆头 . 否则，您可能会考虑更深/更宽的模型，或者您应该仔细查看数据并提出问题："Are there really any pattenrs? Is this trainable?" .

    回复于
  • 3

    除了其他有效答案之外 - 一种非常简单的过度拟合方法是仅使用一小部分数据 . 例如 . 只有1或2个样本 .

    另请参阅这篇非常有用的帖子，其中包含您可以检查以确保模型正常工作的所有内容：https://blog.slavv.com/37-reasons-why-your-neural-network-is-not-working-4020854bd607

    回复于

相关问题