首页 文章

输入维度到keras的一维卷积网络

提问于
浏览
17

真的很难理解keras中的卷积1d layer的输入维度:

输入形状

具有形状的3D张量:(样本,步骤,input_dim) .

输出形状

具有形状的3D张量:(samples,new_steps,nb_filter) . 由于填充,步骤值可能已更改 .

我希望我的网络采用价格的时间序列(按顺序排列101)并输出4个概率 . 我当前的非卷积网络做得相当好(训练集为28000)看起来像这样:

standardModel = Sequential()
standardModel.add(Dense(input_dim=101, output_dim=100, W_regularizer=l2(0.5), activation='sigmoid'))
standardModel.add(Dense(4, W_regularizer=l2(0.7), activation='softmax'))

为了改善这一点,我想从输入层创建一个特征映射,该映射具有长度为10的本地接收字段(因此具有10个共享权重和1个共享偏差) . 然后,我想使用最大池并将其馈入40个左右神经元的隐藏层,然后在外层输出4个带有softmax的神经元 .

picture (it's quite awful sorry!)

理想情况下,卷积层将采用2d张量维度:

(minibatch_size,101)

并输出3d张量的尺寸

(minibatch_size,91,no_of_featuremaps)

但是,keras层似乎需要输入中称为step的维度 . 我已经尝试了解这一点,但仍然没有完全理解 . 在我的情况下,步骤为1,因为向量中的每个步骤都是1的时间增加?另外,new_step是什么?

另外,如何将汇集层(3d张量)的输出转换为适合标准隐藏层(即密集keras层)的输入,形式为2d张量?

更新:在给出非常有用的建议之后,我尝试制作一个卷积网络,如下所示:

conv = Sequential()
conv.add(Convolution1D(64, 10, input_shape=(1,101)))
conv.add(Activation('relu'))
conv.add(MaxPooling1D(2))
conv.add(Flatten())
conv.add(Dense(10))
conv.add(Activation('tanh'))
conv.add(Dense(4))
conv.add(Activation('softmax'))

conv.Add(Flatten())行抛出一个超出有效边界误差的范围 . 有趣的是,只有这段代码抛出了这个错误: not

conv = Sequential()
conv.add(Convolution1D(64, 10, input_shape=(1,101)))
conv.add(Activation('relu'))
conv.add(MaxPooling1D(2))
conv.add(Flatten())

print conv.input_shape
print conv.output_shape

结果是

(None, 1, 101
(None, -256)

被退回

更新2:

conv.add(Convolution1D(64, 10, input_shape=(1,101)))

conv.add(Convolution1D(10, 10, input_shape=(101,1))

它开始工作了 . 但是,输入(无,101,1)到1d转换层或(无,1,101)之间是否有任何重要的区别?为什么(无,1,101)不起作用?

1 回答

  • 14

    它看起来像这样的原因是Keras设计者打算将1维卷积框架解释为处理序列的框架 . 要完全理解差异 - 试着想象你有一系列多个特征向量 . 然后,您的输出将至少为二维 - 其中第一维与时间相关,其他维与特征相关联 . 一维卷积框架在某种程度上设计为大胆的时间维度,并尝试在数据中找到重新定位模式 - 而不是执行经典的多维卷积变换 .

    在您的情况下,您必须简单地重塑您的数据以具有形状(dataset_size,101,1) - 因为您只有一个功能 . 可以使用 numpy.reshape 函数轻松完成 . 要理解新步骤意味着什么 - 您必须了解您正在进行卷积 - 因此您需要更改数据的时间结构 - 这会导致新的时间连接结构 . 为了使您的数据适合于密集/静态层的格式,请使用 keras.layers.flatten 层 - 与经典卷积情况相同 .

    UPDATE: 正如我之前提到的 - 输入的第一个维度与时间有关 . 所以 (1, 101)(101, 1) 之间的区别在于,在第一种情况下,您有一个时间步长,101个功能,第二个 - 101个时间步长,1个功能 . 您在第一次更改后提到的问题源于在此类输入上使用大小2进行池化 . 只有一个时间步长 - 你不能在大小为2的时间窗口上汇集任何值 - 只是因为没有足够的时间步长来做到这一点 .

相关问题