首页 文章

合并序列嵌入与时间序列特征

提问于
浏览 次
0

我在 Keras 的 Keras 实现的某些方面遇到了麻烦 . 这是我的问题的描述：

我正在尝试训练一个用于单词正确性预测的模型 . 我的模型有两种输入：

  • 一个单词序列（句子）

  • 和一系列特征向量（对于每个单词，我计算特征胜利者为6） .

e.g.

input_1 = ['we', 'have', 'two', 'review'] input_2 = [[1.25, 0.01, 0.000787, 5.235, 0.0, 0.002091], [ 0.0787, 0.02342, 5.4595, 0.002091, 0.003477, 0.0], [0.371533, 0.529893, 0.371533, 0.6, 0.0194156, 0.003297],[0.471533, 0.635, 0.458, 0.7, 0.0194156, 0.0287]] gives output = [1, 1, 2, 1]

由于我的训练集中的每个句子都有不同的长度，我应该将所有句子归零，使它们都具有相同的长度 .

我的问题是第二个输入怎么样，我应该填充！如何？因为它们是矢量 .

Model Architecture :

input1 = Input(shape=(seq_length,), dtype='int32')
emb = Embedding(input_dim=num_words, output_dim = num_dimension, 
input_length=seq_length, weights=[embeddings], mask_zero=True,trainable=False)(input_layer)

input2 = Input(shape=(seq_length,6 ))
x = keras.layers.concatenate([emb, input2],axis=2)

lstm = LSTM(64, return_sequences=True)(x)
ackwards = LSTM(128, return_sequences=True, go_backwards=True)(x)

common = merge([forwards, backwards], mode='concat', concat_axis=-1)
out = TimeDistributed(Dense(no_targets, activation='softmax'))(lstm)
keras lstm word-embedding sequence-to-sequence

1 回答

  • 0

    你是在正确的轨道上，是的，你需要用零行填充你的第二个输入以匹配句子长度 . 基本上它看起来像这样：

    # Input 1
X1 = [[12, 34, 3], [6, 7, 0]] # where numbers are word indices and 0 is padding
# Input 2
X2 = [[[1.23,...,2.4], [1.24, ...], [0.6, ...]], [[3.25, ...], [2.4, ...], [0,0,0,0,0]]]
# So the padded words get zero feature vectors as well and the shapes match

    但是不要害怕，因为你将 emb 与 input2 连接起来 mask_zero=True 也会传播到连接的向量，所以LSTM实际上也忽略了第二个输入的填充 .

    回复于

相关问题