嗨,我正在写一个“很多(输入)到很多(输出)”的rnn代码来处理字符预测 . 为此,我将隐藏的图层参数设置如下 . 三个隐藏层,每个隐藏层有100,200和300个隐藏单元 .
hidden layers= [100,200,300]
我的代码是这样的 .
# parameters.
hiddenLayers = [100,200,300]
timeStep = 20 # sequence length
inputDimension = 38 (# of English alphabet + symbols)
outputDimension = 38 (# of English alphabet + symbols)
input_x = tf.placeholder(tyf.float64, [None, timeStep, inputDimension])
# make weights
w1 = tf.get_variable("w1",[hiddenUnits[0],hiddenUnits[1] ],initializer=tf.random_normal_initializer())
w2 = tf.get_variable("w2",[hiddenUnits[1],hiddenUnits[2] ],initializer=tf.random_normal_initializer())
w3 = tf.get_variable("w3",[hiddenUnits[2],outputDimension ],initializer=tf.random_normal_initializer())
# make biases
b1 = tf.get_variable("b1",[hiddenUnits[1]], initializer=tf.constant_initializer(0.0))
b2 = tf.get_variable("b2",[hiddenUnits[2]], initializer=tf.constant_initializer(0.0))
b3 = tf.get_variable("b3",[outputDimension], initializer=tf.constant_initializer(0.0))
def cell_generator(hiddenUnits):
return rnn_cell = rnn.BasicLSTMCell(hiddenUnits, forget_bias=1.0)
rnn_cell = rnn.MultiRNNCell([cell_generator(_) for _ in hiddenLayers])
outputs, states = tf.nn.dynamic_rnn(rnn_cell, input_x, dtype=tf.float64)
现在我有3个隐藏层,每个隐藏层都有不同数量 . 当我打印出“输出”和“状态”时,他们会说谎 . (我没有参加 Session . )
print(outputs)
Tensor("rnn/transpose:0", shape=(?, 20, 300), dtype=float64)
print(states)
(LSTMStateTuple(c=<tf.Tensor 'rnn/while/Exit_2:0' shape=(?, 100) dtype=float64>, h=<tf.Tensor 'rnn/while/Exit_3:0' shape=(?, 100) dtype=float64>),
LSTMStateTuple(c=<tf.Tensor 'rnn/while/Exit_4:0' shape=(?, 200) dtype=float64>, h=<tf.Tensor 'rnn/while/Exit_5:0' shape=(?, 200) dtype=float64>),
LSTMStateTuple(c=<tf.Tensor 'rnn/while/Exit_6:0' shape=(?, 300) dtype=float64>, h=<tf.Tensor 'rnn/while/Exit_7:0' shape=(?, 300) dtype=float64>))
我认为“输出”应该保存3个隐藏层的每个输出,但它只有最后一个隐藏层,所以我迷失了第1和第2个权重乘以的地方 . 所以现在我有疑问 .
- 我可以使用包含3个隐藏层的"states"变量,这样我就可以将3个权重相乘,并为每个最后的状态添加3个偏差 .
例如...
hidden2 = tf.matmul(state[0],w1) + b1
hidden3 = tf.matmul(state[1],w2) + b2
final_output = tf.matmul(state[2],w3) + b3
# and do the loss calculation for training...
-
有什么方法可以使用“输出”变量来将我的权重和偏差应用到该单元格?
-
或者还有其他方法可以使用我的重量和偏差吗?也许在前面的步骤中初始化权重和偏差(在将basicRNNCell折腾到MultiRNNcell之前)?
我真的想设置不同数量的隐藏层和单位,并将它们与我预定的重量和偏差参数一起应用 . 如果您有任何想法,请告诉我 .
提前致谢 .
1 回答
通过在3个单元格上调用
MultiRNNCell
,您可以创建一个多层网络,其中每个单元格都是单个图层(就像在普通的完全连接的网络中,您可以拥有多个图层),并且每个图层都会进入下一个图层,例如:因此,RNN的输出是cell3的输出,因此形状为
(?, 20, 300)
. 获得最终输出所需的唯一变量是w3
和b3
,就像它为您提供了课程的预测分布 .