学习率初始化char-RNN在tensorflow中实现-Java 学习之路

我最近正在复制http://karpathy.github.io/2015/05/21/rnn-effectiveness/中描述的char-RNN的代码 . 在tensorflow中已经实现了代码，我所指的代码是https://github.com/sherjilozair/char-rnn-tensorflow/blob/master/model.py . 我对上面提到的代码中的以下几行有疑问：

#1 loss = seq2seq.sequence_loss_by_example([self.logits],
            [tf.reshape(self.targets, [-1])],
            [tf.ones([args.batch_size * args.seq_length])],
            args.vocab_size)
    #2 self.cost = tf.reduce_sum(loss) / args.batch_size / args.seq_length
    #3 self.final_state = last_state
    #4 self.lr = tf.Variable(0.0, trainable=False)
    #5 tvars = tf.trainable_variables()
    #6 grads, _ = tf.clip_by_global_norm(tf.gradients(self.cost, tvars),
            args.grad_clip)
    #7 optimizer = tf.train.AdamOptimizer(self.lr)
    #8 self.train_op = optimizer.apply_gradients(zip(grads, tvars))

问题是＃4：为什么我们将学习率设置为0？将其设置为0是初始化学习率的最佳方法吗？

1 回答

1
查看代码，看起来学习率在被使用之前被设置为另一个值 .
```
sess.run(tf.assign(model.lr, args.learning_rate * (args.decay_rate ** e)))
```
这是必要的，因为学习速率设置为随时间衰减，并且Adam Optimizer仅初始化一次 . 任何 Value 都应该有效，但零似乎对我来说最美观 .
回复于 2024-05-03T04:45:07+08:00

学习率初始化char-RNN在tensorflow中实现

1 回答

相关问题