首页 文章

当变量具有validate_shape = False时，Tensorflow AdamOptimizer会抛出错误

提问于
浏览 次
2

当任何可训练的变量将“validate_shape”参数设置为False时，Tensorflow的AdamOptimizer会向我抛出错误 . 我将此参数设置为false以允许在运行时动态批量大小 .

~/anaconda/lib/python3.5/site-packages/tensorflow/python/framework/tensor_shape.py in as_list(self)
    774     """
    775     if self._dims is None:
--> 776       raise ValueError("as_list() is not defined on an unknown TensorShape.")
    777     return [dim.value for dim in self._dims]
    778 

ValueError: as_list() is not defined on an unknown TensorShape.

我无法使用GradientDescentOptimizer重现此错误，但Tensorflow中的所有其他优化器都会抛出相同的错误 .

opt = tf.train.AdamOptimizer()

X = tf.placeholder(tf.float64, shape=[None, None], name='X')
Y = tf.placeholder(tf.float64, shape=[None, 1], name='Y')
B = tf.Variable(initial_value=tf.zeros([tf.shape(X)[1], 1], dtype=tf.float64), validate_shape=False, name='B')

prediction = tf.matmul(X, B)
loss = tf.reduce_sum((Y- prediction) ** 2)
opt_op = opt.minimize(loss)

有没有理由为什么GradientDescentOptimizer似乎在运行时支持动态变量形状，但其他优化器不支持？

完整的复制品：https://github.com/narner90/scratchpad/blob/master/AdamOptimizerValidateShape.ipynb

python machine-learning tensorflow

1 回答

  • 4

    AdamOptimizer 需要定义几个内部变量，如 __init__ 函数中所述：https://www.tensorflow.org/versions/r0.11/api_docs/python/train.html#AdamOptimizer

    这些变量（力矩向量）需要相同的形状，并且要更新变量并且不能动态地成形 . 它们通过 tf.zeros 进行初始化，如果形状未知，则不知道要设置为零的元素数量 . 即使您可以使用 tf.zeros_like ，运行 session.run(init_op) 时仍然需要这些零变量的完整形状 .

    回复于

相关问题