我无法理解使用TensorFlow在样式传输算法中训练内容和样式过滤器的方式(例如in this paper) . 我已经在链接文章中检查了算法的一些实现,但我不能完全理解他们对这一步骤的处理 . 为此,我认为在不使用预先训练的模型的情况下,有助于实现一个天真的版本 . 我对所涉及的步骤的理解是:
-
在单张图像上训练CNN(在论文中他们使用预先训练的VGG网络)
-
使用经过训练的网络,输入白噪声图像 . 定义一个新的损失函数,通过更新输入图像最小化(这是图像的方式是'painted'),例如'content'是通过最小化训练模型中的conv层与输入(白噪声)图像产生的转换层之间的距离得出的
因此,实现应该是这样的:
import TensorFlow as tf
x_in = tf.placeholder(tf.float32, shape=[None, num_pixels], name='x')
y_ = tf.placeholder(tf.float32, shape=[None, num_pixels], name='y')
...
diff = y_-y_out
loss = tf.reduce_sum(tf.abs(diff)) # minimizing 'pixel difference'
train_step = tf.train.AdamOptimizer(1e-4).minimize(loss)
# training model
for i in range(NUM_TRAINING_STEPS):
_, loss_val = sess.run([train_step, loss],
feed_dict={x_in: input_image, y_: input_image})
训练模型后,我可以生成白噪声图像,但是如何使用训练模型更新输入图像?我怀疑是我需要创建第二个网络,其中 x_in
的类型为 tf.Variable
并加载来自训练模型的权重和偏差,但这个细节让我望而却步 .
2 回答
是的,您可以将输入图像存储在tf.Variable中,从训练的模型加载权重,并使用样式传输损失函数wrt运行优化循环到输入变量 .
您可以使用样式转移作为服务网站来训练样式,如http://somatic.io