首页 文章

为什么不训练这样的GAN呢?

提问于
浏览
2

我是生成网络的新手,我决定在看到代码之前先自己尝试一下 . 这些是我用来训练我的GAN的步骤 .

[lib:tensorflow]

1)在数据集上训练鉴别器 . (我使用了2个要素的数据集,标签为'mediatating'或'not meditating',数据集:https://drive.google.com/open?id=0B5DaSp-aTU-KSmZtVmFoc0hRa3c

2)一旦鉴别器被训练,保存它 .

3)使用另一个前馈网络(或任何其他根据您的数据集)创建另一个文件 . 该前馈网络是发电机 .

4)一旦构建了发生器,恢复鉴别器并为发生器定义一个损失函数,使它学会欺骗鉴别器 . (这没有返回一个tf张量,G和D之间的路径中断,但从头开始完成时应该有效)

d_output = sess.run(graph.get_tensor_by_name('ol:0'), feed_dict={graph.get_tensor_by_name('features_placeholder:0'): g_output})
print(d_output)

optimize_for = tf.constant([[0.0]*10]) #not meditating

g_loss = -tf.reduce_mean((d_output - optimize_for)**2)

train = tf.train.GradientDescentOptimizer(learning_rate).minimize(g_loss)

我们为什么不训练这样的发电机?这似乎更简单 . 确实,我无法设法在张量流上运行它,但如果我从头做起,这应该是可能的 .

完整代码:

鉴别:

import pandas as pd
import tensorflow as tf
from sklearn.utils import shuffle

data = pd.read_csv("E:/workspace_py/datasets/simdata/linear_data_train.csv")

learning_rate = 0.001
batch_size = 1
n_epochs = 1000
n_examples = 999 # This is highly unsatisfying >:3
n_iteration = int(n_examples/batch_size)


features = tf.placeholder('float', [None, 2], name='features_placeholder')
labels = tf.placeholder('float', [None, 1], name = 'labels_placeholder')

weights = {
            'ol': tf.Variable(tf.random_normal([2, 1]), name = 'w_ol')
}

biases = {
            'ol': tf.Variable(tf.random_normal([1]), name = 'b_ol')
}

ol = tf.nn.sigmoid(tf.add(tf.matmul(features, weights['ol']), biases['ol']), name = 'ol')

loss = tf.reduce_mean((labels - ol)**2, name = 'loss')

train = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)

sess = tf.Session()
sess.run(tf.global_variables_initializer())

for epoch in range(n_epochs):
    ptr = 0
    data = shuffle(data)
    data_f = data.drop("lbl", axis = 1)
    data_l = data.drop(["f1", "f2"], axis = 1)

    for iteration in range(n_iteration):
        epoch_x = data_f[ptr: ptr + batch_size]
        epoch_y = data_l[ptr: ptr + batch_size]
        ptr = ptr + batch_size

        _, lss = sess.run([train, loss], feed_dict={features: epoch_x, labels:epoch_y})
    print("Loss @ epoch ", epoch, " = ", lss)

print("\nTesting...\n")

data = pd.read_csv("E:/workspace_py/datasets/simdata/linear_data_eval.csv")
test_data_l = data.drop(["f1", "f2"], axis = 1)
test_data_f = data.drop("lbl", axis = 1)
print(sess.run(ol, feed_dict={features: test_data_f}))
print(test_data_l)

print("Saving model...")
saver = tf.train.Saver()
saver.save(sess, save_path="E:/workspace_py/saved_models/meditation_disciminative_model.ckpt")
sess.close()

发电机:

import tensorflow as tf

# hyper parameters

learning_rate = 0.1
# batch_size = 1
n_epochs = 100

from numpy import random
noise = random.rand(10, 2)
print(noise)

# Model

input_placeholder = tf.placeholder('float', [None, 2])

weights = {
            'hl1': tf.Variable(tf.random_normal([2, 3]), name = 'w_hl1'),
            'ol': tf.Variable(tf.random_normal([3, 2]), name = 'w_ol')
}

biases = {
            'hl1': tf.Variable(tf.zeros([3]), name = 'b_hl1'),
            'ol': tf.Variable(tf.zeros([2]), name = 'b_ol')
}

hl1 = tf.add(tf.matmul(input_placeholder, weights['hl1']), biases['hl1'])
ol = tf.add(tf.matmul(hl1, weights['ol']), biases['ol'])

sess = tf.Session()
sess.run(tf.global_variables_initializer())

g_output = sess.run(ol, feed_dict={input_placeholder: noise})

# restoring discriminator

saver = tf.train.import_meta_graph("E:/workspace_py/saved_models/meditation_disciminative_model.ckpt.meta")
saver.restore(sess, tf.train.latest_checkpoint('E:/workspace_py/saved_models/'))

graph = tf.get_default_graph()

d_output = sess.run(graph.get_tensor_by_name('ol:0'), feed_dict={graph.get_tensor_by_name('features_placeholder:0'): g_output})
print(d_output)

optimize_for = tf.constant([[0.0]*10])

g_loss = -tf.reduce_mean((d_output - optimize_for)**2)

train = tf.train.GradientDescentOptimizer(learning_rate).minimize(g_loss)

1 回答

  • 6

    鉴别器的目的不是对原始数据进行分类,或者真正区分原始数据 . 其唯一目的是区分发电机的输出和原始输出 .

    想想一个艺术伪造者的例子 . 您的数据集都是原创绘画 . 你的发电机网络G是一个艺术伪造者,你的鉴别家D是一个 Sleuth ,其生活中唯一的目的是寻找伪造的伪造品 .

    通过观看原创画作,D无法学到很多东西 . 对他来说真正重要的是弄清楚G的伪造与其他一切有什么区别 . 如果所有的作品都被D发现并标记为D,那么G就不能出售伪造的钱,所以他必须学会如何挫败D.

    这创造了一个环境,在这个环境中,G不断地试图让他的作品看起来更像“原始艺术品”,并且D不断变得更好地发现G的伪造风格的细微差别 . D越好,G就越需要谋生 . 他们每个人的任务都会变得更好,直到他们(理论上)达到由网络的复杂性和他们试图伪造的数据所定义的纳什均衡 .

    这就是为什么D需要与G来回训练,因为它需要知道并适应G的特殊细微差别(随着G学习和适应而随时间而变化),而不仅仅是找到“非伪造”的一些平均定义 . 通过专门制作D狩猎G,你迫使G成为一个更好的伪造者,从而最终拥有一个更好的发电机网络 . 如果你只训练D一次,那么G可以学习一些简单,明显,不重要的方法来击败D并且从来没有真正产生非常好的伪造 .

相关问题