-
0 votesanswersviews
转移学习 - 使用Adam Optimizer将使用SGD训练的模型的权重初始化为新网络
我正在使用VGG-16的基础架构培训多任务(分类和回归任务)模型,我正在使用AdamOptimizer . 我想从ImageNet数据集上训练的VGG-16模型传递权重 . 但这里使用的优化器是随机梯度下降(SGD) . 有没有办法可以将重量和偏见从SGD转移到亚当? -
1 votesanswersviews
tf.train.Saver实例不会关闭检查点文件
为了使用Estimator API在我的模型的拟合阶段之后获得最佳检查点,我最终使用了tf.train.SessionRunHook,其中我引用了估算器创建的tf.train.Saver实例以手动保存最佳到目前为止,在拟合过程中找到的检查点到一个单独的目录 . 我的目的是让估算器实例在执行检查点时遵循它的过程,但如果我找到一组更好的权重,那么将模型检查到特定目录 .这是一个代码片段,用于说明我的想... -
1 votesanswersviews
Tensorflow - 在交互模式下使用估算器
我试图在“交互”模式下使用张量流神经网络:我的目标是加载训练有素的模型,将其保存在内存中,然后偶尔对其进行推理 . 问题是显然,tensorflow Estimator类(tf.estimator.Estimator)不允许这样做 . 方法预测(documentation,source)将一批要素和模型的路径作为输入 . 然后它创建一个会话,加载模型并执行推理 . 之后,会话关闭,并且为了连续推断... -
1 votesanswersviews
使用model_to_estimator训练精度图
我有一个Keras顺序模型,我正在使用: model.compile(optimizer="adam", loss="categorical_crossentropy", metrics=["accuracy"]) 当我使用Keras fit() 函数训练模型时,我可以看到打印的训练精度 . 我需要使用Estimator API来训... -
4 votesanswersviews
Tensorflow Estimator API在eval模式下保存图像摘要
目前,我尝试使用Tensorflow的新Estimator API在自定义图像数据集上训练自动编码器 . 到目前为止一切正常 . 我唯一的问题是当模型处于评估模式时将输入和输出图像保存为摘要 . 我在列车模式下创建的所有图像摘要都存储在Tensorboard中并正确显示 . 这是我的代码: def model_fn_autoencoder(features, labels, mode, param... -
0 votesanswersviews
如何在Tensorflow DNNClassifier估算器中打印培训进度?
我想在Kaggle笔记本环境中训练一个带有 tf.estimator.DNNClassifier 的模型,其中互联网被阻止 . 因此,我无法使用Tensorboard来监控进度 . 所以相反,我想在标准输出中记录进度(类似于我们在Keras模型上调用 fit 方法时),但我无法使其工作 . 到目前为止我所尝试的是将日志记录级别设置为 INFO 并将 tf.estimator.RunConfig 实... -
0 votesanswersviews
使用张量流估计器进行预测,无需每次都从检查点加载
我有一个张量流 Estimator ,我已经训练了一些数据,我使用它来构建带有RNN的文本,所以步骤t 1的输入取决于步骤t的输出,这意味着我不能全部运行在一个批次中 . 所以一个简单的设置看起来像: while not done: output = estimator.predict(text) append output to text 当我在Keras工作时,这很好用 . 但是在新... -
1 votesanswersviews
如何在没有model_fn源代码的情况下将“任何”模型从磁盘加载到TensorFlow Estimator中?
在Keras中,您可以使用以下方法加载之前训练过的模型: trained_keras_model = tf.keras.models.load_model(model_name) 有没有使用TensorFlow估算器API执行此操作的等效方法?根据文档,我必须使用: trained_estimator = tf.estimator.Estimator(model_fn,model_dir)我想只使... -
1 votesanswersviews
如何在Tensorflow中组合feature_columns,model_to_estimator和dataset API
我在tensorflow中使用高级API有一个玩具示例: tf.estimator , tf.data 和 tf.feature_column . 我想使用 tf.keras.estimator.model_to_estimator 将canned估算器与keras模型交换 . 我可以从keras模型生成一个估算器,但后来我得到一个关于输入的名称和形状的错误 . 我认为keras模型的输入形状是... -
0 votesanswersviews
谷歌colab中的Tensorflow估算器错误
我正在google colab环境中训练一个DNN的tensorflow,这段代码一直运行到昨天,但现在当我运行我的代码的估算器训练部分时,它会出错 . 我不改变它 . 似乎这个问题存在于其他代码中,例如stanford的示例代码形式之前没有任何错误,https://colab.research.google.com/drive/1nG7Ga46jrWF5n7pHe0FK6anB0pLNgBVt ... -
0 votesanswersviews
无法使用tensorflow keras API,TFRecords和Dataset进行特征提取
我正在尝试创建一个从VGG16网络中删除顶层并添加我的自定义图层的模型 . 我将从头开始训练整个模型(因此我不使用预训练的网络权重,因此它不是“真正的”未来提取)我正在使用tensorflow和tensorflow keras API . 我的数据集是从TFRecord文件(我创建)中读取的,我正在使用tensorflow估算器来进行培训 . 这是一个片段...... num_classes = ... -
2 votesanswersviews
如何在Tensorflow Estimator的每一个全球步骤中获得火车损失并评估损失?
我可以在每一个全球步骤中获得遗失 . 但我确实想在张量板中添加图表'lossxx'中的评估损失 . 怎么做? class MyHook(tf.train.SessionRunHook): def after_run(self,run_context,run_value): _session = run_context.session _session.run(_se... -
1 votesanswersviews
使用Tensorflow Estimator API和SemSeg的图像
我尝试使用Tensorflow Estimator API实现我的模型 . 作为我使用的数据输入功能 def input_fn(): train_in_np = sorted(io_utils.loadDataset(join(basepath, r"leftImg8bit/train/*/*"))) train_out_np = sorted(io_utils... -
5 votesanswersviews
Tensorflow MNIST Estimator:批量大小会影响图表的预期输入吗?
我已经按照TensorFlow MNIST Estimator教程进行了训练,并且训练了我的MNIST模型 .它似乎工作正常,但如果我在Tensorboard上可视化它我看到一些奇怪的东西:模型所需的输入形状是100 x 784 . 这是一个屏幕截图:正如您在右侧框中看到的,预期输入大小为100x784 .我以为我会看到?x784那里 . 现在,我确实在训练中使用100作为批量大小,但在Esti... -
0 votesanswersviews
使用SageMaker模型预测批量图像
感谢您提前帮助解决此问题 . 我在Sagemaker上训练了一个模型 . 这是一个TensorFlow估算器,它将图像作为输入,使用InceptionV3计算高级功能(即瓶颈),然后使用密集层来预测新类 . 它有点工作:我可以训练它,服务它,并预测一个新的图像 . 现在,我想在一个唯一的HTTP调用/ predict()调用中一次预测整批图像 . 怎么样? 我是这样做的: from IPython... -
0 votesanswersviews
使用自定义估算器api包含的tensorflow代码在google cloud-ml引擎或本地机器中有效使用gpu吗?
我正在谷歌 Cloud ml引擎培训神经网络 . 我使用张量流高级api Build 了网络,如 tf.layers , tf.losses , tf.dataset . 代码也包含在使用自定义估算器api中 . 这项工作运行了很长时间 . 网络是如此巨大,它应该使用大量的gpu,但在它显示的ml-engine的作业详细信息页面中,它不使用master cpu以及gpu . 虽然主cpu和gpu... -
7 votesanswersviews
不能使用估算器数据集并训练不到一个纪元
TensorFlow 1.4将TF数据集移动到核心( tf.data.Dataset ),doc / tutorial建议使用 tf.estimator 来训练模型 . 但是,正如在this page结尾处所建议的那样,必须在 input_fn 函数内实例化数据集对象及其迭代器 . 这意味着每次调用 estimator.train(input_fn, steps) 时,数据集的迭代都将重新开始 .... -
0 votesanswersviews
NN的数据集API和估算器
我正在尝试使用带有新数据集API的估算器类生成NN的示例,以检查CPU和GPU之间的性能差异 . 为了获得可重现的结果并检查DataSet的不同配置,我试图生成一些numpy随机数组: 我试图使用DNNClassifier或DNNRegressor与行,列和隐藏层的不同组合... features = np.random.rand(filas,columnas) features = featur... -
4 votesanswersviews
Tensorflow:训练估计器直到收敛
据我所知 Estimator API,方法 train 训练给定数据,直到 input_fn 函数引发异常或直到达到步数 . 因此,如果我想循环直到估计器收敛(对于它的某些定义),我需要自己编写循环并测试我的标准 . 像这样的东西,估算器 e : prevloss = 999999999999 while True: e.train(input_fn) loss = e.eval... -
3 votesanswersviews
使用估算器训练Tensorflow模型(from_generator)
我正在尝试使用生成器训练估计器,但我想为每个迭代提供一个包含样本的估计器 . 我展示代码: def _generator(): for i in range(100): feats = np.random.rand(4,2) labels = np.random.rand(4,1) yield feats, labels def input_func_gen(): ... -
0 votesanswersviews
Tensorflow - 从评估的Estimator中获取所有良好的预测
我会尽力理解 . 我创建了一个DNNClassifier估算器: classifier = tf.estimator.DNNClassifier( feature_columns=feature_column, hidden_units=[10, 10], n_classes=3) 我训练了这个模型: classifier.train(input_fn=lambda:tr... -
0 votesanswersviews
如何为Estimator input_fn准备动态形状的特征?
我正在尝试写一个返回 (features, labels) 的 input_fn ,其中每个 feature 是矩阵,一个具有动态形状(时间序列具有可变长度) . tf.feature_column.numeric_column似乎只支持固定形状 feature . shape:可迭代的整数指定Tensor的形状 . 可以给出一个整数,这意味着具有给定宽度的单个尺寸Tensor . 表示列的T... -
5 votesanswersviews
Tensorflow估算器:average_loss vs loss
在 tf.estimator 中, average_loss 和 loss 之间有什么区别?我会从名字中猜到前者将被后者除以记录的数量,但事实并非如此;有几千条记录,后者大约是前者的三到四倍 . -
1 votesanswersviews
如何使用Tensorflow Estimator api获得一个纪元的总训练集损失
我正在寻找一种方法来实现学习率的搜索,如下所述:https://arxiv.org/pdf/1506.01186.pdf . 为了实现这一点,我需要有一种方法来获得多个学习率的单个时期的损失 . 我正在考虑创建一个SessionRunHook并简单地从每一步的损失中取平均值,它不会精确,因为最后一步很可能没有batch_size元素,但它应该足够好 . 您是否已实施此类SessionRunHook... -
1 votesanswersviews
如何计算eval_metric_ops的中位数?
在使用Estimator接口评估我的张量流模型时,我想使用中值运算而不是均值 . 我在model_function中使用此操作: if mode == tf.estimator.ModeKeys.EVAL: return tf.estimator.EstimatorSpec(mode=mode, loss=loss, eval_metric_ops={"accuracy&... -
0 votesanswersviews
使用Estimator API对Tensorflow global_step进行单独增量
我还有一个关于Tensorflow的问题 . 由于各种原因,我想要一个变量,表示不是优化器完成的步骤数,而是处理的样本数(这对应于batchsize = 1时的优化器步骤) . 我认为最佳拟合将使用global_step变量,因为它已经存在并由Estimator API自动加载/保存 . 是否有可能动态指定增量大小,或者是否有办法使用新创建的变量实现相同的保存/恢复行为? 重要的是与Tensorf... -
2 votesanswersviews
TensorFlow 1.10自定义估算器使用train_and_evaluate提前停止
假设您正在使用类似于@simlmx's的设置中的验证数据集,使用tf.estimator.train_and_evaluate训练自定义tf.estimator.Estimator: classifier = tf.estimator.Estimator( model_fn=model_fn, model_dir=model_dir, params=params) tra... -
1 votesanswersviews
使用gcloud计算单元而不是本地计算单元时,未正确保存Tensorflow检查点
当我使用谷歌 Cloud 桶作为数据源和目的地进行本地培训时: gcloud ml-engine local train --module-name trainer.task_v2s --package-path trainer/ 我获得了正常的结果,检查点在20个seps中正确保存,因为我的数据集是400个示例,我使用20作为批量大小:400/20 = 20个步骤= 1个Epoch . 这些文... -
0 votesanswersviews
Tensorflow 1.11估计数据集训练速度低且不规则
Problem 训练自定义张量流1.11 tf.estimator.Estimator 与 tf.data.Dataset 的运行速度比使用相同模型架构的 tf.keras 并直接输入数据要慢得多 但是,它有时会快速运行(以global_step / sec表示),但在纪元开始和结束时速度很慢 .在"fast"批次期间 ,GPU util约为30% . 在慢速期间... -
9 votesanswersviews
使用tf.Estimator创建的张量流上的图优化
Context : 我有一个基于tf.estimator.DNNClassifier的简单分类器,它在意图标签上获取文本和输出概率 . 我能够训练将模型导出为可服务的,并使用tensorflow serving服务于服务 . 问题是这个可服务性太大(大约1GB),所以我想尝试一些tensorflow graph transforms来尝试减少所服务文件的大小 . Problem : 我理解如何使用...