-
0 votesanswersviews
具有tf数据集输入的Tensorflow keras
我是tensorflow keras和数据集的新手 . 任何人都可以帮助我理解为什么以下代码不起作用? import tensorflow as tf import tensorflow.keras as keras import numpy as np from tensorflow.python.data.ops import dataset_ops from tensorflow.pytho... -
1 votesanswersviews
iterator.get_next()导致在抛出'std :: system_error的实例后调用terminate
我正在使用具有这些属性的共享服务器训练带有tensorflow的resNet50: ubuntu 16.04 3 gtx 1080 gpus tensorflow 1.3 python 2.7但总是在两个时代之后,在第三个时期,我遇到这个错误: terminate called after throwing an instance of 'std::system_error' what(): R... -
0 votesanswersviews
Tensorflow形状推断静态RNN编译器错误
我正在研究针对手机摄像头图像优化的OCR软件 . 目前,每个300 x 1000 x 3(RGB)图像被重新格式化为900 x 1000 numpy阵列 . 我有一个更复杂的模型架构的计划,但是现在我只想让基线工作 . 我想通过在我生成的数据上训练静态RNN来开始 . 形式上,我在每个时间步t输入n_t达T个时间步,其中n_t是900矢量而T = 1000(类似于从左到右读取整个图像) . 以下是... -
1 votesanswersviews
当从TF Iterator提供时,Keras忽略validation_data
当从TensorFlow迭代器提供validation_data时,Keras似乎忽略了参数并且仍然使用训练数据 . 我的方法不正确,还是Keras中的错误? 导入tensorflow作为导入keras def _parse_function_x(filename): image = tf.random_uniform([tf.shape(filename)[0], 198,198,1]) #... -
0 votesanswersviews
使用tensorflow StagingArea和数据集api时出错
尝试将tensorflow临时区域与数据集api结合在一起 . compute_stage_put_op = compute_stage.put(iterator.get_next()) if compute_stage_put_op.type == 'Stage': compute_stage_ops.append(compute_stage_put_op) 完成几个步骤后得到以下错误 ... -
1 votesanswersviews
如何在Tensorflow中组合feature_columns,model_to_estimator和dataset API
我在tensorflow中使用高级API有一个玩具示例: tf.estimator , tf.data 和 tf.feature_column . 我想使用 tf.keras.estimator.model_to_estimator 将canned估算器与keras模型交换 . 我可以从keras模型生成一个估算器,但后来我得到一个关于输入的名称和形状的错误 . 我认为keras模型的输入形状是... -
1 votesanswersviews
将输入张量大小传递给via tensorflow管道
我收到以下错误 ValueError:应定义 Dense 输入的最后一个维度 . 找到 None . 使用tf.data管道向tf.layers.dense传递张量时 . 我的代码的相关部分是: def _parse_function(example_proto): features = {'X': tf.VarLenFeature(tf.float32), ... -
0 votesanswersviews
Tensorflow:logits和标签必须具有相同的第一个维度
我是tensoflow的新手,我想用我自己的数据(40x40的图像)调整MNIST教程https://www.tensorflow.org/tutorials/layers . 这是我的模特功能: def cnn_model_fn(features, labels, mode): # Input Layer input_layer = tf.reshape(feat... -
6 votesanswersviews
如何使用tf.estimator返回预测和标签(使用预测或eval方法)?
我正在使用Tensorflow 1.4 . 我创建了一个自定义的tf.estimator来进行分类,如下所示: def model_fn(): # Some operations here [...] return tf.estimator.EstimatorSpec(mode=mode, predictions={&... -
1 votesanswersviews
在Tensorflow Dataset API中使用随机整数填充批处理
我有一个数据集,我正在使用负抽样训练模型 . 每个示例都有一些ID,对应于将要使用的一些固定负样本 . 除了固定的阴性样本,我想包括随机阴性样本 . 但是,每个示例都有可变数量的固定负样本,因此我需要附加可变数量的随机ID . 这基本上是由 padded_batch 函数执行的函数,但我需要填充来自某个范围的随机整数 . 有没有办法通过Tensorflow Python API实现这一点,还是需要... -
4 votesanswersviews
使用数据集API在Tensorflow中滑动批处理窗口
有没有办法在批次中修改我的图像的组成?目前,我正在创建例如一个大小为4的批次,我的批次看起来像这样: Batch1: [Img0 Img1 Img2 Img3] Batch2: [Img4 Img5 Img6 Img7] 我需要修改我的批次的组成,以便它只会移动一次到下一个图像 . 那应该是这样的: Batch1: [Img0 Img1 Img2 Img3] Batch2: [Img1 Img... -
0 votesanswersviews
Tensorflow:使用dataset.map和更改 Map 功能
我有以下设置: 我使用噪声函数在输入管道中通过 tf.data.dataset.map 预处理我的数据集 由于我想在运行时在训练和测试集之间切换,我使用带有字符串句柄的可输入迭代器,它工作正常 问题: 我现在想通过逐步增加每批次后的噪音水平来训练我的模型 . 据我所知,这只能通过Initializable迭代器(我将通过占位符提供新的噪声级别)来实现,这不是一个选项,因为我必须在每个批... -
0 votesanswersviews
Tensorflow - 替换其他数据集上的MNIST
我有使用diffrent数据集的问题,然后默认来自tensorflow . 我有使用MNIST数据集识别数字的代码 . 在这个应用程序中有生成的图形,稍后由Android应用程序导入 . 现在我想识别数字和数学运算符(基本的:, - ,*,/) . 我找到了生成我需要的数据的脚本 . 我有两个.pickle文件 . 但即使有适合我的数据集,我仍然不知道如何使用tensorflow将此数据集导入我的... -
1 votesanswersviews
如何在GAN培训中使用TensorFlow Dataset API?
我正在训练GAN模型 . 为了加载数据集,我使用的是TensorFlow的数据集API . # train_dataset has image and label. z_train dataset has noise (z). train_dataset = tf.data.TFRecordDataset(train_file) z_train = tf.data.Dataset.from_ten... -
0 votesanswersviews
不能将Tensorflow数据集与Keras模型一起用于图像分割
我正在尝试使用张量流数据集在Keras中进行图像分割,但是当我尝试调用 model.fit() 时,我收到 AttributeError: 'MapDataSet' has no attribute 'ndim' 错误 . 我在谷歌colab中使用Jupyter笔记本 . 最后一行代码产生错误 . import numpy as np import tensorflow as tf from te... -
9 votesanswersviews
如何使用Tensorflow的数据集API将数据移动到多个GPU塔
我们在Tensorflow上运行多GPU作业,并评估从基于队列的模型(使用string_input_producer接口)到新Tensorflow Dataset API的迁移 . 后者似乎提供了一种更简单的方法来同时在Train和Validation之间切换 . 下面的代码片段显示了我们如何做到这一点 . train_dataset, train_iterator = get_dataset(t... -
4 votesanswersviews
对整个数据集或每次调用iterator.next()进行一次Tensorflow数据集数据预处理?
您好我正在研究tensorflow中的数据集API,我对datat.map()函数有一个问题,该函数执行数据预处理 . file_name = ["image1.jpg", "image2.jpg", ......] im_dataset = tf.data.Dataset.from_tensor_slices(file_names) im_dataset ... -
0 votesanswersviews
尽管有批处理,Tensorflow-gpu上的内存不足(OOM)
我正在尝试使用tensorflow 1.8.0训练CNN . 这是一个相当大的网络,但我正在使用“批处理”在GPU上执行培训 . 但即使我在训练期间给出有效的批量大小,张量流也会因OOM而失败 . 当保持批量大小相同的值减少训练数据集时,tensorflow成功启动训练过程 . 我不明白的是,当训练样本数增加且批量值保持不变时,为什么tensorflow会给OOM . 批处理用于限制每次迭代的训练... -
0 votesanswersviews
将Tensorflow数据集API应用于在培训期间更改的数据集
我想应用Tensorflow's Dataset API来训练数据集,该数据集在每次通过网络传播一批数据时都会发生变化 . 我遇到了这个代码(下面),它使用了向Tensorflow提供数据的feed_dict实现,我想让它适应使用Tensorflow API,因为Tensorflow自己说 "Feeding" is the least efficient way to feed... -
0 votesanswersviews
通过程序化的动态数据生成来训练tensorflow数据API
我的问题与this类似,因为我想动态生成批量的训练数据 . 我有一个函数 get_random_batch(batch_size, input_path, target_path, **other_kwargs) 返回 inputs 和 targets ,但它是一个纯粹的vanilla python / numpy函数,而不是tensorflow . 所以它返回numpy数组,而不是张量 . (... -
0 votesanswersviews
张量来自不同的图表
我是tensorflow的新手 . 尝试从 tfrecords 创建输入管道 . 下面是我的代码片段,用于创建批次并输入我的 estimator : def generate_input_fn(image,label,batch_size=BATCH_SIZE): logging.info('creating batches...') dataset = tf.data.D... -
2 votesanswersviews
使用tf.estimator.Estimator,tf.TFRecordReader和input_fn在循环中使用批次训练整个数据集
我正在努力使用tf.estimator.Estimator训练方法训练我的cnn与整个TFRecord数据集 . 我试图在循环中运行火车如下: estimator = tf.estimator.Estimator( model_fn=model_fn, model_dir=MODEL_FOLDER) input_fn = generate_input_fn(path, [], batch_... -
7 votesanswersviews
不能使用估算器数据集并训练不到一个纪元
TensorFlow 1.4将TF数据集移动到核心( tf.data.Dataset ),doc / tutorial建议使用 tf.estimator 来训练模型 . 但是,正如在this page结尾处所建议的那样,必须在 input_fn 函数内实例化数据集对象及其迭代器 . 这意味着每次调用 estimator.train(input_fn, steps) 时,数据集的迭代都将重新开始 .... -
0 votesanswersviews
NN的数据集API和估算器
我正在尝试使用带有新数据集API的估算器类生成NN的示例,以检查CPU和GPU之间的性能差异 . 为了获得可重现的结果并检查DataSet的不同配置,我试图生成一些numpy随机数组: 我试图使用DNNClassifier或DNNRegressor与行,列和隐藏层的不同组合... features = np.random.rand(filas,columnas) features = featur... -
3 votesanswersviews
使用估算器训练Tensorflow模型(from_generator)
我正在尝试使用生成器训练估计器,但我想为每个迭代提供一个包含样本的估计器 . 我展示代码: def _generator(): for i in range(100): feats = np.random.rand(4,2) labels = np.random.rand(4,1) yield feats, labels def input_func_gen(): ... -
3 votesanswersviews
如何在Estimator训练期间动态加载数据集的新部分?
我有一个有趣的问题 . 我正在使用 tf.Estimator 对大型数据集(15M行,16列)进行回归,并使用常用方法将数据加载到_1770710中: def input_fn_train(features, labels, batch_size, repeat_count): dataset = tf.data.Dataset.from_tensor_slices((dict(feat... -
3 votesanswersviews
神经机器翻译模型预测是一个接一个
Problem Summary 在下面的示例中,我的NMT模型损失很大,因为它正确地预测 target_input 而不是 target_output . Targetin : 1 3 3 3 3 6 6 6 9 7 7 7 4 4 4 4 4 9 9 10 10 10 3 3 10 10 3 10 3 3 10 10 3 9 9 4 ... -
1 votesanswersviews
Tensorflow对象检测:缺少度量标准“oid_challenge_object_detection_metrics”
我在训练和评估Open Images数据集时遇到问题,因为没有定义“ oid_challenge_object_detection_metrics ” . 它在文档中定义:https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/evaluation_protocols.md 但是, eval_... -
2 votesanswersviews
如何使用嵌套形状的tf.data.Dataset.padded_batch?
我正在为每个元素构建一个具有两个形状[张,宽,高,3]和[批次,类]张量的数据集 . 为简单起见,我们可以说class = 5 . 你为 dataset.padded_batch(1000,shape) 提供了什么样的形状,以便沿宽度/高度/ 3轴填充图像? 我尝试过以下方法: tf.TensorShape([[None,None,None,3],[None,5]]) [tf.TensorShap... -
0 votesanswersviews
将数据集转换为网络流
我有不同格式的dataset网络流量:pacp,argus和CSV文件 . 我需要提取网络流,其中每个流包括具有相同源和目标IP地址(双向),端口号和传输协议的所有数据包:TCP或UDP . 将任何这些文件转换为单独的网络流的最佳方法是什么?所以我可以在Tensorflow的深度学习算法中使用它们作为输入 .