-
2 votesanswersviews
如何在张量流中使用张量的动态形状
如何为以下计算构建张量流图?我现在的问题是如何使用张量A的形状信息,它具有可变的形状大小 . A = tf.placeholder(tf.float32, [None,10]) B = tf.Variable(tf.random_normal([10,20])) C = tf.matmul(A, B) D = tf.matmul(tf.transpose(C), A) # the value of... -
0 votesanswersviews
使用预先训练的重新发送模型在张量流中进行对象检测时出错
我使用tensorflow服务模块从预先训练的resnet50模型创建了一个已保存的模型 . 但是当我尝试运行模型服务器时,我收到此错误: 2018-03-23 13:36:37.130839:E external / org_tensorflow / tensorflow / core / common_runtime / executor.cc:651] Executor无法创建内核 . 参... -
15 votesanswersviews
将Tensorflow预处理添加到现有Keras模型(用于Tensorflow服务)
我想在我导出的Keras模型中包含我的自定义预处理逻辑,以用于Tensorflow服务 . 我的预处理执行字符串标记化并使用外部字典将每个标记转换为索引以输入到嵌入层: from keras.preprocessing import sequence token_to_idx_dict = ... #read from file # Custom Pythonic pre-processing... -
0 votesanswersviews
发生了不可能的错误:grpc status = StatusCode.NOT_FOUND,details =“找不到请求的服务
我正在努力为 keras.applications 型号服务 . 这不是我第一次在 tensorflow-server docker镜像的帮助下这样做,但是当我尝试使用新发布的模型Nasnet Mobile时,我对于为什么我的代码停止工作一无所知 . 我得到的错误是: _Rendezvous:<_Rendezvous的RPC终止于:status = StatusCode.NOT_FOUN... -
2 votesanswersviews
tensorflow服务:feature_configs数据格式的混淆
我已经按照tensorflow服务教程mnist_saved_model.py并尝试训练和导出text-cnn-classifier模型管道是 *embedding layer -> cnn -> maxpool -> cnn -> dropout -> output layer Tensorflow数据输入: data_in = tf.placeholder(tf... -
1 votesanswersviews
与Tensorflow模型推断相比,Tensorflow模型服务器在CPU上的性能问题
我用Tensorflow模型服务器观察CPU的性能问题 . 与原始Tensorflow模型推理相比,它推断的时间加倍 . 两者都是用MKL构建的,仅用于CPU . 代码重现:https://github.com/BogdanRuzh/tf_model_service_benchmark Tensorflow MKL build: bazel build --config=mkl -c opt ... -
2 votesanswersviews
Tensorflow服务与Anaconda
我正在尝试开始使用tensorflow服务 . 我在conda环境中安装了tensorflow,我正在尝试使用this tutorial在相同的环境中使用tensorflow服务 . 但是,bazel构建文件总是引用全局python . 我该如何解决这个问题?有没有办法让它与conda环境和安装在其中的包一起使用? 编辑:我使用命令 bazel info --show_make_env 检查了ba... -
12 votesanswersviews
Tensorflow服务在基本路径下找不到可维护<MODEL>的版本
我正在按照this教程使用我的对象检测模型使用 tensorflow serving . 我正在使用tensorflow object detection来生成模型 . 我使用this exporter(使用python脚本生成的冻结模型 works )创建了一个冻结模型 . 冻结的图形目录具有以下内容( variables 目录中没有任何内容) variables / saved_model... -
9 votesanswersviews
使用tf.Estimator创建的张量流上的图优化
Context : 我有一个基于tf.estimator.DNNClassifier的简单分类器,它在意图标签上获取文本和输出概率 . 我能够训练将模型导出为可服务的,并使用tensorflow serving服务于服务 . 问题是这个可服务性太大(大约1GB),所以我想尝试一些tensorflow graph transforms来尝试减少所服务文件的大小 . Problem : 我理解如何使用... -
1 votesanswersviews
如何为tensorflow服务准备热身请求文件?
当前版本的tensorflow-serving尝试从assets.extra / tf_serving_warmup_requests文件加载预热请求 . 2018-08-16 16:05:28.513085:I tensorflow_serving / servables / tensorflow / saved_model_warmup.cc:83]在/tmp/faster_rcnn_inc... -
11 votesanswersviews
如何配置Tensorflow服务以从HDFS服务模型?
我正在尝试使用Tensorflow服务项目从HDFS中提供Tensorflow模型 . 我正在运行tensorflow服务docker容器标签1.10.1 https://hub.docker.com/r/tensorflow/serving 我可以在https://github.com/tensorflow/serving/blob/628702e1de1fa3d679369e9546e7d74... -
0 votesanswersviews
使用Tensorflow Java API进行文本分类
使用Tensorflow Java API进行文本分类 我想用Java API来预测Python Tensorflow API中我训练过的模型,但我有问题要用Java来预测句子 . 我已经训练,保存,导出和加载我的模型在python adn一切正常 . 但是,当我尝试使用Java API将句子插入到我训练过的模型时,我收到了以下错误: 2018-09-26 16:13:27.094248:I t... -
0 votesanswersviews
普罗米修斯为Tensorflow服务
使用Prometheus导出器进行Tensorflow服务的步骤是什么?根据1.11 TF服务支持prometheus指标:https://github.com/tensorflow/serving/releases/tag/1.11.0 我正在从示例https://www.tensorflow.org/serving/docker开始一个docker以及以下内容: docker run -p 8... -
0 votesanswersviews
提供但未定义的标志: - mount
我对Tensorflow服务很新,我遵循了以下基本指令:https://tensorflow.google.cn/serving/serving_basic 之前的所有步骤都可以,但是当我使用时: docker run -p 8500:8500 --mount type = bind,source = / tmp / mnist,target = / models / mnist -e MODEL... -
0 votesanswersviews
bazel需要更多时间来建造
我正在使用bazel在docker中构建tensorflow_serving . 当我运行这一行 bazel build -c opt tensorflow_serving/... 构建需要3个多小时,我不知道这里有什么问题或者有任何错误 . 它仍然在同一个过程中持续三个小时 . [1221,1224] Still waiting for 1 job to complete: Runnin... -
1 votesanswersviews
成功完成1000后,Cloud ML上的作业失败
我已经浏览了关于人口普查数据的cloudML教程:cloud.google.com/ml-engine/docs/how-tos/getting-started-training-prediction,其中Job成功完成 . 但是,当我在花图像数据上阅读本教程时:https://cloud.google.com/blog/big-data/2016/12/how-to-classify-image... -
1 votesanswersviews
Tensorflow)为什么恢复后没有分配变量?
我正在学习张量流,并使用训练有素的亚历山大重量进行实验 . 我在13000次迭代后保存,我试图在恢复后重新训练模型 . 但是在恢复之后,权重不会随初始化中使用的值而改变 . 为什么会这样?所有代码(甚至是tensorflow官方网站)都只介绍了要恢复的代码: saver.restore(sess, "/tmp/model.ckpt") 但是这段代码对变量没有任何影响 . 结果... -
3 votesanswersviews
TensorFlow:冻结图形后显着的精度损失?
在冻结服务图表后,是否常常看到严重的准确性损失?在使用预训练的初始-resnet-v2训练和评估花数据集期间,我的准确率为98-99%,正确预测的概率为90% . 然而,在冻结我的图表并再次预测之后,我的模型不那么准确,只有30-40%的置信度才能预测正确的标签 . 模型训练后,我有几个项目: 检查点文件 model.ckpt.index文件 model.ckpt.meta文件 m... -
-1 votesanswersviews
使用预先训练的Tensorflow模型进行推理,服用时间约为12秒
我正在使用Google Cloud(4 CPU,15 GB RAM)来托管tensorflow服务(分支0.5.1) . 该模型是一个预先训练的Resnet,我使用Keras导入并使用SavedModelBuilder转换为.pb格式 . 我遵循了installation docs中提到的Tensorflow服务安装和编译步骤 . 使用以下方法构建一个bazel构建: bazel build t... -
0 votesanswersviews
张量流宽线性模型推理对gpu的缓慢影响
我正在训练一个关于张量流的稀疏逻辑回归模型 . 该问题具体涉及推理部分 . 我正在尝试对cpu和gpu进行基准测试 . 我在我目前的GCE盒子上使用Nvidia P100 gpu(4个模具) . 我是gpu的新手,很抱歉天真的问题 . 该模型相当大〜54k操作(与dnn或imagenet模型相比,它被认为是大的吗?) . 当我记录设备放置时,我只看到正在使用的gpu:0,其余的未使用?我不会在训练... -
2 votesanswersviews
是否可以将TensorFlow服务与分布式TensorFlow集群一起使用以提高吞吐量/延迟?
我正在研究改善TensorFlow Serving实例的延迟和/或吞吐量的方法 . 我已经看过"Serving Inception"手册和三个GitHub问题(2,3,4),但是它们似乎都为每个服务器创建了一个单独的TensorFlow服务实例,然后在客户端上选择服务器 . 问题4实际上是关于在那些东西之前添加一些负载均衡器,这在TensorFlow服务本身中目前不存在 . 但... -
1 votesanswersviews
使用检查点在Tensorflow Mnist模型上测试图像
我是TensorFlow的新手 . 我得到了mnist列车样本,我想通过生成检查点来测试图像 . 我参考了Tensorflow文档和生成的检查点,并尝试通过访问softmax图层来测试样本图像 . 但是给出了一个图像number-9 softmax gives me an invalid one-hot-encoded array like 'array([[ 0., 1., 0., 0., 0... -
0 votesanswersviews
RNN文本分类,预测和服务于张量流
我尝试构建预测下一个单词的模型(在我的例子中为URL) . 在关注mnist示例之后,我陷入了预测部分 . 我的python代码: import argparse import sys import os import re import numpy as np import pandas import tensorflow as tf import url_datasets from tens... -
1 votesanswersviews
在使用Tensorflow分布式培训时保存Tensorflow服务模型
我们计划在Tensorflow中实施分布式培训 . 为此,我们使用Tensorflow Distributed(https://www.tensorflow.org/deploy/distributed) . 我们可以使用"asynchronous between graph replication training"实现分布式培训 . 以下是代码段 . ..... ps_h... -
3 votesanswersviews
Tensorflow服务:请求失败,对象没有属性'unary_unary
我正在使用TensorFlow构建CNN文本分类器,我想使用服务apis加载tensorflow-serving和query . 当我在grcp存根上调用Predict()方法时,我收到此错误:AttributeError:'grpc._cython.cygrpc.Channel'对象没有属性'unary_unary' 到目前为止我做了什么:我已经成功地训练并导出了适合服务的模型(即,签名被验证并... -
0 votesanswersviews
Tensorflow服务配料瓶颈
我有一个基于NLP的神经网络,由Conv和LSTM层组成,使用Keras构建并导出到Tensorflow服务 . Tensorflow服务r1.5在GPU支持下编译,并部署在功能强大的GPU机器(Tesla V100)上 . 对我来说重要的是推理吞吐量,我尽可能多地需要它,而我根本不关心延迟 . 客户端是具有非阻塞I / O调用的Java gRPC . 每个调用都有一个大小为1的张量 . 打开批... -
0 votesanswersviews
Tensorflow服务如何在模型服务器代码中调用用户操作
如何在main.cc中调用加载的用户op? https://github.com/tensorflow/serving/blob/master/tensorflow_serving/model_servers/main.cc 我已经使用tf_loadLibrary加载了https://github.com/yaroslavvb/memory_probe_ops(内存探测操作)或https://gi... -
4 votesanswersviews
在什么阶段设置了张量流图?
优化器通常为许多步骤运行相同的计算图,直到收敛 . tensorflow是否在开始时设置图形并在每个步骤中重复使用它?如果我在培训期间更改批量大小怎么办?如果我改变损失函数对图表做一些减号怎么办?如果我对图表做了一些重大更改怎么办?张量流是否预先生成所有可能的图形?当图表发生变化时,tensorflow是否知道如何优化整个计算? -
0 votesanswersviews
张量流服务预测为b64输出最高结果
我有一个Keras模型我转换为tensorflow服务模型 . 我可以成功转换我的预训练keras模型以获取b64输入,预处理该输入,并将其提供给我的模型 . 我的问题是我不知道如何获取我得到的预测数据(这是巨大的)并且只导出最高结果 . 我正在做图像分割,所以我的输出预测是形状(?,473,473,3),我想获得最高结果并以b64编码格式返回 . 我目前只返回整个预测: sess = K.get... -
2 votesanswersviews
如何从Java中的Example对象创建Tensor?
我的用例:我正在尝试使用libtensorflow_jni在我们现有的JVM服务中为python训练的模型提供服务 . 现在我可以使用 SavedModelBundle.load() 加载模型 . 但我发现很难将请求提供给模型 . 由于我的用户请求不仅仅是标量矩阵,而是功能映射,例如: {'gender':1, 'age': 20, 'country': 100, other features ....