我想使用Tensorflow的transform_graph工具优化图形 . 我尝试从MultiNet（以及其他具有类似编码器 - 解码器架构的图形）优化图形 . 但是，使用quantize_weights时，优化图实际上较慢，使用quantize_nodes时甚至要慢得多 . 从Tensorflow的文档来看，量化时可能没有任何改进，甚至可能更慢 . 知道下面的图形/软件/硬件是否正常吗？
以下是我的系统信息供您参考：
-
OS平台和发行版：Linux Ubuntu 16.04
-
TensorFlow安装自：使用TF源代码（CPU）进行图形转换，使用二进制python（GPU）进行推理
-
TensorFlow版本：均使用r1.3
-
Python版本：2.7
-
Bazel版本：0.6.1
-
CUDA / cuDNN版本：8.0 / 6.0（仅推理）
-
GPU型号和内存：GeForce GTX 1080 Ti
如有必要，我可以发布用于重现的所有脚本 .
2 回答
Tensorflow中的量化似乎只发生在CPU上 . 见：https://github.com/tensorflow/tensorflow/issues/2807
我在PC环境中遇到了同样的问题 . 我的模型比不量化慢9倍 .
但是当我将量化模型移植到Android应用程序中时，它可以加快速度 .
好像目前仅适用于CPU，只有ARM基础CPU，如android手机 .