我用Tensorflow模型服务器观察CPU的性能问题 . 与原始Tensorflow模型推理相比，它推断的时间加倍 . 两者都是用MKL构建的，仅用于CPU .
代码重现：https://github.com/BogdanRuzh/tf_model_service_benchmark
Tensorflow MKL build: bazel build --config=mkl -c opt --copt=-msse4.1 --copt=-msse4.2 --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-O3 //tensorflow/tools/pip_package:build_pip_package
Tensorflow server MKL build: bazel build --config=mkl --config=opt --copt=-msse4.1 --copt=-msse4.2 --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-O3 tensorflow_serving/model_servers:tensorflow_model_server
目标模型是用于分割的简单CNN .
原始Tensorflow模型在0.17s内处理图像 . Tensorflow模型服务器在0.32秒内处理相同的图像 .
我该如何改善这种表现？这对我的申请非常重要 .