如何使用max_batch_size，batch_timeout_micros，num_batch_threads和其他参数进行批处理性能调整？尝试使用Query客户端使用这些参数，它不起作用 .
在下面的示例中，我有100个图像，我想批量大小为10.查询运行所有图像而不是10. bazel-bin / tensorflow_serving / example / demo_batch --server = localhost：9000 --max_batch_size = 10
另外，对于批量调度，如何在第一批完成后每隔10秒运行一次？谢谢 .
1 回答
我遇到了和你一样的问题 .
我检查了tf-serving的源代码，这些参数是在一个protobuf文件中定义的
我找到了示例conf文件
服务/ tensorflow_serving / servables / tensorflow / TESTDATA / batching_config.txt
而且我相信你可以遵循batching_config.txt格式，参数配置应该可行 .
希望能帮助到你 .
max_batch_size {value：1024}
batch_timeout_micros {value：0}
max_enqueued_batches {value：1000000}
num_batch_threads {值：8}
allowed_batch_sizes：1
allowed_batch_sizes：2
allowed_batch_sizes：8
allowed_batch_sizes：32
allowed_batch_sizes：128
allowed_batch_sizes：256
allowed_batch_sizes：512
allowed_batch_sizes：1024