-
3 votesanswersviews
Tensorflow服务：批处理请求获得更高的延迟
我正在尝试在GKE上部署TF服务并尝试 Build 一个高度可用的在线预测系统 . 我试图通过将多个请求一起批处理来优化延迟 . 然而，延迟似乎遭受而不是改善 . 该模型是CNN，长度约为50的输入向量 . TF服务在具有6个标准节点的Kubernetes集群上运行 我尝试了批量5和10的批次 . 我没有使用来自TF服务的batching implementation，我只是发送了一个... -
1 votesanswersviews
张量流连续文本序列到序列 . 为何批量？
我正在构建一个序列到序列的莎士比亚预测器，并查看它似乎以50个字符为一组进行批处理的示例代码 . 我有点困惑 . 如果文本是连续的并且您正在处理50个字符的块，那么这肯定意味着您只是根据第50个字符后面的下一个预期字符计算损失，并且该模型从未接受过下一个预期字符的训练其他49个字符 . 换句话说，如果你有1000个字符，20个50个字符，那么它只会被教导预测20个不同的字符 . 这些批次不应该在每...