我们已经训练了一个用于问答的tf-seq2seq模型 . 主框架来自google/seq2seq . 我们使用双向RNN（GRU编码器/解码器128单元），增加了软关注机制 .
我们将最大长度限制为100个单词 . 它大多只生成10~20个单词 .
对于模型推理，我们尝试两种情况：
-
正常（贪心算法） . 其推理时间约为40ms~100ms
-
光束搜索 . 我们尝试使用波束宽度5，其推断时间约为400ms~1000ms .
因此，我们想尝试使用波束宽度3，它的时间可能会减少，但它也可能影响最终效果 .
那么有没有建议减少我们案件的推理时间？谢谢 .
1 回答
有四种方法：
有关详细说明，您可以hit this link .