首页 文章
  • 0 votes
     answers
     views

    用seq2seq加速Beam Search

    我有一个完全工作的seq2seq注意模型与光束搜索,它确实提供了改进的结果 . 但是推理需要> 1分钟(批量大小1024),k = 5(k是我的假设),因为它们都没有并行化 . 一切都是一次发生一次 . Task (simplified)目标是句子翻译,15个字朗A到15个字郎B. 编码器是一个RNN,它接收15个单词的句子并对其进行编码,给出[timetep,512]矩阵以及最终的隐藏...

热门问题