首页 文章

选择基础设施，以便通过张量流更快地进行深度学习模型培训？

提问于
浏览 次
1

我是tensorflow深度学习的新手 . 我正在尝试一个seq2seq模型示例代码 .

我想明白：

  • 为了能够以令人满意的精度测试seq2seq模型，我可以从最开始的层数，层大小和批量大小的最小值是多少？

  • 此外，在内存和CPU能力方面所需的最小基础设施设置可在几小时的最长时间内训练此深度学习模型 .

我的经验是培训seq2seq模型， Build 一个2层大小为900，批量大小为4的神经网络

  • 花了大约3天的时间来训练4GB RAM，3GHz Intel i5单核处理器 .

  • 花了大约1天的时间来训练8GB RAM，3GHz Intel i5单核处理器 .

哪个对于更快的培训有帮助 - 更多的RAM容量，多个CPU核心或CPU GPU组合核心？

memory tensorflow gpu cpu deep-learning

1 回答

  • 1

    免责声明：我也是新人，在很多方面都可能出错 .

    我是使用tensorflow进行深度学习的新手 . 我正在尝试使用seq2seq模型示例代码 . 我想了解：为了能够以令人满意的精度测试seq2seq模型，我可以从最初的层数，层大小和批量大小的最小值是多少？

    我认为这只需要你的实验 . 找出适用于您的数据集的内容 . 我听过一些建议：如果可以的话，不要选择自己的建筑 - 找到经过试验和测试的其他人 . 如果你要在它们之间做出选择，似乎更深的网络比更广泛的网络更好 . 如果你有记忆，我也认为更大的批量大小更好 . 我听说最大化网络规模，然后规范，所以你不要过度配备 .

    我的印象是这些都是一个很大的问题，没有人真正知道答案（这可能是非常错误的！） . 我们都喜欢选择图层大小/层数的聪明方法，但没有人确切知道如何改变这些因素会影响培训 .

    此外，在内存和CPU能力方面所需的最低基础设施设置可在几小时的最长时间内训练这种深度学习模型 .

    根据您的型号，这可能是一个不合理的请求 . 似乎有些型号可以训练数百甚至数千小时（在GPU上） .

    我的经验是培训seq2seq模型， Build 一个2层900大小的神经网络，批量大小4需要大约3天才能在4GB RAM，3GHz Intel i5单核处理器上进行训练 . 用了大约1天的时间来训练8GB RAM，3GHz Intel i5单核处理器 . 哪个对于更快的培训有帮助 - 更多的RAM容量，多个CPU核心或CPU GPU组合核心？

    我相信GPU会对你有所帮助 . 我已经看到一些使用CPU的东西（异步演员评论家或其他东西？他们没有使用锁定）它看起来像CPU更好，但我认为GPU会给你巨大的加速 .

    回复于

相关问题