以下是在CIFAR10模型示例中，tensorflow如何在多个GPU上工作 . https://www.tensorflow.org/versions/r0.8/tutorials/deep_cnn/index.html

  • 在每个GPU上放置一个单独的模型副本 .

  • 通过等待所有GPU完成处理一批数据来同步更新模型参数 .

正如提到的tensorflow教程所示，所有模型参数都存储在CPU上，因为避免了与GPU之间的数据传输 . 当GPU与CIFAR10型号一起运行时，GPU之间没有数据传输？数据传输只发生在CPU和GPU之间？

tensorflow