我目前正在学习谷歌tensorflow object detection API . 当我尝试使用Oxford III pet数据集重新训练模型时,训练过程非常缓慢 .
这是我到目前为止发现的:
-
大部分时间只有2%的GPU可以使用 .
-
但CPU利用率为60%,因此看起来GPU不会受到输入的影响,否则CPU应该接近100%的利用率 .
我试图用张量流分析器来描述它,但我现在有点匆忙,任何想法或建议都会有所帮助 .
我目前正在学习谷歌tensorflow object detection API . 当我尝试使用Oxford III pet数据集重新训练模型时,训练过程非常缓慢 .
这是我到目前为止发现的:
大部分时间只有2%的GPU可以使用 .
但CPU利用率为60%,因此看起来GPU不会受到输入的影响,否则CPU应该接近100%的利用率 .
我试图用张量流分析器来描述它,但我现在有点匆忙,任何想法或建议都会有所帮助 .
2 回答
我发现了问题 . 这是输入的问题,我的tfrecord文件以某种方式被破坏,所以输入线程有时会挂起 .
我可以看到,它现在没有使用GPU,您是否尝试使用tensorflow给定参数优化GPU
https://www.tensorflow.org/performance/performance_guide#optimizing_for_gpu