我正在训练一个像ResNet这样的大型网络，其批量大小只有25个 . 当我这样做时，我获得了非常低的振荡GPU利用率 . 我看过几篇关于PyTorch中低GPU利用率的帖子 . 但是，他们建议采用以下任何一种方法：
“增加批量大小 . ”：但是，这不是计算选择，我希望我的批量大小 .
“由于数据加载可能成为瓶颈，因此增加 Worker 数量 . ”：首先，数据加载不是瓶颈，因为它花费的时间要少得多 . 其次，增加加载器的数量会增加我的代码的运行时间 . 第三，即使增加了装载机的数量，低利用率和振荡的GPU利用率仍然存在 . 因此，这个建议也不适用 .
“Set shuffle = False”：再次不是一个可行的解决方案，因为我必须以某种方式改变我的数据 .
当我们有小批量化时，您是否有任何其他建议可以更有效地使用GPU？