我对批量标准化层并不完全熟悉 . 据我了解，它将使用小批量统计数据在训练时计算标准化 .
当小批量大小很小时，你们是否有使用这些层的经验（例如，对于小批量大小，每次迭代使用2或4个图像）？有没有理由不能有效地工作？
我的感觉是，统计数据是在训练时以非常小的样本计算的，并且可能会对培训产生负面影响，您如何看待？
你的直觉是正确的，样本可能与人口不同（小批量与所有样本），但这个问题在批量标准化论文中得到了解决 . 具体而言，在列车时间内，您可以通过除以批量大小（N）来找到样本的方差，但在测试时间内，您可以通过使用无偏差方差估计（乘以N /（N-1））来解释这一点：有在这里查看更详细和易于理解的解释：Batch Normalization
1 回答
你的直觉是正确的，样本可能与人口不同（小批量与所有样本），但这个问题在批量标准化论文中得到了解决 . 具体而言，在列车时间内，您可以通过除以批量大小（N）来找到样本的方差，但在测试时间内，您可以通过使用无偏差方差估计（乘以N /（N-1））来解释这一点：有在这里查看更详细和易于理解的解释：Batch Normalization