我一直在寻找自动编码器，并一直在想是否使用绑定的重量 . 我打算将它们作为预训练步骤进行堆叠，然后使用它们的隐藏表示来提供NN .
使用解开的权重，它看起来像：
f（x）=σ2（ b2 W2 *σ1（ b1 W1 * x））
使用绑定的权重，它看起来像：
f（x）=σ2（ b2 W1T *σ1（ b1 W1 * x））
从一个非常简单的观点来看，可以说，绑定权重确保编码器部分在给定体系结构的情况下生成最佳表示，如果权重是独立的，那么解码器可以有效地采用非最优表示并仍然对其进行解码？
我问，因为如果解码器出现“魔术”并且我打算只使用编码器来驱动我的NN，那不会有问题 .
1 回答
带有绑定权重的自动编码器具有一些重要优势：
学习起来比较容易 .
在线性情况下，它与PCA相同 - 这可能导致更几何的编码 .
捆绑的重量是一种正规化 .
但当然 - 它们并不完美：当您的数据来自高度非线性流形时，它们可能不是最佳的 . 根据您的数据大小，我会尝试两种方法 - 使用绑定权重，如果可能的话，则不会 .
更新：
你还问为什么来自具有紧密权重的自动编码器的表示可能比没有的表示更好 . 当然不是这种表示总是更好的情况，但如果重建误差是合理的，那么编码层中的不同单元代表可以被视为垂直特征的生成器的东西，这些生成器解释了数据的大部分方差（像PCA一样很好）做） . 这就是为什么这种表示在进一步的学习阶段可能非常有用 .