免责声明:我也在CrossValidated上发布了这个问题,但没有得到任何关注 . 如果这不是它的地方我会很乐意删除它 .
据我了解,它们之间的唯一区别是两个网络的训练方式 . 深度自动编码器的训练方式与单层神经网络相同,而堆叠式自动编码器则采用贪婪的分层方法进行训练 . Hugo Larochelle在video的评论中证实了这一点 . 我想知道这是唯一的差异,任何指针?
该领域的术语不是固定的,精心切割和明确定义的,不同的研究可能意味着不同的事物或在相同的术语中添加不同的方面 . 示例讨论:
What is the difference between Deep Learning and traditional Artificial Neural Network machine learning?(有些人认为2层足够深,有些意味着10层或100层) .
Multi-layer perceptron vs deep neural network(主要是同义词,但有些研究偏好一个与另一个相比) .
至于AE,根据各种来源,深度自动编码器和堆叠自动编码器是 exact synonyms ,例如,这里是"Hands-On Machine Learning with Scikit-Learn and TensorFlow"的引用:
就像我们讨论的其他神经网络一样,自动编码器可以有多个隐藏层 . 在这种情况下,它们被称为堆叠自动编码器(或深度自动编码器) .
后来,作者讨论了两种训练自动编码器的方法,并且可以互换地使用这两个术语 .
我同意,术语"stacked"的感知是自动编码器可以在没有重新训练的情况下扩展新的层,但无论现有层如何被训练(联合或单独),这实际上都是正确的 . 也不管训练方法如何,研究可能会或可能不会足够深入地调用它 . 所以我不会过分关注术语 . 它可以稳定某一天但不是现在 .
1 回答
该领域的术语不是固定的,精心切割和明确定义的,不同的研究可能意味着不同的事物或在相同的术语中添加不同的方面 . 示例讨论:
What is the difference between Deep Learning and traditional Artificial Neural Network machine learning?(有些人认为2层足够深,有些意味着10层或100层) .
Multi-layer perceptron vs deep neural network(主要是同义词,但有些研究偏好一个与另一个相比) .
至于AE,根据各种来源,深度自动编码器和堆叠自动编码器是 exact synonyms ,例如,这里是"Hands-On Machine Learning with Scikit-Learn and TensorFlow"的引用:
后来,作者讨论了两种训练自动编码器的方法,并且可以互换地使用这两个术语 .
我同意,术语"stacked"的感知是自动编码器可以在没有重新训练的情况下扩展新的层,但无论现有层如何被训练(联合或单独),这实际上都是正确的 . 也不管训练方法如何,研究可能会或可能不会足够深入地调用它 . 所以我不会过分关注术语 . 它可以稳定某一天但不是现在 .