我试图了解自动编码器中的功能有多深 .
我用 h2o.deeplearning
创建了一个自动编码器,然后我尝试手动计算deepfeatures .
自动编码器
fit = h2o.deeplearning(
x = names(x_train),
training_frame = x_train,
activation = "Tanh",
autoencoder = TRUE,
hidden = c(25,10),
epochs = 100,
export_weights_and_biases = TRUE,
)
我使用激活函数Tanh和2个没有丢失的隐藏层,使事情变得简单 .
手动计算隐藏层1深层特征
然后我提取了从输入层到隐藏层1的重量和偏差
w12 = as.matrix(h2o.weights(fit, 1))
b12 = as.matrix(h2o.biases (fit,1))
我准备了在[-0.5,0.5]的紧凑区间之间对其进行归一化的训练数据,因为h2o在自动编码器中自动进行 .
normalize = function(x) {(((x-min(x))/(max(x)-min(x))) - 0.5)}
d.norm = apply(d, 2, normalize)`
然后我手动计算了第一层的深度特征
a12 = d.norm %*% t(w12)
b12.rep = do.call(rbind, rep(list(t(b12)), nrow(d.norm)))
z12 = a12 + b12.rep
f12 = tanh(z12)
当我将这些值与隐藏的第1层深层特征进行比较时,它们并不匹配
hl1.output = as.matrix(h2o.deepfeatures(fit, x_train, layer = 1))
all.equal(
as.numeric(f12[,1]),
hl1.output[, 1],
check.attributes = FALSE,
use.names = FALSE,
tolerance = 1e-04
)
[1] "Mean relative difference: 0.4854887"
手动计算隐藏层2深层特征
然后我尝试做同样的事情从隐藏层1的深层特征手动计算hiddem层2的深层特征
a23 = hl1.output %*% t(w23)
b23.rep = do.call(rbind, rep(list(t(b23)), nrow(a23)))
z23 = a23 + b23.rep
f23 = tanh(z23)
将这些值与隐藏层2的深层特征进行比较,我发现它们完全匹配
hl2.output = as.matrix(h2o.deepfeatures(fit,x_train,layer = 2))
all.equal(
as.numeric(f23[,1]),
hl2.output[, 1],
check.attributes = FALSE,
use.names = FALSE,
tolerance = 1e-04
)
[1] TRUE
手动计算输出图层要素
我为输出层尝试了同样的事情
a34 = hl2.output %*% t(w34)
b34.rep = do.call(rbind, rep(list(t(b34)), nrow(a34)))
z34 = a34 + b34.rep
f34 = tanh(z34)
我将结果与我的输出进行了比较,但我无法得到相同的结果
all.equal(
as.numeric(f34[1,]),
output[1,],
check.attributes = FALSE,
use.names = FALSE,
tolerance = 1e-04
)
[1] "Mean relative difference: 3.019762"
问题
我认为我没有以正确的方式对数据进行规范化,因为我可以使用隐藏层1的功能重新创建隐藏层2的深层特征 . 我不明白什么是错的,因为 autoencoder = TRUE
h2o应该规范化之间的数据[-0.5:0.5]
我不明白为什么输出层的手动计算不起作用
1)如何手动计算隐藏层1的深层特征?
2)如何手动计算输出功能?
1 回答
你正在使用:
他们正在使用this Java code:
然后使用like this:
即减去均值,然后除以范围(或等效地,在该范围内乘以1) . 所以,忽略检验除零,我认为你的R代码必须是:
检查为零,类似于:
只是玩弄它,似乎有1.0的范围,但它不是以0.0为中心,即它不是H2O文件中描述的-0.5到0.5(例如深度学习小册子中的第20页) . 我是否遗漏了Java代码中的内容?
顺便说一句this line是它决定自动编码器的NORMALIZE,而不是STANDARDIZE用于其他深度学习 .