Keras - 重用前一层的权重 - 转换为keras张量

我正在尝试重用前一层的权重矩阵 . 作为一个玩具示例,我想做这样的事情:

import numpy as np
from keras.layers import Dense, Input
from keras.layers import merge
from keras import backend as K
from keras.models import Model

inputs = Input(shape=(4,))
inputs2 = Input(shape=(4,))
dense_layer = Dense(10, input_shape=(4,))
dense1 = dense_layer(inputs)

def my_fun(my_inputs):
    w = my_inputs[0]
    x = my_inputs[1]

    return K.dot(w, x)

merge1 = merge([dense_layer.W, inputs2], mode=my_fun)

问题是 dense_layer.W 不是keras张量 . 所以我收到以下错误:

Exception: Output tensors to a Model must be Keras tensors. Found: dot.0

关于如何将 dense_layer.W 转换为Keras张量的任何想法?

谢谢

回答(3)

2 years ago

您似乎想要在图层之间共享权重 . 我认为你可以使用denselayer作为输入和输入2的共享层 .

merge1=dense_layer(inputs2)

检查共享图层@ https://keras.io/getting-started/functional-api-guide/#shared-layers

2 years ago

我认为你不能像这样使用合并层 .

但要回答您的问题,您可能需要创建一个绑定权重的自定义图层 . 看看this example .

否则,访问图层权重的方法是在该图层上使用get_weights()方法,这将返回包含权重的numpy数组列表 . 对于Dense图层的情况,它将包含权重和偏差 .

2 years ago

解决方案有两种情况,具体取决于您要执行的操作:

  • 您希望在两个操作之间共享W矩阵,即使在训练期间其值发生变化或其他原因,这两个操作的W矩阵也保持不变 . 然后你应该使用 dense.weights[0] 这是W矩阵作为密集层的张量 .

  • 如果您只是在编写代码时使用W矩阵的值并且此值永远不会改变,那么使用 K.constant(dense.get_weights[0]) 将权重提取为numpy数组并转换为张量 .