首页 文章

根据权重和偏差选择神经元

提问于
浏览
-2

在具有2048个神经元的密集层中,每个神经元与先前的层输出连接,我们有:

y = w1*x1 + w2*x2 + .......... + w128*x128

总共(128 * 2048)= 262144个参数,具有2048个偏置矢量,总共264192(262144 2048)个参数 .

我需要选择具有最高分数的2048年的神经元(或第一个x神经元) . 我应该如何做出决定?

更新:我有上述形状:128 * 2048连接和2048偏见 . 我需要在2048年找到最有影响力的神经元 . 我想我应该考虑所有128个权重和每个神经元的偏差,但我不确定我应该如何计算最大值 . 所有重量的总和?这种偏见怎么样?

1 回答

  • 0

    假设你的结果张量有形状 res.shape = [batch_size, 2048]

    • 如果你想要具有最高输出的神经元:
    np.argmax(res, axis=-1)
    
    • 如果你想要顶级K神经元:
    np.argpartition(res, -K, axis=-1)[:,-K:]
    

相关问题