我设计了一个3层神经网络，其输入是来自CNN和RNN的连接特征 . 网络学习的权重值非常小 . 对此有什么合理的解释？以及如何解释Tensorflow中的权重直方图和分布？它有什么好的资源吗？
这是使用张量板可视化的3层神经网络的第一隐藏层的权重分布 . 怎么解释这个？所有权重都占零值？
这是3层神经元的第二个隐藏层的权重分布：
如何解释Tensorflow中的权重直方图和分布？
好吧，你可能没有意识到这一点，但你刚刚问过ML和AI中的100万美元问题......
模型可解释性是当前研究中一个超级活跃和过热的领域（想想圣杯或其他东西），这一领域最近被提出，尤其是由于深度学习模型在各种任务中的成功（通常是巨大的）;这些型号目前只有黑盒子，我们自然觉得不舒服......
有什么好的资源吗？
可能不完全是你想到的那种资源，我们在这里完全不适合SO，但是因为你问......：
最近（2017年7月）的科学文章提供了对当前状态和研究的一个很好的概述：How AI detectives are cracking open the black box of deep learning（没有文本链接，但谷歌搜索名称和条款将得到回报）
DARPA本身目前正在Explainable Artificial Intelligence (XAI)上运行一个程序
在NIPS 2016上举办了一个研讨会Interpretable Machine Learning for Complex Systems
在更实际的层面上：
用于神经网络的分层相关性传播（LRP）工具箱（paper，project page，code，TF Slim wrapper）
FairML：由Fast Forward Labs审核黑盒预测模型（blog post，paper，code）
最近（2017年11月）由Geoff Hinton撰写的论文，Distilling a Neural Network Into a Soft Decision Tree，独立PyTorch implementation
SHAP：解释模型预测的统一方法（paper，作者的code）
对于初学者来说，这些应该足够了，并且让你大致了解你所问的主题......
UPDATE （2018年10月）：我在回答问题时提出了更为详细的实用资源清单Predictive Analytics - “Why” factor?
1 回答
好吧，你可能没有意识到这一点，但你刚刚问过ML和AI中的100万美元问题......
模型可解释性是当前研究中一个超级活跃和过热的领域（想想圣杯或其他东西），这一领域最近被提出，尤其是由于深度学习模型在各种任务中的成功（通常是巨大的）;这些型号目前只有黑盒子，我们自然觉得不舒服......
可能不完全是你想到的那种资源，我们在这里完全不适合SO，但是因为你问......：
最近（2017年7月）的科学文章提供了对当前状态和研究的一个很好的概述：How AI detectives are cracking open the black box of deep learning（没有文本链接，但谷歌搜索名称和条款将得到回报）
DARPA本身目前正在Explainable Artificial Intelligence (XAI)上运行一个程序
在NIPS 2016上举办了一个研讨会Interpretable Machine Learning for Complex Systems
在更实际的层面上：
用于神经网络的分层相关性传播（LRP）工具箱（paper，project page，code，TF Slim wrapper）
FairML：由Fast Forward Labs审核黑盒预测模型（blog post，paper，code）
最近（2017年11月）由Geoff Hinton撰写的论文，Distilling a Neural Network Into a Soft Decision Tree，独立PyTorch implementation
SHAP：解释模型预测的统一方法（paper，作者的code）
对于初学者来说，这些应该足够了，并且让你大致了解你所问的主题......
UPDATE （2018年10月）：我在回答问题时提出了更为详细的实用资源清单Predictive Analytics - “Why” factor?