A wide variety of model explanation approaches have been proposed in recent years, all guided by very different rationales and heuristics. In this paper, we take a new route and cast interpretability as a statistical inference problem. We propose a general deep probabilistic model designed to produce interpretable predictions. The model parameters can be learned via maximum likelihood, and the method can be adapted to any predictor network architecture and any type of prediction problem. Our method is a case of amortized interpretability models, where a neural network is used as a selector to allow for fast interpretation at inference time. Several popular interpretability methods are shown to be particular cases of regularised maximum likelihood for our general model. We propose new datasets with ground truth selection which allow for the evaluation of the features importance map. Using these datasets, we show experimentally that using multiple imputation provides more reasonable interpretations.

统计模型是机器学习的核心，具有广泛适用性，跨各种下游任务。模型通常由通过最大似然估计从数据估计的自由参数控制。但是，当面对现实世界数据集时，许多模型运行到一个关键问题：它们是在完全观察到的数据方面配制的，而在实践中，数据集会困扰缺失数据。来自不完整数据的统计模型估计理论在概念上类似于潜在变量模型的估计，其中存在强大的工具，例如变分推理（VI）。然而，与标准潜在变量模型相比，具有不完整数据的参数估计通常需要估计缺失变量的指数 - 许多条件分布，因此使标准的VI方法是棘手的。通过引入变分Gibbs推理（VGI），是一种新的通用方法来解决这个差距，以估计来自不完整数据的统计模型参数。我们在一组合成和实际估算任务上验证VGI，从不完整的数据中估算重要的机器学习模型，VAE和标准化流程。拟议的方法，同时通用，实现比现有的特定模型特定估计方法竞争或更好的性能。

福利值广泛用作模型不可知的解释框架，以解释复杂的预测机器学习模型。福利值具有理想的理论特性和声音数学基础。精确的福芙值估计依赖数据依赖于所有特征组合之间的依赖性的准确建模。在本文中，我们使用具有任意调节（VAEAC）的变形AutoEncoder来同时建模所有特征依赖性。我们通过全面的仿真研究证明了VAEAC对于连续和混合依赖特征的各种环境来说，VAEAC优于最先进的方法。最后，我们将VAEAC应用于从UCI机器学习存储库中的鲍鱼数据集。

我们介绍了一个简单而直观的框架，该框架通过对输入特征重要性的概率评估来提供统计模型的定量解释。核心思想来自利用Dirichlet分布来定义输入功能的重要性，并通过大致贝叶斯推断学习。学到的重要性具有概率的解释，并提供了每个输入特征与模型输出的相对重要性，从而评估了对其重要性量化的信心。由于在解释上使用了Dirichlet分布，因此我们可以定义封闭形式的差异来衡量不同模型下所学到的重要性之间的相似性。我们利用这种差异来研究特征重要性的解释性权衡，并在现代机器学习中的基本概念（例如隐私和公平）中进行了折衷。此外，BIF可以在两个层面上工作：全局说明（所有数据实例中的特征重要性）和局部说明（每个数据实例的个人特征重要性）。考虑到表格数据集和图像数据集，我们显示了方法对各种合成和真实数据集的有效性。该代码可在https://github.com/kamadforge/featimp_dp上获得。

变异自动编码器（VAE）最近在归类和获取异质缺失数据方面非常成功。但是，在此特定应用程序域中，仅使用一层潜在变量和严格的高斯后近似值来限制现有的VAE方法。为了解决这些局限性，我们提出了HH-VAEM，这是一种用于混合型不完整数据的层次VAE模型，该模型使用Hamiltonian Monte Carlo和自动超参数调谐，以改善近似推断。我们的实验表明，HH-VAEM在缺少数据插补和有缺少功能的监督学习的任务中优于现有基线。最后，我们还提出了一种基于抽样的方法，用于在使用HH-VAEM获取缺失功能时有效地计算信息增益。我们的实验表明，基于抽样的方法优于基于高斯近似值的替代方法。

We marry ideas from deep neural networks and approximate Bayesian inference to derive a generalised class of deep, directed generative models, endowed with a new algorithm for scalable inference and learning. Our algorithm introduces a recognition model to represent an approximate posterior distribution and uses this for optimisation of a variational lower bound. We develop stochastic backpropagation -rules for gradient backpropagation through stochastic variables -and derive an algorithm that allows for joint optimisation of the parameters of both the generative and recognition models. We demonstrate on several real-world data sets that by using stochastic backpropagation and variational inference, we obtain models that are able to generate realistic samples of data, allow for accurate imputations of missing data, and provide a useful tool for high-dimensional data visualisation.

近年来，深度学习（DL）方法的流行程度急剧增加，并且在生物医学科学中的监督学习问题中的应用显着增长。但是，现代生物医学数据集中缺失数据的较高流行率和复杂性对DL方法提出了重大挑战。在这里，我们在深入学习的广义线性模型的背景下，对缺失数据进行了正式处理，这是一种监督的DL架构，用于回归和分类问题。我们提出了一种新的体系结构，即\ textit {dlglm}，这是第一个能够在训练时在输入功能和响应中灵活地说明忽略和不可忽视的缺失模式之一。我们通过统计模拟证明，我们的方法在没有随机（MNAR）缺失的情况下胜过现有的监督学习任务方法。我们从UCI机器学习存储库中对银行营销数据集进行了案例研究，在该数据集中我们预测客户是否基于电话调查数据订阅了产品。

变异推理（VI）的核心原理是将计算复杂后概率密度计算的统计推断问题转换为可拖动的优化问题。该属性使VI比几种基于采样的技术更快。但是，传统的VI算法无法扩展到大型数据集，并且无法轻易推断出越野数据点，而无需重新运行优化过程。该领域的最新发展，例如随机，黑框和摊销VI，已帮助解决了这些问题。如今，生成的建模任务广泛利用摊销VI来实现其效率和可扩展性，因为它利用参数化函数来学习近似的后验密度参数。在本文中，我们回顾了各种VI技术的数学基础，以构成理解摊销VI的基础。此外，我们还概述了最近解决摊销VI问题的趋势，例如摊销差距，泛化问题，不一致的表示学习和后验崩溃。最后，我们分析了改善VI优化的替代差异度量。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

How can we perform efficient inference and learning in directed probabilistic models, in the presence of continuous latent variables with intractable posterior distributions, and large datasets? We introduce a stochastic variational inference and learning algorithm that scales to large datasets and, under some mild differentiability conditions, even works in the intractable case. Our contributions is two-fold. First, we show that a reparameterization of the variational lower bound yields a lower bound estimator that can be straightforwardly optimized using standard stochastic gradient methods. Second, we show that for i.i.d. datasets with continuous latent variables per datapoint, posterior inference can be made especially efficient by fitting an approximate inference model (also called a recognition model) to the intractable posterior using the proposed lower bound estimator. Theoretical advantages are reflected in experimental results.

适应数据分布的结构（例如对称性和转型Imarerces）是机器学习中的重要挑战。通过架构设计或通过增强数据集，可以内在学习过程中内置Inhormces。两者都需要先验的了解对称性的确切性质。缺乏这种知识，从业者求助于昂贵且耗时的调整。为了解决这个问题，我们提出了一种新的方法来学习增强变换的分布，以新的\ emph {转换风险最小化}（trm）框架。除了预测模型之外，我们还优化了从假说空间中选择的转换。作为算法框架，我们的TRM方法是（1）有效（共同学习增强和模型，以\ emph {单训练环}），（2）模块化（使用\ emph {任何训练算法），以及（3）一般（处理\ \ ich {离散和连续}增强）。理论上与标准风险最小化的TRM比较，并在其泛化误差上给出PAC-Bayes上限。我们建议通过块组成的新参数化优化富裕的增强空间，导致新的\ EMPH {随机成分增强学习}（SCALE）算法。我们在CIFAR10 / 100，SVHN上使用先前的方法（快速自身自动化和武术器）进行实际比较规模。此外，我们表明规模可以在数据分布中正确地学习某些对称性（恢复旋转Mnist上的旋转），并且还可以改善学习模型的校准。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

项目反应理论（IRT）是一个无处不在的模型，可以根据他们对问题的回答理解人类行为和态度。大型现代数据集为捕捉人类行为的更多细微差别提供了机会，从而有可能改善心理测量模型，从而改善科学理解和公共政策。但是，尽管较大的数据集允许采用更灵活的方法，但许多用于拟合IRT模型的当代算法也可能具有禁止现实世界应用的巨大计算需求。为了解决这种瓶颈，我们引入了IRT的变异贝叶斯推理算法，并表明它在不牺牲准确性的情况下快速可扩展。将此方法应用于认知科学和教育的五个大规模项目响应数据集中，比替代推理算法更高的对数可能性和更高的准确性。然后，使用这种新的推论方法，我们将IRT概括为具有表现力的贝叶斯响应模型，利用深度学习的最新进展来捕获具有神经网络的非线性项目特征曲线（ICC）。使用TIMSS的特定级数学测试，我们显示我们的非线性IRT模型可以捕获有趣的不对称ICC。该算法实现是开源的，易于使用。

The reparameterization trick enables optimizing large scale stochastic computation graphs via gradient descent. The essence of the trick is to refactor each stochastic node into a differentiable function of its parameters and a random variable with fixed distribution. After refactoring, the gradients of the loss propagated by the chain rule through the graph are low variance unbiased estimators of the gradients of the expected loss. While many continuous random variables have such reparameterizations, discrete random variables lack useful reparameterizations due to the discontinuous nature of discrete states. In this work we introduce CONCRETE random variables-CONtinuous relaxations of disCRETE random variables. The Concrete distribution is a new family of distributions with closed form densities and a simple reparameterization. Whenever a discrete stochastic node of a computation graph can be refactored into a one-hot bit representation that is treated continuously, Concrete stochastic nodes can be used with automatic differentiation to produce low-variance biased gradients of objectives (including objectives that depend on the log-probability of latent stochastic nodes) on the corresponding discrete graph. We demonstrate the effectiveness of Concrete relaxations on density estimation and structured prediction tasks using neural networks.

研究人员提出了多种模型解释方法，但目前尚不清楚大多数方法如何相关或何时一种方法比另一种方法更可取。我们研究了文献，发现许多方法都是基于通过删除来解释的共同原理 - 本质上是测量从模型中删除一组特征的影响。这些方法在几个方面有所不同，因此我们为基于删除的解释开发了一个沿三个维度表征每个方法的框架：1）该方法如何删除特征，2）该方法解释的模型行为以及3）方法如何汇总每个方法功能的影响。我们的框架统一了26种现有方法，其中包括几种最广泛使用的方法（Shap，Lime，有意义的扰动，排列测试）。揭露这些方法之间的基本相似性使用户能够推荐使用哪种工具，并为正在进行的模型解释性研究提出了有希望的方向。

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

我们开发了一种新的原则性算法，用于估计培训数据点对深度学习模型的行为的贡献，例如它做出的特定预测。我们的算法估计了AME，该数量量衡量了将数据点添加到训练数据子集中的预期（平均）边际效应，并从给定的分布中采样。当从均匀分布中采样子集时，AME将还原为众所周知的Shapley值。我们的方法受因果推断和随机实验的启发：我们采样了训练数据的不同子集以训练多个子模型，并评估每个子模型的行为。然后，我们使用套索回归来基于子集组成共同估计每个数据点的AME。在稀疏假设（$ k \ ll n $数据点具有较大的AME）下，我们的估计器仅需要$ O（k \ log n）$随机的子模型培训，从而改善了最佳先前的Shapley值估算器。

Categorical variables are a natural choice for representing discrete structure in the world. However, stochastic neural networks rarely use categorical latent variables due to the inability to backpropagate through samples. In this work, we present an efficient gradient estimator that replaces the non-differentiable sample from a categorical distribution with a differentiable sample from a novel Gumbel-Softmax distribution. This distribution has the essential property that it can be smoothly annealed into a categorical distribution. We show that our Gumbel-Softmax estimator outperforms state-of-the-art gradient estimators on structured output prediction and unsupervised generative modeling tasks with categorical latent variables, and enables large speedups on semi-supervised classification. * Work done during an internship at Google Brain.

学习神经集功能在许多应用中越来越重要，例如产品推荐和AI辅助药物发现中的复合选择。在功能值Oracle下，大多数现有的作品研究方法学方法学方法学都需要昂贵的监督信号。这使得仅在最佳子集（OS）Oracle下仅进行弱监督的应用程序使其不切实际，而研究的研究令人惊讶地忽略了。在这项工作中，我们提出了一个原则上但实用的最大似然学习框架，称为等效性，该框架同时满足OS ORACLE下的以下学习设置功能：i）置入了模型的设定质量函数的置换率； ii）许可不同地面套件； iii）最低先验；和iv）可伸缩性。我们框架的主要组成部分涉及：对设定质量函数的基于能量的处理，深空式体系结构来处理置换不变性，平均场变异推理及其摊销变体。由于这些高级体系结构的优雅组合，对三个现实世界应用的实证研究（包括亚马逊产品推荐，设置异常检测和虚拟筛选的复合选择）表明，EquivSet的表现优于基本线的大幅度。

基于连续的潜在空间（例如变异自动编码器）的概率模型可以理解为无数混合模型，其中组件连续取决于潜在代码。它们具有用于生成和概率建模的表达性工具，但与可牵引的概率推断不符，即计算代表概率分布的边际和条件。同时，可以将概率模型（例如概率电路（PC））理解为层次离散混合模型，从而使它们可以执行精确的推断，但是与连续的潜在空间模型相比，它们通常显示出低于标准的性能。在本文中，我们研究了一种混合方法，即具有较小潜在尺寸的可拖动模型的连续混合物。尽管这些模型在分析上是棘手的，但基于一组有限的集成点，它们非常适合数值集成方案。有足够数量的集成点，近似值变得精确。此外，使用一组有限的集成点，可以将近似方法编译成PC中，以“在近似模型中的精确推断”执行。在实验中，我们表明这种简单的方案被证明非常有效，因为PC在许多标准密度估计基准上以这种方式为可拖动模型设定了新的最新模型。