基于Shapley值的功能归因在解释机器学习模型中很受欢迎。但是，从理论和计算的角度来看，它们的估计是复杂的。我们将这种复杂性分解为两个因素：（1）〜删除特征信息的方法，以及（2）〜可拖动估计策略。这两个因素提供了一种天然镜头，我们可以更好地理解和比较24种不同的算法。基于各种特征删除方法，我们描述了多种类型的Shapley值特征属性和计算每个类型的方法。然后，基于可进行的估计策略，我们表征了两个不同的方法家族：模型 - 不合时宜的和模型特定的近似值。对于模型 - 不合稳定的近似值，我们基准了广泛的估计方法，并将其与Shapley值的替代性但等效的特征联系起来。对于特定于模型的近似值，我们阐明了对每种方法的线性，树和深模型的障碍至关重要的假设。最后，我们确定了文献中的差距以及有希望的未来研究方向。
translated by 谷歌翻译
Feature selection helps reduce data acquisition costs in ML, but the standard approach is to train models with static feature subsets. Here, we consider the dynamic feature selection (DFS) problem where a model sequentially queries features based on the presently available information. DFS is often addressed with reinforcement learning (RL), but we explore a simpler approach of greedily selecting features based on their conditional mutual information. This method is theoretically appealing but requires oracle access to the data distribution, so we develop a learning approach based on amortized optimization. The proposed method is shown to recover the greedy policy when trained to optimality and outperforms numerous existing feature selection methods in our experiments, thus validating it as a simple but powerful approach for this problem.
translated by 谷歌翻译
解释视觉场景的含义不仅需要识别其成分对象，还需要对象相互关系的丰富语义表征。在这里，我们通过将现代计算技术应用于复杂自然场景引起的人类脑反应的大规模7T fMRI数据集，研究视觉语义转换的神经机制。使用通过将语言深度学习模型应用于人类生成的场景描述获得的语义嵌入，我们确定了编码语义场景描述的大脑区域的广泛分布网络。重要的是，这些语义嵌入比传统对象类别标签更好地解释了这些区域的活动。此外，尽管参与者没有积极从事语义任务，但它们还是活动的有效预测指标，这表明Visuo-Semantic转换是默认的视觉方式。为了支持这种观点，我们表明，可以直接通过大脑活动模式直接将场景字幕的高度精确重建。最后，经过语义嵌入训练的经常性卷积神经网络进一步超过了语义嵌入在预测大脑活动时的语义嵌入，从而提供了大脑视觉语义转换的机械模型。这些实验和计算结果在一起表明，将视觉输入转换为丰富的语义场景描述可能是视觉系统的核心目标，并且将重点放在这一新目标上可能会导致改进人类大脑中视觉信息处理的模型。
translated by 谷歌翻译
地震阶段关联将地震到达时间测量连接到其致病来源。有效的关联必须确定离散事件的数量，其位置和起源时间，并且必须将实际到达与测量工件区分开。深度学习采摘者的出现，从紧密重叠的小地震中提供了高率的速度，它激发了重新审视相关问题并使用深度学习方法来解决它。我们已经开发了一个图形神经网络关联器，该协会同时预测源时空定位和离散的源源 - 边界关联可能性。该方法适用于任意几何形状，数百个电台的时变地震网络，并且具有可变噪声和质量的高源和输入选拔速率。我们的图形地震神经解释引擎（Genie）使用一个图来表示站点，另一个图表示空间源区域。 Genie从数据中从数据中学习了关系，使其能够确定可靠的源和源源联想。我们使用Phasenet Deep Learth Learning Phase Phase Picker生成的输入来培训合成数据，并测试来自北加州（NC）地震网络的真实数据的方法。我们成功地重新检测了USGS在2000年$ \ unicode {x2013} $ 2022之间的500天报告中报告的所有事件M> 1的96％。在2017年的100天连续处理间隔中，$ \ unicode {x2013} $ 2018，我们检测到〜4.2x USGS报告的事件数量。我们的新事件的估计值低于USGS目录的完整性幅度，并且位于该地区的活动故障和采石场附近。我们的结果表明，精灵可以在复杂的地震监测条件下有效解决关联问题。
translated by 谷歌翻译
变形金刚已成为计算机视觉中的默认架构，但是了解驱动其预测的原因仍然是一个具有挑战性的问题。当前的解释方法依赖于注意值或输入梯度，但是这些方法对模型的依赖性有限。Shapley值在理论上提供了一种替代方案，但是它们的计算成本使它们对于大型高维模型不切实际。在这项工作中，我们旨在使Shapley价值观对视觉变压器（VIT）实用。为此，我们首先利用一种注意力掩盖方法来评估VIT的部分信息，然后我们开发了一种通过单独的，学习的解释器模型来生成Shapley价值解释的程序。我们的实验将沙普利值与许多基线方法（例如，注意推出，Gradcam，LRP）进行了比较，我们发现我们的方法提供了比任何现有的VIT方法更准确的解释。
translated by 谷歌翻译
我们引入了一种新方法，用于纳米光器设备的逆设计，该方法可以确保由此产生的设计满足严格的长度限制，包括商业半导体铸造厂所需的最小宽度和间距约束。该方法采用了几个概念，从机器学习中，将拓扑优化的问题与严格的长度限制转变为无约束的随机梯度优化问题。具体而言，我们引入了一种有条件的发电机，用于可行设计，并采用直通估计器将梯度反向传播到潜在设计。我们通过设计几个常见的集成光子组件来证明我们方法的性能和可靠性。
translated by 谷歌翻译
我们提出了新的WASSTEREIN图形集群，用于动态更改图形。Wassersein聚类惩罚了图之间的拓扑差异。Wassersein聚类显示出优于广泛使用的K-Means聚类。该方法应用于更准确地确定动态变化功能性脑网络的状态空间。
translated by 谷歌翻译
内镜窦和头骨基础手术（Essbss）是一个具有挑战性和潜在的危险的外科手术，客观技能评估是提高手术训练有效性的关键组成部分，重新验证外科医生的技能，并降低手术创伤和并发症手术室的速度。由于外科手术的复杂性，操作风格的变化，以及新的外科技能的快速发展，外科技能评估仍然是一个具有挑战性的问题。这项工作提出了一种新颖的高斯过程学习的启发式自动客观外科手术技能评估方法。不同于经典的外科技能评估算法，所提出的方法1）利用外科仪器相对运动中的运动学特征，而不是使用特定的外科任务或统计数据实时评估技能; 2）提供信息丰富的反馈，而不是总结分数; 3）能够逐步从新数据逐步学习，而不是根据固定的数据集。该方法将仪器运动投射到内窥镜坐标中以减少数据维度。然后，它提取投影数据的运动学特征，并学习外科技能水平与高斯过程学习技术的特征之间的关系。该方法在全内镜颅底和尸体上的鼻窦手术中核实。这些手术具有不同的病理学，需要不同的治疗并具有不同的复杂性。实验结果表明，该方法达到了100 \％的预测精度，用于完整的外科手术和90 \％的实时预测评估精度。
translated by 谷歌翻译
贝叶斯脑假设假设大脑根据贝叶斯定理进行准确地运行统计分布。突触前囊泡释放神经递质的随机性失效可以让大脑从网络参数的后部分布中样本，被解释为认知不确定性。尚未显示出先前随机故障可能允许网络从观察到的分布中采样，也称为炼肠或残留不确定性。两个分布的采样使概率推断，高效搜索和创造性或生成问题解决。我们证明，在基于人口码的神经活动的解释下，可以用单独的突触衰竭来表示和对两种类型的分布进行分布。我们首先通过突触故障和横向抑制来定义生物学限制的神经网络和采样方案。在该框架内，我们派生基于辍学的认知不确定性，然后从突触功效证明了允许网络从任意，由接收层表示的分布来释放概率的分析映射。其次，我们的结果导致了本地学习规则，突触将适应其发布概率。我们的结果表明，在生物学限制的网络中，仅使用本地学习的突触失败率，与变分的贝叶斯推断相关的完整贝叶斯推断。
translated by 谷歌翻译
研究人员提出了多种模型解释方法，但目前尚不清楚大多数方法如何相关或何时一种方法比另一种方法更可取。我们研究了文献，发现许多方法都是基于通过删除来解释的共同原理 - 本质上是测量从模型中删除一组特征的影响。这些方法在几个方面有所不同，因此我们为基于删除的解释开发了一个沿三个维度表征每个方法的框架：1）该方法如何删除特征，2）该方法解释的模型行为以及3）方法如何汇总每个方法功能的影响。我们的框架统一了26种现有方法，其中包括几种最广泛使用的方法（Shap，Lime，有意义的扰动，排列测试）。揭露这些方法之间的基本相似性使用户能够推荐使用哪种工具，并为正在进行的模型解释性研究提出了有希望的方向。
translated by 谷歌翻译