我们最近开发了一种深入的学习方法，可以通过观察材料晶体的扫描电子显微镜（SEM）图像来确定材料的临界峰值应力。然而，它已经稍微不清楚网络在其预测时键入网络的图像特征。在计算机愿景中常见的是采用可解释的AI显着图，告诉一个图像的图像对网络的决定很重要。人们通常可以通过查看这些突出位置来推导重要的特征。然而，SEM的晶体图像比自然图像照片更摘要。结果，不容易判断在最突出的位置是什么重要的。为了解决这个问题，我们开发了一种方法，可以帮助我们将SEM图像中的重要位置从SEM图像中的重要位置映射到更易于解释的非抽象纹理。

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

The interpretation of deep learning models is a challenge due to their size, complexity, and often opaque internal state. In addition, many systems, such as image classifiers, operate on low-level features rather than high-level concepts. To address these challenges, we introduce Concept Activation Vectors (CAVs), which provide an interpretation of a neural net's internal state in terms of human-friendly concepts. The key idea is to view the high-dimensional internal state of a neural net as an aid, not an obstacle. We show how to use CAVs as part of a technique, Testing with CAVs (TCAV), that uses directional derivatives to quantify the degree to which a user-defined concept is important to a classification result-for example, how sensitive a prediction of zebra is to the presence of stripes. Using the domain of image classification as a testing ground, we describe how CAVs may be used to explore hypotheses and generate insights for a standard image classification network as well as a medical application.

破译神经网络内部运作的关键是了解模型学到了什么。发现学习特征的有前途的方法基于分析激活值，当前技术重点是分析高激活值，以在神经元水平上揭示有趣的特征。但是，分析高激活值限制了图层级概念发现。我们提出了一种方法，该方法将考虑整个激活分布。通过在神经网络层的高维活化空间内提取相似的激活曲线，我们发现了类似处理的输入组。这些输入组代表神经激活模式（午睡），可用于可视化和解释学习的层概念。我们释放一个框架，可以从预训练的模型中提取小睡，并提供可视觉内省工具，可用于分析午睡。我们通过各种网络测试了我们的方法，并展示了它如何补充现有的分析神经网络激活值的方法。

无法解释的黑框模型创建场景，使异常引起有害响应，从而造成不可接受的风险。这些风险促使可解释的人工智能（XAI）领域通过评估黑盒神经网络中的局部解释性来改善信任。不幸的是，基本真理对于模型的决定不可用，因此评估仅限于定性评估。此外，可解释性可能导致有关模型或错误信任感的不准确结论。我们建议通过探索Black-Box模型的潜在特征空间来从用户信任的有利位置提高XAI。我们提出了一种使用典型的几弹网络的Protoshotxai方法，该方法探索了不同类别的非线性特征之间的对比歧管。用户通过扰动查询示例的输入功能并记录任何类的示例子集的响应来探索多种多样。我们的方法是第一个可以将其扩展到很少的网络的本地解释的XAI模型。我们将ProtoShotxai与MNIST，Omniglot和Imagenet的最新XAI方法进行了比较，以进行定量和定性，Protoshotxai为模型探索提供了更大的灵活性。最后，Protoshotxai还展示了对抗样品的新颖解释和检测。

Many visualization techniques have been created to help explain the behavior of convolutional neural networks (CNNs), but they largely consist of static diagrams that convey limited information. Interactive visualizations can provide more rich insights and allow users to more easily explore a model's behavior; however, they are typically not easily reusable and are specific to a particular model. We introduce Visual Feature Search, a novel interactive visualization that is generalizable to any CNN and can easily be incorporated into a researcher's workflow. Our tool allows a user to highlight an image region and search for images from a given dataset with the most similar CNN features. It supports searching through large image datasets with an efficient cache-based search implementation. We demonstrate how our tool elucidates different aspects of model behavior by performing experiments on supervised, self-supervised, and human-edited CNNs. We also release a portable Python library and several IPython notebooks to enable researchers to easily use our tool in their own experiments. Our code can be found at https://github.com/lookingglasslab/VisualFeatureSearch.

在本文中，我们在卷积神经网络（CNNS）的不断扩大性文献中介绍了一个新问题。虽然以前的工作侧重于如何在视觉解释CNNS的问题上，但我们问我们关心解释的是什么，即哪些层和神经元值得我们关注？由于巨大的现代深度学习网络架构，自动化，定量方法需要对神经元的相对重要性进行排名，以便为此问题提供答案。我们提出了一种新的统计方法，用于在网络的任何卷积层中排名隐藏的神经元。我们将重要性定义为激活映射与类分数之间的最大相关性。我们提供了不同的方式，其中该方法可用于可视化与Mnist和Imagenet的目的，并显示我们对街道级图像的空气污染预测方法的真实应用。

自我监督的视觉学习彻底改变了深度学习，成为域中的下一个重大挑战，并通过大型计算机视觉基准的监督方法迅速缩小了差距。随着当前的模型和培训数据成倍增长，解释和理解这些模型变得关键。我们研究了视力任务的自我监督学习领域中可解释的人工智能的问题，并提出了了解经过自学训练的网络及其内部工作的方法。鉴于自我监督的视觉借口任务的巨大多样性，我们缩小了对理解范式的关注，这些范式从同一图像的两种观点中学习，主要是旨在了解借口任务。我们的工作重点是解释相似性学习，并且很容易扩展到所有其他借口任务。我们研究了两个流行的自我监督视觉模型：Simclr和Barlow Twins。我们总共开发了六种可视化和理解这些模型的方法：基于扰动的方法（条件闭塞，上下文无形的条件闭塞和成对的闭塞），相互作用-CAM，特征可视化，模型差异可视化，平均变换和像素无形。最后，我们通过将涉及单个图像的监督图像分类系统量身定制的众所周知的评估指标来评估这些解释，并将其涉及两个图像的自我监督学习领域。代码为：https：//github.com/fawazsammani/xai-ssl

自我监督的视觉表示学习最近引起了重大的研究兴趣。虽然一种评估自我监督表示的常见方法是通过转移到各种下游任务，但我们研究了衡量其可解释性的问题，即了解原始表示中编码的语义。我们将后者提出为估计表示和手动标记概念空间之间的相互信息。为了量化这一点，我们介绍了一个解码瓶颈：必须通过简单的预测变量捕获信息，将概念映射到表示空间中的簇。我们称之为反向线性探测的方法为表示表示的语义敏感。该措施还能够检测出表示何时包含概念的组合（例如“红色苹果”），而不仅仅是单个属性（独立的“红色”和“苹果”）。最后，我们建议使用监督分类器自动标记大型数据集，以丰富用于探测的概念的空间。我们使用我们的方法来评估大量的自我监督表示形式，通过解释性对它们进行排名，并通过线性探针与标准评估相比出现的差异，并讨论了一些定性的见解。代码为：{\ Scriptsize {\ url {https://github.com/iro-cp/ssl-qrp}}}}}。

Current learning machines have successfully solved hard application problems, reaching high accuracy and displaying seemingly "intelligent" behavior. Here we apply recent techniques for explaining decisions of state-of-the-art learning machines and analyze various tasks from computer vision and arcade games. This showcases a spectrum of problem-solving behaviors ranging from naive and short-sighted, to wellinformed and strategic. We observe that standard performance evaluation metrics can be oblivious to distinguishing these diverse problem solving behaviors. Furthermore, we propose our semi-automated Spectral Relevance Analysis that provides a practically effective way of characterizing and validating the behavior of nonlinear learning machines. This helps to assess whether a learned model indeed delivers reliably for the problem that it was conceived for. Furthermore, our work intends to add a voice of caution to the ongoing excitement about machine intelligence and pledges to evaluate and judge some of these recent successes in a more nuanced manner.

深度神经网络（DNNS）从他们学到的表示中汲取了力量。然而，近年来，研究人员发现，DNN在学习复杂的抽象方面非常有效，但由于培训中固有的虚假相关性，也倾向于感染工件，例如偏见，聪明的汉斯（CH）或后门。数据。到目前为止，在训练有素的模型中发现此类人为和恶意行为的现有方法集中在输入数据中查找工件，这既需要数据集的可用性，又需要人为干预。在本文中，我们介绍了dora（数据不可能的表示分析）：第一种自动数据敏捷方法，用于检测深神经网络中潜在感染的表示。我们进一步表明，Dora发现的受污染表示形式可用于检测任何给定数据集中的受感染样品。我们在定性和定量评估我们在受控的玩具场景和现实环境中提出的方法的性能，在这里我们证明了Dora在安全至关重要的应用中的好处。

卷积神经网络（CNN）以其出色的功能提取能力而闻名，可以从数据中学习模型，但被用作黑匣子。对卷积滤液和相关特征的解释可以帮助建立对CNN的理解，以区分各种类别。在这项工作中，我们关注的是CNN模型的解释性，称为CNNexplain，该模型用于COVID-19和非CoVID-19分类，重点是卷积过滤器的特征解释性，以及这些功能如何有助于分类。具体而言，我们使用了各种可解释的人工智能（XAI）方法，例如可视化，SmoothGrad，Grad-Cam和Lime来提供卷积滤液的解释及相关特征及其在分类中的作用。我们已经分析了使用干咳嗽光谱图的这些方法的解释。从石灰，光滑果实和GRAD-CAM获得的解释结果突出了不同频谱图的重要特征及其与分类的相关性。

交通事故预期是自动化驾驶系统（广告）提供安全保证的驾驶体验的重要功能。事故预期模型旨在在发生之前及时准确地预测事故。现有的人工智能（AI）意外预期模型缺乏对其决策的人类可意识形态的解释。虽然这些模型表现良好，但它们仍然是广告用户的黑匣子，因此难以获得他们的信任。为此，本文介绍了一个门控复发单位（GRU）网络，用于了解从Dashcam视频数据的交通事故的早期期间的时空关系特征。名为Grad-CAM的后HOC关注机制被集成到网络中，以产生显着图作为事故预期决策的视觉解释。眼跟踪器捕获人眼固定点以产生人类注意图。与人类注意图相比，评估网络生成的显着性图的解释性。在公共崩溃数据集上的定性和定量结果证实，建议的可解释网络可以平均预期事故，然后在发生之前的4.57秒，平均精度为94.02％。此外，评估各种基于HOC的基于后关注的XAI方法。它证实了本研究选择的渐变凸轮可以产生高质量的人类可解释的显着性图（具有1.23标准化的扫描路径显着性），以解释碰撞预期决定。重要的是，结果证实，拟议的AI模型，具有人类灵感设计，可以在事故期内超越人类。

最近的机器学习趋势一直是通过解释自己的预测的能力来丰富学习模式。到目前为止，迄今为止，可解释的AI（XAI）的新兴领域主要集中在监督学习，特别是深度神经网络分类器。然而，在许多实际问题中，未给出标签信息，并且目标是发现数据的基础结构，例如，其群集。虽然存在强大的方法来提取数据中的群集结构，但它们通常不会回答为什么已分配给给定群集的某些数据点的原因。我们提出了一种新的框架，它首次以有效可靠的方式在输入特征方面解释群集分配。它基于小说洞察力，即聚类模型可以被重写为神经网络 - 或“神经化”。然后，所获得的网络的集群预测可以快速准确地归因于输入特征。几个陈列室展示了我们的方法评估学习集群质量的能力，并从分析的数据和表示中提取新颖的见解。

事实证明，无监督的表示学习方法在学习目标数据集的视觉语义方面有效。这些方法背后的主要思想是，同一图像的不同视图代表相同的语义。在本文中，我们进一步引入了一个附加模块，以促进对样品之间空间跨相关性的知识注入。反过来，这导致了类内部信息的提炼，包括特征级别的位置和同类实例之间的相似性。建议的附加组件可以添加到现有方法中，例如SWAV。稍后，我们可以删除用于推理的附加模块，而无需修改学识的权重。通过一系列广泛的经验评估，我们验证我们的方法在检测类激活图，TOP-1分类准确性和下游任务（例如对象检测）的情况下会提高性能，并具有不同的配置设置。

我们提出了CX-TOM，简短于与理论的理论，一种新的可解释的AI（XAI）框架，用于解释深度卷积神经网络（CNN）制定的决定。与生成解释的XAI中的当前方法形成对比，我们将说明作为迭代通信过程，即对话框，机器和人类用户之间。更具体地说，我们的CX-TOM框架通过调解机器和人类用户的思想之间的差异，在对话中生成解释顺序。为此，我们使用思想理论（汤姆），帮助我们明确地建模人类的意图，通过人类的推断，通过机器推断出人类的思想。此外，大多数最先进的XAI框架提供了基于注意的（或热图）的解释。在我们的工作中，我们表明，这些注意力的解释不足以增加人类信任在潜在的CNN模型中。在CX-TOM中，我们使用命名为您定义的故障行的反事实解释：给定CNN分类模型M预测C_PRED的CNN分类模型M的输入图像I，错误线识别最小的语义级别特征（例如，斑马上的条纹，狗的耳朵），称为可解释的概念，需要从I添加或删除，以便将m的分类类别改变为另一个指定的c_alt。我们认为，由于CX-TOM解释的迭代，概念和反事本质，我们的框架对于专家和非专家用户来说是实用的，更加自然，以了解复杂的深度学习模式的内部运作。广泛的定量和定性实验验证了我们的假设，展示了我们的CX-TOM显着优于最先进的可解释的AI模型。

近年来，可解释的人工智能（XAI）已成为一个非常适合的框架，可以生成人类对“黑盒”模型的可理解解释。在本文中，一种新颖的XAI视觉解释算法称为相似性差异和唯一性（SIDU）方法，该方法可以有效地定位负责预测的整个对象区域。通过各种计算和人类主题实验分析了SIDU算法的鲁棒性和有效性。特别是，使用三种不同类型的评估（应用，人类和功能地面）评估SIDU算法以证明其出色的性能。在对“黑匣子”模型的对抗性攻击的情况下，进一步研究了Sidu的鲁棒性，以更好地了解其性能。我们的代码可在：https：//github.com/satyamahesh84/sidu_xai_code上找到。

Explainable AI transforms opaque decision strategies of ML models into explanations that are interpretable by the user, for example, identifying the contribution of each input feature to the prediction at hand. Such explanations, however, entangle the potentially multiple factors that enter into the overall complex decision strategy. We propose to disentangle explanations by finding relevant subspaces in activation space that can be mapped to more abstract human-understandable concepts and enable a joint attribution on concepts and input features. To automatically extract the desired representation, we propose new subspace analysis formulations that extend the principle of PCA and subspace analysis to explanations. These novel analyses, which we call principal relevant component analysis (PRCA) and disentangled relevant subspace analysis (DRSA), optimize relevance of projected activations rather than the more traditional variance or kurtosis. This enables a much stronger focus on subspaces that are truly relevant for the prediction and the explanation, in particular, ignoring activations or concepts to which the prediction model is invariant. Our approach is general enough to work alongside common attribution techniques such as Shapley Value, Integrated Gradients, or LRP. Our proposed methods show to be practically useful and compare favorably to the state of the art as demonstrated on benchmarks and three use cases.

Superhuman神经网络代理如alphazero是什么？这个问题是科学和实际的兴趣。如果强神经网络的陈述与人类概念没有相似之处，我们理解他们的决定的忠实解释的能力将受到限制，最终限制了我们可以通过神经网络解释来实现的。在这项工作中，我们提供了证据表明，人类知识是由alphapero神经网络获得的，因为它在国际象棋游戏中列车。通过探究广泛的人类象棋概念，我们在alphazero网络中显示了这些概念的时间和地点。我们还提供了一种关注开放游戏的行为分析，包括来自国际象棋Grandmaster Vladimir Kramnik的定性分析。最后，我们开展了初步调查，观察alphazero的表现的低级细节，并在线提供由此产生的行为和代表性分析。

对任何大数据集的初始分析都可以分为两个阶段：（1）识别共同趋势或模式以及（2）识别偏离这些趋势的异常或异常值。我们专注于检测具有新内容的观察结果的目标，这可以提醒我们数据集中的工件，或者可能发现以前未知现象的发现。为了帮助解释和诊断这些选定的观察的新颖方面，我们建议使用产生解释的新颖性检测方法。在大图像数据集的背景下，这些解释应突出显示给定图像的哪个方面是新的（颜色，形状，纹理，内容），以人为易懂的形式。我们提出了Demud-Vis，这是通过使用卷积神经网络（CNN）提取图像特征来提供新图像内容可视化解释的第一种方法，该方法使用重建误差来检测新内容，并转换上的跨跨网络来转换。 CNN功能表示返回图像空间。我们在来自ImageNet，淡水流和火星表面的各种图像上演示了这种方法。