在图像分类任务中,深度神经网络通常是脆弱的,并且已知错误分类输入。虽然这些错误分类可能是不可避免的,但不能认为所有失败模式都是平等的。某些错误分类(例如,将狗的图像分类为飞机)可以困扰人类并导致系统中的人类信任丢失。更糟糕的是,这些错误(例如,被错误分类为灵长类动物的人)可以具有可憎的社会影响。因此,在这项工作中,我们的目标是降低差不可估量的错误。为了解决这一挑战,我们首先讨论获取捕获人类期望($ M ^ H $)的类级语义的方法,这是关于哪些类的语义关闭{\ EM与}。我们表明,对于流行的图像基准(如CiFar-10,CiFar-100,Imagenet),可以通过利用人类主题研究或公开的人类策划知识库来容易地获得类级语义。其次,我们建议使用加权损失函数(WLF)以惩罚其无法解释的错误分类。最后,我们表明培训(或微调)现有分类器具有所提出的方法,导致具有(1)的深度神经网络,具有相当的前1个精度,(2)在分销和外部的更具可扩展的故障模式 - 与现有工程相比,分布(ood)测试数据,(3)额外的人类标签的收集成本明显较低。
translated by 谷歌翻译
标签层次结构通常作为生物分类法或语言数据集的一部分可用。几项作品利用这些作品来学习层次结构意识到功能,以改善分类器,以在维持或减少总体错误的同时犯有语义有意义的错误。在本文中,我们提出了一种学习层次结构意识特征(HAF)的新方法,该方法利用分类器在每个层次结构级别上的分类器受到约束,以生成与标签层次结构一致的预测。分类器的训练是通过最大程度地减少从细粒分类器获​​得的目标软标签的Jensen Shannon差异来训练。此外,我们采用了简单的几何损失,该损失限制了特征空间几何形状以捕获标签空间的语义结构。 HAF是一种训练时间方法,可以改善错误,同时保持TOP-1错误,从而解决了跨凝性损失的问题,该问题将所有错误视为平等。我们在三个层次数据集上评估HAF,并在Inaturalist-19和Cifar-100数据集上实现最新结果。源代码可从https://github.com/07agarg/haf获得
translated by 谷歌翻译
We propose a technique for producing 'visual explanations' for decisions from a large class of Convolutional Neural Network (CNN)-based models, making them more transparent and explainable.Our approach -Gradient-weighted Class Activation Mapping (Grad-CAM), uses the gradients of any target concept (say 'dog' in a classification network or a sequence of words in captioning network) flowing into the final convolutional layer to produce a coarse localization map highlighting the important regions in the image for predicting the concept.Unlike previous approaches, Grad-CAM is applicable to a wide variety of CNN model-families: (1) CNNs with fullyconnected layers (e.g. VGG), (2) CNNs used for structured outputs (e.g. captioning), (3) CNNs used in tasks with multimodal inputs (e.g. visual question answering) or reinforcement learning, all without architectural changes or re-training. We combine Grad-CAM with existing fine-grained visualizations to create a high-resolution class-discriminative vi-
translated by 谷歌翻译
Saliency methods compute heat maps that highlight portions of an input that were most {\em important} for the label assigned to it by a deep net. Evaluations of saliency methods convert this heat map into a new {\em masked input} by retaining the $k$ highest-ranked pixels of the original input and replacing the rest with \textquotedblleft uninformative\textquotedblright\ pixels, and checking if the net's output is mostly unchanged. This is usually seen as an {\em explanation} of the output, but the current paper highlights reasons why this inference of causality may be suspect. Inspired by logic concepts of {\em completeness \& soundness}, it observes that the above type of evaluation focuses on completeness of the explanation, but ignores soundness. New evaluation metrics are introduced to capture both notions, while staying in an {\em intrinsic} framework -- i.e., using the dataset and the net, but no separately trained nets, human evaluations, etc. A simple saliency method is described that matches or outperforms prior methods in the evaluations. Experiments also suggest new intrinsic justifications, based on soundness, for popular heuristic tricks such as TV regularization and upsampling.
translated by 谷歌翻译
已经提出了多种解释性方法和理论评价分数。然而,尚不清楚:(1)这些方法有多有用的现实情景和(2)理论措施如何预测人类实际使用方法的有用性。为了填补这一差距,我们在规模中进行了人类的心理物理学实验,以评估人类参与者(n = 1,150)以利用代表性归因方法学习预测不同图像分类器的决定的能力。我们的结果表明,用于得分的理论措施可解释方法的反映在现实世界方案中的个人归因方法的实际实用性不佳。此外,个人归因方法帮助人类参与者预测分类器的决策的程度在分类任务和数据集中广泛变化。总体而言,我们的结果突出了该领域的根本挑战 - 建议致力于开发更好的解释方法和部署人以人为本的评估方法。我们将制定框架的代码可用于缓解新颖解释性方法的系统评估。
translated by 谷歌翻译
我们提出了CX-TOM,简短于与理论的理论,一种新的可解释的AI(XAI)框架,用于解释深度卷积神经网络(CNN)制定的决定。与生成解释的XAI中的当前方法形成对比,我们将说明作为迭代通信过程,即对话框,机器和人类用户之间。更具体地说,我们的CX-TOM框架通过调解机器和人类用户的思想之间的差异,在对话中生成解释顺序。为此,我们使用思想理论(汤姆),帮助我们明确地建模人类的意图,通过人类的推断,通过机器推断出人类的思想。此外,大多数最先进的XAI框架提供了基于注意的(或热图)的解释。在我们的工作中,我们表明,这些注意力的解释不足以增加人类信任在潜在的CNN模型中。在CX-TOM中,我们使用命名为您定义的故障行的反事实解释:给定CNN分类模型M预测C_PRED的CNN分类模型M的输入图像I,错误线识别最小的语义级别特征(例如,斑马上的条纹,狗的耳朵),称为可解释的概念,需要从I添加或删除,以便将m的分类类别改变为另一个指定的c_alt。我们认为,由于CX-TOM解释的迭代,概念和反事本质,我们的框架对于专家和非专家用户来说是实用的,更加自然,以了解复杂的深度学习模式的内部运作。广泛的定量和定性实验验证了我们的假设,展示了我们的CX-TOM显着优于最先进的可解释的AI模型。
translated by 谷歌翻译
The ImageNet Large Scale Visual Recognition Challenge is a benchmark in object category classification and detection on hundreds of object categories and millions of images. The challenge has been run annually from 2010 to present, attracting participation from more than fifty institutions. This paper describes the creation of this benchmark dataset and the advances in object recognition that have been possible as a result. We discuss the chal-
translated by 谷歌翻译
在本文中,我们在神经网络的决策过程中提倡两个阶段。首先是现有的进纸推理框架,其中感知给定数据中的模式并与先前学习的模式相关联。第二阶段是一个较慢的反射阶段,我们要求网络通过考虑和评估所有可用选择来反思其前馈决策。一起,我们将这两个阶段称为内省学习。我们使用训练有素的神经网络的梯度来测量这种反射。简单的三层多层感知器被用作基于所有提取梯度特征预测的第二阶段。我们感知地从两个阶段可视化事后解释,以提供内省的视觉接地。对于识别的应用,我们表明内省网络在推广到噪声数据时,内省网络的稳健性更高,容易校准错误的42%。我们还说明了内省网络在下游任务中的价值,这些任务需要普遍性和校准,包括主动学习,分布外检测和不确定性估计。最后,我们将提议的机器内省为人类内省,以应用图像质量评估。
translated by 谷歌翻译
State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.
translated by 谷歌翻译
在用于测量溃疡性结肠炎的内窥镜活性的评分系统中,例如蛋黄酱内窥镜评分或溃疡性结肠炎内镜指数严重程度,水平随疾病活动的严重程度而增加。分数之间的相对排名使其成为序数回归问题。另一方面,大多数研究都使用分类跨凝结损失函数来训练深度学习模型,这对于顺序回归问题并不是最佳的。在这项研究中,我们提出了一种新颖的损失函数,即距离距离加权的跨凝结(CDW-CE),该函数尊重类的顺序,并在计算成本时考虑了类的距离。实验评估表明,经过CDW-CE训练的模型优于训练的模型,该模型训练了用于序数回归问题的常规分类横向和其他常用损失函数。此外,经过CDW-CE损失训练的模型的类激活图具有更大的歧视性,并且域专家发现它们更合理。
translated by 谷歌翻译
在过去十年中,深度神经网络已经证明是擅长图像分类任务,通常在准确性方面超越人类。然而,标准神经网络通常无法理解不同类别的分层结构的概念和相关的视觉相关任务。另一方面,人类似乎在概念上学习类别,从理解高级概念下降到粒度的类别。由于神经网络无法编码其学习结构中的这种依赖性而产生的一个问题是亚泊素班次 - 其中包含从训练集类别的移位群体中获取的新型看不见的课程。由于神经网络将每个类视为独立于所有其他课程,因此它努力对依赖于等级较高的依赖的转移群体进行分类。在这项工作中,我们通过新颖的条件监督培训框架的镜头研究上述问题。我们通过结构化的学习过程来解决亚泊位偏移,通过标签将分层信息包含在一起。此外,我们介绍了图形距离的概念,以模拟错误预测的灾难性影响。我们展示了这种结构化的分层方式的学习导致对亚泊素换档更加稳健的网络,在准确度和大约8.5±8.5°的图形距离上的标准换档基准上的标准模型的速度约为8.5%。
translated by 谷歌翻译
注意图是解释图像分类卷积网络的决策的流行方式。通常,对于感兴趣的每个图像,产生单一的注意图,其基于它们对分类的重要性分配给像素的权重。然而,单一的注意图提供了不完整的理解,因为通常有许多其他地图可以同样解释分类。在本文中,我们介绍了结构化的注意图(SAG),它通过捕获图像区域的不同组合影响分类器的信心来紧凑地代表图像的注意力映射。我们提出了一种方法来计算SAG和SAG的可视化,以便可以获得更深层次的洞察力进入分类器的决定。我们进行用户学习比较使用SAG对传统注意图的使用,以应对图像分类的反事实问题。我们的结果表明,当基于SAG与基线相比,用户在回答基于落下的比较反事实问题时更为正确。
translated by 谷歌翻译
这项调查回顾了对基于视觉的自动驾驶系统进行行为克隆训练的解释性方法。解释性的概念具有多个方面,并且需要解释性的驾驶强度是一种安全至关重要的应用。从几个研究领域收集贡献,即计算机视觉,深度学习,自动驾驶,可解释的AI(X-AI),这项调查可以解决几点。首先,它讨论了从自动驾驶系统中获得更多可解释性和解释性的定义,上下文和动机,以及该应用程序特定的挑战。其次,以事后方式为黑盒自动驾驶系统提供解释的方法是全面组织和详细的。第三,详细介绍和讨论了旨在通过设计构建更容易解释的自动驾驶系统的方法。最后,确定并检查了剩余的开放挑战和潜在的未来研究方向。
translated by 谷歌翻译
We build new test sets for the CIFAR-10 and ImageNet datasets. Both benchmarks have been the focus of intense research for almost a decade, raising the danger of overfitting to excessively re-used test sets. By closely following the original dataset creation processes, we test to what extent current classification models generalize to new data. We evaluate a broad range of models and find accuracy drops of 3% -15% on CIFAR-10 and 11% -14% on ImageNet. However, accuracy gains on the original test sets translate to larger gains on the new test sets. Our results suggest that the accuracy drops are not caused by adaptivity, but by the models' inability to generalize to slightly "harder" images than those found in the original test sets.
translated by 谷歌翻译
众所周知,端到端的神经NLP体系结构很难理解,这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚,即,解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后,我们通过将方法分为五类来介绍忠实解释的最新进展:相似性方法,模型内部结构的分析,基于反向传播的方法,反事实干预和自我解释模型。每个类别将通过其代表性研究,优势和缺点来说明。最后,我们从它们的共同美德和局限性方面讨论了上述所有方法,并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员,这项调查将为该领域提供可访问且全面的概述,为进一步探索提供基础。对于希望更好地了解自己的模型的用户,该调查将是一项介绍性手册,帮助选择最合适的解释方法。
translated by 谷歌翻译
Explainability has been widely stated as a cornerstone of the responsible and trustworthy use of machine learning models. With the ubiquitous use of Deep Neural Network (DNN) models expanding to risk-sensitive and safety-critical domains, many methods have been proposed to explain the decisions of these models. Recent years have also seen concerted efforts that have shown how such explanations can be distorted (attacked) by minor input perturbations. While there have been many surveys that review explainability methods themselves, there has been no effort hitherto to assimilate the different methods and metrics proposed to study the robustness of explanations of DNN models. In this work, we present a comprehensive survey of methods that study, understand, attack, and defend explanations of DNN models. We also present a detailed review of different metrics used to evaluate explanation methods, as well as describe attributional attack and defense methods. We conclude with lessons and take-aways for the community towards ensuring robust explanations of DNN model predictions.
translated by 谷歌翻译
Despite progress in perceptual tasks such as image classification, computers still perform poorly on cognitive tasks such as image description and question answering. Cognition is core to tasks that involve not just recognizing, but reasoning about our visual world. However, models used to tackle the rich content in images for cognitive tasks are still being trained using the same datasets designed for perceptual tasks. To achieve success at cognitive tasks, models need to understand the interactions and relationships between objects in
translated by 谷歌翻译
机器学习模型通常会遇到与训练分布不同的样本。无法识别分布(OOD)样本,因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性,该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性,检测OOD样品是具有挑战性的。迄今为止,一些研究领域解决了检测陌生样本的问题,包括异常检测,新颖性检测,一级学习,开放式识别识别和分布外检测。尽管有相似和共同的概念,但分别分布,开放式检测和异常检测已被独立研究。因此,这些研究途径尚未交叉授粉,创造了研究障碍。尽管某些调查打算概述这些方法,但它们似乎仅关注特定领域,而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时,对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益,并协同发展未来的方法。此外,据我们所知,虽然进行异常检测或单级学习进行了调查,但没有关于分布外检测的全面或最新的调查,我们的调查可广泛涵盖。最后,有了统一的跨域视角,我们讨论并阐明了未来的研究线,打算将这些领域更加紧密地融为一体。
translated by 谷歌翻译
最近的研究表明,许多发达的视觉问题的答案(VQA)模型受到先前问题的严重影响,这是指基于文本问题和答案之间的共同发生模式来提出预测而不是推理视觉内容。为了解决它,大多数现有方法都侧重于增强视觉特征学习,以减少对VQA模型决策的这种肤浅的快捷方式影响。然而,有限的努力已经致力于为其固有原因提供明确的解释。因此,缺乏以有目的的方式向前迈出前进的良好指导,导致模型构建困惑在克服这种非琐碎问题时。在本文中,我们建议从类 - 不平衡视图中解释VQA中的语言。具体地,我们设计了一种新颖的解释方案,从而在晚期训练阶段明显展出了误差频繁和稀疏答案的丢失。它明确揭示了为什么VQA模型倾向于产生频繁但是明显的错误答案,给出的给定问题,其正确答案在训练集中稀疏。基于此观察,我们进一步开发了一种新的损失重新缩放方法,以基于计算最终损失的训练数据统计来为每个答案分配不同权重。我们将我们的方法应用于三个基线,两个VQA-CP基准数据集的实验结果明显证明了其有效性。此外,我们还可以证明在其他计算机视觉任务上的类别不平衡解释方案的有效性,例如面部识别和图像分类。
translated by 谷歌翻译
情绪分析中最突出的任务是为文本分配情绪,并了解情绪如何在语言中表现出来。自然语言处理的一个重要观察结果是,即使没有明确提及情感名称,也可以通过单独参考事件来隐式传达情绪。在心理学中,被称为评估理论的情感理论类别旨在解释事件与情感之间的联系。评估可以被形式化为变量,通过他们认为相关的事件的人们的认知评估来衡量认知评估。其中包括评估事件是否是新颖的,如果该人认为自己负责,是否与自己的目标以及许多其他人保持一致。这样的评估解释了哪些情绪是基于事件开发的,例如,新颖的情况会引起惊喜或不确定后果的人可能引起恐惧。我们在文本中分析了评估理论对情绪分析的适用性,目的是理解注释者是否可以可靠地重建评估概念,如果可以通过文本分类器预测,以及评估概念是否有助于识别情感类别。为了实现这一目标,我们通过要求人们发短信描述触发特定情绪并披露其评估的事件来编译语料库。然后,我们要求读者重建文本中的情感和评估。这种设置使我们能够衡量是否可以纯粹从文本中恢复情绪和评估,并为判断模型的绩效指标提供人体基准。我们将文本分类方法与人类注释者的比较表明,两者都可以可靠地检测出具有相似性能的情绪和评估。我们进一步表明,评估概念改善了文本中情绪的分类。
translated by 谷歌翻译