Concept bottleneck models (CBMs) (Koh et al. 2020) are interpretable neural networks that first predict labels for human-interpretable concepts relevant to the prediction task, and then predict the final label based on the concept label predictions.We extend CBMs to interactive prediction settings where the model can query a human collaborator for the label to some concepts. We develop an interaction policy that, at prediction time, chooses which concepts to request a label for so as to maximally improve the final prediction. We demonstrate thata simple policy combining concept prediction uncertainty and influence of the concept on the final prediction achieves strong performance and outperforms a static approach proposed in Koh et al. (2020) as well as active feature acquisition methods proposed in the literature. We show that the interactiveCBM can achieve accuracy gains of 5-10% with only 5 interactions over competitive baselines on the Caltech-UCSDBirds, CheXpert and OAI datasets.

部署AI驱动的系统需要支持有效人类互动的值得信赖的模型，超出了原始预测准确性。概念瓶颈模型通过在类似人类的概念的中间级别调节分类任务来促进可信度。这使得人类干预措施可以纠正错误预测的概念以改善模型的性能。但是，现有的概念瓶颈模型无法在高任务准确性，基于概念的强大解释和对概念的有效干预措施之间找到最佳的妥协，尤其是在稀缺完整和准确的概念主管的现实情况下。为了解决这个问题，我们提出了概念嵌入模型，这是一种新型的概念瓶颈模型，它通过学习可解释的高维概念表示形式而超出了当前的准确性-VS解关性权衡。我们的实验表明，嵌入模型（1）达到更好或竞争性的任务准确性W.R.T. W.R.T.没有概念的标准神经模型，（2）提供概念表示，以捕获有意义的语义，包括其地面真相标签，（3）支持测试时间概念干预措施，其在测试准确性中的影响超过了标准概念瓶颈模型，以及（4）规模对于稀缺的完整概念监督的现实条件。

自解释深层模型旨在在训练期间隐含地学习基于潜在的概念的解释，从而消除了任何HOC后期解释生成技术的要求。在这项工作中，我们提出了一种这样的模型，该模型将解释生成模块附加在任何基本网络的顶部，并共同列举显示出高预测性能的整个模块，并在概念方面产生有意义的解释。与基线方法相比，我们的培训策略适用于无监督的概念学习，与基线方法相比具有更大的参数空间要求。我们拟议的模式还规定了利用自我监督对概念来提取更好的解释。然而，通过完整的概念监督，与最近提出的基于概念的可解释模型相比，我们实现了最佳预测性能。我们通过我们的方法报告了定性和定量结果，这表明了比最近提出的基于概念的解释方法更好的性能。我们报告了一个没有地面真理概念的两个数据集，即CiFar10，ImageNet和两个具有地面真理概念的数据集，即AWA2，Cub-200，以显示我们两种情况的方法。据我们所知，我们是第一批展示诸如ImageNet的大规模数据集的结果。

对于使用高性能机器学习算法通常不透明的决策，人们越来越担心。用特定于领域的术语对推理过程的解释对于在医疗保健等风险敏感领域中采用至关重要。我们认为，机器学习算法应该可以通过设计来解释，并且表达这些解释的语言应与域和任务有关。因此，我们将模型的预测基于数据的用户定义和特定于任务的二进制函数，每个都对最终用户有明确的解释。然后，我们最大程度地减少了在任何给定输入上准确预测所需的预期查询数。由于解决方案通常是棘手的，因此在事先工作之后，我们根据信息增益顺序选择查询。但是，与以前的工作相反，我们不必假设查询在有条件地独立。取而代之的是，我们利用随机生成模型（VAE）和MCMC算法（未经调整的Langevin）来选择基于先前的查询 - 答案的输入的最有用的查询。这使得在线确定要解决预测歧义所需的任何深度的查询链。最后，关于视觉和NLP任务的实验证明了我们的方法的功效及其优越性比事后解释的优势。

分类链是一种用于在多标签分类中建模标签依赖性的有效技术。但是，该方法需要标签的固定静态顺序。虽然理论上，任何顺序都足够了，实际上，该订单对最终预测的质量具有大量影响。动态分类链表示每个实例对分类的想法，可以动态选择预测标签的顺序。这种方法的天真实现的复杂性是禁止的，因为它需要训练一系列分类器，以满足标签的每种可能置换。为了有效地解决这个问题，我们提出了一种基于随机决策树的新方法，该方法可以动态地选择每个预测的标签排序。我们凭经验展示了下一个标签的动态选择，通过在否则不变的随机决策树模型下使用静态排序。 ％和实验环境。此外，我们还展示了基于极端梯度提升树的替代方法，其允许更具目标的动态分级链训练。我们的结果表明，该变体优于随机决策树和其他基于树的多标签分类方法。更重要的是，动态选择策略允许大大加速培训和预测。

人工智能的最新趋势是将验证的模型用于语言和视觉任务，这些模型已经实现了非凡的表现，但也令人困惑。因此，以各种方式探索这些模型的能力对该领域至关重要。在本文中，我们探讨了模型的可靠性，在其中我们将可靠的模型定义为一个不仅可以实现强大的预测性能，而且在许多涉及不确定性（例如选择性预测，开放式设置识别）的决策任务上，在许多决策任务上表现出色，而且表现良好。强大的概括（例如，准确性和适当的评分规则，例如在分布数据集中和分发数据集上的对数可能性）和适应性（例如，主动学习，几乎没有射击不确定性）。我们设计了40个数据集的10种任务类型，以评估视觉和语言域上可靠性的不同方面。为了提高可靠性，我们分别开发了VIT-PLEX和T5-PLEX，分别针对视觉和语言方式扩展了大型模型。 PLEX极大地改善了跨可靠性任务的最先进，并简化了传统协议，因为它可以改善开箱即用的性能，并且不需要设计分数或为每个任务调整模型。我们演示了高达1B参数的模型尺寸的缩放效果，并预处理数据集大小最多4B示例。我们还展示了PLEX在具有挑战性的任务上的功能，包括零射门的开放式识别，主动学习和对话语言理解中的不确定性。

我们查看模型可解释性的特定方面：模型通常需要限制在大小上才能被认为是可解释的，例如，深度5的决策树比深度50中的一个更容易解释。但是，较小的模型也倾向于高偏见。这表明可解释性和准确性之间的权衡。我们提出了一种模型不可知论技术，以最大程度地减少这种权衡。我们的策略是首先学习甲骨文，这是培训数据上高度准确的概率模型。 Oracle预测的不确定性用于学习培训数据的抽样分布。然后，对使用此分布获得的数据样本进行了可解释的模型，通常会导致精确度明显更高。我们将抽样策略作为优化问题。我们的解决方案1具有以下关键的有利属性：（1）它使用固定数量的七个优化变量，而与数据的维度（2）无关，它是模型不可知的 - 因为可解释的模型和甲骨文都可能属于任意性模型家族（3）它具有模型大小的灵活概念，并且可以容纳向量大小（4）它是一个框架，使其能够从优化领域的进度中受益。我们还提出了以下有趣的观察结果：（a）通常，小型模型大小的最佳训练分布与测试分布不同； （b）即使可解释的模型和甲骨文来自高度截然不同的模型家族，也存在这种效果：我们通过使用封闭的复发单位网络作为甲骨文来提高决策树的序列分类精度，从而在文本分类任务上显示此效果。使用字符n-grams； （c）对于模型，我们的技术可用于确定给定样本量的最佳训练样本。

Feature selection helps reduce data acquisition costs in ML, but the standard approach is to train models with static feature subsets. Here, we consider the dynamic feature selection (DFS) problem where a model sequentially queries features based on the presently available information. DFS is often addressed with reinforcement learning (RL), but we explore a simpler approach of greedily selecting features based on their conditional mutual information. This method is theoretically appealing but requires oracle access to the data distribution, so we develop a learning approach based on amortized optimization. The proposed method is shown to recover the greedy policy when trained to optimality and outperforms numerous existing feature selection methods in our experiments, thus validating it as a simple but powerful approach for this problem.

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

Rising usage of deep neural networks to perform decision making in critical applications like medical diagnosis and financial analysis have raised concerns regarding their reliability and trustworthiness. As automated systems become more mainstream, it is important their decisions be transparent, reliable and understandable by humans for better trust and confidence. To this effect, concept-based models such as Concept Bottleneck Models (CBMs) and Self-Explaining Neural Networks (SENN) have been proposed which constrain the latent space of a model to represent high level concepts easily understood by domain experts in the field. Although concept-based models promise a good approach to both increasing explainability and reliability, it is yet to be shown if they demonstrate robustness and output consistent concepts under systematic perturbations to their inputs. To better understand performance of concept-based models on curated malicious samples, in this paper, we aim to study their robustness to adversarial perturbations, which are also known as the imperceptible changes to the input data that are crafted by an attacker to fool a well-learned concept-based model. Specifically, we first propose and analyze different malicious attacks to evaluate the security vulnerability of concept based models. Subsequently, we propose a potential general adversarial training-based defense mechanism to increase robustness of these systems to the proposed malicious attacks. Extensive experiments on one synthetic and two real-world datasets demonstrate the effectiveness of the proposed attacks and the defense approach.

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

Selective classification involves identifying the subset of test samples that a model can classify with high accuracy, and is important for applications such as automated medical diagnosis. We argue that this capability of identifying uncertain samples is valuable for training classifiers as well, with the aim of building more accurate classifiers. We unify these dual roles by training a single auxiliary meta-network to output an importance weight as a function of the instance. This measure is used at train time to reweight training data, and at test-time to rank test instances for selective classification. A second, key component of our proposal is the meta-objective of minimizing dropout variance (the variance of classifier output when subjected to random weight dropout) for training the metanetwork. We train the classifier together with its metanetwork using a nested objective of minimizing classifier loss on training data and meta-loss on a separate meta-training dataset. We outperform current state-of-the-art on selective classification by substantial margins--for instance, upto 1.9% AUC and 2% accuracy on a real-world diabetic retinopathy dataset. Finally, our meta-learning framework extends naturally to unsupervised domain adaptation, given our unsupervised variance minimization meta-objective. We show cumulative absolute gains of 3.4% / 3.3% accuracy and AUC over the other baselines in domain shift settings on the Retinopathy dataset using unsupervised domain adaptation.

通过更换繁琐的手动收集地面真理标签，聚合多个弱监管源（WS）可以缓解多种机器学习应用中的数据标记瓶颈。然而，当前的现有技术不使用任何标记的训练数据的方法需要两个单独的建模步骤：基于WS源的基于WS源的概率潜在变量模型 - 使得在实践中很少 - 之后是下游模型训练。重要的是，建模的第一步不考虑下游模型的性能。为了解决这些警告，我们提出了一种直接学习下游模​​型的端到端方法，通过将其与先前概率后海报的概率标签最大化来直接学习下游模​​型。我们的结果表明，在下游测试集的最终模型性能方面，以及改善弱势监督源之间的依赖性的鲁棒性方面，对先前的工作进行了改进的性能。

为了提高模型透明度并允许用户形成训练有素的ML模型的心理模型，解释对AI和机器学习（ML）社区的兴趣越来越高。但是，解释可以超越这种方式通信作为引起用户控制的机制，因为一旦用户理解，他们就可以提供反馈。本文的目的是介绍研究概述，其中解释与交互式功能相结合，是从头开始学习新模型并编辑和调试现有模型的手段。为此，我们绘制了最先进的概念图，根据其预期目的以及它们如何构建相互作用，突出它们之间的相似性和差异来分组相关方法。我们还讨论开放研究问题并概述可能的方向，希望促使人们对这个开花研究主题进行进一步的研究。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

在过去的十年中，深度学习模型在机器学习的不同领域取得了巨大的成功。但是，这些模型的大小和复杂性使它们难以理解。为了使它们更容易解释，最近的一些作品着重于通过人类解剖的语义属性来解释深神网络的部分。但是，仅使用语义属性完全解释复杂的模型可能是不可能的。在这项工作中，我们建议使用一小部分无法解释的功能来增强这些属性。具体而言，我们开发了一个新颖的解释框架（通过标记和未标记分解的解释），将模型的预测分解为两个部分：一个可以通过语义属性的线性组合来解释，而另一部分则取决于未解释的功能。 。通过识别后者，我们能够分析模型的“无法解释的”部分，从而了解模型使用的信息。我们表明，一组未标记的功能可以推广到具有相同功能空间的多种型号，并将我们的作品与两种流行的面向属性的方法，可解释的基础分解和概念瓶颈进行比较，并讨论Elude提供的其他见解。

视觉反事实解释用来自干扰器图像的区域代替了查询图像中的图像区域，以使系统对转换图像的决策变为干扰器类。在这项工作中，我们提出了一个新颖的框架，用于根据两个关键思想计算视觉反事实说明。首先，我们强制执行替换和替换区域包含相同的语义部分，从而产生了更加一致的解释。其次，我们以计算上有效的方式使用多个干扰器图像，并获得更少的区域替代方法的更多歧视性解释。我们的方法在语义上一致性高27％，并且比三个细粒图像识别数据集的竞争方法要快27％。我们通过机器教学实验来强调反事实对现有作品的实用性，在这些实验中，我们教人类对不同的鸟类进行分类。我们还用零件和属性的词汇来补充我们的解释，这些零件和属性对系统的决定有所帮助。在此任务中，当使用相对于现有作品的反事实解释时，我们将获得最新的结果，从而增强了语义一致的解释的重要性。源代码可从https://github.com/facebookresearch/visual-counterfactuals获得。

基于概念的解释性方法旨在使用一组预定义的语义概念来解释深度神经网络模型的预测。这些方法在新的“探针”数据集上评估了训练有素的模型，并将模型预测与该数据集中标记的视觉概念相关联。尽管他们受欢迎，但他们的局限性并未被文献所理解和阐明。在这项工作中，我们分析了基于概念的解释中的三个常见因素。首先，选择探针数据集对生成的解释有深远的影响。我们的分析表明，不同的探针数据集可能会导致非常不同的解释，并表明这些解释在探针数据集之外不可概括。其次，我们发现探针数据集中的概念通常比他们声称要解释的课程更不太明显，更难学习，这使解释的正确性提出了质疑。我们认为，仅在基于概念的解释中才能使用视觉上的显着概念。最后，尽管现有方法使用了数百甚至数千个概念，但我们的人类研究揭示了32个或更少的概念更严格的上限，除此之外，这些解释实际上不太有用。我们对基于概念的解释性方法的未来发展和分析提出建议。可以在\ url {https://github.com/princetonvisualai/overlookedfactors}找到我们的分析和用户界面的代码。

机器学习（ML）越来越多地用于支持高风险的决策，这是由于其相对于人类评估的优势预测能力的承诺而欠的趋势。但是，决策目标与观察到的作为训练ML模型的标签的结果中捕获的内容之间经常存在差距。结果，机器学习模型可能无法捕获决策标准的重要维度，从而阻碍了他们的决策支持。在这项工作中，我们探讨了历史专家决策作为组织信息系统中通常可用的丰富（但不完美）的信息来源，并表明它可以利用它来弥合决策目标与算法目标之间的差距。当数据中的每个案例都由单个专家评估并提出基于影响函数的方法作为解决此问题的解决方案时，我们会间接考虑估计专家一致性的问题。然后，我们将估计的专家一致性通过培训时间标签合并方法纳入预测模型。这种方法使ML模型可以在有推断的专家一致性和观察标签的情况下向专家学习。我们还提出了通过混合和延期模型来利用推断一致性的替代方法。在我们的经验评估中，专注于儿童虐待热线筛查的背景下，我们表明（1）有一些高风险案例，其风险是专家考虑的，但在目标标签中没有完全捕获用于培训已部署模型和培训的目标标签（2）提出的方法可显着提高这些情况的精度。

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。