深度学习失败案例很丰富，尤其是在医疗区域。最近对分布式概括的研究已在控制良好的合成数据集上进行了大量发展，但它们不代表医学成像环境。我们提出了一条依赖伪像的管道的管道，以便为具有挑战性的皮肤病变分析环境提供概括评估和偏见。首先，我们将数据分为越来越高的偏见训练和测试集的水平，以更好地概括评估。然后，我们基于皮肤病变伪影创建环境，以实现域的概括方法。最后，经过强大的训练，我们执行了测试时间的偏差程序，从而减少了推理图像中的虚假特征。我们的实验表明，我们的管道改善了偏见的情况下的性能指标，并在使用解释方法时避免了伪像。尽管如此，在评估分布数据中的此类模型时，他们不喜欢临床上的功能。取而代之的是，只有在培训中呈现类似工件的测试集中的性能得到了改善，这表明模型学会忽略了已知的伪像。我们的结果引起了人们的关注，即对单个方面的偏见模型可能不足以容纳皮肤病变分析。

卷积神经网络在皮肤病变图像分类中表现出皮肤科医生水平的表现，但是由于训练数据中看到的偏见而引起的预测不规则性是在可能在广泛部署之前解决的问题。在这项工作中，我们使用两种领先的偏见未学习技术从自动化的黑色素瘤分类管道中稳健地消除了偏见和虚假变化。我们表明，可以使用这些偏置去除方法合理地减轻先前研究中介绍的手术标记和统治者引入的偏见。我们还证明了与用于捕获病变图像的成像仪器有关的杂化变异的概括优势。我们的实验结果提供了证据，表明上述偏见的影响大大降低了，不同的偏见技术在不同的任务方面具有出色的作用。

Learning models that gracefully handle distribution shifts is central to research on domain generalization, robust optimization, and fairness. A promising formulation is domain-invariant learning, which identifies the key issue of learning which features are domain-specific versus domaininvariant. An important assumption in this area is that the training examples are partitioned into "domains" or "environments". Our focus is on the more common setting where such partitions are not provided. We propose EIIL, a general framework for domain-invariant learning that incorporates Environment Inference to directly infer partitions that are maximally informative for downstream Invariant Learning. We show that EIIL outperforms invariant learning methods on the CMNIST benchmark without using environment labels, and significantly outperforms ERM on worst-group performance in the Waterbirds and CivilComments datasets. Finally, we establish connections between EIIL and algorithmic fairness, which enables EIIL to improve accuracy and calibration in a fair prediction problem.

在临床工作流程中成功部署AI的计算机辅助诊断（CAD）系统的一个主要障碍是它们缺乏透明决策。虽然常用可解释的AI方法提供了一些对不透明算法的洞察力，但除了高度训练的专家外，这种解释通常是复杂的，而不是易于理解的。关于皮肤病图像的皮肤病病变恶性的决定的解释需要特别清晰，因为潜在的医疗问题定义本身是模棱两可的。这项工作提出了exaid（可解释的ai用于皮肤科），是生物医学图像分析的新框架，提供了由易于理解的文本解释组成的多模态概念的解释，该概念由可视地图证明预测的视觉映射。 Exap依赖于概念激活向量，将人类概念映射到潜在空间中的任意深度学习模型学习的人，以及概念本地化地图，以突出输入空间中的概念。然后，这种相关概念的识别将用于构建由概念 - 明智地点信息补充的细粒度文本解释，以提供全面和相干的多模态解释。所有信息都在诊断界面中全面呈现，用于临床常规。教育模式为数据和模型探索提供数据集级别解释统计和工具，以帮助医学研究和教育。通过严谨的exaid定量和定性评估，即使在错误的预测情况下，我们展示了CAD辅助情景的多模态解释的效用。我们认为突然将为皮肤科医生提供一种有效的筛查工具，他们都理解和信任。此外，它将是其他生物医学成像领域的类似应用的基础。

现在，新的医疗数据集对公众开放，可以进行更好，更广泛的研究。尽管以最大的谨慎准备，但新数据集可能仍然是影响学习过程的虚假相关性的来源。此外，数据收集通常不够大，而且通常是不平衡的。减轻数据不平衡的一种方法是使用生成对抗网络（GAN）使用数据扩展来扩展具有高质量图像的数据集。 GAN通常在与目标数据相同的偏置数据集上进行训练，从而导致更多的偏差实例。这项工作探索了无条件和条件剂量，以比较其偏差遗传以及合成数据如何影响模型。我们提供了大量的手动数据注释，可能在著名的ISIC数据集上具有皮肤病变的偏见。此外，我们研究了对实际和合成数据训练的分类模型，并具有反事实偏置解释。我们的实验表明，GAN遗传了偏见，有时甚至会放大它们，从而导致更强的虚假相关性。手动数据注释和合成图像可公开可重复可再现科学研究。

最近证明，接受SGD训练的神经网络优先依赖线性预测的特征，并且可以忽略复杂的，同样可预测的功能。这种简单性偏见可以解释他们缺乏分布（OOD）的鲁棒性。学习任务越复杂，统计工件（即选择偏见，虚假相关性）的可能性就越大比学习的机制更简单。我们证明可以减轻简单性偏差并改善了OOD的概括。我们使用对其输入梯度对齐的惩罚来训练一组类似的模型以不同的方式拟合数据。我们从理论和经验上展示了这会导致学习更复杂的预测模式的学习。 OOD的概括从根本上需要超出I.I.D.示例，例如多个培训环境，反事实示例或其他侧面信息。我们的方法表明，我们可以将此要求推迟到独立的模型选择阶段。我们获得了SOTA的结果，可以在视觉域偏置数据和概括方面进行视觉识别。该方法 - 第一个逃避简单性偏见的方法 - 突出了需要更好地理解和控制深度学习中的归纳偏见。

Overparameterized neural networks can be highly accurate on average on an i.i.d.test set yet consistently fail on atypical groups of the data (e.g., by learning spurious correlations that hold on average but not in such groups). Distributionally robust optimization (DRO) allows us to learn models that instead minimize the worst-case training loss over a set of pre-defined groups. However, we find that naively applying group DRO to overparameterized neural networks fails: these models can perfectly fit the training data, and any model with vanishing average training loss also already has vanishing worst-case training loss. Instead, the poor worst-case performance arises from poor generalization on some groups. By coupling group DRO models with increased regularization-a stronger-than-typical 2 penalty or early stopping-we achieve substantially higher worst-group accuracies, with 10-40 percentage point improvements on a natural language inference task and two image tasks, while maintaining high average accuracies. Our results suggest that regularization is important for worst-group generalization in the overparameterized regime, even if it is not needed for average generalization. Finally, we introduce a stochastic optimization algorithm, with convergence guarantees, to efficiently train group DRO models.

Models trained via empirical risk minimization (ERM) are known to rely on spurious correlations between labels and task-independent input features, resulting in poor generalization to distributional shifts. Group distributionally robust optimization (G-DRO) can alleviate this problem by minimizing the worst-case loss over a set of pre-defined groups over training data. G-DRO successfully improves performance of the worst-group, where the correlation does not hold. However, G-DRO assumes that the spurious correlations and associated worst groups are known in advance, making it challenging to apply it to new tasks with potentially multiple unknown spurious correlations. We propose AGRO -- Adversarial Group discovery for Distributionally Robust Optimization -- an end-to-end approach that jointly identifies error-prone groups and improves accuracy on them. AGRO equips G-DRO with an adversarial slicing model to find a group assignment for training examples which maximizes worst-case loss over the discovered groups. On the WILDS benchmark, AGRO results in 8% higher model performance on average on known worst-groups, compared to prior group discovery approaches used with G-DRO. AGRO also improves out-of-distribution performance on SST2, QQP, and MS-COCO -- datasets where potential spurious correlations are as yet uncharacterized. Human evaluation of ARGO groups shows that they contain well-defined, yet previously unstudied spurious correlations that lead to model errors.

自我监督的预训练似乎是在转移学习预培训的有利替代方案。通过在借口任务上综合注释，自我划分允许在对目标任务进行细微调整之前对大量伪标签进行预训练模型。在这项工作中，我们评估了诊断皮肤病变的自学意识，将三个自我监管的管道与具有挑战性的监督基线进行了比较，该管道包括五个测试数据集，其中包括分布式和分布样品的五个测试数据集。我们的结果表明，自学在改善准确性和降低结果的可变性方面都具有竞争力。自我划分证明，对于低训练数据方案（$ <1 \，500 $和$ <150 $样本）而言，它特别有用，在该方案中，其稳定结果的能力对于提供合理的结果至关重要。

尽管无偏见的机器学习模型对于许多应用程序至关重要，但偏见是一个人为定义的概念，可以在任务中有所不同。只有输入标签对，算法可能缺乏足够的信息来区分稳定（因果）特征和不稳定（虚假）特征。但是，相关任务通常具有类似的偏见 - 我们可以利用在转移环境中开发稳定的分类器的观察结果。在这项工作中，我们明确通知目标分类器有关源任务中不稳定功能的信息。具体而言，我们得出一个表示，该表示通过对比源任务中的不同数据环境来编码不稳定的功能。我们通过根据此表示形式将目标任务的数据聚类来实现鲁棒性，并最大程度地降低这些集群中最坏情况的风险。我们对文本和图像分类进行评估。经验结果表明，我们的算法能够在合成生成的环境和现实环境的目标任务上保持鲁棒性。我们的代码可在https://github.com/yujiabao/tofu上找到。

Standard training via empirical risk minimization (ERM) can produce models that achieve high accuracy on average but low accuracy on certain groups, especially in the presence of spurious correlations between the input and label. Prior approaches that achieve high worst-group accuracy, like group distributionally robust optimization (group DRO) require expensive group annotations for each training point, whereas approaches that do not use such group annotations typically achieve unsatisfactory worst-group accuracy. In this paper, we propose a simple two-stage approach, JTT, that first trains a standard ERM model for several epochs, and then trains a second model that upweights the training examples that the first model misclassified. Intuitively, this upweights examples from groups on which standard ERM models perform poorly, leading to improved worst-group performance. Averaged over four image classification and natural language processing tasks with spurious correlations, JTT closes 75% of the gap in worst-group accuracy between standard ERM and group DRO, while only requiring group annotations on a small validation set in order to tune hyperparameters.

Clinical machine learning models show a significant performance drop when tested in settings not seen during training. Domain generalisation models promise to alleviate this problem, however, there is still scepticism about whether they improve over traditional training. In this work, we take a principled approach to identifying Out of Distribution (OoD) environments, motivated by the problem of cross-hospital generalization in critical care. We propose model-based and heuristic approaches to identify OoD environments and systematically compare models with different levels of held-out information. We find that access to OoD data does not translate to increased performance, pointing to inherent limitations in defining potential OoD environments potentially due to data harmonisation and sampling. Echoing similar results with other popular clinical benchmarks in the literature, new approaches are required to evaluate robust models on health records.

人们普遍认为，人类视觉系统偏向于识别形状而不是纹理。这一假设导致了越来越多的工作，旨在使深层模型的决策过程与人类视野的基本特性保持一致。人们对形状特征的依赖主要预计会改善协变量转移下这些模型的鲁棒性。在本文中，我们重新审视了形状偏置对皮肤病变图像分类的重要性。我们的分析表明，不同的皮肤病变数据集对单个图像特征表现出不同的偏见。有趣的是，尽管深层提取器倾向于学习对皮肤病变分类的纠缠特征，但仍然可以从该纠缠的表示形式中解码单个特征。这表明这些功能仍在模型的学习嵌入空间中表示，但不用于分类。此外，不同数据集的光谱分析表明，与常见的视觉识别相反，皮肤皮肤病变分类本质上依赖于超出形状偏置的复杂特征组合。自然的结果，在某些情况下，摆脱了形状偏见模型的普遍欲望甚至可以改善皮肤病变分类器。

域泛化算法使用来自多个域的培训数据来学习概括到未经识别域的模型。虽然最近提出的基准证明大多数现有算法不优于简单的基线，但建立的评估方法未能暴露各种因素的影响，这有助于性能不佳。在本文中，我们提出了一个域泛化算法的评估框架，其允许将误差分解成组件捕获概念的不同方面。通过基于域不变表示学习的思想的算法的普遍性的启发，我们扩展了评估框架，以捕获在实现不变性时捕获各种类型的失败。我们表明，泛化误差的最大贡献者跨越方法，数据集，正则化强度甚至培训长度各不相同。我们遵守与学习域不变表示的策略相关的两个问题。在彩色的MNIST上，大多数域泛化算法失败，因为它们仅在训练域上达到域名不变性。在Camelyon-17上，域名不变性会降低看不见域的表示质量。我们假设专注于在丰富的代表之上调整分类器可以是有希望的方向。

分数（OOD）学习涉及培训和测试数据遵循不同分布的方案。尽管在机器学习中已经深入研究了一般的OOD问题，但图形OOD只是一个新兴领域。目前，缺少针对图形OOD方法评估的系统基准。在这项工作中，我们旨在为图表开发一个被称为GOOD的OOD基准。我们明确地在协变量和概念变化和设计数据拆分之间进行了区分，以准确反映不同的变化。我们考虑图形和节点预测任务，因为在设计变化时存在关键差异。总体而言，Good包含8个具有14个域选择的数据集。当与协变量，概念和无移位结合使用时，我们获得了42个不同的分裂。我们在7种常见的基线方法上提供了10种随机运行的性能结果。这总共导致294个数据集模型组合。我们的结果表明，分布和OOD设置之间的性能差距很大。我们的结果还阐明了通过不同方法的协变量和概念转移之间的不同性能趋势。我们的良好基准是一个不断增长的项目，并希望随着该地区的发展，数量和种类繁多。可以通过$ \ href {https://github.com/divelab/good/} {\ text {https://github.com/divelab/good/good/}} $访问良好基准。

数据集偏见和虚假相关性可能会严重损害深层神经网络中的概括。许多先前的努力已经使用替代性损失功能或集中在稀有模式上的采样策略来解决此问题。我们提出了一个新的方向：修改网络体系结构以施加归纳偏见，从而使网络对数据集偏置进行鲁棒性。具体而言，我们提出了OCCAMNET，这些OCCAMNET有偏见以通过设计偏爱更简单的解决方案。 OCCAMNET具有两个电感偏见。首先，他们有偏见地使用单个示例所需的网络深度。其次，它们偏向使用更少的图像位置进行预测。尽管Occamnets偏向更简单的假设，但必要时可以学习更多复杂的假设。在实验中，OCCAMNET的表现优于或竞争对手的最先进方法在不包含这些电感偏见的体系结构上运行。此外，我们证明，当最先进的伪造方法与OCCAMNETS结合使用时，结果进一步改善。

深度学习模型在自动化皮肤病变诊断方面取得了巨大成功。但是，在这些模型的预测中，种族差异通常不足以说明深色皮肤类型的病变，并且诊断准确性较低，因此受到很少的关注。在本文中，我们提出了Fairdisco，这是一个带有对比度学习的解开深度学习框架，它利用一个额外的网络分支来消除敏感属性，即从表示的表现形式中的皮肤型信息和另一个对比分支来增强特征提取。我们将Fairdisco与三种公平方法进行了比较，即重新采样，重新加权和属性 - 在两个新发布的具有不同皮肤类型的皮肤病变数据集上：Fitzpatrick17k和多样的皮肤病学图像（DDI）。我们为多个类别和敏感属性任务调整了两个基于公平的指标DPM和EOM，突出了皮肤病变分类中的皮肤型偏差。广泛的实验评估证明了Fairdisco的有效性，对皮肤病变分类任务的表现更公平，更出色。

当环境标签未知时，我们研究不变学习的问题。当贝叶斯最佳条件标签分布在不同环境中相同时，我们将重点放在不变的表示概念上。先前的工作通过最大化不变风险最小化（IRM）框架的罚款来进行环境推理（EI）。 EI步骤使用的参考模型侧重于虚假相关性，以有效地达到良好的环境分区。但是，尚不清楚如何找到这样的参考模型。在这项工作中，我们建议重复EI过程，并在先前的EI步骤推断出的\ textit {多数}环境上重复ERM模型。在温和的假设下，我们发现这种迭代过程有助于学习比单一步骤更好地捕获虚假相关性的表示。这会导致更好的环境推理和更好的不变学习。我们表明，该方法在合成数据集和现实世界数据集上的表现优于基准。

分配转移或培训数据和部署数据之间的不匹配是在高风险工业应用中使用机器学习的重要障碍，例如自动驾驶和医学。这需要能够评估ML模型的推广以及其不确定性估计的质量。标准ML基线数据集不允许评估这些属性，因为培训，验证和测试数据通常相同分布。最近，已经出现了一系列专用基准测试，其中包括分布匹配和转移的数据。在这些基准测试中，数据集在任务的多样性以及其功能的数据模式方面脱颖而出。虽然大多数基准测试由2D图像分类任务主导，但Shifts包含表格天气预测，机器翻译和车辆运动预测任务。这使得可以评估模型的鲁棒性属性，并可以得出多种工业规模的任务以及通用或直接适用的特定任务结论。在本文中，我们扩展了偏移数据集，其中两个数据集来自具有高社会重要性的工业高风险应用程序。具体而言，我们考虑了3D磁共振脑图像中白质多发性硬化病变的分割任务以及海洋货物容器中功耗的估计。两项任务均具有无处不在的分配变化和由于错误成本而构成严格的安全要求。这些新数据集将使研究人员能够进一步探索新情况下的强大概括和不确定性估计。在这项工作中，我们提供了两个任务的数据集和基线结果的描述。

对分布（OOD）数据的概括是人类自然的能力，但对于机器而言挑战。这是因为大多数学习算法强烈依赖于i.i.d.〜对源/目标数据的假设，这在域转移导致的实践中通常会违反。域的概括（DG）旨在通过仅使用源数据进行模型学习来实现OOD的概括。在过去的十年中，DG的研究取得了长足的进步，导致了广泛的方法论，例如，基于域的一致性，元学习，数据增强或合奏学习的方法，仅举几例；还在各个应用领域进行了研究，包括计算机视觉，语音识别，自然语言处理，医学成像和强化学习。在本文中，首次提供了DG中的全面文献综述，以总结过去十年来的发展。具体而言，我们首先通过正式定义DG并将其与其他相关领域（如域适应和转移学习）联系起来来涵盖背景。然后，我们对现有方法和理论进行了彻底的审查。最后，我们通过有关未来研究方向的见解和讨论来总结这项调查。