Clinical machine learning models show a significant performance drop when tested in settings not seen during training. Domain generalisation models promise to alleviate this problem, however, there is still scepticism about whether they improve over traditional training. In this work, we take a principled approach to identifying Out of Distribution (OoD) environments, motivated by the problem of cross-hospital generalization in critical care. We propose model-based and heuristic approaches to identify OoD environments and systematically compare models with different levels of held-out information. We find that access to OoD data does not translate to increased performance, pointing to inherent limitations in defining potential OoD environments potentially due to data harmonisation and sampling. Echoing similar results with other popular clinical benchmarks in the literature, new approaches are required to evaluate robust models on health records.

由于分布式概括是一个普遍不足的问题，因此在不同的研究计划中研究了各种代理目标（例如，校准，对抗性鲁棒性，算法腐败，跨轮班的不变性），导致不同的研究计划，从而提出不同的建议。在共享相同的抱负目标的同时，这些方法从未在相同的实验条件下对真实数据进行测试。在本文中，我们对以前的工作进行了统一的看法，突出了我们经验解决的消息差异，并提供有关如何衡量模型鲁棒性以及如何改进它的建议。为此，我们收集了172个公开可用的数据集对，用于培训和分布外评估准确性，校准错误，对抗性攻击，环境不变性和合成腐败。我们从九个不同的架构中的九个不同的架构中微调了31k网络。我们的发现证实，分布的精度往往会共同增加，但表明它们的关系在很大程度上取决于数据集依赖性，并且通常比以前较小的规模研究所提出的更加细微和更复杂。

研究兴趣大大增加了将数据驱动方法应用于力学问题的问题。尽管传统的机器学习（ML）方法已经实现了许多突破，但它们依赖于以下假设：培训（观察到的）数据和测试（看不见）数据是独立的且分布相同的（i.i.d）。因此，当应用于未知的测试环境和数据分布转移的现实世界力学问题时，传统的ML方法通常会崩溃。相反，分布（OOD）的概括假定测试数据可能会发生变化（即违反I.I.D.假设）。迄今为止，已经提出了多种方法来改善ML方法的OOD概括。但是，由于缺乏针对OOD回归问题的基准数据集，因此这些OOD方法在主导力学领域的回归问题上的效率仍然未知。为了解决这个问题，我们研究了机械回归问题的OOD泛化方法的性能。具体而言，我们确定了三个OOD问题：协变量移位，机制移位和采样偏差。对于每个问题，我们创建了两个基准示例，以扩展机械MNIST数据集收集，并研究了流行的OOD泛化方法在这些机械特定的回归问题上的性能。我们的数值实验表明，在大多数情况下，与传统的ML方法相比，在大多数情况下，在这些OOD问题上的传统ML方法的性能更好，但迫切需要开发更强大的OOD概括方法，这些方法在多个OOD场景中有效。总体而言，我们希望这项研究以及相关的开放访问基准数据集将进一步开发用于机械特定回归问题的OOD泛化方法。

Tuberculosis (TB), an infectious bacterial disease, is a significant cause of death, especially in low-income countries, with an estimated ten million new cases reported globally in $2020$. While TB is treatable, non-adherence to the medication regimen is a significant cause of morbidity and mortality. Thus, proactively identifying patients at risk of dropping off their medication regimen enables corrective measures to mitigate adverse outcomes. Using a proxy measure of extreme non-adherence and a dataset of nearly $700,000$ patients from four states in India, we formulate and solve the machine learning (ML) problem of early prediction of non-adherence based on a custom rank-based metric. We train ML models and evaluate against baselines, achieving a $\sim 100\%$ lift over rule-based baselines and $\sim 214\%$ over a random classifier, taking into account country-wide large-scale future deployment. We deal with various issues in the process, including data quality, high-cardinality categorical data, low target prevalence, distribution shift, variation across cohorts, algorithmic fairness, and the need for robustness and explainability. Our findings indicate that risk stratification of non-adherent patients is a viable, deployable-at-scale ML solution.

The ability to quickly and accurately identify covariate shift at test time is a critical and often overlooked component of safe machine learning systems deployed in high-risk domains. While methods exist for detecting when predictions should not be made on out-of-distribution test examples, identifying distributional level differences between training and test time can help determine when a model should be removed from the deployment setting and retrained. In this work, we define harmful covariate shift (HCS) as a change in distribution that may weaken the generalization of a predictive model. To detect HCS, we use the discordance between an ensemble of classifiers trained to agree on training data and disagree on test data. We derive a loss function for training this ensemble and show that the disagreement rate and entropy represent powerful discriminative statistics for HCS. Empirically, we demonstrate the ability of our method to detect harmful covariate shift with statistical certainty on a variety of high-dimensional datasets. Across numerous domains and modalities, we show state-of-the-art performance compared to existing methods, particularly when the number of observed test samples is small.

几项研究在经验上比较了各种模型的分布（ID）和分布（OOD）性能。他们报告了计算机视觉和NLP中基准的频繁正相关。令人惊讶的是，他们从未观察到反相关性表明必要的权衡。这重要的是确定ID性能是否可以作为OOD概括的代理。这篇简短的论文表明，ID和OOD性能之间的逆相关性确实在现实基准中发生。由于模型的选择有偏见，因此在过去的研究中可能被错过。我们使用来自多个训练时期和随机种子的模型展示了Wilds-Amelyon17数据集上模式的示例。我们的观察结果尤其引人注目，对经过正规化器训练的模型，将解决方案多样化为ERM目标。我们在过去的研究中得出了细微的建议和结论。 （1）高OOD性能有时确实需要交易ID性能。 （2）仅专注于ID性能可能不会导致最佳OOD性能：它可能导致OOD性能的减少并最终带来负面回报。 （3）我们的示例提醒人们，实证研究仅按照现有方法来制定制度：在提出规定的建议时有必要进行护理。

Learning models that gracefully handle distribution shifts is central to research on domain generalization, robust optimization, and fairness. A promising formulation is domain-invariant learning, which identifies the key issue of learning which features are domain-specific versus domaininvariant. An important assumption in this area is that the training examples are partitioned into "domains" or "environments". Our focus is on the more common setting where such partitions are not provided. We propose EIIL, a general framework for domain-invariant learning that incorporates Environment Inference to directly infer partitions that are maximally informative for downstream Invariant Learning. We show that EIIL outperforms invariant learning methods on the CMNIST benchmark without using environment labels, and significantly outperforms ERM on worst-group performance in the Waterbirds and CivilComments datasets. Finally, we establish connections between EIIL and algorithmic fairness, which enables EIIL to improve accuracy and calibration in a fair prediction problem.

域名（ood）概括是机器学习模型的重大挑战。已经提出了许多技术来克服这一挑战，通常专注于具有某些不变性属性的学习模型。在这项工作中，我们绘制了ood性能和模型校准之间的链接，争论跨多个域的校准可以被视为一个特殊的表达，导致更好的EOD泛化。具体而言，我们表明，在某些条件下，实现\ EMPH {多域校准}的模型可被证明无杂散相关性。这导致我们提出多域校准作为分类器的性能的可测量和可训练的代理。因此，我们介绍了易于申请的方法，并允许从业者通过训练或修改现有模型来改善多域校准，从而更好地在看不见的域上的性能。使用最近提出的野外的四个数据集以及彩色的MNIST数据集，我们证明了训练或调整模型，以便在多个域中校准它们导致在看不见的测试域中显着提高性能。我们认为，校准和革建化之间的这种有趣联系是从一个实际和理论的观点出发的。

人工智能的最新趋势是将验证的模型用于语言和视觉任务，这些模型已经实现了非凡的表现，但也令人困惑。因此，以各种方式探索这些模型的能力对该领域至关重要。在本文中，我们探讨了模型的可靠性，在其中我们将可靠的模型定义为一个不仅可以实现强大的预测性能，而且在许多涉及不确定性（例如选择性预测，开放式设置识别）的决策任务上，在许多决策任务上表现出色，而且表现良好。强大的概括（例如，准确性和适当的评分规则，例如在分布数据集中和分发数据集上的对数可能性）和适应性（例如，主动学习，几乎没有射击不确定性）。我们设计了40个数据集的10种任务类型，以评估视觉和语言域上可靠性的不同方面。为了提高可靠性，我们分别开发了VIT-PLEX和T5-PLEX，分别针对视觉和语言方式扩展了大型模型。 PLEX极大地改善了跨可靠性任务的最先进，并简化了传统协议，因为它可以改善开箱即用的性能，并且不需要设计分数或为每个任务调整模型。我们演示了高达1B参数的模型尺寸的缩放效果，并预处理数据集大小最多4B示例。我们还展示了PLEX在具有挑战性的任务上的功能，包括零射门的开放式识别，主动学习和对话语言理解中的不确定性。

深度学习失败案例很丰富，尤其是在医疗区域。最近对分布式概括的研究已在控制良好的合成数据集上进行了大量发展，但它们不代表医学成像环境。我们提出了一条依赖伪像的管道的管道，以便为具有挑战性的皮肤病变分析环境提供概括评估和偏见。首先，我们将数据分为越来越高的偏见训练和测试集的水平，以更好地概括评估。然后，我们基于皮肤病变伪影创建环境，以实现域的概括方法。最后，经过强大的训练，我们执行了测试时间的偏差程序，从而减少了推理图像中的虚假特征。我们的实验表明，我们的管道改善了偏见的情况下的性能指标，并在使用解释方法时避免了伪像。尽管如此，在评估分布数据中的此类模型时，他们不喜欢临床上的功能。取而代之的是，只有在培训中呈现类似工件的测试集中的性能得到了改善，这表明模型学会忽略了已知的伪像。我们的结果引起了人们的关注，即对单个方面的偏见模型可能不足以容纳皮肤病变分析。

尽管对检测分配（OOD）示例的重要性一致，但就OOD示例的正式定义几乎没有共识，以及如何最好地检测到它们。我们将这些示例分类为它们是否表现出背景换档或语义移位，并发现ood检测，模型校准和密度估计（文本语言建模）的两个主要方法，对这些类型的ood数据具有不同的行为。在14对分布和ood英语自然语言理解数据集中，我们发现密度估计方法一致地在背景移位设置中展开校准方法，同时在语义移位设置中执行更糟。此外，我们发现两种方法通常都无法检测到挑战数据中的示例，突出显示当前方法的弱点。由于没有单个方法在所有设置上都效果很好，因此在评估不同的检测方法时，我们的结果呼叫了OOD示例的明确定义。

分数（OOD）学习涉及培训和测试数据遵循不同分布的方案。尽管在机器学习中已经深入研究了一般的OOD问题，但图形OOD只是一个新兴领域。目前，缺少针对图形OOD方法评估的系统基准。在这项工作中，我们旨在为图表开发一个被称为GOOD的OOD基准。我们明确地在协变量和概念变化和设计数据拆分之间进行了区分，以准确反映不同的变化。我们考虑图形和节点预测任务，因为在设计变化时存在关键差异。总体而言，Good包含8个具有14个域选择的数据集。当与协变量，概念和无移位结合使用时，我们获得了42个不同的分裂。我们在7种常见的基线方法上提供了10种随机运行的性能结果。这总共导致294个数据集模型组合。我们的结果表明，分布和OOD设置之间的性能差距很大。我们的结果还阐明了通过不同方法的协变量和概念转移之间的不同性能趋势。我们的良好基准是一个不断增长的项目，并希望随着该地区的发展，数量和种类繁多。可以通过$ \ href {https://github.com/divelab/good/} {\ text {https://github.com/divelab/good/good/}} $访问良好基准。

最近应用于从密集护理单位收集的时间序列的机器学习方法的成功暴露了缺乏标准化的机器学习基准，用于开发和比较这些方法。虽然原始数据集（例如MIMIC-IV或EICU）可以在物理体上自由访问，但是选择任务和预处理的选择通常是针对每个出版物的ad-hoc，限制出版物的可比性。在这项工作中，我们的目标是通过提供覆盖大型ICU相关任务的基准来改善这种情况。使用HirID数据集，我们定义与临床医生合作开发的多个临床相关任务。此外，我们提供可重复的端到端管道，以构建数据和标签。最后，我们提供了对当前最先进的序列建模方法的深入分析，突出了这种类型数据的深度学习方法的一些限制。通过这款基准，我们希望为研究界提供合理比较的可能性。

域的概括（DG）通过利用来自多个相关分布或域的标记培训数据在看不见的测试分布上表现良好的预测因子。为了实现这一目标，标准公式优化了所有可能域的最差性能。但是，由于最糟糕的转变在实践中的转变极不可能，这通常会导致过度保守的解决方案。实际上，最近的一项研究发现，没有DG算法在平均性能方面优于经验风险最小化。在这项工作中，我们认为DG既不是最坏的问题，也不是一个普通的问题，而是概率问题。为此，我们为DG提出了一个概率框架，我们称之为可能的域概括，其中我们的关键想法是在训练期间看到的分配变化应在测试时告诉我们可能的变化。为了实现这一目标，我们将培训和测试域明确关联为从同一基础元分布中获取的，并提出了一个新的优化问题 - 分数风险最小化（QRM） - 要求该预测因子以很高的概率概括。然后，我们证明了QRM：（i）产生的预测因子，这些预测因素将具有所需概率的新域（给定足够多的域和样本）； （ii）随着概括的所需概率接近一个，恢复因果预测因子。在我们的实验中，我们引入了针对DG的更全面的以分位数评估协议，并表明我们的算法在真实和合成数据上的最先进基准都优于最先进的基准。

While there have been a number of remarkable breakthroughs in machine learning (ML), much of the focus has been placed on model development. However, to truly realize the potential of machine learning in real-world settings, additional aspects must be considered across the ML pipeline. Data-centric AI is emerging as a unifying paradigm that could enable such reliable end-to-end pipelines. However, this remains a nascent area with no standardized framework to guide practitioners to the necessary data-centric considerations or to communicate the design of data-centric driven ML systems. To address this gap, we propose DC-Check, an actionable checklist-style framework to elicit data-centric considerations at different stages of the ML pipeline: Data, Training, Testing, and Deployment. This data-centric lens on development aims to promote thoughtfulness and transparency prior to system development. Additionally, we highlight specific data-centric AI challenges and research opportunities. DC-Check is aimed at both practitioners and researchers to guide day-to-day development. As such, to easily engage with and use DC-Check and associated resources, we provide a DC-Check companion website (https://www.vanderschaar-lab.com/dc-check/). The website will also serve as an updated resource as methods and tooling evolve over time.

肺癌是全球癌症死亡的主要原因，肺腺癌是最普遍的肺癌形式。 EGFR阳性肺腺癌已被证明对TKI治疗的反应率很高，这是肺癌分子测试的基本性质。尽管目前的指南考虑必要测试，但很大一部分患者并未常规化，导致数百万的人未接受最佳治疗肺癌。测序是EGFR突变分子测试的黄金标准，但是结果可能需要数周的时间才能回来，这在时间限制的情况下并不理想。能够快速，便宜地检测EGFR突变的替代筛查工具的开发，同时保存组织以进行测序可以帮助减少受比较治疗的患者的数量。我们提出了一种多模式方法，该方法将病理图像和临床变量整合在一起，以预测EGFR突变状态，迄今为止最大的临床队列中的AUC为84％。这样的计算模型可以以很少的额外成本进行大部分部署。它的临床应用可以减少中国接受亚最佳治疗的患者数量53.1％，在美国将高达96.6％的患者减少96.6％。

分发班次的稳健性对于部署现实世界中的机器学习模型至关重要。尽管如此必要的，但在定义导致这些变化的潜在机制以及评估跨多个不同的分发班次的稳健性的潜在机制很少。为此，我们介绍了一种框架，可实现各种分布换档的细粒度分析。我们通过评估在合成和现实世界数据集中分为五个类别的19个不同的方法来提供对当前最先进的方法的整体分析。总的来说，我们训练超过85架模型。我们的实验框架可以很容易地扩展到包括新方法，班次和数据集。我们发现，与以前的工作〜\ citep {gulrajani20}不同，该进度已经通过标准的ERM基线进行;特别是，在许多情况下，预先训练和增强（学习或启发式）提供了大的收益。但是，最好的方法在不同的数据集和班次上不一致。

The goal of domain generalization algorithms is to predict well on distributions different from those seen during training. While a myriad of domain generalization algorithms exist, inconsistencies in experimental conditions-datasets, architectures, and model selection criteria-render fair and realistic comparisons difficult. In this paper, we are interested in understanding how useful domain generalization algorithms are in realistic settings. As a first step, we realize that model selection is non-trivial for domain generalization tasks. Contrary to prior work, we argue that domain generalization algorithms without a model selection strategy should be regarded as incomplete. Next, we implement DOMAINBED, a testbed for domain generalization including seven multi-domain datasets, nine baseline algorithms, and three model selection criteria. We conduct extensive experiments using DO-MAINBED and find that, when carefully implemented, empirical risk minimization shows state-of-the-art performance across all datasets. Looking forward, we hope that the release of DOMAINBED, along with contributions from fellow researchers, will streamline reproducible and rigorous research in domain generalization. * Alphabetical order, equal contribution.Preprint. Under review.

传统机器学习方法面临两种主要挑战，在处理医疗保健预测分析任务方面。首先，医疗保健数据的高维性质需要劳动密集型和耗时的过程，为每项新任务选择适当的功能集。其次，这些方法依赖于特征工程来捕获患者数据的顺序性，这可能无法充分利用医疗事件的时间模式及其依赖性。最近的深度学习方法通​​过解决医疗数据的高维和时间挑战，对各种医疗保健预测任务显示了有希望的性能。这些方法可以学习关键因素（例如，医学概念或患者）的有用表示及其与高维原始或最低处理的医疗保健数据的相互作用。在本文中，我们系统地审查了专注于推进和使用深神经网络的研究，以利用患者结构化时间序列数据进行医疗保健预测任务。为了识别相关研究，搜索MEDLINE，IEEE，SCOPUS和ACM数字图书馆于2021年2月7日出版的研究。我们发现研究人员在十个研究流中为深度时间序列预测文献做出了贡献：深入学习模型，缺少价值处理，不规则处理，患者表示，静态数据包容，关注机制，解释，纳入医疗本体，学习策略和可扩展性。本研究总结了这些文献流的研究见解，确定了几个关键研究差距，并提出了未来的患者时间序列数据深入学习的研究机会。

用于预测和预测的机器学习（ML）方法已在定量科学中广泛存在。但是，基于ML的科学中有许多已知的方法论陷阱，包括数据泄漏。在本文中，我们系统地研究了基于ML的科学中的可重复性问题。我们表明，数据泄漏确实是一个普遍的问题，并导致了严重的可重复性失败。具体而言，通过对采用ML方法的研究社区中的文献调查，我们发现了17个领域，发现了错误，共同影响了329篇论文，在某些情况下导致了极其解放的结论。根据我们的调查，我们提出了8种泄漏类型的细粒分类法，范围从教科书错误到打开研究问题。我们主张基于ML的科学的基本方法论变化，因此可以在发布前捕获泄漏病例。为此，我们提出了模型信息表，以根据ML模型报告科学主张，以解决我们调查中确定的所有类型的泄漏。为了研究可重复性错误的影响和模型信息表的功效，我们在一个复杂的ML模型被认为比较旧的统计模型（例如逻辑回归（LR）：内战预测）的领域进行了可重复性研究。我们发现，与LR模型相比，所有声称复杂ML模型具有出色性能的论文由于数据泄漏而无法再现，并且复杂的ML模型的性能并不比数十年历史的LR模型更好。尽管这些错误都无法通过阅读论文来捕获，但模型信息表将在每种情况下都能检测到泄漏。