分销（OOD）泛化问题的目标是培训推广所有环境的预测因子。此字段中的流行方法使用这样的假设，即这种预测器应为\ Texit {不变预测器}，该{不变预测仪}捕获跨环境仍然不变的机制。虽然这些方法在各种案例研究中进行了实验成功，但仍然有很多关于这一假设的理论验证的空间。本文介绍了一系列不变预测因素所必需的一系列理论条件，以实现ood最优性。我们的理论不仅适用于非线性案例，还概括了\ CiteT {Rojas2018Invariant}中使用的必要条件。我们还从我们的理论中得出渐变对齐算法，并展示了\ Citet {Aubinlinear}提出的三个\ Texit {不变性单元测试}中的两种竞争力。

最近，提出了不变的风险最小化（IRM）作为解决分布外（OOD）概括的有前途的解决方案。但是，目前尚不清楚何时应优先于广泛的经验风险最小化（ERM）框架。在这项工作中，我们从样本复杂性的角度分析了这两个框架，从而迈出了一个坚定的一步，以回答这个重要问题。我们发现，根据数据生成机制的类型，这两种方法可能具有有限样本和渐近行为。例如，在协变量偏移设置中，我们看到两种方法不仅达到了相同的渐近解决方案，而且具有相似的有限样本行为，没有明显的赢家。但是，对于其他分布变化，例如涉及混杂因素或反毒物变量的变化，两种方法到达不同的渐近解决方案，在这些方法中，保证IRM可以接近有限样品状态中所需的OOD溶液，而ERM甚至偶然地偏向于渐近。我们进一步研究了不同因素（环境的数量，模型的复杂性和IRM惩罚权重）如何影响IRM的样本复杂性与其距离OOD溶液的距离有关

域的概括（DG）通过利用来自多个相关分布或域的标记培训数据在看不见的测试分布上表现良好的预测因子。为了实现这一目标，标准公式优化了所有可能域的最差性能。但是，由于最糟糕的转变在实践中的转变极不可能，这通常会导致过度保守的解决方案。实际上，最近的一项研究发现，没有DG算法在平均性能方面优于经验风险最小化。在这项工作中，我们认为DG既不是最坏的问题，也不是一个普通的问题，而是概率问题。为此，我们为DG提出了一个概率框架，我们称之为可能的域概括，其中我们的关键想法是在训练期间看到的分配变化应在测试时告诉我们可能的变化。为了实现这一目标，我们将培训和测试域明确关联为从同一基础元分布中获取的，并提出了一个新的优化问题 - 分数风险最小化（QRM） - 要求该预测因子以很高的概率概括。然后，我们证明了QRM：（i）产生的预测因子，这些预测因素将具有所需概率的新域（给定足够多的域和样本）； （ii）随着概括的所需概率接近一个，恢复因果预测因子。在我们的实验中，我们引入了针对DG的更全面的以分位数评估协议，并表明我们的算法在真实和合成数据上的最先进基准都优于最先进的基准。

尽管在各种应用中取得了显着成功，但众所周知，在呈现出分发数据时，深度学习可能会失败。为了解决这一挑战，我们考虑域泛化问题，其中使用从相关训练域系列绘制的数据进行训练，然后在不同和看不见的测试域中评估预测器。我们表明，在数据生成的自然模型和伴随的不变性条件下，域泛化问​​题等同于无限维约束的统计学习问题;此问题构成了我们的方法的基础，我们呼叫基于模型的域泛化。由于解决深度学习中受约束优化问题的固有挑战，我们利用非凸显二元性理论，在二元间隙上紧张的界限发展这种统计问题的不受约束放松。基于这种理论动机，我们提出了一种具有收敛保证的新型域泛化算法。在我们的实验中，我们在几个基准中报告了最多30个百分点的阶段概括基座，包括彩色，Camelyon17-Wilds，FMOW-Wilds和PAC。

最近的学习不变（因果）特征（OOD）概括最近引起了广泛的关注，在建议中不变风险最小化（IRM）（Arjovsky等，2019）是一个显着的解决方案。尽管其对线性回归的理论希望，但在线性分类问题中使用IRM的挑战仍然存在（Rosenfeld等，2020； Nagarajan等，2021）。沿着这一行，最近的一项研究（Arjovsky等人，2019年）迈出了第一步，并提出了基于信息瓶颈的不变风险最小化的学习原理（IB-imm）。在本文中，我们首先表明（Arjovsky等人，2019年）使用不变特征的支持重叠的关键假设对于保证OOD泛化是相当强大的，并且在没有这种假设的情况下仍然可以实现最佳解决方案。为了进一步回答IB-IRM是否足以在线性分类问题中学习不变特征的问题，我们表明IB-IRM在两种情况下仍将失败，无论是否不变功能捕获有关标签的所有信息。为了解决此类失败，我们提出了一个\ textit {基于反事实的信息瓶颈（CSIB）}学习算法，该算法可恢复不变的功能。即使从单个环境访问数据时，提出的算法也可以工作，并且在理论上对二进制和多类问题都具有一致的结果。我们对三个合成数据集进行了经验实验，以验证我们提出的方法的功效。

Distributional shift is one of the major obstacles when transferring machine learning prediction systems from the lab to the real world. To tackle this problem, we assume that variation across training domains is representative of the variation we might encounter at test time, but also that shifts at test time may be more extreme in magnitude. In particular, we show that reducing differences in risk across training domains can reduce a model's sensitivity to a wide range of extreme distributional shifts, including the challenging setting where the input contains both causal and anticausal elements. We motivate this approach, Risk Extrapolation (REx), as a form of robust optimization over a perturbation set of extrapolated domains (MM-REx), and propose a penalty on the variance of training risks (V-REx) as a simpler variant. We prove that variants of REx can recover the causal mechanisms of the targets, while also providing some robustness to changes in the input distribution ("covariate shift"). By tradingoff robustness to causally induced distributional shifts and covariate shift, REx is able to outperform alternative methods such as Invariant Risk Minimization in situations where these types of shift co-occur.

尽管自我监督学习（SSL）方法取得了经验成功，但尚不清楚其表示的哪些特征导致了高下游精度。在这项工作中，我们表征了SSL表示应该满足的属性。具体而言，我们证明了必要和充分的条件，因此，对于给出的数据增强的任何任务，在该表示形式上训练的所需探针（例如，线性或MLP）具有完美的准确性。这些要求导致一个统一的概念框架，用于改善现有的SSL方法并得出新方法。对于对比度学习，我们的框架规定了对以前的方法（例如使用不对称投影头）的简单但重大改进。对于非对比度学习，我们使用框架来得出一个简单新颖的目标。我们所得的SSL算法在标准基准测试上的表现优于基线，包括Imagenet线性探测的SHAV+多螺旋桨。

传统的监督学习方法，尤其是深的学习方法，发现对分发超出（OOD）示例敏感，主要是因为所学习的表示与由于其域特异性相关性的变异因子混合了语义因素，而只有语义因子导致输出。为了解决这个问题，我们提出了一种基于因果推理的因果语义生成模型（CSG），以便分别建模两个因素，以及从单个训练域中的oo ood预测的制定方法，这是常见和挑战的。该方法基于因果不变原理，在变形贝斯中具有新颖的设计，用于高效学习和易于预测。从理论上讲，我们证明，在某些条件下，CSG可以通过拟合训练数据来识别语义因素，并且这种语义识别保证了泛化概率的界限和适应的成功。实证研究表明，改善了卓越的基线表现。

尽管机器学习模型迅速推进了各种现实世界任务的最先进，但鉴于这些模型对虚假相关性的脆弱性，跨域（OOD）的概括仍然是一个挑战性的问题。尽管当前的域概括方法通常着重于通过新的损耗函数设计在不同域上实施某些不变性属性，但我们提出了一种平衡的迷你批次采样策略，以减少观察到的训练分布中域特异性的虚假相关性。更具体地说，我们提出了一种两步方法，该方法1）识别虚假相关性的来源，以及2）通过在确定的来源上匹配，构建平衡的迷你批次而没有虚假相关性。我们提供了伪造来源的可识别性保证，并表明我们提出的方法是从所有培训环境中平衡，无虚拟分布的样本。实验是在三个具有伪造相关性的计算机视觉数据集上进行的，从经验上证明，与随机的迷你批次采样策略相比，我们平衡的微型批次采样策略可改善四个不同建立的域泛化模型基线的性能。

在使用不同的培训环境展示时，获得机器学习任务的可推广解决方案的一种方法是找到数据的\ textit {不变表示}。这些是协变量的表示形式，以至于表示形式的最佳模型在培训环境之间是不变的。在线性结构方程模型（SEMS）的背景下，不变表示可能使我们能够以分布范围的保证（即SEM中的干预措施都有牢固的模型学习模型。为了解决{\ em有限示例}设置中不变的表示问题，我们考虑$ \ epsilon $ approximate不变性的概念。我们研究以下问题：如果表示给定数量的培训干预措施大致相当不变，那么在更大的看不见的SEMS集合中，它是否会继续大致不变？这种较大的SEM集合是通过参数化的干预措施来生成的。受PAC学习的启发，我们获得了有限样本的分布概括，保证了近似不变性，该概述\ textit {概率}在没有忠实假设的线性SEMS家族上。我们的结果表明，当干预站点仅限于恒定大小的子集的恒定限制节点的恒定子集时，界限不会在环境维度上扩展。我们还展示了如何将结果扩展到结合潜在变量的线性间接观察模型。

域名（ood）概括是机器学习模型的重大挑战。已经提出了许多技术来克服这一挑战，通常专注于具有某些不变性属性的学习模型。在这项工作中，我们绘制了ood性能和模型校准之间的链接，争论跨多个域的校准可以被视为一个特殊的表达，导致更好的EOD泛化。具体而言，我们表明，在某些条件下，实现\ EMPH {多域校准}的模型可被证明无杂散相关性。这导致我们提出多域校准作为分类器的性能的可测量和可训练的代理。因此，我们介绍了易于申请的方法，并允许从业者通过训练或修改现有模型来改善多域校准，从而更好地在看不见的域上的性能。使用最近提出的野外的四个数据集以及彩色的MNIST数据集，我们证明了训练或调整模型，以便在多个域中校准它们导致在看不见的测试域中显着提高性能。我们认为，校准和革建化之间的这种有趣联系是从一个实际和理论的观点出发的。

通过使一组基本预测因素投票根据一些权重，即对某些概率分布来获得聚合预测器。根据一些规定的概率分布，通过在一组基本预测器中采样来获得随机预测器。因此，聚合和随机预测器的共同之处包括最小化问题，而是通过对预测器集的概率分布来定义。在统计学习理论中，有一套工具旨在了解此类程序的泛化能力：Pac-Bayesian或Pac-Bayes界。由于D. Mcallester的原始Pac-Bayes界，这些工具在许多方向上得到了大大改善（例如，我们将描述社区错过的O. Catoni的定位技术的简化版本，后来被重新发现“相互信息界“）。最近，Pac-Bayes的界限受到相当大的关注：例如，在2017年的Pac-Bayes上有研讨会，“（几乎）50种贝叶斯学习：Pac-Bayesian趋势和见解”，由B. Guedj，F组织。 。巴赫和P.Merain。这一最近成功的原因之一是通过G. Dziugaite和D. Roy成功地将这些限制应用于神经网络。对Pac-Bayes理论的初步介绍仍然缺失。这是一种尝试提供这样的介绍。

安全部署到现实世界的机器学习模式通常是一个具有挑战性的过程。从特定地理位置获得的数据训练的模型往往会在询问其他地方获得的数据时失败，在仿真中培训的代理可以在部署在现实世界或新颖的环境中进行适应时，以及适合于拟合的神经网络人口可能会将一些选择偏见纳入其决策过程。在这项工作中，我们描述了（i）通过（i）识别和描述了不同误差来源的新信息 - 理论观点的数据转移问题，（ii）比较最近域概括和公平探讨的一些最有前景的目标分类文献。从我们的理论分析和实证评估中，我们得出结论，需要通过关于观察到的数据，用于校正的因素的仔细考虑和数据生成过程的结构来指导模型选择程序。

向外配送（OOD）数据的概括是现代机器学习中的核心问题之一。最近，试图提出主要建立在提取不变特征的想法上的算法。虽然直观地合理，但理论上了解如何保证ood泛化仍然有限，并且任意分配的概括显然是不可能的。在这项工作中，我们将第一步迈向严格和定量定义1）什么是ood; 2）通过说ood问题是学习的，这是什么意思。我们还介绍了扩展功能的新概念，其特征在于训练域的测试域中的方差在多大程度上放大，因此提供了不变特征的定量含义。基于这些，我们证明了ood泛化误差界限。事实证明，OOD泛化在很大程度上取决于扩展功能。正如Gulrajani和Lopez-PAZ（2020）所指出的那样，任何没有模型选择模块的学习算法都是不完整的。我们的理论自然地诱导了模型选择标准。基准OOD数据集的广泛实验表明，我们的模型选择标准在基线上具有显着的优势。

最近，对分布（OOD）数据具有相关性转移的概括引起了极大的关注。相关转移是由与类标签相关的虚假属性引起的，因为它们之间的相关性可能在训练和测试数据中有所不同。对于这样一个问题，我们表明，鉴于类标签，有条件独立的虚假属性模型是可推广的。基于此，提出了控制OOD泛化误差的度量条件伪变异（CSV），以衡量这种条件独立性。为了改善OOD的概括，我们将培训过程正常使用拟议的CSV。在温和的假设下，我们的训练目标可以作为非Convex-Concave Mini-Max问题提出。提出了具有可证明的收敛速率的算法来解决该问题。广泛的经验结果验证了我们算法在改善OOD概括方面的功效。

在因果推理和强盗文献中，基于观察数据的线性功能估算线性功能的问题是规范的。我们分析了首先估计治疗效果函数的广泛的两阶段程序，然后使用该数量来估计线性功能。我们证明了此类过程的均方误差上的非反应性上限：这些边界表明，为了获得非反应性最佳程序，应在特定加权$ l^2 $中最大程度地估算治疗效果的误差。 -规范。我们根据该加权规范的约束回归分析了两阶段的程序，并通过匹配非轴突局部局部最小值下限，在有限样品中建立了实例依赖性最优性。这些结果表明，除了取决于渐近效率方差之外，最佳的非质子风险除了取决于样本量支持的最富有函数类别的真实结果函数与其近似类别之间的加权规范距离。

适应数据分布的结构（例如对称性和转型Imarerces）是机器学习中的重要挑战。通过架构设计或通过增强数据集，可以内在学习过程中内置Inhormces。两者都需要先验的了解对称性的确切性质。缺乏这种知识，从业者求助于昂贵且耗时的调整。为了解决这个问题，我们提出了一种新的方法来学习增强变换的分布，以新的\ emph {转换风险最小化}（trm）框架。除了预测模型之外，我们还优化了从假说空间中选择的转换。作为算法框架，我们的TRM方法是（1）有效（共同学习增强和模型，以\ emph {单训练环}），（2）模块化（使用\ emph {任何训练算法），以及（3）一般（处理\ \ ich {离散和连续}增强）。理论上与标准风险最小化的TRM比较，并在其泛化误差上给出PAC-Bayes上限。我们建议通过块组成的新参数化优化富裕的增强空间，导致新的\ EMPH {随机成分增强学习}（SCALE）算法。我们在CIFAR10 / 100，SVHN上使用先前的方法（快速自身自动化和武术器）进行实际比较规模。此外，我们表明规模可以在数据分布中正确地学习某些对称性（恢复旋转Mnist上的旋转），并且还可以改善学习模型的校准。

We study distributionally robust optimization (DRO) with Sinkhorn distance -- a variant of Wasserstein distance based on entropic regularization. We provide convex programming dual reformulation for a general nominal distribution. Compared with Wasserstein DRO, it is computationally tractable for a larger class of loss functions, and its worst-case distribution is more reasonable. We propose an efficient first-order algorithm with bisection search to solve the dual reformulation. We demonstrate that our proposed algorithm finds $\delta$-optimal solution of the new DRO formulation with computation cost $\tilde{O}(\delta^{-3})$ and memory cost $\tilde{O}(\delta^{-2})$, and the computation cost further improves to $\tilde{O}(\delta^{-2})$ when the loss function is smooth. Finally, we provide various numerical examples using both synthetic and real data to demonstrate its competitive performance and light computational speed.

机器学习系统经常在培训和测试之间遇到分发转变。在本文中，我们介绍了一个简单的变分目标，其OptiCa正好成为所有表现形式的集合，在那种情况下，保证风险最小化者对保留贝叶斯预测因子的任何分配换档，例如协变量。我们的目标有两个组成部分。首先，表示必须保持对任务的判别，即，一些预测指标必须能够同时最小化来源和目标风险。其次，代表性的边际支持需要跨源头和目标相同。我们通过设计自我监督的学习方法来实现这一实用，只使用未标记的数据和增强来培训强大的陈述。我们的目标在域底实现最先进的结果，并对最近的方法（如剪辑）的稳健性提供洞察力。

从观察数据中学习因果结构是机器学习的基本挑战。但是，大多数常用的可区分因果发现方法是不可识别的，这将此问题变成了容易发生数据偏差的连续优化任务。在许多现实生活中，数据是从不同环境中收集的，在不同的环境中，功能关系在整个环境中保持一致，而添加噪声的分布可能会有所不同。本文提出了可区分的因果发现（DICD），利用基于可区分框架的多环境信息，以避免学习虚假边缘和错误的因果方向。具体而言，DICD旨在在消除环境依赖性相关性的同时发现环境不变的因果关系。我们进一步制定了强制执行目标结构方程模型的约束，以在整个环境中保持最佳状态。在温和条件下提供了足够的环境，提供了针对拟议DICD的可识别性的理论保证。关于合成和现实世界数据集的广泛实验验证了DICD优于最先进的因果发现方法，而SHD中最高36％。我们的代码将是开源的。