域泛化（DG）方法旨在通过仅使用来自源域的训练数据来实现未经证明的目标域的概括性。虽然已经提出了各种DG方法，但最近的一项研究表明，在一个公平的评估方案下，称为域底，简单的经验风险最小化（ERM）方法可与以前的方法相当。不幸的是，简单地解决了ERM在复杂的非凸损函数上，可以通过寻求尖锐的最小值来容易地导致次优化的普遍性。在本文中，我们理论上表明发现扁平最小值导致较小的域泛化差距。我们还提出了一种简单而有效的方法，名为随机重量平均（纵向），找到扁平的最小值。瑞郎发现更漂亮的最小值，并且由于通过密集和过度感知的随机重量采样策略而遭受的过度装备不足。瑞士瑞士展示了五个DG基准测试，即PACS，VLC，OfficeHome，Terraincognita和Domainnet的最先进的表演，符合域名准确度的一致和大幅度+ 1.6％。我们还与常规的泛化方法（如数据增强和一致性正则化方法）进行比较，以验证显着的性能改进是通过寻求扁平的最小值，而不是更好的域概括性。最后但并非最不重要的是，瑞士剧本适应现有的DG方法而无需修改;施联和现有DG方法的组合进一步提高了DG性能。源代码可在https://github.com/khanrc/swad提供。

旨在概括在源域中训练的模型来看不见的目标域，域泛化（DG）最近引起了很多关注。 DG的关键问题是如何防止对观察到的源极域的过度接收，因为在培训期间目标域不可用。我们调查过度拟合不仅导致未经看不见的目标域的普遍推广能力，而且在测试阶段导致不稳定的预测。在本文中，我们观察到，在训练阶段采样多个任务并在测试阶段产生增强图像，很大程度上有利于泛化性能。因此，通过处理不同视图的任务和图像，我们提出了一种新颖的多视图DG框架。具体地，在训练阶段，为了提高泛化能力，我们开发了一种多视图正则化元学习算法，该算法采用多个任务在更新模型期间产生合适的优化方向。在测试阶段，为了减轻不稳定的预测，我们利用多个增强图像来产生多视图预测，这通过熔断测试图像的不同视图的结果显着促进了模型可靠性。三个基准数据集的广泛实验验证了我们的方法优于几种最先进的方法。

域的概括（DG）旨在仅使用有限的源域学习一个通用模型。先前的DG尝试仅由于训练和测试域之间的显着域移动而无法从源域中学习域不变表示。取而代之的是，我们使用Oracle模型使用共同信息重新构建了DG目标，该模型将概括为任何可能的域。我们通过通过预训练的模型近似oracle模型来得出一个可拖动的变化下限，称为使用Oracle（Miro）的相互信息正则化。我们的广泛实验表明，Miro可显着提高分布性能。此外，我们的缩放实验表明，预训练模型的尺度越大，miro的性能提高就越大。源代码可在https://github.com/kakaobrain/miro中获得。

为了解决培训和测试数据之间的分布变化，域的概括（DG）利用多个源域来学习一个概括地看不见域的模型。但是，现有的DG方法通常遭受过度适应源域的影响，部分原因是特征空间中预期区域的覆盖率有限。在此激励的情况下，我们建议与数据插值和外推进行混合，以涵盖潜在的看不见区域。为了防止不受约束的外推的有害影响，我们仔细设计了一种策略来生成实例权重，名为Flatents-Awarnement-Awarnement-Awarnement-Awarness-Angients-Awments-Altents-Altents-Alignness-Actient-Actient-Actient-Actient-Actient-Actient-natments-Actient-Actient-Actient-natments-naterment-Actient-naterment-naterments-awite渐变的混音（FGMIX）。该政策采用基于梯度的相似性，将更大的权重分配给携带更多不变信息的实例，并了解相似性的功能，以提高最小值以更好地概括。在域基准测试中，我们验证了FGMIX各种设计的功效，并证明了其优于其他DG算法。

学习域不变的表示已成为域适应/概括的最受欢迎的方法之一。在本文中，我们表明不变的表示可能不足以保证良好的概括，在考虑标签函数转移的情况下。受到这一点的启发，我们首先在经验风险上获得了新的概括上限，该概括风险明确考虑了标签函数移动。然后，我们提出了特定领域的风险最小化（DRM），该风险最小化（DRM）可以分别对不同域的分布移动进行建模，并为目标域选择最合适的域。对四个流行的域概括数据集（CMNIST，PACS，VLCS和域）进行了广泛的实验，证明了所提出的DRM对域泛化的有效性，具有以下优点：1）它的表现明显超过了竞争性盆地的表现； 2）与香草经验风险最小化（ERM）相比，所有训练领域都可以在所有训练领域中具有可比性或优越的精度； 3）在培训期间，它仍然非常简单和高效，4）与不变的学习方法是互补的。

模型不合时宜的元学习（MAML）目前是少量元学习的主要方法之一。尽管它具有有效性，但由于先天的二聚体问题结构，MAML的优化可能具有挑战性。具体而言，MAML的损失格局比其经验风险最小化的对应物更为复杂，可能的鞍点和局部最小化可能更复杂。为了应对这一挑战，我们利用了最近发明的清晰度最小化的最小化，并开发出一种清晰感的MAML方法，我们称其为Sharp MAML。我们从经验上证明，Sharp-MAML及其计算有效的变体可以胜过流行的现有MAML基准（例如，Mini-Imagenet上的$+12 \％$ $精度）。我们通过收敛速率分析和尖锐MAML的概括结合进行了经验研究。据我们所知，这是在双层学习背景下对清晰度感知最小化的第一个经验和理论研究。该代码可在https://github.com/mominabbass/sharp-maml上找到。

域泛化（DG）方法旨在开发概括到测试分布与训练数据不同的设置的模型。在本文中，我们专注于多源零拍DG的挑战性问题，其中来自多个源域的标记训练数据可用，但无法从目标域中访问数据。虽然这个问题已成为研究的重要话题，但令人惊讶的是，将所有源数据汇集在一起​​和培训单个分类器的简单解决方案在标准基准中具有竞争力。更重要的是，即使在不同域中明确地优化不变性的复杂方法也不一定提供对ERM的非微不足道的增益。在本文中，我们首次研究了预先指定的域标签和泛化性能之间的重要链接。使用动机案例研究和分布稳健优化算法的新变种，我们首先演示了如何推断的自定义域组可以通过数据集的原始域标签来实现一致的改进。随后，我们介绍了一种用于多域泛化，Muldens的一般方法，它使用基于ERM的深度合并骨干，并通过元优化算法执行隐式域重标。使用对多个标准基准测试的经验研究，我们表明Muldens不需要定制增强策略或特定于数据集的培训过程，始终如一地优于ERM，通过显着的边距，即使在比较时也会产生最先进的泛化性能对于利用域标签的现有方法。

In today's heavily overparameterized models, the value of the training loss provides few guarantees on model generalization ability. Indeed, optimizing only the training loss value, as is commonly done, can easily lead to suboptimal model quality. Motivated by prior work connecting the geometry of the loss landscape and generalization, we introduce a novel, effective procedure for instead simultaneously minimizing loss value and loss sharpness. In particular, our procedure, Sharpness-Aware Minimization (SAM), seeks parameters that lie in neighborhoods having uniformly low loss; this formulation results in a minmax optimization problem on which gradient descent can be performed efficiently. We present empirical results showing that SAM improves model generalization across a variety of benchmark datasets (e.g., CIFAR-{10, 100}, Ima-geNet, finetuning tasks) and models, yielding novel state-of-the-art performance for several. Additionally, we find that SAM natively provides robustness to label noise on par with that provided by state-of-the-art procedures that specifically target learning with noisy labels. We open source our code at https: //github.com/google-research/sam. * Work done as part of the Google AI Residency program.

在许多现实世界中的机器学习应用中，亚种群的转移存在着极大地存在，指的是包含相同亚种群组的培训和测试分布，但在亚种群频率中有所不同。重要性重新加权是通过对训练数据集中每个样本施加恒定或自适应抽样权重来处理亚种群转移问题的正常方法。但是，最近的一些研究已经认识到，这些方法中的大多数无法改善性能，而不是经验风险最小化，尤其是当应用于过度参数化的神经网络时。在这项工作中，我们提出了一个简单而实用的框架，称为“不确定性感知混合”（UMIX），以根据样品不确定性重新加权“混合”样品来减轻过度参数化模型中的过度拟合问题。基于训练 - 注射器的不确定性估计为每个样品的拟议UMIX配备，以灵活地表征亚群分布。我们还提供有见地的理论分析，以验证UMIX是否在先前的工作中实现了更好的概括界限。此外，我们在广泛的任务上进行了广泛的经验研究，以验证我们方法的有效性，既有定性和定量。

域对抗训练无处不在地实现不变表示，并广泛用于各种域适应任务。近来，融合到平滑最佳的方法已显示出对分类等监督学习任务的改进的概括。在这项工作中，我们分析了增强配方对域对抗训练的影响，其目的是任务损失（例如分类，回归等）和对抗性术语的组合。我们发现，相对于（W.R.T.）任务损失融合了平滑的最小值，可以稳定对抗性训练，从而在目标域上获得更好的性能。与任务损失相反，我们的分析表明，融合到平滑的最小W.R.T.对抗损失导致目标结构域的次级概括。基于分析，我们介绍了平滑的域对抗训练（SDAT）程序，该程序有效地增强了现有域对抗方法的性能，以进行分类和对象检测任务。我们的分析还提供了对社区中亚当（Adam）对域名对抗训练的广泛使用的洞察力。

持续学习需要与一系列任务的逐步兼容性。但是，模型体系结构的设计仍然是一个悬而未决的问题：一般而言，以一组共享的参数学习所有任务都受到任务之间的严重干扰；使用专用参数子空间学习每个任务时，受到可扩展性的限制。在这项工作中，我们从理论上分析了在不断学习中学习可塑性和记忆稳定性的概括错误，这可以在任务分布之间的（1）差异，（2）损失景观和（3）参数的覆盖率之间的差异。空间。然后，受到强大的生物学学习系统的启发，该系统通过多个平行的隔室处理顺序体验，我们建议将小型持续学习者（COSCL）的合作作为持续学习的一般策略。具体而言，我们介绍了一个架构，具有固定数量的较窄子网络，以并联学习所有增量任务，这可以自然地通过改善上限的三个组件来减少两个错误。为了增强这一优势，我们鼓励通过惩罚其功能表示的预测差异来合作这些子网络。有了固定的参数预算，COSCL可以将各种代表性的持续学习方法提高较大的利润率（例如，CIFAR-100-SC最高10.64％，CIFAR-100-RS为9.33％，CUB-200-100-100-100-100-100-100-100-100-100-100-100-100-100- 2011年和6.72％的小象征）并实现了新的最新性能。

清晰度感知最小化（SAM）是一种最近的训练方法，它依赖于最严重的重量扰动，可显着改善各种环境中的概括。我们认为，基于pac-bayes概括结合的SAM成功的现有理由，而收敛到平面最小值的想法是不完整的。此外，没有解释说在SAM中使用$ m $ sharpness的成功，这对于概括而言至关重要。为了更好地理解SAM的这一方面，我们理论上分析了其对角线性网络的隐式偏差。我们证明，SAM总是选择一种比标准梯度下降更好的解决方案，用于某些类别的问题，并且通过使用$ m $ -sharpness可以放大这种效果。我们进一步研究了隐性偏见在非线性网络上的特性，在经验上，我们表明使用SAM进行微调的标准模型可以导致显着的概括改进。最后，当与随机梯度一起使用时，我们为非凸目标提供了SAM的收敛结果。我们从经验上说明了深层网络的这些结果，并讨论了它们与SAM的概括行为的关系。我们的实验代码可在https://github.com/tml-epfl/understanding-sam上获得。

现实世界中的数据通常显示出不平衡的标签分布。有关数据不平衡的现有研究集中在单域设置上，即样本来自相同的数据分布。但是，自然数据可以起源于不同的领域，在一个领域中的少数族裔可以从其他域中具有丰富的实例。我们正式化了多域长尾识别（MDLT）的任务，该任务从多域不平衡数据中学习，解决了跨域的标签不平衡，域移动和不同标签分布，并将其推广到所有域级对。我们首先开发了域类的可传递性图，并表明这种可传递性决定了MDLT中学习的成功。然后，我们提出了Boda，这是一种理论上的学习策略，可以跟踪可转移性统计的上限，并确保跨域级分布之间的平衡对齐和校准。我们策划了基于广泛使用的多域数据集的五个MDLT基准测试，并将BODA与跨越不同学习策略的二十个算法进行比较。广泛而严格的实验验证了BODA的出色性能。此外，作为副产品，Boda建立了有关域泛化基准测试的新的最新最先进，强调了解决跨域数据不平衡的重要性，这对于改善概括至看不见的域可能至关重要。代码和数据可在以下网址获得：https：//github.com/yyzharry/multi-domain-mmbalance。

域的概括（DG）通过利用来自多个相关分布或域的标记培训数据在看不见的测试分布上表现良好的预测因子。为了实现这一目标，标准公式优化了所有可能域的最差性能。但是，由于最糟糕的转变在实践中的转变极不可能，这通常会导致过度保守的解决方案。实际上，最近的一项研究发现，没有DG算法在平均性能方面优于经验风险最小化。在这项工作中，我们认为DG既不是最坏的问题，也不是一个普通的问题，而是概率问题。为此，我们为DG提出了一个概率框架，我们称之为可能的域概括，其中我们的关键想法是在训练期间看到的分配变化应在测试时告诉我们可能的变化。为了实现这一目标，我们将培训和测试域明确关联为从同一基础元分布中获取的，并提出了一个新的优化问题 - 分数风险最小化（QRM） - 要求该预测因子以很高的概率概括。然后，我们证明了QRM：（i）产生的预测因子，这些预测因素将具有所需概率的新域（给定足够多的域和样本）； （ii）随着概括的所需概率接近一个，恢复因果预测因子。在我们的实验中，我们引入了针对DG的更全面的以分位数评估协议，并表明我们的算法在真实和合成数据上的最先进基准都优于最先进的基准。

培训和测试数据之间的分布变化通常会破坏深度学习模型的性能。近年来，许多工作都注意存在分布转移的领域泛化（DG），而目标数据看不见。尽管算法设计取得了进展，但长期以来一直忽略了两个基础因素：1）基于正则化的目标（例如，分布对齐）的优化和2）DG的模型选择，因为无法利用有关目标域的知识。在本文中，我们提出了用于域概括的优化和选择技术的混合。为了进行优化，我们利用改编的混音来生成一个分发数据集，该数据集可以指导首选项方向并通过帕累托优化进行优化。对于模型选择，我们生成一个验证数据集，距离目标分布距离更遥远，从而可以更好地表示目标数据。我们还提出了一些理论见解。对一个视觉分类基准和三个时间序列基准的全面实验表明，我们的模型优化和选择技术可以在很大程度上可以改善现有域概括算法的性能，甚至可以取得新的最先进的结果。

在联邦设置中接受培训的模型通常会遭受降解的表演，并且在概括方面失败，尤其是在面对异质场景时。在这项工作中，我们通过损失和黑森特征光谱的几何形状的镜头来研究这种行为，将模型缺乏概括能力与溶液的清晰度联系起来。通过先前的研究将损失表面和概括差距连接起来的动机，我们表明i）在本地培训客户，以清晰感最小化（SAM）或其自适应版本（ASAM）和II）平均随机重量（SWA）服务器端可以基本上改善联合学习的概括，并帮助弥合差距，以中央集权模型。通过在具有均匀损失均匀损失的社区中寻求参数，该模型会收敛于平坦的最小值及其泛化，从而在均质和异质情况下都显着改善。经验结果证明了这些优化器在各种基准视觉数据集（例如CIFAR10/100，Landmarks-User-160K，IDDA）和任务（大规模分类，语义分割，域概括）中的有效性。

机器学习模型的基本挑战是由于杂散的相关性部分地推广到分销（OOD）数据。为了解决这一挑战，我们首先将“ood泛化问题”正式形式化为受限制的优化，称为解剖学限制域泛化（DDG）。我们以有限维参数化和经验逼近的方式将该非普通约束优化放宽到贸易形式。然后，提供了对上述变换偏离原始问题的程度的理论分析。基于转型，我们提出了一种用于联合表示解剖和域泛化的原始双向算法。与基于领域对抗性培训和域标签的传统方法形成鲜明对比，DDG共同学习解剖学的语义和变化编码器，使灵活的操纵和增强训练数据。 DDG旨在学习语义概念的内在表示，这些概念不变于滋扰因素，并遍布不同的域。对流行基准的综合实验表明，DDG可以实现竞争性的ood性能，并在数据中揭示可解释的突出结构。

当部署和培训之间存在分配变化时，深层神经网络的性能恶化严重。域的概括（DG）旨在通过仅依靠一组源域来安全地传输模型以看不见目标域。尽管已经提出了各种DG方法，但最近的一项名为Domainbed的研究表明，其中大多数没有超过简单的经验风险最小化（ERM）。为此，我们提出了一个通用框架，该框架与现有的DG算法是正交的，并且可以始终如一地提高其性能。与以前的DG作品不同的是，在静态源模型上有希望成为通用的DG，我们提出的ADAODM会在测试时间适应不同目标域的源模型。具体而言，我们在共享域形式的特征提取器上创建多个域特异性分类器。特征提取器和分类器以对抗性方式进行了训练，其中特征提取器将输入样品嵌入到域不变的空间中，并且多个分类器捕获了每个分类器与特定源域有关的独特决策边界。在测试过程中，可以通过利用源分类器之间的预测分歧来有效地衡量目标和源域之间的分布差异。通过微调源模型以最大程度地减少测试时间的分歧，目标域特征与不变特征空间很好地对齐。我们验证了两种流行的DG方法，即ERM和Coral，以及四个DG基准，即VLCS，PACS，OfficeHome和TerrainCognita。结果表明，ADAODM稳定地提高了对看不见的域的概括能力，并实现了最先进的性能。

分发概括是将模型从实验室转移到现实世界时的关键挑战之一。现有努力主要侧重于源和目标域之间建立不变的功能。基于不变的功能，源域上的高性能分类可以在目标域上同样良好。换句话说，不变的功能是\ emph {transcorable}。然而，在实践中，没有完全可转换的功能，并且一些算法似乎学习比其他算法更学习“更可转移”的特征。我们如何理解和量化此类\ EMPH {可转录性}？在本文中，我们正式定义了一种可以量化和计算域泛化的可转换性。我们指出了与域之间的常见差异措施的差异和连接，例如总变化和Wassersein距离。然后，我们证明我们可以使用足够的样本估计我们的可转换性，并根据我们的可转移提供目标误差的新上限。经验上，我们评估现有算法学习的特征嵌入的可转换性，以获得域泛化。令人惊讶的是，我们发现许多算法并不完全学习可转让的功能，尽管很少有人仍然可以生存。鉴于此，我们提出了一种用于学习可转移功能的新算法，并在各种基准数据集中测试，包括RotationMnist，PACS，Office和Wilds-FMOW。实验结果表明，该算法在许多最先进的算法上实现了一致的改进，证实了我们的理论发现。

已知最近的清晰度感知最小化（SAM）可以找到平坦的最小值，这有助于改善稳健性。 Sam通过报告当前迭代周围的小社区内的最大损失值来修改损失函数。但是，它使用欧几里得球来定义邻域，这可能是不准确的，因为神经网络的损失函数通常是根据概率分布（例如类预测概率）定义的，从而使参数空间空间非欧几里得。在本文中，我们在定义邻里时考虑了模型参数空间的信息几何形状，即用Fisher信息引起的椭圆形取代Sam的欧几里得球。我们称为Fisher Sam的方法定义了符合基础统计歧管的内在度量的更准确的邻域结构。例如，由于我们的Fisher Sam避免了参数空间几何形状，因此SAM可能会在附近或不当远处探测最坏情况下的损失值。最近，另一种自适应SAM方法会根据参数幅度的规模拉伸/收缩欧几里得球。这可能是危险的，有可能破坏邻里结构。我们证明了在几个基准数据集/任务上提出的Fisher SAM的性能提高。