学习域不变的表示已成为域适应/概括的最受欢迎的方法之一。在本文中,我们表明不变的表示可能不足以保证良好的概括,在考虑标签函数转移的情况下。受到这一点的启发,我们首先在经验风险上获得了新的概括上限,该概括风险明确考虑了标签函数移动。然后,我们提出了特定领域的风险最小化(DRM),该风险最小化(DRM)可以分别对不同域的分布移动进行建模,并为目标域选择最合适的域。对四个流行的域概括数据集(CMNIST,PACS,VLCS和域)进行了广泛的实验,证明了所提出的DRM对域泛化的有效性,具有以下优点:1)它的表现明显超过了竞争性盆地的表现; 2)与香草经验风险最小化(ERM)相比,所有训练领域都可以在所有训练领域中具有可比性或优越的精度; 3)在培训期间,它仍然非常简单和高效,4)与不变的学习方法是互补的。
translated by 谷歌翻译
当部署和培训之间存在分配变化时,深层神经网络的性能恶化严重。域的概括(DG)旨在通过仅依靠一组源域来安全地传输模型以看不见目标域。尽管已经提出了各种DG方法,但最近的一项名为Domainbed的研究表明,其中大多数没有超过简单的经验风险最小化(ERM)。为此,我们提出了一个通用框架,该框架与现有的DG算法是正交的,并且可以始终如一地提高其性能。与以前的DG作品不同的是,在静态源模型上有希望成为通用的DG,我们提出的ADAODM会在测试时间适应不同目标域的源模型。具体而言,我们在共享域形式的特征提取器上创建多个域特异性分类器。特征提取器和分类器以对抗性方式进行了训练,其中特征提取器将输入样品嵌入到域不变的空间中,并且多个分类器捕获了每个分类器与特定源域有关的独特决策边界。在测试过程中,可以通过利用源分类器之间的预测分歧来有效地衡量目标和源域之间的分布差异。通过微调源模型以最大程度地减少测试时间的分歧,目标域特征与不变特征空间很好地对齐。我们验证了两种流行的DG方法,即ERM和Coral,以及四个DG基准,即VLCS,PACS,OfficeHome和TerrainCognita。结果表明,ADAODM稳定地提高了对看不见的域的概括能力,并实现了最先进的性能。
translated by 谷歌翻译
域适应(DA)从严格的理论作品中获益,研究其富有识别特征和各个方面,例如学习领域 - 不变的表示及其权衡。然而,由于多个源域的参与和训练期间目标域的潜在不可用的域,因此似乎不是这种源DA和域泛化(DG)设置的情况非常复杂和复杂。在本文中,我们为目标一般损失开发了新的上限,吸引我们来定义两种域名不变的表示。我们进一步研究了利弊以及执行学习每个领域不变的表示的权衡。最后,我们进行实验检查这些陈述的权衡,以便在实践中提供有关如何使用它们的实践提示,并探索我们发达理论的其他有趣性质。
translated by 谷歌翻译
Due to the ability of deep neural nets to learn rich representations, recent advances in unsupervised domain adaptation have focused on learning domain-invariant features that achieve a small error on the source domain. The hope is that the learnt representation, together with the hypothesis learnt from the source domain, can generalize to the target domain. In this paper, we first construct a simple counterexample showing that, contrary to common belief, the above conditions are not sufficient to guarantee successful domain adaptation. In particular, the counterexample exhibits conditional shift: the class-conditional distributions of input features change between source and target domains. To give a sufficient condition for domain adaptation, we propose a natural and interpretable generalization upper bound that explicitly takes into account the aforementioned shift. Moreover, we shed new light on the problem by proving an information-theoretic lower bound on the joint error of any domain adaptation method that attempts to learn invariant representations. Our result characterizes a fundamental tradeoff between learning invariant representations and achieving small joint error on both domains when the marginal label distributions differ from source to target. Finally, we conduct experiments on real-world datasets that corroborate our theoretical findings. We believe these insights are helpful in guiding the future design of domain adaptation and representation learning algorithms.
translated by 谷歌翻译
机器学习模型的基本挑战是由于杂散的相关性部分地推广到分销(OOD)数据。为了解决这一挑战,我们首先将“ood泛化问题”正式形式化为受限制的优化,称为解剖学限制域泛化(DDG)。我们以有限维参数化和经验逼近的方式将该非普通约束优化放宽到贸易形式。然后,提供了对上述变换偏离原始问题的程度的理论分析。基于转型,我们提出了一种用于联合表示解剖和域泛化的原始双向算法。与基于领域对抗性培训和域标签的传统方法形成鲜明对比,DDG共同学习解剖学的语义和变化编码器,使灵活的操纵和增强训练数据。 DDG旨在学习语义概念的内在表示,这些概念不变于滋扰因素,并遍布不同的域。对流行基准的综合实验表明,DDG可以实现竞争性的ood性能,并在数据中揭示可解释的突出结构。
translated by 谷歌翻译
在本文中,我们提出了一个新的领域概括(DG)框架,基于与看不见领域的风险的新上限。尤其是,我们的框架建议共同最大程度地减少可见域之间的协变量转移以及概念转移,从而在看不见的域上表现更好。虽然可以通过协变量和概念对准模块的任意组合来实施所提出的方法,但在这项工作中,我们使用良好的方法来分配一致性,即最大平均差异(MMD)和协方差比对(珊瑚)和使用,并使用不变的风险最小化(IRM)基于概念对齐的方法。我们的数值结果表明,所提出的方法在几个数据集上的域概括性要比最先进的方法执行或更好。
translated by 谷歌翻译
机器学习系统通常假设训练和测试分布是相同的。为此,关键要求是开发可以概括到未经看不见的分布的模型。领域泛化(DG),即分销概括,近年来引起了越来越令人利益。域概括处理了一个具有挑战性的设置,其中给出了一个或几个不同但相关域,并且目标是学习可以概括到看不见的测试域的模型。多年来,域概括地区已经取得了巨大进展。本文提出了对该地区最近进步的首次审查。首先,我们提供了域泛化的正式定义,并讨论了几个相关领域。然后,我们彻底审查了与域泛化相关的理论,并仔细分析了泛化背后的理论。我们将最近的算法分为三个类:数据操作,表示学习和学习策略,并为每个类别详细介绍几种流行的算法。第三,我们介绍常用的数据集,应用程序和我们的开放源代码库进行公平评估。最后,我们总结了现有文学,并为未来提供了一些潜在的研究主题。
translated by 谷歌翻译
分发概括是将模型从实验室转移到现实世界时的关键挑战之一。现有努力主要侧重于源和目标域之间建立不变的功能。基于不变的功能,源域上的高性能分类可以在目标域上同样良好。换句话说,不变的功能是\ emph {transcorable}。然而,在实践中,没有完全可转换的功能,并且一些算法似乎学习比其他算法更学习“更可转移”的特征。我们如何理解和量化此类\ EMPH {可转录性}?在本文中,我们正式定义了一种可以量化和计算域泛化的可转换性。我们指出了与域之间的常见差异措施的差异和连接,例如总变化和Wassersein距离。然后,我们证明我们可以使用足够的样本估计我们的可转换性,并根据我们的可转移提供目标误差的新上限。经验上,我们评估现有算法学习的特征嵌入的可转换性,以获得域泛化。令人惊讶的是,我们发现许多算法并不完全学习可转让的功能,尽管很少有人仍然可以生存。鉴于此,我们提出了一种用于学习可转移功能的新算法,并在各种基准数据集中测试,包括RotationMnist,PACS,Office和Wilds-FMOW。实验结果表明,该算法在许多最先进的算法上实现了一致的改进,证实了我们的理论发现。
translated by 谷歌翻译
域泛化(DG)方法旨在开发概括到测试分布与训练数据不同的设置的模型。在本文中,我们专注于多源零拍DG的挑战性问题,其中来自多个源域的标记训练数据可用,但无法从目标域中访问数据。虽然这个问题已成为研究的重要话题,但令人惊讶的是,将所有源数据汇集在一起​​和培训单个分类器的简单解决方案在标准基准中具有竞争力。更重要的是,即使在不同域中明确地优化不变性的复杂方法也不一定提供对ERM的非微不足道的增益。在本文中,我们首次研究了预先指定的域标签和泛化性能之间的重要链接。使用动机案例研究和分布稳健优化算法的新变种,我们首先演示了如何推断的自定义域组可以通过数据集的原始域标签来实现一致的改进。随后,我们介绍了一种用于多域泛化,Muldens的一般方法,它使用基于ERM的深度合并骨干,并通过元优化算法执行隐式域重标。使用对多个标准基准测试的经验研究,我们表明Muldens不需要定制增强策略或特定于数据集的培训过程,始终如一地优于ERM,通过显着的边距,即使在比较时也会产生最先进的泛化性能对于利用域标签的现有方法。
translated by 谷歌翻译
域的概括方法旨在学习使用有限数量的源域,在训练过程中无需访问目标域样本的数据,以学习强大的域移动模型。用于域概括的流行域对齐方法寻求通过最大程度地降低所有域的特征分布之间的差异来提取域不变特征,从而无视域间关系。在本文中,我们提出了一种新颖的表示学习方法,该方法有选择地强制估计密切相关的源域之间的预测一致性。具体而言,我们假设域共享不同的类信息表示形式,因此,我们仅适用于所有可能导致负转移的域,而是正规化与密切相关域之间的差异。我们将我们的方法应用于时间序列分类任务,并在三个公共现实世界数据集上进行全面的实验。与最先进的方法相比,在准确性和模型校准方面,我们的方法比基线大大改善了基线,并取得更好或竞争性的性能。
translated by 谷歌翻译
域泛化算法使用来自多个域的培训数据来学习概括到未经识别域的模型。虽然最近提出的基准证明大多数现有算法不优于简单的基线,但建立的评估方法未能暴露各种因素的影响,这有助于性能不佳。在本文中,我们提出了一个域泛化算法的评估框架,其允许将误差分解成组件捕获概念的不同方面。通过基于域不变表示学习的思想的算法的普遍性的启发,我们扩展了评估框架,以捕获在实现不变性时捕获各种类型的失败。我们表明,泛化误差的最大贡献者跨越方法,数据集,正则化强度甚至培训长度各不相同。我们遵守与学习域不变表示的策略相关的两个问题。在彩色的MNIST上,大多数域泛化算法失败,因为它们仅在训练域上达到域名不变性。在Camelyon-17上,域名不变性会降低看不见域的表示质量。我们假设专注于在丰富的代表之上调整分类器可以是有希望的方向。
translated by 谷歌翻译
域泛化(DG)方法旨在通过仅使用来自源域的训练数据来实现未经证明的目标域的概括性。虽然已经提出了各种DG方法,但最近的一项研究表明,在一个公平的评估方案下,称为域底,简单的经验风险最小化(ERM)方法可与以前的方法相当。不幸的是,简单地解决了ERM在复杂的非凸损函数上,可以通过寻求尖锐的最小值来容易地导致次优化的普遍性。在本文中,我们理论上表明发现扁平最小值导致较小的域泛化差距。我们还提出了一种简单而有效的方法,名为随机重量平均(纵向),找到扁平的最小值。瑞郎发现更漂亮的最小值,并且由于通过密集和过度感知的随机重量采样策略而遭受的过度装备不足。瑞士瑞士展示了五个DG基准测试,即PACS,VLC,OfficeHome,Terraincognita和Domainnet的最先进的表演,符合域名准确度的一致和大幅度+ 1.6%。我们还与常规的泛化方法(如数据增强和一致性正则化方法)进行比较,以验证显着的性能改进是通过寻求扁平的最小值,而不是更好的域概括性。最后但并非最不重要的是,瑞士剧本适应现有的DG方法而无需修改;施联和现有DG方法的组合进一步提高了DG性能。源代码可在https://github.com/khanrc/swad提供。
translated by 谷歌翻译
更广泛的人重新识别(Reid)在最近的计算机视觉社区中引起了不断的关注。在这项工作中,我们在身份标签,特定特定因素(衣服/鞋子颜色等)和域特定因素(背景,观点等)之间构建结构因果模型。根据因果分析,我们提出了一种新颖的域不变表示,以获得概括的人重新识别(DIR-REID)框架。具体而言,我们首先建议解散特定于特定的和域特定的特征空间,我们提出了一种有效的算法实现,用于后台调整,基本上是朝向SCM的因果干预。已经进行了广泛的实验,表明Dir-Reid在大规模域泛化Reid基准上表现出最先进的方法。
translated by 谷歌翻译
Deep Neural Networks (DNNs) suffer from domain shift when the test dataset follows a distribution different from the training dataset. Domain generalization aims to tackle this issue by learning a model that can generalize to unseen domains. In this paper, we propose a new approach that aims to explicitly remove domain-specific features for domain generalization. Following this approach, we propose a novel framework called Learning and Removing Domain-specific features for Generalization (LRDG) that learns a domain-invariant model by tactically removing domain-specific features from the input images. Specifically, we design a classifier to effectively learn the domain-specific features for each source domain, respectively. We then develop an encoder-decoder network to map each input image into a new image space where the learned domain-specific features are removed. With the images output by the encoder-decoder network, another classifier is designed to learn the domain-invariant features to conduct image classification. Extensive experiments demonstrate that our framework achieves superior performance compared with state-of-the-art methods.
translated by 谷歌翻译
域的概括旨在学习一个通用模型,该模型在看不见的目标域上表现良好,并结合了来自多个源域的知识。在这项研究中,我们考虑了以下场景,在不同类别跨领域的条件分布之间发生不同的领域变化。当源域中的标记样品受到限制时,现有方法不足以鲁棒。为了解决这个问题,我们提出了一个新型的域泛化框架,称为Wasserstein分布在鲁棒域的概括(WDRDG),灵感来自分布稳健优化的概念。我们鼓励对特定于类的Wasserstein不确定性集中有条件分布的鲁棒性,并优化分类器在这些不确定性集上的最差性能。我们进一步开发了一个测试时间适应模块,利用最佳运输来量化未见目标域和源域之间的关系,以使目标数据适应性推断。旋转MNIST,PACS和VLCS数据集的实验表明,我们的方法可以有效地平衡挑战性概括场景中的鲁棒性和可区分性。
translated by 谷歌翻译
Despite impressive success in many tasks, deep learning models are shown to rely on spurious features, which will catastrophically fail when generalized to out-of-distribution (OOD) data. Invariant Risk Minimization (IRM) is proposed to alleviate this issue by extracting domain-invariant features for OOD generalization. Nevertheless, recent work shows that IRM is only effective for a certain type of distribution shift (e.g., correlation shift) while it fails for other cases (e.g., diversity shift). Meanwhile, another thread of method, Adversarial Training (AT), has shown better domain transfer performance, suggesting that it has the potential to be an effective candidate for extracting domain-invariant features. This paper investigates this possibility by exploring the similarity between the IRM and AT objectives. Inspired by this connection, we propose Domainwise Adversarial Training (DAT), an AT-inspired method for alleviating distribution shift by domain-specific perturbations. Extensive experiments show that our proposed DAT can effectively remove domain-varying features and improve OOD generalization under both correlation shift and diversity shift.
translated by 谷歌翻译
对分布(OOD)数据的概括是人类自然的能力,但对于机器而言挑战。这是因为大多数学习算法强烈依赖于i.i.d.〜对源/目标数据的假设,这在域转移导致的实践中通常会违反。域的概括(DG)旨在通过仅使用源数据进行模型学习来实现OOD的概括。在过去的十年中,DG的研究取得了长足的进步,导致了广泛的方法论,例如,基于域的一致性,元学习,数据增强或合奏学习的方法,仅举几例;还在各个应用领域进行了研究,包括计算机视觉,语音识别,自然语言处理,医学成像和强化学习。在本文中,首次提供了DG中的全面文献综述,以总结过去十年来的发展。具体而言,我们首先通过正式定义DG并将其与其他相关领域(如域适应和转移学习)联系起来来涵盖背景。然后,我们对现有方法和理论进行了彻底的审查。最后,我们通过有关未来研究方向的见解和讨论来总结这项调查。
translated by 谷歌翻译
现实世界中的数据通常显示出不平衡的标签分布。有关数据不平衡的现有研究集中在单域设置上,即样本来自相同的数据分布。但是,自然数据可以起源于不同的领域,在一个领域中的少数族裔可以从其他域中具有丰富的实例。我们正式化了多域长尾识别(MDLT)的任务,该任务从多域不平衡数据中学习,解决了跨域的标签不平衡,域移动和不同标签分布,并将其推广到所有域级对。我们首先开发了域类的可传递性图,并表明这种可传递性决定了MDLT中学习的成功。然后,我们提出了Boda,这是一种理论上的学习策略,可以跟踪可转移性统计的上限,并确保跨域级分布之间的平衡对齐和校准。我们策划了基于广泛使用的多域数据集的五个MDLT基准测试,并将BODA与跨越不同学习策略的二十个算法进行比较。广泛而严格的实验验证了BODA的出色性能。此外,作为副产品,Boda建立了有关域泛化基准测试的新的最新最先进,强调了解决跨域数据不平衡的重要性,这对于改善概括至看不见的域可能至关重要。代码和数据可在以下网址获得:https://github.com/yyzharry/multi-domain-mmbalance。
translated by 谷歌翻译
所有著名的机器学习算法构成了受监督和半监督的学习工作,只有在一个共同的假设下:培训和测试数据遵循相同的分布。当分布变化时,大多数统计模型必须从新收集的数据中重建,对于某些应用程序,这些数据可能是昂贵或无法获得的。因此,有必要开发方法,以减少在相关领域中可用的数据并在相似领域中进一步使用这些数据,从而减少需求和努力获得新的标签样品。这引起了一个新的机器学习框架,称为转移学习:一种受人类在跨任务中推断知识以更有效学习的知识能力的学习环境。尽管有大量不同的转移学习方案,但本调查的主要目的是在特定的,可以说是最受欢迎的转移学习中最受欢迎的次级领域,概述最先进的理论结果,称为域适应。在此子场中,假定数据分布在整个培训和测试数据中发生变化,而学习任务保持不变。我们提供了与域适应性问题有关的现有结果的首次最新描述,该结果涵盖了基于不同统计学习框架的学习界限。
translated by 谷歌翻译
域的概括(DG)旨在学习通过使用来自多个相关源域的数据,其在测试时间遇到的看不见的域的性能保持较高的模型。许多现有的DG算法降低了表示空间中源分布之间的差异,从而有可能使靠近来源的看不见的域对齐。这是由分析的动机,该分析解释了使用分布距离(例如Wasserstein距离)与来源的分布距离(例如Wasserstein距离)的概括。但是,由于DG目标的开放性,使用一些基准数据集对DG算法进行全面评估是一项挑战。特别是,我们证明了用DG方法训练的模型的准确性在未见的域中,从流行的基准数据集生成的未见域有很大差异。这强调了DG方法在一些基准数据集上的性能可能无法代表其在野外看不见的域上的性能。为了克服这一障碍,我们提出了一个基于分配强大优化(DRO)的通用认证框架,该框架可以有效地证明任何DG方法的最差性能。这使DG方法与基准数据集的经验评估互补的DG方法无关。此外,我们提出了一种培训算法,可以与任何DG方法一起使用,以改善其认证性能。我们的经验评估证明了我们方法在显着改善最严重的损失(即降低野生模型失败的风险)方面的有效性,而不会在基准数据集上产生显着的性能下降。
translated by 谷歌翻译