无监督域适应（UDA）的绝大多数现有算法都集中在以一次性的方式直接从标记的源域调整到未标记的目标域。另一方面，逐渐的域适应性（GDA）假设桥接源和目标的$（t-1）$未标记的中间域，并旨在通过利用中间的路径在目标域中提供更好的概括。在某些假设下，Kumar等人。 （2020）提出了一种简单的算法，逐渐自我训练，以及按$ e^{o（t）} \ left的顺序结合的概括（\ varepsilon_0+o \ of \ left（\ sqrt {log（log（log（t）/n log（t）/n） } \ right）\ right）$对于目标域错误，其中$ \ varepsilon_0 $是源域错误，$ n $是每个域的数据大小。由于指数因素，当$ t $仅适中时，该上限变得空虚。在这项工作中，我们在更一般和放松的假设下分析了逐步的自我训练，并证明概括为$ \ varepsilon_0 + o \ left（t \ delta + t/\ sqrt {n} {n} \ right） + \ widetilde { o} \ left（1/\ sqrt {nt} \ right）$，其中$ \ delta $是连续域之间的平均分配距离。与对$ t $作为乘法因素的指数依赖性的现有界限相比，我们的界限仅取决于$ t $线性和添加性。也许更有趣的是，我们的结果意味着存在最佳的$ t $的最佳选择，从而最大程度地减少了概括性错误，并且自然也暗示了一种构造中间域路径的最佳方法，以最大程度地减少累积路径长度$ t \ delta源和目标之间的$。为了证实我们理论的含义，我们检查了对多个半合成和真实数据集的逐步自我训练，这证实了我们的发现。我们相信我们的见解为未来GDA算法设计的途径提供了前进的途径。

所有著名的机器学习算法构成了受监督和半监督的学习工作，只有在一个共同的假设下：培训和测试数据遵循相同的分布。当分布变化时，大多数统计模型必须从新收集的数据中重建，对于某些应用程序，这些数据可能是昂贵或无法获得的。因此，有必要开发方法，以减少在相关领域中可用的数据并在相似领域中进一步使用这些数据，从而减少需求和努力获得新的标签样品。这引起了一个新的机器学习框架，称为转移学习：一种受人类在跨任务中推断知识以更有效学习的知识能力的学习环境。尽管有大量不同的转移学习方案，但本调查的主要目的是在特定的，可以说是最受欢迎的转移学习中最受欢迎的次级领域，概述最先进的理论结果，称为域适应。在此子场中，假定数据分布在整个培训和测试数据中发生变化，而学习任务保持不变。我们提供了与域适应性问题有关的现有结果的首次最新描述，该结果涵盖了基于不同统计学习框架的学习界限。

Due to the ability of deep neural nets to learn rich representations, recent advances in unsupervised domain adaptation have focused on learning domain-invariant features that achieve a small error on the source domain. The hope is that the learnt representation, together with the hypothesis learnt from the source domain, can generalize to the target domain. In this paper, we first construct a simple counterexample showing that, contrary to common belief, the above conditions are not sufficient to guarantee successful domain adaptation. In particular, the counterexample exhibits conditional shift: the class-conditional distributions of input features change between source and target domains. To give a sufficient condition for domain adaptation, we propose a natural and interpretable generalization upper bound that explicitly takes into account the aforementioned shift. Moreover, we shed new light on the problem by proving an information-theoretic lower bound on the joint error of any domain adaptation method that attempts to learn invariant representations. Our result characterizes a fundamental tradeoff between learning invariant representations and achieving small joint error on both domains when the marginal label distributions differ from source to target. Finally, we conduct experiments on real-world datasets that corroborate our theoretical findings. We believe these insights are helpful in guiding the future design of domain adaptation and representation learning algorithms.

This paper addresses the problem of unsupervised domain adaption from theoretical and algorithmic perspectives. Existing domain adaptation theories naturally imply minimax optimization algorithms, which connect well with the domain adaptation methods based on adversarial learning. However, several disconnections still exist and form the gap between theory and algorithm. We extend previous theories (Mansour et al., 2009c;Ben-David et al., 2010) to multiclass classification in domain adaptation, where classifiers based on the scoring functions and margin loss are standard choices in algorithm design. We introduce Margin Disparity Discrepancy, a novel measurement with rigorous generalization bounds, tailored to the distribution comparison with the asymmetric margin loss, and to the minimax optimization for easier training. Our theory can be seamlessly transformed into an adversarial learning algorithm for domain adaptation, successfully bridging the gap between theory and algorithm. A series of empirical studies show that our algorithm achieves the state of the art accuracies on challenging domain adaptation tasks.

转移学习或域适应性与机器学习问题有关，在这些问题中，培训和测试数据可能来自可能不同的概率分布。在这项工作中，我们在Russo和Xu发起的一系列工作之后，就通用错误和转移学习算法的过量风险进行了信息理论分析。我们的结果也许表明，也许正如预期的那样，kullback-leibler（kl）Divergence $ d（\ mu || \ mu'）$在$ \ mu $和$ \ mu'$表示分布的特征中起着重要作用。培训数据和测试测试。具体而言，我们为经验风险最小化（ERM）算法提供了概括误差上限，其中两个分布的数据在训练阶段都可用。我们进一步将分析应用于近似的ERM方法，例如Gibbs算法和随机梯度下降方法。然后，我们概括了与$ \ phi $ -Divergence和Wasserstein距离绑定的共同信息。这些概括导致更紧密的范围，并且在$ \ mu $相对于$ \ mu' $的情况下，可以处理案例。此外，我们应用了一套新的技术来获得替代的上限，该界限为某些学习问题提供了快速（最佳）的学习率。最后，受到派生界限的启发，我们提出了Infoboost算法，其中根据信息测量方法对源和目标数据的重要性权重进行了调整。经验结果表明了所提出的算法的有效性。

域的适应性旨在将从源域获得的标记实例转移到目标域，以填补域之间的空白。大多数域适应方法都假定源和目标域具有相同的维度。当每个域中的特征数量不同时，都很少研究当适用的方法，尤其是当未给出从目标域获得的测试数据的标签信息时。在本文中，假定在两个域中都存在共同特征，并且在目标域中观察到额外的（新的）特征。因此，目标域的维度高于源域的维度。为了利用共同特征的均匀性，这些源和目标域之间的适应性被称为最佳运输（OT）问题。此外，得出了基于ot的方法的目标域中的学习结合。使用模拟和现实世界数据对所提出的算法进行验证。

当源和目标域之间存在较大差异时，无监督域适应性的有效性会降低。通过利用逐渐从源到目标转移的其他未标记数据，逐渐的域适应（GDA）是减轻此问题的一种有希望的方法。通过依次沿“索引”中间域调整模型，GDA显着提高了整体适应性性能。但是，实际上，额外的未标记数据可能不会分离为中间域并正确索引，从而限制了GDA的适用性。在本文中，我们研究了如何在尚未可用时发现中间域的序列。具体而言，我们提出了一个粗到精细的框架，该框架从通过渐进域鉴别训练的粗域发现步骤开始。然后，这种粗糙的域序列通过新的周期矛盾损失进行了精细的索引步骤，这鼓励下一个中间域，以保留对当前中间域的足够判别知识。然后可以通过GDA算法使用所得的域序列。在GDA的基准数据集上，我们表明，我们将其命名为中间域标签（偶像）的方法可以导致与预定义的域序列相比，可相当甚至更好的适应性性能，使GDA更适合质量，使GDA更适用和强大域序列。代码可从https://github.com/hongyouc/idol获得。

分发概括是将模型从实验室转移到现实世界时的关键挑战之一。现有努力主要侧重于源和目标域之间建立不变的功能。基于不变的功能，源域上的高性能分类可以在目标域上同样良好。换句话说，不变的功能是\ emph {transcorable}。然而，在实践中，没有完全可转换的功能，并且一些算法似乎学习比其他算法更学习“更可转移”的特征。我们如何理解和量化此类\ EMPH {可转录性}？在本文中，我们正式定义了一种可以量化和计算域泛化的可转换性。我们指出了与域之间的常见差异措施的差异和连接，例如总变化和Wassersein距离。然后，我们证明我们可以使用足够的样本估计我们的可转换性，并根据我们的可转移提供目标误差的新上限。经验上，我们评估现有算法学习的特征嵌入的可转换性，以获得域泛化。令人惊讶的是，我们发现许多算法并不完全学习可转让的功能，尽管很少有人仍然可以生存。鉴于此，我们提出了一种用于学习可转移功能的新算法，并在各种基准数据集中测试，包括RotationMnist，PACS，Office和Wilds-FMOW。实验结果表明，该算法在许多最先进的算法上实现了一致的改进，证实了我们的理论发现。

Domain adaptation aims at generalizing a high-performance learner on a target domain via utilizing the knowledge distilled from a source domain which has a different but related data distribution. One solution to domain adaptation is to learn domain invariant feature representations while the learned representations should also be discriminative in prediction. To learn such representations, domain adaptation frameworks usually include a domain invariant representation learning approach to measure and reduce the domain discrepancy, as well as a discriminator for classification. Inspired by Wasserstein GAN, in this paper we propose a novel approach to learn domain invariant feature representations, namely Wasserstein Distance Guided Representation Learning (WD-GRL). WDGRL utilizes a neural network, denoted by the domain critic, to estimate empirical Wasserstein distance between the source and target samples and optimizes the feature extractor network to minimize the estimated Wasserstein distance in an adversarial manner. The theoretical advantages of Wasserstein distance for domain adaptation lie in its gradient property and promising generalization bound. Empirical studies on common sentiment and image classification adaptation datasets demonstrate that our proposed WDGRL outperforms the state-of-the-art domain invariant representation learning approaches.

在域适应性中，当源和目标域之间存在较大距离时，预测性能将降低。假设我们可以访问中间域，从源逐渐从源转移到目标域，则逐渐的域适应性是解决此类问题的解决方案之一。在以前的工作中，假定中间域中的样品数量足够大。因此，无需标记数据就可以进行自我训练。如果限制了可访问的中间域的数量，则域之间的距离变得很大，并且自我训练将失败。实际上，中间域中样品的成本会有所不同，自然可以考虑到中间域越接近目标域，从中间域中获得样品的成本就越高。为了解决成本和准确性之间的权衡，我们提出了一个结合了多重率和主动领域适应性的框架。通过使用现实世界数据集的实验来评估所提出方法的有效性。

当源和目标域之间存在较大的差距时，常规域的适应方法无法正常工作。逐渐的域适应性是通过利用中间域来解决问题的方法之一，该域逐渐从源源转移到目标域。先前的工作假设中间域的数量很大，并且相邻域的距离很小。因此，适用于未标记的数据集通过自我训练的逐渐域适应算法。但是，实际上，由于中间域的数量有限，并且相邻域的距离很大，因此逐渐的自我训练将失败。我们建议使用归一化流量来减轻此问题，同时保持无监督域适应的框架。我们通过标准化流量生成伪中间域，然后将其用于逐渐的域适应性。我们通过使用现实世界数据集的实验来评估我们的方法，并确认我们提出的方法减轻了上述解释的问题并改善了分类性能。

Recent work reported the label alignment property in a supervised learning setting: the vector of all labels in the dataset is mostly in the span of the top few singular vectors of the data matrix. Inspired by this observation, we derive a regularization method for unsupervised domain adaptation. Instead of regularizing representation learning as done by popular domain adaptation methods, we regularize the classifier so that the target domain predictions can to some extent ``align" with the top singular vectors of the unsupervised data matrix from the target domain. In a linear regression setting, we theoretically justify the label alignment property and characterize the optimality of the solution of our regularization by bounding its distance to the optimal solution. We conduct experiments to show that our method can work well on the label shift problems, where classic domain adaptation methods are known to fail. We also report mild improvement over domain adaptation baselines on a set of commonly seen MNIST-USPS domain adaptation tasks and on cross-lingual sentiment analysis tasks.

Discriminative learning methods for classification perform well when training and test data are drawn from the same distribution. Often, however, we have plentiful labeled training data from a source domain but wish to learn a classifier which performs well on a target domain with a different distribution and little or no labeled training data. In this work we investigate two questions. First, under what conditions can a classifier trained from source data be expected to perform well on target data? Second, given a small amount of labeled target data, how should we combine it during training with the large amount of labeled source data to achieve the lowest target error at test time?

在高风险任务中，对ML模型的依赖越来越多，引起了人们对公平违规行为的重大关注。尽管已经有一系列的工作来改善算法公平，但其中大多数都在相同的培训和测试分布的假设下。但是，在许多现实世界中，这种假设经常被违反，因为以前训练的公平模型经常被部署在不同的环境中，并且已经观察到这种模型的公平性会崩溃。在本文中，我们研究了如何转移分配变化的模型公平性，这是实践中普遍存在的问题。我们对公平模型在不同类型的分布变化下如何影响公平模型进行细粒度分析，并发现域移位比亚群体更具挑战性。受到自我训练在域移动下转移准确性方面的成功的启发，我们得出了一个足够的条件，可以转移群体公平。在它的指导下，我们提出了一种实用算法，其一致性正则化为关键组成部分。涵盖所有类型的分布变化的合成数据集基准，用于对理论发现的实验验证。关于合成和真实数据集（包括图像和表格数据）的实验表明，我们的方法在各种分布变化下有效地传递了公平和准确性。

域的概括旨在学习一个通用模型，该模型在看不见的目标域上表现良好，并结合了来自多个源域的知识。在这项研究中，我们考虑了以下场景，在不同类别跨领域的条件分布之间发生不同的领域变化。当源域中的标记样品受到限制时，现有方法不足以鲁棒。为了解决这个问题，我们提出了一个新型的域泛化框架，称为Wasserstein分布在鲁棒域的概括（WDRDG），灵感来自分布稳健优化的概念。我们鼓励对特定于类的Wasserstein不确定性集中有条件分布的鲁棒性，并优化分类器在这些不确定性集上的最差性能。我们进一步开发了一个测试时间适应模块，利用最佳运输来量化未见目标域和源域之间的关系，以使目标数据适应性推断。旋转MNIST，PACS和VLCS数据集的实验表明，我们的方法可以有效地平衡挑战性概括场景中的鲁棒性和可区分性。

伪标签的使用占上处，以解决无监督的域自适应（UDA）重新识别（RE-ID），具有最佳性能。事实上，这家族的方法已经上升到几个有效的UDA重新ID特定框架。在这些作品中，改善伪标签UDA重新ID性能的研究方向多样化，主要基于直觉和实验：炼制伪标签，减少伪标签中的错误的影响......它可能很难推断出来它们是一般的良好做法，可以以任何伪标记方法实施，以始终如一地提高其性能。为了解决这一关键问题，提出了一个关于伪标签UDA RE-ID的新的理论视图。这些贡献是三倍：（i）伪标签UDA重新ID的新理论框架，通过UDA重新ID性能的新一般学习上限，正式化。 （ii）伪标签的一般良好做法，直接推导出拟议的理论框架的解释，以改善目标重新ID表现。 （iii）关于具有挑战性的人和车辆交叉数据集重新ID任务的广泛实验，对各种最先进的方法和各种建议的良好实践实现显示了一致的性能改进。

本文的目的是设计主动学习策略，从而在Lipschitz函数的假设下导致领域适应。以Mansour等人的先前作品为基础。（2009年）我们调整了源和目标分布之间的差异距离的概念，以将假设类别的最大化限制为在源域上执行准确标记的局部函数类别的最大化。我们根据Rademacher平均值和满足规律性条件的一般损失函数的局部差异来得出此类主动学习策略的概括误差界限。可以从理论界限推断出可以解决大数据集情况的实用k-媒体算法。我们的数值实验表明，在域适应性的背景下，所提出的算法与其他最先进的活跃学习技术具有竞争力，尤其是在大约十万张图像的大数据集上。

深度学习已成为解决不同领域中现实世界中问题的首选方法，部分原因是它能够从数据中学习并在广泛的应用程序上实现令人印象深刻的性能。但是，它的成功通常取决于两个假设：（i）精确模型拟合需要大量标记的数据集，并且（ii）培训和测试数据是独立的且分布相同的。因此，不能保证它在看不见的目标域上的性能，尤其是在适应阶段遇到分布数据的数据时。目标域中数据的性能下降是部署深层神经网络的关键问题，这些网络已成功地在源域中的数据训练。通过利用标记的源域数据和未标记的目标域数据来执行目标域中的各种任务，提出了无监督的域适应（UDA）来对抗这一点。 UDA在自然图像处理，视频分析，自然语言处理，时间序列数据分析，医学图像分析等方面取得了令人鼓舞的结果。在本综述中，作为一个快速发展的主题，我们对其方法和应用程序进行了系统的比较。此外，还讨论了UDA与其紧密相关的任务的联系，例如域的概括和分布外检测。此外，突出显示了当前方法和可能有希望的方向的缺陷。

学习域不变的表示已成为域适应/概括的最受欢迎的方法之一。在本文中，我们表明不变的表示可能不足以保证良好的概括，在考虑标签函数转移的情况下。受到这一点的启发，我们首先在经验风险上获得了新的概括上限，该概括风险明确考虑了标签函数移动。然后，我们提出了特定领域的风险最小化（DRM），该风险最小化（DRM）可以分别对不同域的分布移动进行建模，并为目标域选择最合适的域。对四个流行的域概括数据集（CMNIST，PACS，VLCS和域）进行了广泛的实验，证明了所提出的DRM对域泛化的有效性，具有以下优点：1）它的表现明显超过了竞争性盆地的表现； 2）与香草经验风险最小化（ERM）相比，所有训练领域都可以在所有训练领域中具有可比性或优越的精度； 3）在培训期间，它仍然非常简单和高效，4）与不变的学习方法是互补的。

机器学习系统通常假设训练和测试分布是相同的。为此，关键要求是开发可以概括到未经看不见的分布的模型。领域泛化（DG），即分销概括，近年来引起了越来越令人利益。域概括处理了一个具有挑战性的设置，其中给出了一个或几个不同但相关域，并且目标是学习可以概括到看不见的测试域的模型。多年来，域概括地区已经取得了巨大进展。本文提出了对该地区最近进步的首次审查。首先，我们提供了域泛化的正式定义，并讨论了几个相关领域。然后，我们彻底审查了与域泛化相关的理论，并仔细分析了泛化背后的理论。我们将最近的算法分为三个类：数据操作，表示学习和学习策略，并为每个类别详细介绍几种流行的算法。第三，我们介绍常用的数据集，应用程序和我们的开放源代码库进行公平评估。最后，我们总结了现有文学，并为未来提供了一些潜在的研究主题。