在域适应性中，当源和目标域之间存在较大距离时，预测性能将降低。假设我们可以访问中间域，从源逐渐从源转移到目标域，则逐渐的域适应性是解决此类问题的解决方案之一。在以前的工作中，假定中间域中的样品数量足够大。因此，无需标记数据就可以进行自我训练。如果限制了可访问的中间域的数量，则域之间的距离变得很大，并且自我训练将失败。实际上，中间域中样品的成本会有所不同，自然可以考虑到中间域越接近目标域，从中间域中获得样品的成本就越高。为了解决成本和准确性之间的权衡，我们提出了一个结合了多重率和主动领域适应性的框架。通过使用现实世界数据集的实验来评估所提出方法的有效性。

当源和目标域之间存在较大的差距时，常规域的适应方法无法正常工作。逐渐的域适应性是通过利用中间域来解决问题的方法之一，该域逐渐从源源转移到目标域。先前的工作假设中间域的数量很大，并且相邻域的距离很小。因此，适用于未标记的数据集通过自我训练的逐渐域适应算法。但是，实际上，由于中间域的数量有限，并且相邻域的距离很大，因此逐渐的自我训练将失败。我们建议使用归一化流量来减轻此问题，同时保持无监督域适应的框架。我们通过标准化流量生成伪中间域，然后将其用于逐渐的域适应性。我们通过使用现实世界数据集的实验来评估我们的方法，并确认我们提出的方法减轻了上述解释的问题并改善了分类性能。

无监督域适应（UDA）的绝大多数现有算法都集中在以一次性的方式直接从标记的源域调整到未标记的目标域。另一方面，逐渐的域适应性（GDA）假设桥接源和目标的$（t-1）$未标记的中间域，并旨在通过利用中间的路径在目标域中提供更好的概括。在某些假设下，Kumar等人。 （2020）提出了一种简单的算法，逐渐自我训练，以及按$ e^{o（t）} \ left的顺序结合的概括（\ varepsilon_0+o \ of \ left（\ sqrt {log（log（log（t）/n log（t）/n） } \ right）\ right）$对于目标域错误，其中$ \ varepsilon_0 $是源域错误，$ n $是每个域的数据大小。由于指数因素，当$ t $仅适中时，该上限变得空虚。在这项工作中，我们在更一般和放松的假设下分析了逐步的自我训练，并证明概括为$ \ varepsilon_0 + o \ left（t \ delta + t/\ sqrt {n} {n} \ right） + \ widetilde { o} \ left（1/\ sqrt {nt} \ right）$，其中$ \ delta $是连续域之间的平均分配距离。与对$ t $作为乘法因素的指数依赖性的现有界限相比，我们的界限仅取决于$ t $线性和添加性。也许更有趣的是，我们的结果意味着存在最佳的$ t $的最佳选择，从而最大程度地减少了概括性错误，并且自然也暗示了一种构造中间域路径的最佳方法，以最大程度地减少累积路径长度$ t \ delta源和目标之间的$。为了证实我们理论的含义，我们检查了对多个半合成和真实数据集的逐步自我训练，这证实了我们的发现。我们相信我们的见解为未来GDA算法设计的途径提供了前进的途径。

当源和目标域之间存在较大差异时，无监督域适应性的有效性会降低。通过利用逐渐从源到目标转移的其他未标记数据，逐渐的域适应（GDA）是减轻此问题的一种有希望的方法。通过依次沿“索引”中间域调整模型，GDA显着提高了整体适应性性能。但是，实际上，额外的未标记数据可能不会分离为中间域并正确索引，从而限制了GDA的适用性。在本文中，我们研究了如何在尚未可用时发现中间域的序列。具体而言，我们提出了一个粗到精细的框架，该框架从通过渐进域鉴别训练的粗域发现步骤开始。然后，这种粗糙的域序列通过新的周期矛盾损失进行了精细的索引步骤，这鼓励下一个中间域，以保留对当前中间域的足够判别知识。然后可以通过GDA算法使用所得的域序列。在GDA的基准数据集上，我们表明，我们将其命名为中间域标签（偶像）的方法可以导致与预定义的域序列相比，可相当甚至更好的适应性性能，使GDA更适合质量，使GDA更适用和强大域序列。代码可从https://github.com/hongyouc/idol获得。

我们考虑了主动域适应（ADA）对未标记的目标数据的问题，其中哪个子集被主动选择并给定预算限制标记。受到对域适应性源和目标之间的标签分布不匹配的关键问题的最新分析的启发，我们设计了一种方法，该方法在ADA中首次解决该问题。它的核心是一种新颖的抽样策略，该策略寻求目标数据，以最能近似整个目标分布以及代表性，多样化和不确定。然后，采样目标数据不仅用于监督学习，还用于匹配源和目标域的标签分布，从而导致了显着的性能改善。在四个公共基准测试中，我们的方法在每个适应方案中都大大优于现有方法。

最近，无监督的域适应是一种有效的范例，用于概括深度神经网络到新的目标域。但是，仍有巨大的潜力才能达到完全监督的性能。在本文中，我们提出了一种新颖的主动学习策略，以帮助目标域中的知识转移，有效域适应。我们从观察开始，即当训练（源）和测试（目标）数据来自不同的分布时，基于能量的模型表现出自由能量偏差。灵感来自这种固有的机制，我们经验揭示了一种简单而有效的能源 - 基于能量的采样策略揭示了比需要特定架构或距离计算的现有方法的最有价值的目标样本。我们的算法，基于能量的活动域适应（EADA），查询逻辑数据组，它将域特征和实例不确定性结合到每个选择回合中。同时，通过通过正则化术语对准源域周围的目标数据紧凑的自由能，可以隐含地减少域间隙。通过广泛的实验，我们表明EADA在众所周知的具有挑战性的基准上超越了最先进的方法，具有实质性的改进，使其成为开放世界中的一个有用的选择。代码可在https://github.com/bit-da/eada获得。

在域适应领域，模型性能与目标域注释的数量之间存在权衡。积极的学习，最大程度地提高了模型性能，几乎没有信息的标签数据，以方便这种情况。在这项工作中，我们提出了D2ADA，这是用于语义分割的一般活动域的适应框架。为了使模型使用最小查询标签调整到目标域，我们提出了在目标域中具有高概率密度的样品的获取标签，但源域中的概率密度较低，与现有源域标记的数据互补。为了进一步提高标签效率，我们设计了动态的调度策略，以调整域探索和模型不确定性之间的标签预算。广泛的实验表明，我们的方法的表现优于现有的活跃学习和域适应基线，这两个基准测试基准，GTA5-> CityScapes和Synthia-> CityScapes。对于目标域注释不到5％，我们的方法与完全监督的结果可比结果。我们的代码可在https://github.com/tsunghan-wu/d2ada上公开获取。

域的适应性旨在将从源域获得的标记实例转移到目标域，以填补域之间的空白。大多数域适应方法都假定源和目标域具有相同的维度。当每个域中的特征数量不同时，都很少研究当适用的方法，尤其是当未给出从目标域获得的测试数据的标签信息时。在本文中，假定在两个域中都存在共同特征，并且在目标域中观察到额外的（新的）特征。因此，目标域的维度高于源域的维度。为了利用共同特征的均匀性，这些源和目标域之间的适应性被称为最佳运输（OT）问题。此外，得出了基于ot的方法的目标域中的学习结合。使用模拟和现实世界数据对所提出的算法进行验证。

在线隐私的背景下，许多方法提出了复杂的隐私和安全保留措施来保护敏感数据。在本文中，我们争辩说：没有存储任何敏感数据是最佳的安全形式。因此，我们提出了一个在线框架，即“读完后燃烧”，即，在处理后立即删除每个在线样本。同时，我们将标记的公共数据和未标记的私人数据之间的不可避免的分布转移作为无监督域适应的问题。具体而言，我们提出了一种新的算法，旨在瞄准在线适应设置的最基本的挑战 - 缺乏不同的源目标数据对。因此，我们设计了一个跨域引导方法，称为Crodobo，以增加域中的组合分集。此外，为了充分利用各种组合中的宝贵差异，我们采用了共同监督的多个学习者的培训策略。 Crodobo在四个域适应基准上实现了最先进的在线表演。

虽然在许多域内生成并提供了大量的未标记数据，但对视觉数据的自动理解的需求高于以往任何时候。大多数现有机器学习模型通常依赖于大量标记的训练数据来实现高性能。不幸的是，在现实世界的应用中，不能满足这种要求。标签的数量有限，手动注释数据昂贵且耗时。通常需要将知识从现有标记域传输到新域。但是，模型性能因域之间的差异（域移位或数据集偏差）而劣化。为了克服注释的负担，域适应（DA）旨在在将知识从一个域转移到另一个类似但不同的域中时减轻域移位问题。无监督的DA（UDA）处理标记的源域和未标记的目标域。 UDA的主要目标是减少标记的源数据和未标记的目标数据之间的域差异，并在培训期间在两个域中学习域不变的表示。在本文中，我们首先定义UDA问题。其次，我们从传统方法和基于深度学习的方法中概述了不同类别的UDA的最先进的方法。最后，我们收集常用的基准数据集和UDA最先进方法的报告结果对视觉识别问题。

Top-performing deep architectures are trained on massive amounts of labeled data. In the absence of labeled data for a certain task, domain adaptation often provides an attractive option given that labeled data of similar nature but from a different domain (e.g. synthetic images) are available. Here, we propose a new approach to domain adaptation in deep architectures that can be trained on large amount of labeled data from the source domain and large amount of unlabeled data from the target domain (no labeled targetdomain data is necessary).As the training progresses, the approach promotes the emergence of "deep" features that are (i) discriminative for the main learning task on the source domain and (ii) invariant with respect to the shift between the domains. We show that this adaptation behaviour can be achieved in almost any feed-forward model by augmenting it with few standard layers and a simple new gradient reversal layer. The resulting augmented architecture can be trained using standard backpropagation.Overall, the approach can be implemented with little effort using any of the deep-learning packages. The method performs very well in a series of image classification experiments, achieving adaptation effect in the presence of big domain shifts and outperforming previous state-ofthe-art on Office datasets.

Active域适应（ADA）查询所选目标样本的标签，以帮助将模型从相关的源域调整为目标域。由于其有希望的表现，标签成本最少，因此最近引起了人们越来越多的关注。然而，现有的ADA方法尚未完全利用查询数据的局部环境，这对ADA很重要，尤其是当域间隙较大时。在本文中，我们提出了一个局部环境感知的活动域适应性（LADA）的新框架，该框架由两个关键模块组成。本地上下文感知的活动选择（LAS）模块选择其类概率预测与邻居不一致的目标样本。局部上下文感知模型适应（LMA）模块完善了具有查询样本及其扩展的邻居的模型，并由上下文保留损失正规化。广泛的实验表明，与现有的主动选择策略相比，LAS选择了更多的信息样本。此外，配备了LMA，整个LADA方法的表现优于各种基准测试的最先进的ADA解决方案。代码可在https://github.com/tsun/lada上找到。

Deep learning has produced state-of-the-art results for a variety of tasks. While such approaches for supervised learning have performed well, they assume that training and testing data are drawn from the same distribution, which may not always be the case. As a complement to this challenge, single-source unsupervised domain adaptation can handle situations where a network is trained on labeled data from a source domain and unlabeled data from a related but different target domain with the goal of performing well at test-time on the target domain. Many single-source and typically homogeneous unsupervised deep domain adaptation approaches have thus been developed, combining the powerful, hierarchical representations from deep learning with domain adaptation to reduce reliance on potentially-costly target data labels. This survey will compare these approaches by examining alternative methods, the unique and common elements, results, and theoretical insights. We follow this with a look at application areas and open research directions.

我们筹集并定义了一个新的众群情景，开放套装，在那里我们只知道一个不熟悉的众群项目的一般主题，我们不知道其标签空间，即可能的标签集。这仍然是一个任务注释问题，但与任务和标签空间的不熟悉妨碍了任务和工人的建模，以及真理推断。我们提出了一个直观的解决方案，Oscrowd。首先，Oscrowd将人群主题相关的数据集集成到一个大源域中，以便于部分传输学习，以近似这些任务的标签空间推理。接下来，它将基于类别相关性为每个源域分配权重。在此之后，它使用多源打开集传输学习来模拟人群任务并分配可能的注释。转让学习给出的标签空间和注释将用于指导和标准化人群工人的注释。我们在在线场景中验证了Oscrowd，并证明了Oscrowd解决了开放式众群问题，比相关的众包解决方案更好。

We introduce a new representation learning approach for domain adaptation, in which data at training and test time come from similar but different distributions. Our approach is directly inspired by the theory on domain adaptation suggesting that, for effective domain transfer to be achieved, predictions must be made based on features that cannot discriminate between the training (source) and test (target) domains.The approach implements this idea in the context of neural network architectures that are trained on labeled data from the source domain and unlabeled data from the target domain (no labeled target-domain data is necessary). As the training progresses, the approach promotes the emergence of features that are (i) discriminative for the main learning task on the source domain and (ii) indiscriminate with respect to the shift between the domains. We show that this adaptation behaviour can be achieved in almost any feed-forward model by augmenting it with few standard layers and a new gradient reversal layer. The resulting augmented architecture can be trained using standard backpropagation and stochastic gradient descent, and can thus be implemented with little effort using any of the deep learning packages.We demonstrate the success of our approach for two distinct classification problems (document sentiment analysis and image classification), where state-of-the-art domain adaptation performance on standard benchmarks is achieved. We also validate the approach for descriptor learning task in the context of person re-identification application.

在少数射击域适应（FDA）中，针对目标域的分类器在源域（SD）（SD）中使用可访问的标记数据进行训练，而目标域（TD）中的标记数据很少。但是，数据通常包含当前时代的私人信息，例如分布在个人电话上的数据。因此，如果我们直接访问SD中的数据以训练目标域分类器（FDA方法要求），则将泄漏私人信息。在本文中，为了彻底防止SD中的隐私泄漏，我们考虑了一个非常具有挑战性的问题设置，必须使用很少的标签目标数据和训练有素的SD分类器对TD的分类器进行培训，并将其命名为几个示例的假设适应（FHA）。在FHA中，我们无法访问SD中的数据，因此，SD中的私人信息将得到很好的保护。为此，我们提出了一个目标定向的假设适应网络（TOHAN）来解决FHA问题，在该问题中，我们生成了高度兼容的未标记数据（即中间域），以帮助培训目标域分类器。 Tohan同时保持了两个深网，其中一个专注于学习中间域，而另一个则要照顾中间靶向分布的适应性和目标风险最小化。实验结果表明，Tohan的表现要优于竞争基线。

域泛化（DG）利用多个标记的源数据集来训练未经化的目标域的概括模型。然而，由于昂贵的注释成本，在现实世界应用中难以满足标记所有源数据的要求。在本文中，我们调查单个标记的域泛化（SLDG）任务，只标有一个源域，这比传统的域泛化（CDG）更实用和具有挑战性。 SLDG任务中的主要障碍是可怜的概括偏置：标记源数据集中的鉴别信息可以包含特定于域的偏差，限制训练模型的泛化。为了解决这个具有挑战性的任务，我们提出了一种称为域特定偏置滤波（DSBF）的新方法，该方法用标记的源数据初始化识别模型，然后通过用于泛化改进的未标记的源数据来滤除其域特定的偏差。我们将过滤过程划分为（1）特征提取器扩展通过K-Means的基于聚类的语义特征重新提取和（2）分类器通过注意引导语义特征投影校准。 DSBF统一探索标签和未标记的源数据，以增强培训模型的可辨性和泛化，从而产生高度普遍的模型。我们进一步提供了理论分析，以验证所提出的域特定的偏置滤波过程。关于多个数据集的广泛实验显示了DSBF在解决具有挑战性的SLDG任务和CDG任务时的优越性。

域适应性是现代机器学习中的一种流行范式，旨在解决培训或验证数据集之间具有用于学习和测试分类器（源域）和潜在的大型未标记数据集的培训或验证数据集之间的分歧问题，其中利用了模型（目标域）（目标域）（目标域） 。任务是找到源数据集的源和目标数据集的这种常见表示，其中源数据集提供了培训的信息，因此可以最大程度地减少来源和目标之间的差异。目前，最流行的领域适应性解决方案是基于训练神经网络，这些神经网络结合了分类和对抗性学习模块，这些模块是饥饿的，通常很难训练。我们提出了一种称为域适应性主成分分析（DAPCA）的方法，该方法发现线性减少的数据表示有助于解决域适应任务。 DAPCA基于数据点对之间引入正权重，并概括了主成分分析的监督扩展。 DAPCA代表一种迭代算法，因此在每次迭代中都解决了一个简单的二次优化问题。保证算法的收敛性，并且在实践中的迭代次数很少。我们验证了先前提出的用于解决域适应任务的基准的建议算法，还显示了在生物医学应用中对单细胞法数据集进行分析中使用DAPCA的好处。总体而言，考虑到源域和目标域之间可能的差异，DAPCA可以作为许多机器学习应用程序中有用的预处理步骤。

我们提出了一种新颖的方法，即沙拉，用于将预先训练的“源”域网络适应“目标”域的挑战性视觉任务，在“目标”域中注释的预算很小，标签空间的变化。此外，该任务假定由于隐私问题或其他方式，源数据无法适应。我们假设这样的系统需要共同优化（i）从目标域中选择固定数量的样本以进行注释的双重任务，以及（ii）知识从预训练的网络转移到目标域。为此，沙拉由一个新颖的引导注意转移网络（GATN）和一个主动学习功能组成。 GATN启用了从预训练的网络到目标网络的特征蒸馏，并与HAL采用的转移性和不确定性标准相辅相成。沙拉有三个关键的好处：（i）它是任务不合时宜的，可以在各种视觉任务（例如分类，分割和检测）中应用； （ii）它可以处理从预训练的源网络到目标域的输出标签空间的变化； （iii）它不需要访问源数据进行适应。我们对3个视觉任务进行了广泛的实验，即。数字分类（MNIST，SVHN，VISDA），合成（GTA5）与真实（CityScapes）图像分割和文档布局检测（PublayNet to DSSE）。我们表明，我们的无源方法（沙拉）比先前的适应方法提高了0.5％-31.3％（跨数据集和任务），该方法假设访问大量带注释的源数据以进行适应。

Most previous unsupervised domain adaptation (UDA) methods for question answering(QA) require access to source domain data while fine-tuning the model for the target domain. Source domain data may, however, contain sensitive information and may be restricted. In this study, we investigate a more challenging setting, source-free UDA, in which we have only the pretrained source model and target domain data, without access to source domain data. We propose a novel self-training approach to QA models that integrates a unique mask module for domain adaptation. The mask is auto-adjusted to extract key domain knowledge while trained on the source domain. To maintain previously learned domain knowledge, certain mask weights are frozen during adaptation, while other weights are adjusted to mitigate domain shifts with pseudo-labeled samples generated in the target domain. %As part of the self-training process, we generate pseudo-labeled samples in the target domain based on models trained in the source domain. Our empirical results on four benchmark datasets suggest that our approach significantly enhances the performance of pretrained QA models on the target domain, and even outperforms models that have access to the source data during adaptation.