最近，深度神经网络在时间序列的预测中越来越受欢迎。他们成功的主要原因是他们有效捕获多个相关时间序列的复杂时间动态的能力。这些深度预测者的优势才开始在有足够数量的数据的情况下开始出现。这对实践中的典型预测问题提出了挑战，在实践中，每个时间序列的时间序列或观察值有限，或者两者兼而有之。为了应对这些数据稀缺问题，我们提出了一个新颖的域适应框架，域适应预报员（DAF）。 DAF利用具有丰富数据样本（源）的相关领域的统计强度，以通过有限的数据（目标）提高感兴趣域的性能。特别是，我们使用基于注意力的共享模块，该模块与跨域跨域和私人模块的域歧视器一起使用。我们同时诱导域不变的潜在特征（查询和密钥）和重新培训特定特征（值），以使源和目标域上的预报员的联合训练。一个主要的见解是，我们对齐密钥的设计使目标域即使具有不同的特征也可以利用源时间序列。对各个领域的广泛实验表明，我们提出的方法在合成和现实世界数据集上优于最先进的基准，而消融研究验证了我们的设计选择的有效性。

准确的实时流量预测对于智能运输系统（ITS）至关重要，它是各种智能移动应用程序的基石。尽管该研究领域以深度学习为主，但最近的研究表明，开发新模型结构的准确性提高正变得边缘。取而代之的是，我们设想可以通过在具有不同数据分布和网络拓扑的城市之间转移“与预测相关的知识”来实现改进。为此，本文旨在提出一个新型的可转移流量预测框架：域对抗空间 - 颞网（DASTNET）。 Dastnet已在多个源网络上进行了预训练，并通过目标网络的流量数据进行了微调。具体而言，我们利用图表表示学习和对抗域的适应技术来学习域不变的节点嵌入，这些嵌入式嵌入将进一步合并以建模时间流量数据。据我们所知，我们是第一个使用对抗性多域改编来解决网络范围的流量预测问题的人。 Dastnet始终优于三个基准数据集上的所有最新基线方法。训练有素的dastnet应用于香港的新交通探测器，并且在可用的探测器可用时（一天之内）可以立即（在一天之内）提供准确的交通预测。总体而言，这项研究提出了一种增强交通预测方法的替代方法，并为缺乏历史流量数据的城市提供了实际含义。

Deep domain adaptation has emerged as a new learning technique to address the lack of massive amounts of labeled data. Compared to conventional methods, which learn shared feature subspaces or reuse important source instances with shallow representations, deep domain adaptation methods leverage deep networks to learn more transferable representations by embedding domain adaptation in the pipeline of deep learning. There have been comprehensive surveys for shallow domain adaptation, but few timely reviews the emerging deep learning based methods. In this paper, we provide a comprehensive survey of deep domain adaptation methods for computer vision applications with four major contributions. First, we present a taxonomy of different deep domain adaptation scenarios according to the properties of data that define how two domains are diverged. Second, we summarize deep domain adaptation approaches into several categories based on training loss, and analyze and compare briefly the state-of-the-art methods under these categories. Third, we overview the computer vision applications that go beyond image classification, such as face recognition, semantic segmentation and object detection. Fourth, some potential deficiencies of current methods and several future directions are highlighted.

Deep learning has produced state-of-the-art results for a variety of tasks. While such approaches for supervised learning have performed well, they assume that training and testing data are drawn from the same distribution, which may not always be the case. As a complement to this challenge, single-source unsupervised domain adaptation can handle situations where a network is trained on labeled data from a source domain and unlabeled data from a related but different target domain with the goal of performing well at test-time on the target domain. Many single-source and typically homogeneous unsupervised deep domain adaptation approaches have thus been developed, combining the powerful, hierarchical representations from deep learning with domain adaptation to reduce reliance on potentially-costly target data labels. This survey will compare these approaches by examining alternative methods, the unique and common elements, results, and theoretical insights. We follow this with a look at application areas and open research directions.

睡眠分期在诊断和治疗睡眠障碍中非常重要。最近，已经提出了许多数据驱动的深度学习模型，用于自动睡眠分期。他们主要在一个大型公共标签的睡眠数据集上训练该模型，并在较小的主题上对其进行测试。但是，他们通常认为火车和测试数据是从相同的分布中绘制的，这可能在现实世界中不存在。最近已经开发了无监督的域适应性（UDA）来处理此域移位问题。但是，以前用于睡眠分期的UDA方法具有两个主要局限性。首先，他们依靠一个完全共享的模型来对齐，该模型可能会在功能提取过程中丢失特定于域的信息。其次，它们仅在全球范围内将源和目标分布对齐，而无需考虑目标域中的类信息，从而阻碍了测试时模型的分类性能。在这项工作中，我们提出了一个名为Adast的新型对抗性学习框架，以解决未标记的目标域中的域转移问题。首先，我们开发了一个未共享的注意机制，以保留两个领域中的域特异性特征。其次，我们设计了一种迭代自我训练策略，以通过目标域伪标签提高目标域上的分类性能。我们还建议双重分类器，以提高伪标签的鲁棒性和质量。在六个跨域场景上的实验结果验证了我们提出的框架的功效及其优于最先进的UDA方法。源代码可在https://github.com/emadeldeen24/adast上获得。

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

语义分割在广泛的计算机视觉应用中起着基本作用，提供了全球对图像​​的理解的关键信息。然而，最先进的模型依赖于大量的注释样本，其比在诸如图像分类的任务中获得更昂贵的昂贵的样本。由于未标记的数据替代地获得更便宜，因此无监督的域适应达到了语义分割社区的广泛成功并不令人惊讶。本调查致力于总结这一令人难以置信的快速增长的领域的五年，这包含了语义细分本身的重要性，以及将分段模型适应新环境的关键需求。我们提出了最重要的语义分割方法;我们对语义分割的域适应技术提供了全面的调查;我们揭示了多域学习，域泛化，测试时间适应或无源域适应等较新的趋势;我们通过描述在语义细分研究中最广泛使用的数据集和基准测试来结束本调查。我们希望本调查将在学术界和工业中提供具有全面参考指导的研究人员，并有助于他们培养现场的新研究方向。

时间变化数量的估计是医疗保健和金融等领域决策的基本组成部分。但是，此类估计值的实际实用性受到它们量化预测不确定性的准确程度的限制。在这项工作中，我们解决了估计高维多元时间序列的联合预测分布的问题。我们提出了一种基于变压器体系结构的多功能方法，该方法使用基于注意力的解码器估算关节分布，该解码器可被学会模仿非参数Copulas的性质。最终的模型具有多种理想的属性：它可以扩展到数百个时间序列，支持预测和插值，可以处理不规则和不均匀的采样数据，并且可以在训练过程中无缝地适应丢失的数据。我们从经验上证明了这些属性，并表明我们的模型在多个现实世界数据集上产生了最新的预测。

本文重点研究\文本颜色的问题{黑} {半监督}域适配用于时间序列预测，这是一个很容易被忽视的，但具有挑战性的问题是由于可变的和复杂的条件的依赖关系。事实上，这些特定领域的条件依赖主要领导的数据偏移量，时间滞后，并且变体数据的分布。为了解决这个问题，我们分析了变条件依赖于时间序列数据，并认为因果结构是不同的域之间的稳定，并进一步提高了因果条件转变的假设。通过这一假设的启发，我们考虑的时间序列数据的因果生成过程，并制定一个终端到终端的型号为转移的时间序列预测。该方法不仅可以发现跨域\ textit {Granger因果}也解决了跨域的时间序列预测问题。它甚至可以提供预测结果在一定程度上的解释性。我们进一步分析理论所提出的方法，其中在目标域泛化的错误不仅通过在源和目标域，但也受到来自不同域的因果结构之间的相似经验的风险有界的优越性。在合成的和真实数据实验结果表明，用于转让的时间序列预测了该方法的有效性。

虽然在许多域内生成并提供了大量的未标记数据，但对视觉数据的自动理解的需求高于以往任何时候。大多数现有机器学习模型通常依赖于大量标记的训练数据来实现高性能。不幸的是，在现实世界的应用中，不能满足这种要求。标签的数量有限，手动注释数据昂贵且耗时。通常需要将知识从现有标记域传输到新域。但是，模型性能因域之间的差异（域移位或数据集偏差）而劣化。为了克服注释的负担，域适应（DA）旨在在将知识从一个域转移到另一个类似但不同的域中时减轻域移位问题。无监督的DA（UDA）处理标记的源域和未标记的目标域。 UDA的主要目标是减少标记的源数据和未标记的目标数据之间的域差异，并在培训期间在两个域中学习域不变的表示。在本文中，我们首先定义UDA问题。其次，我们从传统方法和基于深度学习的方法中概述了不同类别的UDA的最先进的方法。最后，我们收集常用的基准数据集和UDA最先进方法的报告结果对视觉识别问题。

无监督域适应（UDA）已成功解决了可视应用程序的域移位问题。然而，由于以下原因，这些方法可能对时间序列数据的性能有限。首先，它们主要依赖于用于源预制的大规模数据集（即，ImageNet），这不适用于时间序列数据。其次，它们在域对齐步骤期间忽略源极限和目标域的特征空间上的时间维度。最后，最先前的UDA方法中的大多数只能对齐全局特征而不考虑目标域的细粒度分布。为了解决这些限制，我们提出了一个自我监督的自回归域适应（Slarda）框架。特别是，我们首先设计一个自我监督的学习模块，它利用预测作为辅助任务以提高源特征的可转换性。其次，我们提出了一种新的自回归域自适应技术，其包括在域对齐期间源和目标特征的时间依赖性。最后，我们开发了一个集合教师模型，通过自信的伪标记方法对准目标域中的类明智分发。已经在三个现实世界时间序列应用中进行了广泛的实验，具有30个跨域方案。结果表明，我们所提出的杆状方法明显优于时序序列域适应的最先进的方法。

当机器学习模型将其应用于与最初训练的数据相似但不同的域中的数据时，它的性能会降低。为了减轻此域移位问题，域Adaptation（DA）技术搜索了最佳转换，该转换将（当前）输入数据从源域转换为目标域，以学习域名不变的表示，以减少域差异。本文根据两个步骤提出了一个新颖的监督DA。首先，我们从几个样本中搜索从源到目标域的最佳类依赖性转换。我们考虑了最佳的运输方法，例如地球搬运工的距离，凹痕传输和相关对准。其次，我们使用嵌入相似技术在推理时选择相应的转换。我们使用相关指标和高阶矩匹配技术。我们对具有域移动的时间序列数据集进行了广泛的评估，包括模拟和各种在线手写数据集，以演示性能。

虽然无监督的域适应（UDA）算法，即，近年来只有来自源域的标记数据，大多数算法和理论结果侧重于单源无监督域适应（SUDA）。然而，在实际情况下，标记的数据通常可以从多个不同的源收集，并且它们可能不仅不同于目标域而且彼此不同。因此，来自多个源的域适配器不应以相同的方式进行建模。最近基于深度学习的多源无监督域适应（Muda）算法专注于通过在通用特征空间中的所有源极和目标域的分布对齐来提取所有域的公共域不变表示。但是，往往很难提取Muda中所有域的相同域不变表示。此外，这些方法匹配分布而不考虑类之间的域特定的决策边界。为了解决这些问题，我们提出了一个新的框架，具有两个对准阶段的Muda，它不仅将每对源和目标域的分布对齐，而且还通过利用域特定的分类器的输出对准决策边界。广泛的实验表明，我们的方法可以对图像分类的流行基准数据集实现显着的结果。

预后和健康管理（PHM）是一个新兴领域，由于其带来的好处和效率，它引起了制造业的广泛关注。剩余的使用寿命（RUR）预测是任何PHM系统的核心。最新数据驱动的研究要求大量标记的培训数据可以在有监督的学习范式下培训表现模型之前。在这里，转移学习（TL）和域适应（DA）方法介入并使我们有可能将监督模型概括为具有不同数据分布的其他没有标记数据的其他域。在本文中，我们提出了一种基于编码的模型（变压器），该模型（变压器）具有诱导的瓶颈，使用最大平均差异（MMD）的潜在对齐，并提出了歧管学习，以解决无监督的同质域的问题适应Rul预测。 \ textit {lama-net}使用NASA使用C-Mapss Turbofan引擎数据集验证，并将其与DA的其他最新技术进行了比较。结果表明，所提出的方法提供了一种有希望的方法来在RUL预测中进行域适应。一旦纸张退出审查，将提供代码。

现实世界中的时间序列数据集经常违反预测的标准监督学习的假设 - 它们的分布会随着时间的推移而发展，从而使传统的培训和模型选择程序均优化。在本文中，我们提出了一种新颖的方法，即自适应预测（SAF），以修改时间序列预测模型的培训，以通过此类非平稳时间序列数据提高其在预测任务上的性能。 SAF在基于“背景”的预测之前集成了自适应阶段，即在时间后退预测掩盖的输入。这是一种测试时间培训的形式，在执行预测任务之前，在测试样本上会在测试样本上创建一个自我监督的学习问题。通过这种方式，我们的方法可以有效地适应编码表示的分布，从而导致卓越的概括。 SAF可以与任何基于经典的编码器码头架构架构（例如经常性神经网络或基于注意力的体系结构）集成。关于众所周知，众所周知的非统计数据（例如医疗保健和金融）的域中的合成和现实数据集，我们证明了SAF在提高预测准确性方面具有重大好处。

Time series forecasting is an important problem across many domains, including predictions of solar plant energy output, electricity consumption, and traffic jam situation. In this paper, we propose to tackle such forecasting problem with Transformer [1]. Although impressed by its performance in our preliminary study, we found its two major weaknesses: (1) locality-agnostics: the point-wise dotproduct self-attention in canonical Transformer architecture is insensitive to local context, which can make the model prone to anomalies in time series; (2) memory bottleneck: space complexity of canonical Transformer grows quadratically with sequence length L, making directly modeling long time series infeasible. In order to solve these two issues, we first propose convolutional self-attention by producing queries and keys with causal convolution so that local context can be better incorporated into attention mechanism. Then, we propose LogSparse Transformer with only O(L(log L) 2 ) memory cost, improving forecasting accuracy for time series with fine granularity and strong long-term dependencies under constrained memory budget. Our experiments on both synthetic data and realworld datasets show that it compares favorably to the state-of-the-art.

跨域建议可以帮助缓解传统的连续推荐系统中的数据稀疏问题。在本文中，我们提出了Recguru算法框架，以在顺序推荐中生成包含跨域的用户信息的广义用户表示，即使在两个域中的最小或没有公共用户时也是如此。我们提出了一种自我细心的AutoEncoder来导出潜在用户表示，以及域鉴别器，其旨在预测所产生的潜在表示的原点域。我们提出了一种新的逆势学习方法来训练两个模块，以使从不同域生成的用户嵌入到每个用户的单个全局Gur。学习的Gur捕获了用户的整体偏好和特征，因此可以用于增强行为数据并改进在涉及用户的任何单个域中的推荐。在两个公共交叉域推荐数据集以及从现实世界应用程序收集的大型数据集进行了广泛的实验。结果表明，Recguru提高了性能，优于各种最先进的顺序推荐和跨域推荐方法。收集的数据将被释放以促进未来的研究。

深度神经网络已经证明了他们可以从数据中自动提取有意义的功能的能力。但是，在监督学习中，特定于用于培训的数据集的信息，但与手头的任务无关，可以在提取的表示中仍然被编码。该剩余信息引入了特定于域的偏差，削弱了泛化性能。在这项工作中，我们建议将信息分成与任务相关的表示及其互补情境表示。我们提出了一种原始方法，结合对抗特征预测器和循环重建，以解开单域监督案例中的这两个表示。然后，我们将该方法适应无监督的域适应问题，包括训练能够在源域和目标域上执行的模型。特别是，尽管没有训练标签，我们的方法促进了目标领域的解剖学。这使得能够将特定于域的特定任务信息隔离为公共表示。任务特定的表示允许有效地将从源域获取的知识转移到目标域。在单一域案中，我们展示了我们关于信息检索任务的陈述的质量以及由锐化的任务特定陈述引起的泛化效益。然后，我们在几个古典域适应基准上验证所提出的方法，并说明了解除域适应的益处。

深度学习模型的最新发展，捕捉作物物候的复杂的时间模式有卫星图像时间序列（坐在），大大高级作物分类。然而，当施加到目标区域从训练区空间上不同的，这些模型差没有任何目标标签由于作物物候区域之间的时间位移进行。为了解决这个无人监督跨区域适应环境，现有方法学域不变特征没有任何目标的监督，而不是时间偏移本身。因此，这些技术提供了SITS只有有限的好处。在本文中，我们提出TimeMatch，一种新的无监督领域适应性方法SITS直接占时移。 TimeMatch由两个部分组成：1）时间位移的估计，其估计具有源极训练模型的未标记的目标区域的时间偏移，和2）TimeMatch学习，它结合了时间位移估计与半监督学习到一个分类适应未标记的目标区域。我们还引进了跨区域适应的开放式访问的数据集与来自欧洲四个不同区域的旁边。在此数据集，我们证明了TimeMatch优于所有竞争的方法，通过11％的在五个不同的适应情景F1-得分，创下了新的国家的最先进的跨区域适应性。

Current domain adaptation methods for face anti-spoofing leverage labeled source domain data and unlabeled target domain data to obtain a promising generalizable decision boundary. However, it is usually difficult for these methods to achieve a perfect domain-invariant liveness feature disentanglement, which may degrade the final classification performance by domain differences in illumination, face category, spoof type, etc. In this work, we tackle cross-scenario face anti-spoofing by proposing a novel domain adaptation method called cyclically disentangled feature translation network (CDFTN). Specifically, CDFTN generates pseudo-labeled samples that possess: 1) source domain-invariant liveness features and 2) target domain-specific content features, which are disentangled through domain adversarial training. A robust classifier is trained based on the synthetic pseudo-labeled images under the supervision of source domain labels. We further extend CDFTN for multi-target domain adaptation by leveraging data from more unlabeled target domains. Extensive experiments on several public datasets demonstrate that our proposed approach significantly outperforms the state of the art.