本文重点研究\文本颜色的问题{黑} {半监督}域适配用于时间序列预测，这是一个很容易被忽视的，但具有挑战性的问题是由于可变的和复杂的条件的依赖关系。事实上，这些特定领域的条件依赖主要领导的数据偏移量，时间滞后，并且变体数据的分布。为了解决这个问题，我们分析了变条件依赖于时间序列数据，并认为因果结构是不同的域之间的稳定，并进一步提高了因果条件转变的假设。通过这一假设的启发，我们考虑的时间序列数据的因果生成过程，并制定一个终端到终端的型号为转移的时间序列预测。该方法不仅可以发现跨域\ textit {Granger因果}也解决了跨域的时间序列预测问题。它甚至可以提供预测结果在一定程度上的解释性。我们进一步分析理论所提出的方法，其中在目标域泛化的错误不仅通过在源和目标域，但也受到来自不同域的因果结构之间的相似经验的风险有界的优越性。在合成的和真实数据实验结果表明，用于转让的时间序列预测了该方法的有效性。

建议制度，依靠历史观察数据来模仿用户和物品之间的复杂关系，取得了巨大的成功，在现实世界中取得了巨大的成功。选择偏见是现有的现有观测数据基于方法的最重要问题之一，其实际上是由多种类型的不观察室的暴露策略引起的（例如促销和假期效应）。虽然已经提出了各种方法来解决这个问题，但它们主要依赖于隐含的脱叠技术，但没有明确建立未观察的曝光策略。通过明确重建曝光策略（简称休息），我们将推荐问题正式化为反事实推理，并提出了脱叠的社会推荐方法。在休息时，我们假设项目的曝光由潜在曝光策略，用户和项目控制。基于上述生成过程，首先通过识别分析提供我们方法的理论保证。其次，在社交网络和项目的帮助下，我们采用了变分自动编码器来重建潜在的曝光策略。第三，我们通过利用回收的曝光策略制定基于反事实推理的建议算法。四个现实世界数据集的实验，包括三个已发布的数据集和一个私人微信官方帐户数据集，展示了几种最先进的方法的显着改进。

多源域适应（MSDA）学会了预测目标域数据中的标签，在标记来自多个源域的所有数据并且来自目标域的所有数据的设置下。为了解决这个问题，大多数方法都集中在跨域中学习不变表示。但是，他们的成功严重依赖于标签分布在跨域保持不变的假设。为了减轻它，我们提出了一个新的假设，潜在的协变量移位，其中潜在内容变量的边际分布跨域变化，并且给定标签的条件分布在跨域之间保持不变。我们引入了一个潜在样式变量，以补充潜在因果图作为数据和标签生成过程的潜在内容变量。我们表明，尽管潜在样式变量由于潜在空间中的传输性能而无法识别，但在某些温和条件下，可以将潜在内容变量识别为简单缩放。这激发了我们为MSDA提出一种新颖的方法，该方法在潜在内容变量上学习了不变标签的分布，而不是学习不变表示。与基于不变表示的许多最新方法相比，对模拟和真实数据的经验评估证明了该方法的有效性。

最近，深度神经网络在时间序列的预测中越来越受欢迎。他们成功的主要原因是他们有效捕获多个相关时间序列的复杂时间动态的能力。这些深度预测者的优势才开始在有足够数量的数据的情况下开始出现。这对实践中的典型预测问题提出了挑战，在实践中，每个时间序列的时间序列或观察值有限，或者两者兼而有之。为了应对这些数据稀缺问题，我们提出了一个新颖的域适应框架，域适应预报员（DAF）。 DAF利用具有丰富数据样本（源）的相关领域的统计强度，以通过有限的数据（目标）提高感兴趣域的性能。特别是，我们使用基于注意力的共享模块，该模块与跨域跨域和私人模块的域歧视器一起使用。我们同时诱导域不变的潜在特征（查询和密钥）和重新培训特定特征（值），以使源和目标域上的预报员的联合训练。一个主要的见解是，我们对齐密钥的设计使目标域即使具有不同的特征也可以利用源时间序列。对各个领域的广泛实验表明，我们提出的方法在合成和现实世界数据集上优于最先进的基准，而消融研究验证了我们的设计选择的有效性。

利用来自多个域的标记数据来启用没有标签的另一个域中的预测是一个重大但充满挑战的问题。为了解决这个问题，我们介绍了框架Dapdag（\ textbf {d} omain \ textbf {a}通过\ textbf {p} daptation daptation daptation \ textbf {p} erturbed \ textbf {dag}重建），并建议学习对人群进行投入的自动化统计信息给定特征并重建有向的无环图（DAG）作为辅助任务。在观察到的变量中，允许有条件的分布在由潜在环境变量$ e $领导的域变化的变量中，假定基础DAG结构不变。编码器旨在用作$ e $的推理设备，而解码器重建每个观察到的变量，以其DAG中的图形父母和推断的$ e $进行。我们以端到端的方式共同训练编码器和解码器，并对具有混合变量的合成和真实数据集进行实验。经验结果表明，重建DAG有利于近似推断。此外，我们的方法可以在预测任务中与其他基准测试实现竞争性能，具有更好的适应能力，尤其是在目标领域与源域显着不同的目标领域。

机器学习系统通常假设训练和测试分布是相同的。为此，关键要求是开发可以概括到未经看不见的分布的模型。领域泛化（DG），即分销概括，近年来引起了越来越令人利益。域概括处理了一个具有挑战性的设置，其中给出了一个或几个不同但相关域，并且目标是学习可以概括到看不见的测试域的模型。多年来，域概括地区已经取得了巨大进展。本文提出了对该地区最近进步的首次审查。首先，我们提供了域泛化的正式定义，并讨论了几个相关领域。然后，我们彻底审查了与域泛化相关的理论，并仔细分析了泛化背后的理论。我们将最近的算法分为三个类：数据操作，表示学习和学习策略，并为每个类别详细介绍几种流行的算法。第三，我们介绍常用的数据集，应用程序和我们的开放源代码库进行公平评估。最后，我们总结了现有文学，并为未来提供了一些潜在的研究主题。

所有著名的机器学习算法构成了受监督和半监督的学习工作，只有在一个共同的假设下：培训和测试数据遵循相同的分布。当分布变化时，大多数统计模型必须从新收集的数据中重建，对于某些应用程序，这些数据可能是昂贵或无法获得的。因此，有必要开发方法，以减少在相关领域中可用的数据并在相似领域中进一步使用这些数据，从而减少需求和努力获得新的标签样品。这引起了一个新的机器学习框架，称为转移学习：一种受人类在跨任务中推断知识以更有效学习的知识能力的学习环境。尽管有大量不同的转移学习方案，但本调查的主要目的是在特定的，可以说是最受欢迎的转移学习中最受欢迎的次级领域，概述最先进的理论结果，称为域适应。在此子场中，假定数据分布在整个培训和测试数据中发生变化，而学习任务保持不变。我们提供了与域适应性问题有关的现有结果的首次最新描述，该结果涵盖了基于不同统计学习框架的学习界限。

Causal learning has attracted much attention in recent years because causality reveals the essential relationship between things and indicates how the world progresses. However, there are many problems and bottlenecks in traditional causal learning methods, such as high-dimensional unstructured variables, combinatorial optimization problems, unknown intervention, unobserved confounders, selection bias and estimation bias. Deep causal learning, that is, causal learning based on deep neural networks, brings new insights for addressing these problems. While many deep learning-based causal discovery and causal inference methods have been proposed, there is a lack of reviews exploring the internal mechanism of deep learning to improve causal learning. In this article, we comprehensively review how deep learning can contribute to causal learning by addressing conventional challenges from three aspects: representation, discovery, and inference. We point out that deep causal learning is important for the theoretical extension and application expansion of causal science and is also an indispensable part of general artificial intelligence. We conclude the article with a summary of open issues and potential directions for future work.

当用于训练模型的源数据与用于测试模型的目标数据不同时，域适应（DA）作为统计机器学习的重要问题。 DA最近的进展主要是应用驱动的，并且主要依赖于源和目标数据的常见子空间的想法。要了解DA方法的经验成功和失败，我们通过结构因果模型提出了理论框架，可以实现DA方法的预测性能的分析和比较。此框架还允许我们逐项逐项列出DA方法具有低目标错误所需的假设。此外，通过我们理论的见解，我们提出了一种名为CIRM的新DA方法，当协变量和标签分布都在目标数据中被扰乱时，胜过现有的DA方法。我们补充了广泛的模拟的理论分析，以表明设计了设计的必要性。还提供可重复的合成和实际数据实验，以说明当我们理论中的某些假设的某些问题被侵犯时DA方法的强度和弱点。

传统的监督学习方法，尤其是深的学习方法，发现对分发超出（OOD）示例敏感，主要是因为所学习的表示与由于其域特异性相关性的变异因子混合了语义因素，而只有语义因子导致输出。为了解决这个问题，我们提出了一种基于因果推理的因果语义生成模型（CSG），以便分别建模两个因素，以及从单个训练域中的oo ood预测的制定方法，这是常见和挑战的。该方法基于因果不变原理，在变形贝斯中具有新颖的设计，用于高效学习和易于预测。从理论上讲，我们证明，在某些条件下，CSG可以通过拟合训练数据来识别语义因素，并且这种语义识别保证了泛化概率的界限和适应的成功。实证研究表明，改善了卓越的基线表现。

准确预测交通参与者的可能行为是自治车辆的基本能力。由于自主车辆需要在动态变化的环境中导航，因此它们预计无论它们在哪里以及它们遇到的驾驶环境如何，它们都会准确。因此，当在现实世界中部署自动车辆时，对看不见域的概念能力对于预测模型至关重要。在本文中，我们旨在解决车辆意图预测任务的域泛化问题，提出了基于因果序列域泛化（CTSDG）模型。我们构建用于车辆意图预测任务的结构因果模型，以学习域泛型输入驱动数据的不变表示。我们进一步将反复潜变量模型进一步集成到我们的结构因果模型中，以更好地捕获时间序列输入数据的时间潜在依赖关系。我们的方法的有效性通过现实世界的驾驶数据进行评估。我们证明，与其他最新的域泛化和行为预测方法相比，我们所提出的方法对预测精度一致地改善。

We address the problem of unsupervised domain adaptation when the source domain differs from the target domain because of a shift in the distribution of a latent subgroup. When this subgroup confounds all observed data, neither covariate shift nor label shift assumptions apply. We show that the optimal target predictor can be non-parametrically identified with the help of concept and proxy variables available only in the source domain, and unlabeled data from the target. The identification results are constructive, immediately suggesting an algorithm for estimating the optimal predictor in the target. For continuous observations, when this algorithm becomes impractical, we propose a latent variable model specific to the data generation process at hand. We show how the approach degrades as the size of the shift changes, and verify that it outperforms both covariate and label shift adjustment.

虽然在许多域内生成并提供了大量的未标记数据，但对视觉数据的自动理解的需求高于以往任何时候。大多数现有机器学习模型通常依赖于大量标记的训练数据来实现高性能。不幸的是，在现实世界的应用中，不能满足这种要求。标签的数量有限，手动注释数据昂贵且耗时。通常需要将知识从现有标记域传输到新域。但是，模型性能因域之间的差异（域移位或数据集偏差）而劣化。为了克服注释的负担，域适应（DA）旨在在将知识从一个域转移到另一个类似但不同的域中时减轻域移位问题。无监督的DA（UDA）处理标记的源域和未标记的目标域。 UDA的主要目标是减少标记的源数据和未标记的目标数据之间的域差异，并在培训期间在两个域中学习域不变的表示。在本文中，我们首先定义UDA问题。其次，我们从传统方法和基于深度学习的方法中概述了不同类别的UDA的最先进的方法。最后，我们收集常用的基准数据集和UDA最先进方法的报告结果对视觉识别问题。

深度学习已成为解决不同领域中现实世界中问题的首选方法，部分原因是它能够从数据中学习并在广泛的应用程序上实现令人印象深刻的性能。但是，它的成功通常取决于两个假设：（i）精确模型拟合需要大量标记的数据集，并且（ii）培训和测试数据是独立的且分布相同的。因此，不能保证它在看不见的目标域上的性能，尤其是在适应阶段遇到分布数据的数据时。目标域中数据的性能下降是部署深层神经网络的关键问题，这些网络已成功地在源域中的数据训练。通过利用标记的源域数据和未标记的目标域数据来执行目标域中的各种任务，提出了无监督的域适应（UDA）来对抗这一点。 UDA在自然图像处理，视频分析，自然语言处理，时间序列数据分析，医学图像分析等方面取得了令人鼓舞的结果。在本综述中，作为一个快速发展的主题，我们对其方法和应用程序进行了系统的比较。此外，还讨论了UDA与其紧密相关的任务的联系，例如域的概括和分布外检测。此外，突出显示了当前方法和可能有希望的方向的缺陷。

Transfer learning aims at improving the performance of target learners on target domains by transferring the knowledge contained in different but related source domains. In this way, the dependence on a large number of target domain data can be reduced for constructing target learners. Due to the wide application prospects, transfer learning has become a popular and promising area in machine learning. Although there are already some valuable and impressive surveys on transfer learning, these surveys introduce approaches in a relatively isolated way and lack the recent advances in transfer learning. Due to the rapid expansion of the transfer learning area, it is both necessary and challenging to comprehensively review the relevant studies. This survey attempts to connect and systematize the existing transfer learning researches, as well as to summarize and interpret the mechanisms and the strategies of transfer learning in a comprehensive way, which may help readers have a better understanding of the current research status and ideas. Unlike previous surveys, this survey paper reviews more than forty representative transfer learning approaches, especially homogeneous transfer learning approaches, from the perspectives of data and model. The applications of transfer learning are also briefly introduced. In order to show the performance of different transfer learning models, over twenty representative transfer learning models are used for experiments. The models are performed on three different datasets, i.e., Amazon Reviews, Reuters-21578, and Office-31. And the experimental results demonstrate the importance of selecting appropriate transfer learning models for different applications in practice.

Deep learning has produced state-of-the-art results for a variety of tasks. While such approaches for supervised learning have performed well, they assume that training and testing data are drawn from the same distribution, which may not always be the case. As a complement to this challenge, single-source unsupervised domain adaptation can handle situations where a network is trained on labeled data from a source domain and unlabeled data from a related but different target domain with the goal of performing well at test-time on the target domain. Many single-source and typically homogeneous unsupervised deep domain adaptation approaches have thus been developed, combining the powerful, hierarchical representations from deep learning with domain adaptation to reduce reliance on potentially-costly target data labels. This survey will compare these approaches by examining alternative methods, the unique and common elements, results, and theoretical insights. We follow this with a look at application areas and open research directions.

转移学习中最关键的问题之一是域适应的任务，其中目标是将在一个或多个源域中培训的算法应用于不同（但相关）的目标域。本文在域内存在协变量转变时，涉及域适应。解决此问题的现有因果推断方法的主要限制之一是可扩展性。为了克服这种困难，我们提出了一种避免穷举搜索的算法，并识别基于Markov毯子发现的源和目标域的不变因果特征。 SCTL不需要先前了解因果结构，干预措施的类型或干预目标。有一个与SCTL相关的内在位置，使其实现实际上可扩展且稳健，因为本地因果发现增加了计算独立性测试的力量，并使域适配的任务进行了计算地进行了易行的。我们通过低维和高维设置中的合成和实际数据集显示SCTL的可扩展性和稳健性。

域的概括旨在提高机器学习系统到分布（OOD）数据的概括能力。现有的域概括技术将启动固定和离散环境，以解决由OOD数据引起的概括问题。但是，非平稳环境中的许多实际任务（例如，自动驱动的汽车系统，传感器度量）涉及更复杂和不断发展的域漂移，这为域概括的问题带来了新的挑战。在本文中，我们将上述设置作为不断发展的域概括问题。具体而言，我们建议引入一个称为潜在结构感知的顺序自动编码器（LSSAE）的概率框架，以解决通过探索深神经网络潜在空间中的基本连续结构来解决域的概括问题，我们旨在识别两个主要因素即协变量的转移和概念转移核算非平稳环境中的分配转移。合成和现实世界数据集的实验结果表明，LSSAE可以基于不断发展的域概括设置导致出色的性能。

域的适应性旨在将从源域获得的标记实例转移到目标域，以填补域之间的空白。大多数域适应方法都假定源和目标域具有相同的维度。当每个域中的特征数量不同时，都很少研究当适用的方法，尤其是当未给出从目标域获得的测试数据的标签信息时。在本文中，假定在两个域中都存在共同特征，并且在目标域中观察到额外的（新的）特征。因此，目标域的维度高于源域的维度。为了利用共同特征的均匀性，这些源和目标域之间的适应性被称为最佳运输（OT）问题。此外，得出了基于ot的方法的目标域中的学习结合。使用模拟和现实世界数据对所提出的算法进行验证。

Domain adaptation aims at generalizing a high-performance learner on a target domain via utilizing the knowledge distilled from a source domain which has a different but related data distribution. One solution to domain adaptation is to learn domain invariant feature representations while the learned representations should also be discriminative in prediction. To learn such representations, domain adaptation frameworks usually include a domain invariant representation learning approach to measure and reduce the domain discrepancy, as well as a discriminator for classification. Inspired by Wasserstein GAN, in this paper we propose a novel approach to learn domain invariant feature representations, namely Wasserstein Distance Guided Representation Learning (WD-GRL). WDGRL utilizes a neural network, denoted by the domain critic, to estimate empirical Wasserstein distance between the source and target samples and optimizes the feature extractor network to minimize the estimated Wasserstein distance in an adversarial manner. The theoretical advantages of Wasserstein distance for domain adaptation lie in its gradient property and promising generalization bound. Empirical studies on common sentiment and image classification adaptation datasets demonstrate that our proposed WDGRL outperforms the state-of-the-art domain invariant representation learning approaches.