利用来自多个域的标记数据来启用没有标签的另一个域中的预测是一个重大但充满挑战的问题。为了解决这个问题，我们介绍了框架Dapdag（\ textbf {d} omain \ textbf {a}通过\ textbf {p} daptation daptation daptation \ textbf {p} erturbed \ textbf {dag}重建），并建议学习对人群进行投入的自动化统计信息给定特征并重建有向的无环图（DAG）作为辅助任务。在观察到的变量中，允许有条件的分布在由潜在环境变量$ e $领导的域变化的变量中，假定基础DAG结构不变。编码器旨在用作$ e $的推理设备，而解码器重建每个观察到的变量，以其DAG中的图形父母和推断的$ e $进行。我们以端到端的方式共同训练编码器和解码器，并对具有混合变量的合成和真实数据集进行实验。经验结果表明，重建DAG有利于近似推断。此外，我们的方法可以在预测任务中与其他基准测试实现竞争性能，具有更好的适应能力，尤其是在目标领域与源域显着不同的目标领域。

缺少数据是机器学习实践中的一个重要问题。从估算方法应保留数据的因果结构的前提下，我们开发了一个正则化方案，鼓励任何基线估算方法与底层数据产生机制发生因果关系。我们的提议是一个因果感知估算算法（奇迹）。奇迹通过同时建模缺失产生机制，令人振奋的归咎与数据的因果结构一致，迭代地改进基线的归纳。我们对综合和各种公开可用数据集进行了广泛的实验，以表明奇迹能够在所有三个缺失场景中始终如一地改善对各种基准方法的归力：随机，完全随意，而不是随机。

We address the problem of unsupervised domain adaptation when the source domain differs from the target domain because of a shift in the distribution of a latent subgroup. When this subgroup confounds all observed data, neither covariate shift nor label shift assumptions apply. We show that the optimal target predictor can be non-parametrically identified with the help of concept and proxy variables available only in the source domain, and unlabeled data from the target. The identification results are constructive, immediately suggesting an algorithm for estimating the optimal predictor in the target. For continuous observations, when this algorithm becomes impractical, we propose a latent variable model specific to the data generation process at hand. We show how the approach degrades as the size of the shift changes, and verify that it outperforms both covariate and label shift adjustment.

结构方程模型（SEM）是一种有效的框架，其原因是通过定向非循环图（DAG）表示的因果关系。最近的进步使得能够从观察数据中实现了DAG的最大似然点估计。然而，在实际场景中，可以不能准确地捕获在推断下面的底层图中的不确定性，其中真正的DAG是不可识别的并且/或观察到的数据集是有限的。我们提出了贝叶斯因果发现网（BCD网），一个变分推理框架，用于估算表征线性高斯SEM的DAG的分布。由于图形的离散和组合性质，开发一个完整的贝叶斯后面是挑战。我们通过表达变分别家庭分析可扩展VI的可扩展VI的关键设计选择，例如1）表达性变分别家庭，2）连续弛豫，使低方差随机优化和3）在潜在变量上具有合适的前置。我们提供了一系列关于实际和合成数据的实验，显示BCD网在低数据制度中的标准因果发现度量上的最大似然方法，例如结构汉明距离。

因果推断对于跨业务参与，医疗和政策制定等领域的数据驱动决策至关重要。然而，关于因果发现的研究已经与推理方法分开发展，从而阻止了两个领域方法的直接组合。在这项工作中，我们开发了深层端到端因果推理（DECI），这是一种基于流动的非线性添加噪声模型，该模型具有观察数据，并且可以执行因果发现和推理，包括有条件的平均治疗效果（CATE） ）估计。我们提供了理论上的保证，即DECI可以根据标准因果发现假设恢复地面真实因果图。受应用影响的激励，我们将该模型扩展到具有缺失值的异质，混合型数据，从而允许连续和离散的治疗决策。我们的结果表明，与因果发现的相关基线相比，DECI的竞争性能和（c）在合成数据集和因果机器学习基准测试基准的一千多个实验中，跨数据类型和缺失水平进行了估计。

当用于训练模型的源数据与用于测试模型的目标数据不同时，域适应（DA）作为统计机器学习的重要问题。 DA最近的进展主要是应用驱动的，并且主要依赖于源和目标数据的常见子空间的想法。要了解DA方法的经验成功和失败，我们通过结构因果模型提出了理论框架，可以实现DA方法的预测性能的分析和比较。此框架还允许我们逐项逐项列出DA方法具有低目标错误所需的假设。此外，通过我们理论的见解，我们提出了一种名为CIRM的新DA方法，当协变量和标签分布都在目标数据中被扰乱时，胜过现有的DA方法。我们补充了广泛的模拟的理论分析，以表明设计了设计的必要性。还提供可重复的合成和实际数据实验，以说明当我们理论中的某些假设的某些问题被侵犯时DA方法的强度和弱点。

本文提出了在适当的监督信息下进行分解的生成因果代表（亲爱的）学习方法。与实施潜在变量独立性的现有分解方法不同，我们考虑了一种基本利益因素可以因果关系相关的一般情况。我们表明，即使在监督下，先前具有独立先验的方法也无法解散因果关系。在这一发现的激励下，我们提出了一种称为DEAR的新的解开学习方法，该方法可以使因果可控的产生和因果代表学习。这种新公式的关键要素是使用结构性因果模型（SCM）作为双向生成模型的先验分布。然后，使用合适的GAN算法与发电机和编码器共同训练了先验，并与有关地面真相因子及其基本因果结构的监督信息合并。我们提供了有关该方法的可识别性和渐近收敛性的理论理由。我们对合成和真实数据集进行了广泛的实验，以证明DEAR在因果可控生成中的有效性，以及在样本效率和分布鲁棒性方面，学到的表示表示对下游任务的好处。

本文重点研究\文本颜色的问题{黑} {半监督}域适配用于时间序列预测，这是一个很容易被忽视的，但具有挑战性的问题是由于可变的和复杂的条件的依赖关系。事实上，这些特定领域的条件依赖主要领导的数据偏移量，时间滞后，并且变体数据的分布。为了解决这个问题，我们分析了变条件依赖于时间序列数据，并认为因果结构是不同的域之间的稳定，并进一步提高了因果条件转变的假设。通过这一假设的启发，我们考虑的时间序列数据的因果生成过程，并制定一个终端到终端的型号为转移的时间序列预测。该方法不仅可以发现跨域\ textit {Granger因果}也解决了跨域的时间序列预测问题。它甚至可以提供预测结果在一定程度上的解释性。我们进一步分析理论所提出的方法，其中在目标域泛化的错误不仅通过在源和目标域，但也受到来自不同域的因果结构之间的相似经验的风险有界的优越性。在合成的和真实数据实验结果表明，用于转让的时间序列预测了该方法的有效性。

从观察数据中学习因果结构是机器学习的基本挑战。但是，大多数常用的可区分因果发现方法是不可识别的，这将此问题变成了容易发生数据偏差的连续优化任务。在许多现实生活中，数据是从不同环境中收集的，在不同的环境中，功能关系在整个环境中保持一致，而添加噪声的分布可能会有所不同。本文提出了可区分的因果发现（DICD），利用基于可区分框架的多环境信息，以避免学习虚假边缘和错误的因果方向。具体而言，DICD旨在在消除环境依赖性相关性的同时发现环境不变的因果关系。我们进一步制定了强制执行目标结构方程模型的约束，以在整个环境中保持最佳状态。在温和条件下提供了足够的环境，提供了针对拟议DICD的可识别性的理论保证。关于合成和现实世界数据集的广泛实验验证了DICD优于最先进的因果发现方法，而SHD中最高36％。我们的代码将是开源的。

本文提出了一种新的因果发现方法，即结构不可知的建模（SAM）。SAM利用条件独立性和分布不对称性，旨在从观察数据中找到潜在的因果结构。该方法基于不同玩家之间的游戏，该游戏将每个变量分布有条件地作为神经网估算，而对手则旨在区分生成的数据与原始数据。结合分布估计，稀疏性和无环限制的学习标准用于通过随机梯度下降来实施图形结构和参数的优化。SAM在合成和真实数据上进行了实验验证。

特征表示的相似性在与域适应有关的问题的成功中起着枢转作用。特征相似性包括边际分布的不变性以及给定所需响应$ Y $（例如，类标签）的条件分布的闭合性。不幸的是，传统方法始终学习此类功能，而无需完全考虑到$ Y $以$ y $以$ y $考虑到信息，这又可能导致条件分布的不匹配或歧视结构的歧视结构的混合。在这项工作中，我们介绍了最近提出的冯Neumann有条件分歧，以提高多个域的可转移。我们表明，这种新的分歧是可差异的，并且有资格容易地量化功能与$ y $之间的功能依赖性。给定多个源任务时，我们将这种分歧整合到捕获$ y $，并且设计新颖的学习目标，假设这些源任务同时或顺序观察。在这两种情况下，我们在新任务的较小概括误差方面获得了对最先进的方法的有利性能，以及在源任务上丢失的灾难性遗忘的较少（在顺序设置中）。

Inferring causal structure poses a combinatorial search problem that typically involves evaluating structures with a score or independence test. The resulting search is costly, and designing suitable scores or tests that capture prior knowledge is difficult. In this work, we propose to amortize causal structure learning. Rather than searching over structures, we train a variational inference model to directly predict the causal structure from observational or interventional data. This allows our inference model to acquire domain-specific inductive biases for causal discovery solely from data generated by a simulator, bypassing both the hand-engineering of suitable score functions and the search over graphs. The architecture of our inference model emulates permutation invariances that are crucial for statistical efficiency in structure learning, which facilitates generalization to significantly larger problem instances than seen during training. On synthetic data and semisynthetic gene expression data, our models exhibit robust generalization capabilities when subject to substantial distribution shifts and significantly outperform existing algorithms, especially in the challenging genomics domain. Our code and models are publicly available at: https://github.com/larslorch/avici.

统计模型是机器学习的核心，具有广泛适用性，跨各种下游任务。模型通常由通过最大似然估计从数据估计的自由参数控制。但是，当面对现实世界数据集时，许多模型运行到一个关键问题：它们是在完全观察到的数据方面配制的，而在实践中，数据集会困扰缺失数据。来自不完整数据的统计模型估计理论在概念上类似于潜在变量模型的估计，其中存在强大的工具，例如变分推理（VI）。然而，与标准潜在变量模型相比，具有不完整数据的参数估计通常需要估计缺失变量的指数 - 许多条件分布，因此使标准的VI方法是棘手的。通过引入变分Gibbs推理（VGI），是一种新的通用方法来解决这个差距，以估计来自不完整数据的统计模型参数。我们在一组合成和实际估算任务上验证VGI，从不完整的数据中估算重要的机器学习模型，VAE和标准化流程。拟议的方法，同时通用，实现比现有的特定模型特定估计方法竞争或更好的性能。

State-of-the-art causal discovery methods usually assume that the observational data is complete. However, the missing data problem is pervasive in many practical scenarios such as clinical trials, economics, and biology. One straightforward way to address the missing data problem is first to impute the data using off-the-shelf imputation methods and then apply existing causal discovery methods. However, such a two-step method may suffer from suboptimality, as the imputation algorithm may introduce bias for modeling the underlying data distribution. In this paper, we develop a general method, which we call MissDAG, to perform causal discovery from data with incomplete observations. Focusing mainly on the assumptions of ignorable missingness and the identifiable additive noise models (ANMs), MissDAG maximizes the expected likelihood of the visible part of observations under the expectation-maximization (EM) framework. In the E-step, in cases where computing the posterior distributions of parameters in closed-form is not feasible, Monte Carlo EM is leveraged to approximate the likelihood. In the M-step, MissDAG leverages the density transformation to model the noise distributions with simpler and specific formulations by virtue of the ANMs and uses a likelihood-based causal discovery algorithm with directed acyclic graph constraint. We demonstrate the flexibility of MissDAG for incorporating various causal discovery algorithms and its efficacy through extensive simulations and real data experiments.

监督学习的关键假设是培训和测试数据遵循相同的概率分布。然而，这种基本假设在实践中并不总是满足，例如，由于不断变化的环境，样本选择偏差，隐私问题或高标签成本。转移学习（TL）放松这种假设，并允许我们在分销班次下学习。通常依赖于重要性加权的经典TL方法 - 基于根据重要性（即测试过度训练密度比率）的训练损失培训预测器。然而，由于现实世界机器学习任务变得越来越复杂，高维和动态，探讨了新的新方法，以应对这些挑战最近。在本文中，在介绍基于重要性加权的TL基础之后，我们根据关节和动态重要预测估计审查最近的进步。此外，我们介绍一种因果机制转移方法，该方法包含T1中的因果结构。最后，我们讨论了TL研究的未来观点。

Domain adaptation aims at generalizing a high-performance learner on a target domain via utilizing the knowledge distilled from a source domain which has a different but related data distribution. One solution to domain adaptation is to learn domain invariant feature representations while the learned representations should also be discriminative in prediction. To learn such representations, domain adaptation frameworks usually include a domain invariant representation learning approach to measure and reduce the domain discrepancy, as well as a discriminator for classification. Inspired by Wasserstein GAN, in this paper we propose a novel approach to learn domain invariant feature representations, namely Wasserstein Distance Guided Representation Learning (WD-GRL). WDGRL utilizes a neural network, denoted by the domain critic, to estimate empirical Wasserstein distance between the source and target samples and optimizes the feature extractor network to minimize the estimated Wasserstein distance in an adversarial manner. The theoretical advantages of Wasserstein distance for domain adaptation lie in its gradient property and promising generalization bound. Empirical studies on common sentiment and image classification adaptation datasets demonstrate that our proposed WDGRL outperforms the state-of-the-art domain invariant representation learning approaches.

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。

在考虑混杂变量时估计干预措施的效果是因果推断的关键任务。通常，混杂因素没有观察到，但是我们可以访问大量的非结构化数据（图像，文本），这些数据包含有关缺失混杂因素的有价值的代理信号。本文表明，利用通常被现有算法未使用的非结构化数据提高了因果效应估计的准确性。具体而言，我们引入了深层多模式结构方程，这是一个生成模型，其中混杂因素是潜在变量，非结构化数据是代理变量。该模型支持多个多模式代理（图像，文本）以及缺少数据。我们从经验上证明了基因组学和医疗保健的任务，我们的方法纠正了使用非结构化输入混淆，从而有可能使用以前在因果推理中不使用的大量数据。

最近，使用自动编码器（由使用神经网络建模的编码器，渠道和解码器组成）的通信系统的端到端学习问题最近被证明是一种有希望的方法。实际采用这种学习方法面临的挑战是，在变化的渠道条件（例如无线链接）下，它需要经常对自动编码器进行重新训练，以保持低解码错误率。由于重新培训既耗时又需要大量样本，因此当通道分布迅速变化时，它变得不切实际。我们建议使用不更改编码器和解码器网络的快速和样本（几射击）域的适应方法来解决此问题。不同于常规的训练时间无监督或半监督域的适应性，在这里，我们有一个训练有素的自动编码器，来自源分布，我们希望（在测试时间）使用仅使用一个小标记的数据集和无标记的数据来适应（测试时间）到目标分布。我们的方法着重于基于高斯混合物网络的通道模型，并根据类和组件条件仿射变换制定其适应性。学习的仿射转换用于设计解码器的最佳输入转换以补偿分布变化，并有效地呈现在接近源分布的解码器输入中。在实际MMWAVE FPGA设置以及无线设置共有的许多模拟分布变化上，使用非常少量的目标域样本来证明我们方法在适应时的有效性。