观察生存数据的因果结构提供了关于协变量和事件时间之间关系的重要信息。我们从信息理论源编码参数中获得动机，并且如果采用合适的源编码器，则显示结合所指示的非循环图（DAG）的知识可以是有益的。作为在此上下文中的可能的源编码器中，我们推导出基于变分推理的条件变分性Autiachiater用于因果结构化生存预测，我们将其称为Dagsurv。我们说明了Dagsurv在低和高维合成数据集中的性能，以及诸如元数据集等现实数据集，如元数据集。我们证明，该方法优于其他生存分析基线，如Cox比例危害，Deepsurv和Deephit，这对数据实体之间的潜在因果关系感到遗憾。

从电子健康记录（EHR）数据中进行有效学习来预测临床结果，这通常是具有挑战性的，因为在不规则的时间段记录的特征和随访的损失以及竞争性事件（例如死亡或疾病进展）。为此，我们提出了一种生成的事实模型，即Survlatent Ode，该模型采用了基于基于微分方程的复发性神经网络（ODE-RNN）作为编码器，以有效地对不规则采样的输入数据进行潜在状态的动力学有效地参数化。然后，我们的模型利用所得的潜在嵌入来灵活地估计多个竞争事件的生存时间，而无需指定事件特定危害功能的形状。我们展示了我们在Mimic-III上的竞争性能，这是一种从重症监护病房收集的自由纵向数据集，预测医院死亡率以及DANA-FARBER癌症研究所（DFCI）的数据，以预测静脉血栓症（静脉血栓症（DFCI）（DFCI）（ VTE），是癌症患者的生命并发症，死亡作为竞争事件。幸存ODE优于分层VTE风险组的当前临床标准Khorana风险评分，同时提供临床上有意义且可解释的潜在表示。

由于存在抗抗，因此仅由于例如损失跟踪而仅部分已知的抗抗，因此仅存在抗抗，因此存在于回归建模的具有挑战性。这些问题经常在医疗应用中出现，使生存分析成为医疗保健的生物统计学和机器学习的关键努力，Cox回归模型是最常用的模型。我们描述了一种基于COX回归的学习混合物来模拟各个生存分布的生存分析回归模型的新方法。我们提出了对该模型的预期最大化算法的近似，该算法对混合组进行了艰难的分配，以进行优化效率。在每个组分配中，我们使用深神经网络的每个组内的危险比以及每个混合物组分非参数的基线危害。我们对多个现实世界数据集进行实验，并查看种族和性别患者的死亡率。我们强调了校准在医疗保健环境中的重要性，并证明我们的方法在鉴别性能和校准方面表明了古典和现代生存分析基线，在少数人口统计数据上具有大的收益。

机器学习在医疗保健中的应用通常需要处理时间到事实的预测任务，包括不良事件的预测，重新住院或死亡。由于失去随访，此类结果通常受到审查。标准的机器学习方法不能直接地应用于具有审查结果的数据集。在本文中，我们提出了Auton-Survival，这是一个开源存储库，用于简化审查的活动时间或生存数据的工具。Auton Survival包括用于生存回归的工具，存在域移位，反事实估计，风险分层的表型，评估以及治疗效果的估计。通过采用大量SEER肿瘤学发病率数据的现实世界案例研究，我们证明了Auton Survival迅速支持数据科学家在回答复杂健康和流行病学问题方面的能力。

因果推断对于跨业务参与，医疗和政策制定等领域的数据驱动决策至关重要。然而，关于因果发现的研究已经与推理方法分开发展，从而阻止了两个领域方法的直接组合。在这项工作中，我们开发了深层端到端因果推理（DECI），这是一种基于流动的非线性添加噪声模型，该模型具有观察数据，并且可以执行因果发现和推理，包括有条件的平均治疗效果（CATE） ）估计。我们提供了理论上的保证，即DECI可以根据标准因果发现假设恢复地面真实因果图。受应用影响的激励，我们将该模型扩展到具有缺失值的异质，混合型数据，从而允许连续和离散的治疗决策。我们的结果表明，与因果发现的相关基线相比，DECI的竞争性能和（c）在合成数据集和因果机器学习基准测试基准的一千多个实验中，跨数据类型和缺失水平进行了估计。

神经网络（深度学习）是人工智能中的现代模型，并且在生存分析中已被利用。尽管以前的作品已经显示出一些改进，但培训出色的深度学习模型需要大量数据，这在实践中可能不存在。为了应对这一挑战，我们开发了一个基于Kullback-Leibler（KL）深度学习程序，以将外部生存预测模型与新收集的活动时间数据整合在一起。时间依赖性的KL歧视信息用于衡量外部数据和内部数据之间的差异。这是考虑使用先前信息来处理深度学习生存分析中的简短数据问题的第一项工作。仿真和实际数据结果表明，与以前的工作相比，所提出的模型可实现更好的性能和更高的鲁棒性。

因果关系是理解世界的科学努力的基本组成部分。不幸的是，在心理学和社会科学中，因果关系仍然是禁忌。由于越来越多的建议采用因果方法进行研究的重要性，我们重新制定了心理学研究方法的典型方法，以使不可避免的因果理论与其余的研究渠道协调。我们提出了一个新的过程，该过程始于从因果发现和机器学习的融合中纳入技术的发展，验证和透明的理论形式规范。然后，我们提出将完全指定的理论模型的复杂性降低到与给定目标假设相关的基本子模型中的方法。从这里，我们确定利息量是否可以从数据中估算出来，如果是的，则建议使用半参数机器学习方法来估计因果关系。总体目标是介绍新的研究管道，该管道可以（a）促进与测试因果理论的愿望兼容的科学询问（b）鼓励我们的理论透明代表作为明确的数学对象，（c）将我们的统计模型绑定到我们的统计模型中该理论的特定属性，因此减少了理论到模型间隙通常引起的规范不足问题，以及（d）产生因果关系和可重复性的结果和估计。通过具有现实世界数据的教学示例来证明该过程，我们以摘要和讨论来结论。

估算观察数据（个人 - 或人口层面）的因果效应对于制作许多类型的决策至关重要。解决此任务的一种方法是学习数据潜在因素的分解表示;当有混淆因素时（影响原因和效果），这变得明显更具挑战性。在本文中，我们采取了一种生成的方法，在变分自动编码器的最近进步上建立了同时学习这些潜在因素以及因果效应。我们提出了一种渐进模型序列，每个模型序列都改善了前一个，最终在混合模型中。我们的经验结果表明，所有三种拟议模型的性能优于最先进的判别以及文献中的其他生成方法。

在广泛的任务中，在包括医疗处理，广告和营销和政策制定的发​​展中，对观测数据进行因果推断非常有用。使用观察数据进行因果推断有两种重大挑战：治疗分配异质性（\ Texit {IE}，治疗和未经处理的群体之间的差异），并且没有反事实数据（\ TEXTIT {IE}，不知道是什么已经发生了，如果确实得到治疗的人，反而尚未得到治疗）。通过组合结构化推论和有针对性的学习来解决这两个挑战。在结构方面，我们将联合分布分解为风险，混淆，仪器和杂项因素，以及在目标学习方面，我们应用来自影响曲线的规则器，以减少残余偏差。进行了一项消融研究，对基准数据集进行评估表明，TVAE具有竞争力和最先进的艺术表现。

制定和实施基于AI的解决方案有助于国家和联邦政府机构，研究机构和商业公司加强决策过程，自动化连锁业务，减少自然和人力资源的消费。与此同时，实践中使用的大多数AI方法只能表示为“黑匣子”并遭受缺乏透明度。这最终可能导致意外的结果和破坏在这种系统中的信任。因此，至关重要，不仅要开发有效和强大的AI系统，而且为了确保其内部过程可解释和公平。我们本章的目标是利用美国经济技术部门的示例，介绍具有高影响决策的AI系统的保证方法的主题。我们通过提供技术经济数据集的因果试验，我们解释了这些领域如何从数据集的关键指标之间揭示致命关系。审查了几种因果推断方法和AI保证技术，并对数据转换为图形结构数据集。

利用来自多个域的标记数据来启用没有标签的另一个域中的预测是一个重大但充满挑战的问题。为了解决这个问题，我们介绍了框架Dapdag（\ textbf {d} omain \ textbf {a}通过\ textbf {p} daptation daptation daptation \ textbf {p} erturbed \ textbf {dag}重建），并建议学习对人群进行投入的自动化统计信息给定特征并重建有向的无环图（DAG）作为辅助任务。在观察到的变量中，允许有条件的分布在由潜在环境变量$ e $领导的域变化的变量中，假定基础DAG结构不变。编码器旨在用作$ e $的推理设备，而解码器重建每个观察到的变量，以其DAG中的图形父母和推断的$ e $进行。我们以端到端的方式共同训练编码器和解码器，并对具有混合变量的合成和真实数据集进行实验。经验结果表明，重建DAG有利于近似推断。此外，我们的方法可以在预测任务中与其他基准测试实现竞争性能，具有更好的适应能力，尤其是在目标领域与源域显着不同的目标领域。

在本文中，我们提出了一种使用神经网络的生存分析模型，以及可伸缩优化算法。直接应用最大似然估计（MLE）缩短数据的一个关键技术挑战是评估目标函数及其梯度相对于模型参数需要计算积分。为了解决这一挑战，我们认识到，可以将用于审查数据的MEE视为差分方程约束优化问题，这是一种新颖的视角。在此连接之后，我们通过普通微分方程模拟事件时间的分布，并利用有效的颂歌求解器并伴随敏感性分析来数值评估可能性和梯度。使用这种方法，我们能够1）提供广泛的连续时间存活分布，无需强大的结构假设，2）使用神经网络获得强大的特征表示，3）允许在大规模应用中使用模型估计模型随机梯度下降。通过仿真研究和现实世界数据示例，我们展示了所提出的方法与现有的最先进的深度学习生存分析模型相比的有效性。已在HTTPS://github.com/Jiaqima/soden公开提供拟议的SODEN方法。

Causal learning has attracted much attention in recent years because causality reveals the essential relationship between things and indicates how the world progresses. However, there are many problems and bottlenecks in traditional causal learning methods, such as high-dimensional unstructured variables, combinatorial optimization problems, unknown intervention, unobserved confounders, selection bias and estimation bias. Deep causal learning, that is, causal learning based on deep neural networks, brings new insights for addressing these problems. While many deep learning-based causal discovery and causal inference methods have been proposed, there is a lack of reviews exploring the internal mechanism of deep learning to improve causal learning. In this article, we comprehensively review how deep learning can contribute to causal learning by addressing conventional challenges from three aspects: representation, discovery, and inference. We point out that deep causal learning is important for the theoretical extension and application expansion of causal science and is also an indispensable part of general artificial intelligence. We conclude the article with a summary of open issues and potential directions for future work.

Causal inference is the process of using assumptions, study designs, and estimation strategies to draw conclusions about the causal relationships between variables based on data. This allows researchers to better understand the underlying mechanisms at work in complex systems and make more informed decisions. In many settings, we may not fully observe all the confounders that affect both the treatment and outcome variables, complicating the estimation of causal effects. To address this problem, a growing literature in both causal inference and machine learning proposes to use Instrumental Variables (IV). This paper serves as the first effort to systematically and comprehensively introduce and discuss the IV methods and their applications in both causal inference and machine learning. First, we provide the formal definition of IVs and discuss the identification problem of IV regression methods under different assumptions. Second, we categorize the existing work on IV methods into three streams according to the focus on the proposed methods, including two-stage least squares with IVs, control function with IVs, and evaluation of IVs. For each stream, we present both the classical causal inference methods, and recent developments in the machine learning literature. Then, we introduce a variety of applications of IV methods in real-world scenarios and provide a summary of the available datasets and algorithms. Finally, we summarize the literature, discuss the open problems and suggest promising future research directions for IV methods and their applications. We also develop a toolkit of IVs methods reviewed in this survey at https://github.com/causal-machine-learning-lab/mliv.

结构方程模型（SEM）是一种有效的框架，其原因是通过定向非循环图（DAG）表示的因果关系。最近的进步使得能够从观察数据中实现了DAG的最大似然点估计。然而，在实际场景中，可以不能准确地捕获在推断下面的底层图中的不确定性，其中真正的DAG是不可识别的并且/或观察到的数据集是有限的。我们提出了贝叶斯因果发现网（BCD网），一个变分推理框架，用于估算表征线性高斯SEM的DAG的分布。由于图形的离散和组合性质，开发一个完整的贝叶斯后面是挑战。我们通过表达变分别家庭分析可扩展VI的可扩展VI的关键设计选择，例如1）表达性变分别家庭，2）连续弛豫，使低方差随机优化和3）在潜在变量上具有合适的前置。我们提供了一系列关于实际和合成数据的实验，显示BCD网在低数据制度中的标准因果发现度量上的最大似然方法，例如结构汉明距离。

用于生存预测的深层神经网络在歧视方面超过了经典方法，这是患者根据事件的秩序。相反，诸如COX比例危害模型之类的经典方法显示出更好的校准，即对基础分布事件的正确时间预测。特别是在医学领域，预测单个患者的存活至关重要，歧视和校准都是重要的绩效指标。在这里，我们提出了离散的校准生存（DC），这是一个新型的深层神经网络，用于歧视和校准的生存预测，在三个医疗数据集的歧视中优于竞争生存模型，同时在所有离散时间模型中实现最佳校准。 DC的增强性能可以归因于两个新型功能，即可变的时间输出节点间距和新颖的损耗项，可优化未经审查和审查的患者数据的使用。我们认为，DCS是临床应用基于深度学习的生存预测和良好校准的重要一步。

学习分离旨在寻找低维表示，该表示由观察数据的多个解释性和生成因素组成。变异自动编码器（VAE）的框架通常用于将独立因素从观察中解散。但是，在实际情况下，具有语义的因素不一定是独立的。取而代之的是，可能存在基本的因果结构，从而使这些因素取决于这些因素。因此，我们提出了一个名为Causalvae的新的基于VAE的框架，该框架包括一个因果层，将独立的外源性因子转化为因果内源性因素，这些因子与数据中的因果关系相关概念相对应。我们进一步分析了模型，表明从观测值中学到的拟议模型可以在一定程度上恢复真实的模型。实验是在各种数据集上进行的，包括合成和真实的基准Celeba。结果表明，因果关系学到的因果表示是可以解释的，并且其因果关系作为定向无环形图（DAG）的因果关系良好地鉴定出来。此外，我们证明了所提出的Causalvae模型能够通过因果因素的“操作”来生成反事实数据。

给定图表具有部分观察到节点特征，我们如何准确估计缺失功能？特征估计是分析现实图表的关键问题，其特征在数据收集过程中通常缺少。准确的估计不仅提供了节点的多种信息，而且还支持需要全面观察节点特征的图形神经网络的推断。但是，设计一种估计高维特征的有效方法是具有挑战性的，因为它要求估算器具有较大的表示能力，从而增加过度拟合的风险。在这项工作中，我们提出了SVGA（结构化变分图自动编码器），这是一种精确的特征估计方法。 SVGA通过结构化变异推断将强固体化应用于潜在变量的分布，该变量推断将变量的先前作为基于图结构的高斯马尔可夫随机字段建模。结果，SVGA结合了概率推理和图形神经网络的优势，在实际数据集中实现了最新性能。

因果推断的一个共同主题是学习观察到的变量（也称为因果发现）之间的因果关系。考虑到大量候选因果图和搜索空间的组合性质，这通常是一项艰巨的任务。也许出于这个原因，到目前为止，大多数研究都集中在相对较小的因果图上，并具有多达数百个节点。但是，诸如生物学之类的领域的最新进展使生成实验数据集，并进行了数千种干预措施，然后进行了数千个变量的丰富分析，从而增加了机会和迫切需要大量因果图模型。在这里，我们介绍了因子定向无环图（F-DAG）的概念，是将搜索空间限制为非线性低级别因果相互作用模型的一种方法。将这种新颖的结构假设与最近的进步相结合，弥合因果发现与连续优化之间的差距，我们在数千个变量上实现了因果发现。此外，作为统计噪声对此估计程序的影响的模型，我们根据随机图研究了F-DAG骨架的边缘扰动模型，并量化了此类扰动对F-DAG等级的影响。该理论分析表明，一组候选F-DAG比整个DAG空间小得多，因此在很难评估基础骨架的高维度中更统计学上的稳定性。我们提出了因子图（DCD-FG）的可区分因果发现，这是对高维介入数据的F-DAG约束因果发现的可扩展实现。 DCD-FG使用高斯非线性低级结构方程模型，并且在模拟中的最新方法以及最新的大型单细胞RNA测序数据集中，与最新方法相比显示出显着改善遗传干预措施。

神经网络中的大多数工作都集中在给定一组协变量的情况下估计连续响应变量的条件平均值。在本文中，我们考虑使用神经网络估算有条件的分布函数，以审查和未经审查的数据。该算法建立在与时间依赖性协变量有关COX回归的数据结构上。在不施加任何模型假设的情况下，我们考虑了基于条件危险函数是唯一未知的非参数参数的损失函数，可以应用不明显的优化方法。通过仿真研究，我们显示了所提出的方法具有理想的性能，而部分可能性方法和传统的神经网络具有$ l_2 $损失产量的偏向估计，当模型假设违反。我们进一步用几个现实世界数据集说明了提出的方法。提出的方法的实现可在https://github.com/bingqing0729/nncde上获得。