数据插补是处理缺失数据的有效方法，这在实际应用中很常见。在这项研究中，我们提出并测试一个实现两个重要目标的新型数据归合过程：（1）保留观测值之间的行相似性和功能矩阵中特征之间的列背景关系，以及（2）量身定制插补。处理特定下游标签预测任务。所提出的插补过程使用变压器网络和图形结构学习来迭代地完善观察值之间特征和相似性之间的上下文关系。此外，它使用一个元学习框架来选择对下游预测任务影响的功能。我们对现实世界中的大数据集进行实验，并表明所提出的插补过程始终在各种基准方法上改善插补和标签预测性能。

Effective data imputation demands rich latent ``structure" discovery capabilities from ``plain" tabular data. Recent advances in graph neural networks-based data imputation solutions show their strong structure learning potential by directly translating tabular data as bipartite graphs. However, due to a lack of relations between samples, those solutions treat all samples equally which is against one important observation: ``similar sample should give more information about missing values." This paper presents a novel Iterative graph Generation and Reconstruction framework for Missing data imputation(IGRM). Instead of treating all samples equally, we introduce the concept: ``friend networks" to represent different relations among samples. To generate an accurate friend network with missing data, an end-to-end friend network reconstruction solution is designed to allow for continuous friend network optimization during imputation learning. The representation of the optimized friend network, in turn, is used to further optimize the data imputation process with differentiated message passing. Experiment results on eight benchmark datasets show that IGRM yields 39.13% lower mean absolute error compared with nine baselines and 9.04% lower than the second-best.

多模式单细胞技术的最新进展已使从同一细胞中的多个OMICS数据同时采集，从而更深入地了解细胞状态和动力学。但是，从多模式数据，模拟模式之间的关系并更重要的是，将大量的单模式数据集纳入下游分析是一项挑战。为了应对这些挑战并相应地促进了多模式的单细胞数据分析，已经引入了三个关键任务：$ \ textit {模式预测} $，$ \ textit {modital {modital {modational conterative} $和$ \ textit {intimit {interion {intim interding} $。在这项工作中，我们提出了一个通用图形神经网络框架$ \ textit {scmognn} $来解决这三个任务，并表明$ \ textit {scmognn} $与最新的任务相比，在所有三个任务中都表现出了卓越的结果。艺术和传统方法。我们的方法是\ textit {模式预测}的整体排名的官方获奖者，来自神经2021竞赛\ footNote {\ url {https://openproblems.bio/neurips_2021/}}，我们的所有方法都已整合到我们的所有实现中舞蹈软件包\ footNote {\ url {https://github.com/omicsml/dance}}}。

时间序列数据在现实世界应用中无处不在。但是，最常见的问题之一是，时间序列数据可能会通过数据收集过程的固有性质丢失值。因此，必须从多元（相关）时间序列数据中推出缺失值，这对于改善预测性能的同时做出准确的数据驱动决策至关重要。插补的常规工作简单地删除缺失值或基于平均/零填充它们。尽管基于深层神经网络的最新作品显示出了显着的结果，但它们仍然有一个限制来捕获多元时间序列的复杂生成过程。在本文中，我们提出了一种用于多变量时间序列数据的新型插补方法，称为sting（使用GAN基于自我注意的时间序列插补网络）。我们利用生成的对抗网络和双向复发性神经网络来学习时间序列的潜在表示。此外，我们引入了一种新型的注意机制，以捕获整个序列的加权相关性，并避免无关序列带来的潜在偏见。三个现实世界数据集的实验结果表明，刺痛在插补精度以及具有估算值的下游任务方面优于现有的最新方法。

图形神经网络（GNNS）在提供图形结构时良好工作。但是，这种结构可能并不总是在现实世界应用中可用。该问题的一个解决方案是推断任务特定的潜在结构，然后将GNN应用于推断的图形。不幸的是，可能的图形结构的空间与节点的数量超级呈指数，因此任务特定的监督可能不足以学习结构和GNN参数。在这项工作中，我们提出了具有自我监督或拍打的邻接和GNN参数的同时学习，这是通过自我监督来推断图形结构的更多监督的方法。一个综合实验研究表明，缩小到具有数十万个节点的大图和胜过了几种模型，以便在已建立的基准上学习特定于任务的图形结构。

图形表示学习（GRL）属性缺失的图表，这是一个常见的难以具有挑战性的问题，最近引起了相当大的关注。我们观察到现有文献：1）隔离属性和结构嵌入的学习因此未能采取两种类型的信息的充分优势; 2）对潜伏空间变量的分布假设施加过于严格的分布假设，从而导致差异较少的特征表示。在本文中，基于在两个信息源之间引入亲密信息交互的想法，我们提出了我们的暹罗属性丢失的图形自动编码器（SAGA）。具体而言，已经进行了三种策略。首先，我们通过引入暹罗网络结构来共享两个进程学习的参数来纠缠嵌入属性嵌入和结构嵌入，这允许网络培训从更丰富和不同的信息中受益。其次，我们介绍了一个K到最近的邻居（knn）和结构约束，增强了学习机制，通过过滤不可靠的连接来提高缺失属性的潜在特征的质量。第三，我们手动掩盖多个相邻矩阵上的连接，并强力嵌入子网恢复真正的相邻矩阵，从而强制实现所得到的网络能够选择性地利用更高级别的判别特征来进行数据完成。六个基准数据集上的广泛实验表明了我们传奇的优越性，反对最先进的方法。

近年来，多视图学习迅速发展。尽管许多先前的研究都认为每个实例都出现在所有视图中，但在现实世界应用程序中很常见，从某些视图中丢失实例，从而导致多视图数据不完整。为了解决这个问题，我们提出了一个新型潜在的异质图网络（LHGN），以实现不完整的多视图学习，该学习旨在以灵活的方式尽可能充分地使用多个不完整的视图。通过学习统一的潜在代表，隐含地实现了不同观点之间一致性和互补性之间的权衡。为了探索样本与潜在表示之间的复杂关系，首次提出了邻域约束和视图约束，以构建异质图。最后，为了避免训练和测试阶段之间的任何不一致之处，基于图形学习的分类任务应用了转导学习技术。对现实世界数据集的广泛实验结果证明了我们模型对现有最新方法的有效性。

动态图形表示学习是具有广泛应用程序的重要任务。以前关于动态图形学习的方法通常对嘈杂的图形信息（如缺失或虚假连接）敏感，可以产生退化的性能和泛化。为了克服这一挑战，我们提出了一种基于变换器的动态图表学习方法，命名为动态图形变换器（DGT），带有空间 - 时间编码，以有效地学习图形拓扑并捕获隐式链接。为了提高泛化能力，我们介绍了两个补充自我监督的预训练任务，并表明共同优化了两种预训练任务，通过信息理论分析导致较小的贝叶斯错误率。我们还提出了一个时间联盟图形结构和目标 - 上下文节点采样策略，用于高效和可扩展的培训。与现实世界数据集的广泛实验说明了与几个最先进的基线相比，DGT呈现出优异的性能。

预训练在机器学习的不同领域表现出成功，例如计算机视觉，自然语言处理（NLP）和医学成像。但是，尚未完全探索用于临床数据分析。记录了大量的临床记录，但是对于在小型医院收集的数据或处理罕见疾病的数据仍可能稀缺数据和标签。在这种情况下，对较大的未标记临床数据进行预训练可以提高性能。在本文中，我们提出了专为异质的多模式临床数据设计的新型无监督的预训练技术，用于通过蒙版语言建模（MLM）启发的患者预测，通过利用对人群图的深度学习来启发。为此，我们进一步提出了一个基于图形转换器的网络，该网络旨在处理异质临床数据。通过将基于掩盖的预训练与基于变压器的网络相结合，我们将基于掩盖的其他域中训练的成功转化为异质临床数据。我们使用三个医学数据集Tadpole，Mimic-III和一个败血症预测数据集，在自我监督和转移学习设置中展示了我们的预训练方法的好处。我们发现，我们提出的培训方法有助于对患者和人群水平的数据进行建模，并提高所有数据集中不同微调任务的性能。

实验室检测和药物处方是日常临床实践中最重要的两种惯例。开发一种人工智能系统，可以自动制造实验室测试借助和药物建议可以节省潜在的冗余实验室测试，并告知医生更有效的处方。我们展示了一个智能医疗系统（名为Medgcn），可以根据其不完整的实验室测试自动推荐患者的药物，甚至可以准确估计未被采取的实验室值。在我们的系统中，我们将多种类型的医疗实体之间的复杂关系与其在异构图中的固有功能集成。然后，我们模拟图表以了解基于图形卷积网络（GCN）图表中的每个实体的分布式表示。通过图形卷积网络的传播，实体表示可以包含多种类型的医疗信息，可以使多种医疗任务受益。此外，我们介绍了交叉正则化策略，以减少多任务之间的交互的多任务培训过度装备。在本研究中，我们构建一个图形，以将4种类型的医疗实体，即患者，遇到，实验室测试和药物相关联，并应用图形神经网络来学习用于药物推荐和实验室测试贷款的节点嵌入。我们在两个现实世界数据集上验证了我们的Medgcn模型：nmedw和mimic-III。两个数据集的实验结果表明，我们的模型可以在两个任务中表现出最先进的。我们认为，我们的创新系统可以提供有希望和可靠的方法来帮助医生制作药物处置处方，并节省潜在的冗余实验室测试。

异构表格数据是最常用的数据形式，对于众多关键和计算要求的应用程序至关重要。在同质数据集上，深度神经网络反复显示出卓越的性能，因此被广泛采用。但是，它们适应了推理或数据生成任务的表格数据仍然具有挑战性。为了促进该领域的进一步进展，这项工作概述了表格数据的最新深度学习方法。我们将这些方法分为三组：数据转换，专业体系结构和正则化模型。对于每个小组，我们的工作提供了主要方法的全面概述。此外，我们讨论了生成表格数据的深度学习方法，并且还提供了有关解释对表格数据的深层模型的策略的概述。因此，我们的第一个贡献是解决上述领域中的主要研究流和现有方法，同时强调相关的挑战和开放研究问题。我们的第二个贡献是在传统的机器学习方法中提供经验比较，并在五个流行的现实世界中的十种深度学习方法中，具有不同规模和不同的学习目标的经验比较。我们已将作为竞争性基准公开提供的结果表明，基于梯度增强的树合奏的算法仍然大多在监督学习任务上超过了深度学习模型，这表明对表格数据的竞争性深度学习模型的研究进度停滞不前。据我们所知，这是对表格数据深度学习方法的第一个深入概述。因此，这项工作可以成为有价值的起点，以指导对使用表格数据深入学习感兴趣的研究人员和从业人员。

异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎，从链接预测到节点分类。但是，大多数现有作品都忽略了多型节点之间的多重网络的关系异质性，而在元路径中，元素嵌入中关系的重要性不同，这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战，这项工作提出了用于异质网络嵌入的多重异质图卷积网络（MHGCN）。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外，我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中，并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明，根据所有评估指标，MHGCN与最先进的嵌入基线的优势。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

随着传感技术的进步，多元时间序列分类（MTSC）最近受到了相当大的关注。基于深度学习的MTSC技术主要依赖于卷积或经常性神经网络，主要涉及单时间序列的时间依赖性。结果，他们努力直接在多变量变量中表达成对依赖性。此外，基于图形神经网络（GNNS）的当前空间 - 时间建模（例如，图形分类）方法本质上是平的，并且不能以分层方式聚合集线器数据。为了解决这些限制，我们提出了一种基于新的图形汇集框架MTPOOL，以获得MTS的表现力全球表示。我们首先通过采用通过图形结构学习模块的相互作用来将MTS切片转换为曲线图，并通过时间卷积模块获得空间 - 时间图节点特征。为了获得全局图形级表示，我们设计了基于“编码器 - 解码器”的变形图池池模块，用于为群集分配创建自适应质心。然后我们将GNN和我们所提出的变分图层汇集层组合用于联合图表示学习和图形粗糙化，之后该图逐渐赋予一个节点。最后，可差异化的分类器将此粗糙的表示来获取最终预测的类。 10个基准数据集的实验表明MTPOOL优于MTSC任务中最先进的策略。

多元时间序列（MTS）是与许多实际应用有关的通用数据类型。但是，MTS缺少数据问题，这会导致下游任务的降解甚至崩溃，例如预测和分类。当遇到多个下游任务时，并发丢失的数据处理过程不可避免地会引起偏见的估计和冗余训练问题。本文提出了普遍适用的MTS预培训模型DBT-DMAE，以征服上述障碍。首先，缺少表示模块是通过引入动态位置嵌入和随机掩蔽处理来设计的，以表征缺失的症状。其次，我们提出了一种自动编码器结构，以利用称为Dynamic-Bixirectional-TCN的改善的TCN结构作为基本单元，以获取通用的MTS编码表示，该结构集成了动态内核和时流的技巧来有效地绘制时间特征。最后，建立了整体进食策略，以确保对整个模型进行适当的培训。比较实验结果表明，DBT-DMAE在六个现实世界数据集和两个不同下游任务中的其他最新方法优于其他最先进的方法。此外，提供消融和解释性实验，以验证DBT-DMAE子结构的有效性。

图表学习目的旨在将节点内容与图形结构集成以学习节点/图表示。然而，发现许多现有的图形学习方法在具有高异性级别的数据上不能很好地工作，这是不同类标签之间很大比例的边缘。解决这个问题的最新努力集中在改善消息传递机制上。但是，尚不清楚异质性是否确实会损害图神经网络（GNNS）的性能。关键是要展现一个节点与其直接邻居之间的关系，例如它们是异性还是同质性？从这个角度来看，我们在这里研究了杂质表示在披露连接节点之间的关系之前/之后的杂音表示的作用。特别是，我们提出了一个端到端框架，该框架既学习边缘的类型（即异性/同质性），并利用边缘类型的信息来提高图形神经网络的表现力。我们以两种不同的方式实施此框架。具体而言，为了避免通过异质边缘传递的消息，我们可以通过删除边缘分类器鉴定的异性边缘来优化图形结构。另外，可以利用有关异性邻居的存在的信息进行特征学习，因此，设计了一种混合消息传递方法来汇总同质性邻居，并根据边缘分类使异性邻居多样化。广泛的实验表明，在整个同质级别的多个数据集上，通过在多个数据集上提出的框架对GNN的绩效提高了显着提高。

建模城市环境中的网络级交通流量如何变化对于运输，公共安全和城市规划中的决策有用。交通流量系统可以视为一个动态过程，随着时间的推移，状态之间（例如，每个道路段的交通量）之间过渡。在现实世界中的流量系统中，诸如交通信号控制或可逆车道更改之类的交通操作动作，该系统的状态受历史状态和交通操作的行动的影响。在本文中，我们考虑了在现实世界中建模网络级交通流量的问题，在现实世界中，可用数据稀疏（即仅观察到交通系统的一部分）。我们提出了Dtignn，该方法可以预测稀疏数据的网络级流量流。 Dtignn将交通系统建模为受交通信号影响的动态图，学习以运输的基本过渡方程为基础的过渡模型，并预测未来的交通状态在此过程中归类。通过全面的实验，我们证明了我们的方法优于最先进的方法，并且可以更好地支持运输中的决策。

图形神经网络已成为从图形结构数据学习的不可缺少的工具之一，并且它们的实用性已在各种各样的任务中显示。近年来，建筑设计的巨大改进，导致各种预测任务的性能更好。通常，这些神经架构在同一层中使用可知的权重矩阵组合节点特征聚合和特征转换。这使得分析从各种跳过的节点特征和神经网络层的富有效力来挑战。由于不同的图形数据集显示在特征和类标签分布中的不同级别和异常级别，因此必须了解哪些特征对于没有任何先前信息的预测任务是重要的。在这项工作中，我们将节点特征聚合步骤和深度与图形神经网络分离，并经验分析了不同的聚合特征在预测性能中发挥作用。我们表明，并非通过聚合步骤生成的所有功能都很有用，并且通常使用这些较少的信息特征可能对GNN模型的性能有害。通过我们的实验，我们表明学习这些功能的某些子集可能会导致各种数据集的性能更好。我们建议使用Softmax作为常规器，并从不同跳距的邻居聚合的功能的“软选择器”;和L2 - GNN层的标准化。结合这些技术，我们呈现了一个简单浅的模型，特征选择图神经网络（FSGNN），并经验展示所提出的模型比九个基准数据集中的最先进的GNN模型实现了可比或甚至更高的准确性节点分类任务，具有显着的改进，可达51.1％。

链接预测是一项重要的任务，在各个域中具有广泛的应用程序。但是，大多数现有的链接预测方法都假定给定的图遵循同质的假设，并设计基于相似性的启发式方法或表示学习方法来预测链接。但是，许多现实世界图是异性图，同义假设不存在，这挑战了现有的链接预测方法。通常，在异性图中，有许多引起链接形成的潜在因素，并且两个链接的节点在一个或两个因素中往往相似，但在其他因素中可能是不同的，导致总体相似性较低。因此，一种方法是学习每个节点的分离表示形式，每个矢量捕获一个因子上的节点的潜在表示，这铺平了一种方法来模拟异性图中的链接形成，从而导致更好的节点表示学习和链接预测性能。但是，对此的工作非常有限。因此，在本文中，我们研究了一个新的问题，该问题是在异性图上进行链接预测的分离表示学习。我们提出了一种新颖的框架分解，可以通过建模链接形成并执行感知因素的消息来学习以促进链接预测来学习解开的表示形式。在13个现实世界数据集上进行的广泛实验证明了Disenlink对异性恋和血友病图的链接预测的有效性。我们的代码可从https://github.com/sjz5202/disenlink获得

缺少数据是机器学习实践中的一个重要问题。从估算方法应保留数据的因果结构的前提下，我们开发了一个正则化方案，鼓励任何基线估算方法与底层数据产生机制发生因果关系。我们的提议是一个因果感知估算算法（奇迹）。奇迹通过同时建模缺失产生机制，令人振奋的归咎与数据的因果结构一致，迭代地改进基线的归纳。我们对综合和各种公开可用数据集进行了广泛的实验，以表明奇迹能够在所有三个缺失场景中始终如一地改善对各种基准方法的归力：随机，完全随意，而不是随机。