学习电子健康记录（EHRS）表示是一个杰出但未被发现的研究主题。它受益于各种临床决策支持应用，例如药物结果预测或患者相似性搜索。当前的方法集中在特定于任务的标签监督上，对矢量化的顺序EHR，这不适用于大规模无监督的方案。最近，对比度学习在自我监督的代表性学习问题上显示出巨大的成功。但是，复杂的时间性通常会降低表现。我们提出了图形内核信息，这是EHR图形表示的一种自我监督的图内学习方法，以克服先前的问题。与最新的艺术品不同，我们不会更改图形结构以构建增强视图。取而代之的是，我们使用内核子空间扩展将节点嵌入两个几何不同的流形视图中。整个框架是通过通过常用的对比目标在这两种歧管视图上对比的节点和图形表示训练的。从经验上讲，使用公开可用的基准EHR数据集，我们的方法在超过最先进的临床下游任务上产生了表现。从理论上讲，距离指标的变化自然会在不改变图形结构的情况下创建不同的视图作为数据增强。

We introduce a self-supervised approach for learning node and graph level representations by contrasting structural views of graphs. We show that unlike visual representation learning, increasing the number of views to more than two or contrasting multi-scale encodings do not improve performance, and the best performance is achieved by contrasting encodings from first-order neighbors and a graph diffusion. We achieve new state-ofthe-art results in self-supervised learning on 8 out of 8 node and graph classification benchmarks under the linear evaluation protocol. For example, on Cora (node) and Reddit-Binary (graph) classification benchmarks, we achieve 86.8% and 84.5% accuracy, which are 5.5% and 2.4% relative improvements over previous state-of-the-art. When compared to supervised baselines, our approach outperforms them in 4 out of 8 benchmarks.

无监督的图形表示学习是图形数据的非琐碎主题。在结构化数据的无监督代表学习中对比学习和自我监督学习的成功激发了图表上的类似尝试。使用对比损耗的当前无监督的图形表示学习和预培训主要基于手工增强图数据之间的对比度。但是，由于不可预测的不变性，图数据增强仍然没有很好地探索。在本文中，我们提出了一种新颖的协作图形神经网络对比学习框架（CGCL），它使用多个图形编码器来观察图形。不同视图观察的特征充当了图形编码器之间对比学习的图表增强，避免了任何扰动以保证不变性。 CGCL能够处理图形级和节点级表示学习。广泛的实验表明CGCL在无监督的图表表示学习中的优势以及图形表示学习的手工数据增强组合的非必要性。

图表表示学习近年来收到了增加的注意。大多数现有方法忽略了图形结构的复杂性，并限制了单个恒定曲率表示空间中的图形，这仅适用于特定类型的图形结构。此外，这些方法遵循监督或半监督的学习范例，从而显着限制其在实际应用中的未标记图中的部署。为了解决这些上述限制，我们首次尝试研究混合曲率空间中的自我监督的图表表示学习。在本文中，我们提出了一种新颖的自我监督的混合曲率图神经网络（SelfMGNN）。我们不是在一个单一的恒定曲率空间上工作，我们通过多个riemannian组件空间的笛卡尔乘积构建混合曲率空间，并设计分层注意机制，用于学习和融合这些组件空间的表示。为了实现自我超标学习，我们提出了一种新的双重对比方法。混合曲率的黎曼空间实际上为对比学习提供了多个黎曼观点。我们介绍了一个riemananian投影机来揭示这些观点，并利用精心设计的riemananian判别者，以便在里莫安尼亚视图中单独和跨越对比学习。最后，广泛的实验表明SelfMGNN捕获了现实中的复杂图形结构，优于最先进的基线。

对比学习已被广​​泛应用于图形表示学习，其中观测发生器在产生有效的对比样本方面发挥着重要作用。大多数现有的对比学习方法采用预定义的视图生成方法，例如节点滴或边缘扰动，这通常不能适应输入数据或保持原始语义结构。为了解决这个问题，我们提出了一份名为自动化图形对比学习（AutoGCL）的小说框架。具体而言，AutoGCL采用一组由自动增强策略协调的一组学习图形视图生成器，其中每个图形视图生成器都会学习输入调节的图形的概率分布。虽然AutoGCL中的图形视图发生器在生成每个对比样本中保留原始图的最代表性结构，但自动增强学会在整个对比学习程序中介绍适当的增强差异的政策。此外，AutoGCL采用联合培训策略，以培训学习的视图发生器，图形编码器和分类器以端到端的方式，导致拓扑异质性，在产生对比样本时的语义相似性。关于半监督学习，无监督学习和转移学习的广泛实验展示了我们在图形对比学习中的最先进的自动支持者框架的优越性。此外，可视化结果进一步证实，与现有的视图生成方法相比，可学习的视图发生器可以提供更紧凑和语义有意义的对比样本。

图级表示在各种现实世界中至关重要，例如预测分子的特性。但是实际上，精确的图表注释通常非常昂贵且耗时。为了解决这个问题，图形对比学习构造实例歧视任务，将正面对（同一图的增强对）汇总在一起，并将负面对（不同图的增强对）推开，以进行无监督的表示。但是，由于为了查询，其负面因素是从所有图中均匀抽样的，因此现有方法遭受关键采样偏置问题的损失，即，否定物可能与查询具有相同的语义结构，从而导致性能降解。为了减轻这种采样偏见问题，在本文中，我们提出了一种典型的图形对比度学习（PGCL）方法。具体而言，PGCL通过将语义相似的图形群群归为同一组的群集数据的基础语义结构，并同时鼓励聚类的一致性，以实现同一图的不同增强。然后给出查询，它通过从与查询群集不同的群集中绘制图形进行负采样，从而确保查询及其阴性样本之间的语义差异。此外，对于查询，PGCL根据其原型（集群质心）和查询原型之间的距离进一步重新重新重新重新重新享受其负样本，从而使那些具有中等原型距离的负面因素具有相对较大的重量。事实证明，这种重新加权策略比统一抽样更有效。各种图基准的实验结果证明了我们的PGCL比最新方法的优势。代码可在https://github.com/ha-lins/pgcl上公开获取。

在这项工作中，我们使用功能磁共振成像（fMRI）专注于具有挑战性的任务，神经疾病分类。在基于人群的疾病分析中，图卷积神经网络（GCN）取得了显着的成功。但是，这些成就与丰富的标记数据密不可分，对虚假信号敏感。为了改善在标签有效的设置下的fMRI表示学习和分类，我们建议在GCN上使用新颖的，理论驱动的自我监督学习（SSL）框架，即在FMRI分析门上用于时间自我监督学习的CCA。具体而言，要求设计合适有效的SSL策略来提取fMRI的形成和鲁棒特征。为此，我们研究了FMRI动态功能连接（FC）的几种新的图表增强策略，用于SSL培训。此外，我们利用规范相关分析（CCA）在不同的时间嵌入中，并呈现理论含义。因此，这产生了一个新颖的两步GCN学习程序，该过程包括在未标记的fMRI人群图上的（i）SSL组成，并且（ii）在小标记的fMRI数据集上进行了微调，以进行分类任务。我们的方法在两个独立的fMRI数据集上进行了测试，这表明自闭症和痴呆症诊断方面表现出色。

电子健康记录（EHR）已经大量用于现代医疗保健系统，用于将患者的入场信息记录到医院。许多数据驱动方法采用EHR中的时间特征，用于预测患者的特定疾病，阅告期或诊断。然而，由于某些时间事件的监督培训中固有的标签，大多数现有的预测模型不能充分利用EHR数据。此外，对于现有的作品很难同时提供通用和个性化的解释性。为解决这些挑战，我们首先提出了一种具有信息流到分层结构的信息流的双曲线嵌入方法。我们将这些预先训练的表征纳入了图形神经网络以检测疾病并发症，并设计一种计算特定疾病和入学贡献的多级注意方法，从而提高个性化的可解释性。我们在自我监督的学习框架中提出了一个新的层次结构增强的历史预测代理任务，以充分利用EHR数据和利用医疗领域知识。我们开展一套全面的实验和案例研究，广泛使用的公开可用的EHR数据集以验证我们模型的有效性。结果表明我们的模型在预测任务和可解释能力方面的优势。

Graph Contrastive Learning (GCL) has recently drawn much research interest for learning generalizable node representations in a self-supervised manner. In general, the contrastive learning process in GCL is performed on top of the representations learned by a graph neural network (GNN) backbone, which transforms and propagates the node contextual information based on its local neighborhoods. However, nodes sharing similar characteristics may not always be geographically close, which poses a great challenge for unsupervised GCL efforts due to their inherent limitations in capturing such global graph knowledge. In this work, we address their inherent limitations by proposing a simple yet effective framework -- Simple Neural Networks with Structural and Semantic Contrastive Learning} (S^3-CL). Notably, by virtue of the proposed structural and semantic contrastive learning algorithms, even a simple neural network can learn expressive node representations that preserve valuable global structural and semantic patterns. Our experiments demonstrate that the node representations learned by S^3-CL achieve superior performance on different downstream tasks compared with the state-of-the-art unsupervised GCL methods. Implementation and more experimental details are publicly available at \url{https://github.com/kaize0409/S-3-CL.}

预训练在机器学习的不同领域表现出成功，例如计算机视觉，自然语言处理（NLP）和医学成像。但是，尚未完全探索用于临床数据分析。记录了大量的临床记录，但是对于在小型医院收集的数据或处理罕见疾病的数据仍可能稀缺数据和标签。在这种情况下，对较大的未标记临床数据进行预训练可以提高性能。在本文中，我们提出了专为异质的多模式临床数据设计的新型无监督的预训练技术，用于通过蒙版语言建模（MLM）启发的患者预测，通过利用对人群图的深度学习来启发。为此，我们进一步提出了一个基于图形转换器的网络，该网络旨在处理异质临床数据。通过将基于掩盖的预训练与基于变压器的网络相结合，我们将基于掩盖的其他域中训练的成功转化为异质临床数据。我们使用三个医学数据集Tadpole，Mimic-III和一个败血症预测数据集，在自我监督和转移学习设置中展示了我们的预训练方法的好处。我们发现，我们提出的培训方法有助于对患者和人群水平的数据进行建模，并提高所有数据集中不同微调任务的性能。

图形对比学习（GCL）已成为学习图形无监督表示的有效工具。关键思想是通过数据扩展最大化每个图的两个增强视图之间的一致性。现有的GCL模型主要集中在给定情况下的所有图表上应用\ textit {相同的增强策略}。但是，实际图通常不是单态，而是各种本质的抽象。即使在相同的情况下（例如，大分子和在线社区），不同的图形可能需要各种增强来执行有效的GCL。因此，盲目地增强所有图表而不考虑其个人特征可能会破坏GCL艺术的表现。 {a} u Mentigation（GPA），通过允许每个图选择自己的合适的增强操作来推进常规GCL。本质上，GPA根据其拓扑属性和节点属性通过可学习的增强选择器为每个图定制了量身定制的增强策略，该策略是插件模块，可以通过端到端的下游GCL型号有效地训练。来自不同类型和域的11个基准图的广泛实验证明了GPA与最先进的竞争对手的优势。此外，通过可视化不同类型的数据集中学习的增强分布，我们表明GPA可以有效地识别最合适的数据集每个图的增强基于其特征。

Contrastive learning methods based on InfoNCE loss are popular in node representation learning tasks on graph-structured data. However, its reliance on data augmentation and its quadratic computational complexity might lead to inconsistency and inefficiency problems. To mitigate these limitations, in this paper, we introduce a simple yet effective contrastive model named Localized Graph Contrastive Learning (Local-GCL in short). Local-GCL consists of two key designs: 1) We fabricate the positive examples for each node directly using its first-order neighbors, which frees our method from the reliance on carefully-designed graph augmentations; 2) To improve the efficiency of contrastive learning on graphs, we devise a kernelized contrastive loss, which could be approximately computed in linear time and space complexity with respect to the graph size. We provide theoretical analysis to justify the effectiveness and rationality of the proposed methods. Experiments on various datasets with different scales and properties demonstrate that in spite of its simplicity, Local-GCL achieves quite competitive performance in self-supervised node representation learning tasks on graphs with various scales and properties.

Existing graph contrastive learning methods rely on augmentation techniques based on random perturbations (e.g., randomly adding or dropping edges and nodes). Nevertheless, altering certain edges or nodes can unexpectedly change the graph characteristics, and choosing the optimal perturbing ratio for each dataset requires onerous manual tuning. In this paper, we introduce Implicit Graph Contrastive Learning (iGCL), which utilizes augmentations in the latent space learned from a Variational Graph Auto-Encoder by reconstructing graph topological structure. Importantly, instead of explicitly sampling augmentations from latent distributions, we further propose an upper bound for the expected contrastive loss to improve the efficiency of our learning algorithm. Thus, graph semantics can be preserved within the augmentations in an intelligent way without arbitrary manual design or prior human knowledge. Experimental results on both graph-level and node-level tasks show that the proposed method achieves state-of-the-art performance compared to other benchmarks, where ablation studies in the end demonstrate the effectiveness of modules in iGCL.

图形相似性学习是指计算两个图之间的相似性得分，这在许多现实的应用程序（例如视觉跟踪，图形分类和协作过滤）中需要。由于大多数现有的图形神经网络产生了单个图的有效图表，因此几乎没有努力共同学习两个图表并计算其相似性得分。此外，现有的无监督图相似性学习方法主要基于聚类，它忽略了图对中体现的有价值的信息。为此，我们提出了一个对比度图匹配网络（CGMN），以进行自我监督的图形相似性学习，以计算任何两个输入图对象之间的相似性。具体而言，我们分别在一对中为每个图生成两个增强视图。然后，我们采用两种策略，即跨视图相互作用和跨刻画相互作用，以实现有效的节点表示学习。前者求助于两种观点中节点表示的一致性。后者用于识别不同图之间的节点差异。最后，我们通过汇总操作进行图形相似性计算将节点表示形式转换为图形表示。我们已经在八个现实世界数据集上评估了CGMN，实验结果表明，所提出的新方法优于图形相似性学习下游任务的最新方法。

在文本中提取时间关系是自然语言理解的一个至关重要但充满挑战的问题。根据事件之间的距离，模型必须学会从事件对周围的本地和全局环境中进行不同的信息以进行时间关系预测。学习如何融合这些信息已证明对基于变压器的语言模型具有挑战性。因此，我们介绍了mulco：多尺度对比的共同训练，这是一种更好地融合本地和全球情境化特征的技术。我们的模型使用基于BERT的语言模型编码本地上下文和图形神经网络（GNN）来表示全局文档级句法和时间特征。与以前的最先进方法不同，该方法在多视图功能上使用简单的串联或使用复杂的强化学习方法选择最佳句子，我们的模型Co-Trains GNN和BERT模块使用多规模的对比度学习目标。 GNN和BERT模块通过将GNN多层多跳子图（即，全局上下文嵌入）和BERT输出（即局部上下文嵌入）进行对比，从而学习了协同参数化。我们从经验上证明，与当前的最新技术相比，Mulco提供了改进的使用Bert和GNN编码的本地和全球环境的能力。我们的实验结果表明，Mulco在几个时间关系提取数据集上实现了新的最新结果。

尽管图表学习（GRL）取得了重大进展，但要以足够的方式提取和嵌入丰富的拓扑结构和特征信息仍然是一个挑战。大多数现有方法都集中在本地结构上，并且无法完全融合全球拓扑结构。为此，我们提出了一种新颖的结构保留图表学习（SPGRL）方法，以完全捕获图的结构信息。具体而言，为了减少原始图的不确定性和错误信息，我们通过k-nearest邻居方法构建了特征图作为互补视图。该特征图可用于对比节点级别以捕获本地关系。此外，我们通过最大化整个图形和特征嵌入的相互信息（MI）来保留全局拓扑结构信息，从理论上讲，该信息可以简化为交换功能的特征嵌入和原始图以重建本身。广泛的实验表明，我们的方法在半监督节点分类任务上具有相当出色的性能，并且在图形结构或节点特征上噪声扰动下的鲁棒性出色。

Generalizable, transferrable, and robust representation learning on graph-structured data remains a challenge for current graph neural networks (GNNs). Unlike what has been developed for convolutional neural networks (CNNs) for image data, self-supervised learning and pre-training are less explored for GNNs. In this paper, we propose a graph contrastive learning (GraphCL) framework for learning unsupervised representations of graph data. We first design four types of graph augmentations to incorporate various priors. We then systematically study the impact of various combinations of graph augmentations on multiple datasets, in four different settings: semi-supervised, unsupervised, and transfer learning as well as adversarial attacks. The results show that, even without tuning augmentation extents nor using sophisticated GNN architectures, our GraphCL framework can produce graph representations of similar or better generalizability, transferrability, and robustness compared to state-of-the-art methods. We also investigate the impact of parameterized graph augmentation extents and patterns, and observe further performance gains in preliminary experiments. Our codes are available at: https://github.com/Shen-Lab/GraphCL.

学习有效的蛋白质表示在生物学的各种任务中至关重要，例如预测蛋白质功能或结构。现有的方法通常在大量未标记的氨基酸序列上预先蛋白质语言模型，然后在下游任务中使用一些标记的数据来对模型进行修复。尽管基于序列的方法具有有效性，但尚未探索蛋白质性能预测的已知蛋白质结构的预处理功能，尽管蛋白质结构已知是蛋白质功能的决定因素，但尚未探索。在本文中，我们建议根据其3D结构预处理蛋白质。我们首先提出一个简单而有效的编码器，以学习蛋白质的几何特征。我们通过利用多视图对比学习和不同的自我预测任务来预先蛋白质图编码器。对功能预测和折叠分类任务的实验结果表明，我们提出的预处理方法表现优于或与最新的基于最新的序列方法相提并论，同时使用较少的数据。我们的实施可在https://github.com/deepgraphlearning/gearnet上获得。

Graph representation learning has emerged as a powerful technique for addressing real-world problems. Various downstream graph learning tasks have benefited from its recent developments, such as node classification, similarity search, and graph classification. However, prior arts on graph representation learning focus on domain specific problems and train a dedicated model for each graph dataset, which is usually non-transferable to out-of-domain data. Inspired by the recent advances in pre-training from natural language processing and computer vision, we design Graph Contrastive Coding (GCC) 1 -a self-supervised graph neural network pre-training framework-to capture the universal network topological properties across multiple networks. We design GCC's pre-training task as subgraph instance discrimination in and across networks and leverage contrastive learning to empower graph neural networks to learn the intrinsic and transferable structural representations. We conduct extensive experiments on three graph learning tasks and ten graph datasets. The results show that GCC pre-trained on a collection of diverse datasets can achieve competitive or better performance to its task-specific and trained-from-scratch counterparts. This suggests that the pre-training and fine-tuning paradigm presents great potential for graph representation learning.

标准的对比学习方法通常需要大量的否定否定有效的无监督学习，并且往往表现出缓慢的收敛性。我们怀疑这种行为是由于用于提供与积极鲜明对比的否定的廉价选择。我们通过从支持向量机（SVM）的灵感来呈现最大值保证金对比学习（MMCL）来抵消这种困难。我们的方法选择否定作为通过二次优化问题获得的稀疏支持向量，通过最大化决策余量来强制执行对比度。由于SVM优化可以计算要求，特别是在端到端设置中，我们提出了缓解计算负担的简化。我们验证了我们对标准视觉基准数据集的方法，展示了在无监督的代表上学习最先进的表现，同时具有更好的经验收敛性。