细粒度命名实体键入（FG-NET）旨在根据上下文将实体提及的实体提及到广泛的实体类型（通常数百个）。虽然遥远的监督是获取监督培训数据的最常见方法，但它带来了标签噪声，因为它将类型标签分配给实体提及，而不论提及背景如何。为了处理标签噪声，对FG-NET的领先研究假设，细颗粒的实体键入数据具有欧几里得性质，这限制了现有模型在打击标签噪声方面的能力。鉴于细粒型层次结构表现出层次结构的事实，它使双曲线空间成为对FG-NET数据进行建模的自然选择。在这项研究中，我们提出了FGNET-RH，这是一个新颖的框架，该框架从双曲线几何形状与图形结构结合使用，以表现性能增强的方式执行实体打字。 FGNET-RH最初使用LSTM网络与其上下文相关的提及，后来形成了一个图形来提炼/完善双曲线空间中的提及编码。最后，精制的提及编码用于实体键入。使用不同基准数据集的实验表明，就严格的准确性而言，FGNET-RH将FGNET-RH提高了FG-NET的性能高达3.5％。

双曲线神经网络由于对几个图形问题的有希望的结果，包括节点分类和链接预测，因此最近引起了极大的关注。取得成功的主要原因是双曲空间在捕获图数据集的固有层次结构方面的有效性。但是，在非层次数据集方面，它们在概括，可伸缩性方面受到限制。在本文中，我们对双曲线网络进行了完全正交的观点。我们使用Poincar \'e磁盘对双曲线几何形状进行建模，并将其视为磁盘本身是原始的切线空间。这使我们能够用欧几里院近似替代非尺度的M \“ Obius Gyrovector操作，因此将整个双曲线模型简化为具有双曲线归一化功能的欧几里得模型。它仍然在Riemannian歧管中起作用，因此我们称其为伪poincar \'e框架。我们将非线性双曲线归一化应用于当前的最新均质和多关系图网络，与欧几里得和双曲线对应物相比，性能的显着改善。这项工作的主要影响在于其在欧几里得空间中捕获层次特征的能力，因此可以替代双曲线网络而不会损失性能指标，同时利用欧几里得网络的功能，例如可解释性和有效执行各种模型组件。

In recent years, graph neural networks (GNNs) have emerged as a promising tool for solving machine learning problems on graphs. Most GNNs are members of the family of message passing neural networks (MPNNs). There is a close connection between these models and the Weisfeiler-Leman (WL) test of isomorphism, an algorithm that can successfully test isomorphism for a broad class of graphs. Recently, much research has focused on measuring the expressive power of GNNs. For instance, it has been shown that standard MPNNs are at most as powerful as WL in terms of distinguishing non-isomorphic graphs. However, these studies have largely ignored the distances between the representations of nodes/graphs which are of paramount importance for learning tasks. In this paper, we define a distance function between nodes which is based on the hierarchy produced by the WL algorithm, and propose a model that learns representations which preserve those distances between nodes. Since the emerging hierarchy corresponds to a tree, to learn these representations, we capitalize on recent advances in the field of hyperbolic neural networks. We empirically evaluate the proposed model on standard node and graph classification datasets where it achieves competitive performance with state-of-the-art models.

将包含文本和不同边缘类型的文本的信息节点连接的异质网络通常用于在各种现实世界应用程序中存储和处理信息。图形神经网络（GNNS）及其双曲线变体提供了一种有希望的方法，可以通过邻域聚集和分层特征提取在低维的潜在空间中编码此类网络。但是，这些方法通常忽略Metapath结构和可用的语义信息。此外，这些方法对训练数据中存在的噪声很敏感。为了解决这些局限性，在本文中，我们提出了富含文本的稀疏双曲图卷积网络（TESH-GCN），以使用语义信号捕获图形的Metapath结构，并进一步改善大型异质图中的预测。在TESH-GCN中，我们提取语义节点信息，该信息连接信号是从稀疏的双曲线图卷积层中从稀疏邻接张量中提取相关节点的局部邻域和图形级Metapath特征。这些提取的功能与语言模型的语义特征（用于鲁棒性）结合使用，用于最终下游任务。各种异质图数据集的实验表明，我们的模型在链接预测任务上的大幅度优于当前最新方法。我们还报告说，与现有的双曲线方法相比，训练时间和模型参数均减少了，通过重新的双曲线图卷积。此外，我们通过在图形结构和文本中使用不同级别的模拟噪声来说明模型的鲁棒性，并通过分析提取的Metapaths来解释Tesh-GCN的预测机制。

Hyperbolic space is emerging as a promising learning space for representation learning, owning to its exponential growth volume. Compared with the flat Euclidean space, the curved hyperbolic space is far more ambient and embeddable, particularly for datasets with implicit tree-like architectures, such as hierarchies and power-law distributions. On the other hand, the structure of a real-world network is usually intricate, with some regions being tree-like, some being flat, and others being circular. Directly embedding heterogeneous structural networks into a homogeneous embedding space unavoidably brings inductive biases and distortions. Inspiringly, the discrete curvature can well describe the local structure of a node and its surroundings, which motivates us to investigate the information conveyed by the network topology explicitly in improving geometric learning. To this end, we explore the properties of the local discrete curvature of graph topology and the continuous global curvature of embedding space. Besides, a Hyperbolic Curvature-aware Graph Neural Network, HCGNN, is further proposed. In particular, HCGNN utilizes the discrete curvature to lead message passing of the surroundings and adaptively adjust the continuous curvature simultaneously. Extensive experiments on node classification and link prediction tasks show that the proposed method outperforms various competitive models by a large margin in both high and low hyperbolic graph data. Case studies further illustrate the efficacy of discrete curvature in finding local clusters and alleviating the distortion caused by hyperbolic geometry.

细颗粒实体打字（FET）旨在推断本文中提及的特定语义类型。 FET的现代方法主要集中于学习某种类型的外观。很少有作品直接建模类型差异，也就是说，让模型知道一种类型与其他类型不同的程度。为了减轻这个问题，我们提出了一种富含类型的FET的分层对比策略。我们的方法可以直接建模层次类型之间的差异，并提高区分多元类似类型的能力。一方面，我们将类型嵌入到实体上下文中，以使类型的信息直接感知。另一方面，我们在层次结构上设计了一个约束的对比策略，以直接建模类型差异，这可以同时感知不同粒度下类型之间的区分性。 BBN，Ontonotes和Figer的三个基准测试的实验结果表明，我们的方法通过有效建模类型差异在FET上实现了显着性能。

知识图（kgs）中的实体类型信息（例如DBPEDIA，FREEBASE等）通常由于自动产生或人类策划而通常不完整。实体键入是在kg中分配或推断实体的语义类型的任务。本文介绍了\ textit {grand {grand}，这是一种实体键入的新方法，利用RDF2VEC中的不同图形步行策略以及文本实体描述。 RDF2VEC首先生成图形步行，然后使用语言模型来获取图中每个节点的嵌入。这项研究表明，步行生成策略和嵌入模型对实体打字任务的性能有重大影响。所提出的方法的表现优于基准数据集DBPedia和Figer在kgs中的实体和小颗粒类别的实体。结果表明，订单感知RDF2VEC变体的组合以及文本实体描述的上下文嵌入可实现最佳结果。

我们研究了很少的细粒实体键入（FET）的问题，其中只有几个带注释的实体对每种实体类型提供了上下文。最近，基于及时的调整通过将实体类型分类任务作为“填补空白”的问题来表明在几次射击方案中表现出优越的性能。这允许有效利用预训练的语言模型（PLM）的强语建模能力。尽管当前基于及时的调整方法成功了，但仍有两个主要挑战：（1）提示中的口头化器要么是由外部知识基础手动设计或构建的，而无需考虑目标语料库和标签层次结构信息，而且（2）当前方法主要利用PLM的表示能力，但没有通过广泛的通用域预训练来探索其产生的功率。在这项工作中，我们为由两个模块组成的几个弹药fet提出了一个新颖的框架：（1）实体类型标签解释模块自动学习将类型标签与词汇联系起来，通过共同利用几个播放实例和标签层次结构和标签层次结构，以及（2）基于类型的上下文化实例生成器根据给定实例生成新实例，以扩大培训集以更好地概括。在三个基准数据集上，我们的模型优于大量利润的现有方法。可以在https://github.com/teapot123/fine-graining-entity-typing上找到代码。

归因网络上的异常检测最近在许多研究领域（例如控制论异常检测和财务欺诈检测）受到了越来越多的关注。随着深度学习在图表表示上的广泛应用，现有的方法选择将欧几里得图编码器作为骨架进行应用，这可能会失去重要的层次结构信息，尤其是在复杂的网络中。为了解决这个问题，我们建议使用双曲线自我监督对比度学习有效的异常检测框架。具体而言，我们首先通过执行子图抽样进行数据增强。然后，我们通过指数映射和对数映射利用双曲线空间中的分层信息，并通过通过区分过程从负对中减去正对的分数来获得异常得分。最后，在四个现实世界数据集上进行的广泛实验表明，我们的方法在代表性基线方法上的表现优越。

由于其几何特性，双曲线空间可以支持树木和图形结构化数据的高保真嵌入。结果，已经开发了各种双曲线网络，这些网络在许多任务上都超过了欧几里得网络：例如双曲线图卷积网络（GCN）在某些图形学习任务上的表现可以胜过香草GCN。但是，大多数现有的双曲线网络都是复杂的，计算昂贵的，并且在数值上不稳定 - 由于这些缺点，它们无法扩展到大图。提出了越来越多的双曲线网络，越来越不清楚什么关键组成部分使模型行为。在本文中，我们提出了HYLA，这是一种简单而最小的方法，用于在网络中使用双曲线空间：Hyla地图一次从双曲空空间从嵌入荷兰的嵌入到欧几里得空间，并通过双曲线空间中的Laplacian操作员的特征函数。我们在图形学习任务上评估HYLA，包括节点分类和文本分类，其中HYLA可以与任何图神经网络一起使用。当与线性模型一起使用时，HYLA对双曲线网络和其他基线显示出显着改善。

3D对象的点云具有固有的组成性质，可以将简单的部分组装成逐渐复杂的形状以形成整个对象。明确捕获这种部分整体层次结构是一个长期的目标，以建立有效的模型，但其树状的性质使这项任务变得难以捉摸。在本文中，我们建议将点云分类器的特征嵌入双曲线空间中，并明确规范空间以说明零件整体结构。双曲线空间是唯一可以成功嵌入层次结构的树状性质的空间。这导致了对点云分类的最先进的监督模型的性能的实质性改善。

我们提出了文件的实体级关系联合模型。与其他方法形成鲜明对比 - 重点关注本地句子中的对，因此需要提及级别的注释 - 我们的模型在实体级别运行。为此，遵循多任务方法，它在Coreference分辨率上建立并通过多级别表示结合全局实体和本地提到信息来聚集相关信号。我们在积木数据集中实现最先进的关系提取结果，并报告了未来参考的第一个实体级端到端关系提取结果。最后，我们的实验结果表明，联合方法与特定于任务专用的学习相提并论，虽然由于共享参数和培训步骤而言更有效。

Graph convolutional networks (GCNs) are powerful frameworks for learning embeddings of graph-structured data. GCNs are traditionally studied through the lens of Euclidean geometry. Recent works find that non-Euclidean Riemannian manifolds provide specific inductive biases for embedding hierarchical or spherical data. However, they cannot align well with data of mixed graph topologies. We consider a larger class of pseudo-Riemannian manifolds that generalize hyperboloid and sphere. We develop new geodesic tools that allow for extending neural network operations into geodesically disconnected pseudo-Riemannian manifolds. As a consequence, we derive a pseudo-Riemannian GCN that models data in pseudo-Riemannian manifolds of constant nonzero curvature in the context of graph neural networks. Our method provides a geometric inductive bias that is sufficiently flexible to model mixed heterogeneous topologies like hierarchical graphs with cycles. We demonstrate the representational capabilities of this method by applying it to the tasks of graph reconstruction, node classification and link prediction on a series of standard graphs with mixed topologies. Empirical results demonstrate that our method outperforms Riemannian counterparts when embedding graphs of complex topologies.

Hierarchical semantic structures, naturally existing in real-world datasets, can assist in capturing the latent distribution of data to learn robust hash codes for retrieval systems. Although hierarchical semantic structures can be simply expressed by integrating semantically relevant data into a high-level taxon with coarser-grained semantics, the construction, embedding, and exploitation of the structures remain tricky for unsupervised hash learning. To tackle these problems, we propose a novel unsupervised hashing method named Hyperbolic Hierarchical Contrastive Hashing (HHCH). We propose to embed continuous hash codes into hyperbolic space for accurate semantic expression since embedding hierarchies in hyperbolic space generates less distortion than in hyper-sphere space and Euclidean space. In addition, we extend the K-Means algorithm to hyperbolic space and perform the proposed hierarchical hyperbolic K-Means algorithm to construct hierarchical semantic structures adaptively. To exploit the hierarchical semantic structures in hyperbolic space, we designed the hierarchical contrastive learning algorithm, including hierarchical instance-wise and hierarchical prototype-wise contrastive learning. Extensive experiments on four benchmark datasets demonstrate that the proposed method outperforms the state-of-the-art unsupervised hashing methods. Codes will be released.

两视图知识图（kgs）共同表示两个组成部分：抽象和常识概念的本体论观点，以及针对本体论概念实例化的特定实体的实例视图。因此，这些kg包含来自实例视图的本体学和周期性的分层的异质结构。尽管KG中有这些不同的结构，但最新的嵌入KG的作品假设整个KG仅属于两个观点之一，但并非同时属于。对于寻求将KG视为两种视图的作品，假定实例和本体论的观点属于相同的几何空间，例如所有嵌入在同一欧几里得空间中的节点或非欧盟产品空间，不再是合理的。对于两视图kg，图表的不同部分显示出不同的结构。为了解决这个问题，我们定义并构建了一个双几何空间嵌入模型（DGS），该模型通过将KG的不同部分嵌入不同的几何空间中，该模型使用复杂的非欧盟几何几何空间进行对两视图KGS进行建模。 DGS利用球形空间，双曲线空间及其在统一框架中学习嵌入的框架中的相交空间。此外，对于球形空间，我们提出了直接在球形空间中运行的新型封闭的球形空间操作员，而无需映射到近似切线空间。公共数据集上的实验表明，DGS在KG完成任务上的先前最先进的基线模型明显优于先前的基线模型，这表明了其在KGS中更好地建模异质结构的能力。

The development of deep neural networks has improved representation learning in various domains, including textual, graph structural, and relational triple representations. This development opened the door to new relation extraction beyond the traditional text-oriented relation extraction. However, research on the effectiveness of considering multiple heterogeneous domain information simultaneously is still under exploration, and if a model can take an advantage of integrating heterogeneous information, it is expected to exhibit a significant contribution to many problems in the world. This thesis works on Drug-Drug Interactions (DDIs) from the literature as a case study and realizes relation extraction utilizing heterogeneous domain information. First, a deep neural relation extraction model is prepared and its attention mechanism is analyzed. Next, a method to combine the drug molecular structure information and drug description information to the input sentence information is proposed, and the effectiveness of utilizing drug molecular structures and drug descriptions for the relation extraction task is shown. Then, in order to further exploit the heterogeneous information, drug-related items, such as protein entries, medical terms and pathways are collected from multiple existing databases and a new data set in the form of a knowledge graph (KG) is constructed. A link prediction task on the constructed data set is conducted to obtain embedding representations of drugs that contain the heterogeneous domain information. Finally, a method that integrates the input sentence information and the heterogeneous KG information is proposed. The proposed model is trained and evaluated on a widely used data set, and as a result, it is shown that utilizing heterogeneous domain information significantly improves the performance of relation extraction from the literature.

双曲线网络在涉及各个领域的层次数据集（例如计算机视觉，图形分析和自然语言处理）的几个领域中显示出对其欧几里得对应物的显着改进。但是，由于（i）对加速深度学习硬件的不可易度性，（ii）由于夸张空间关闭而消失的梯度以及（iii）由于本地切线空间和频繁映射而导致的信息丢失，因此它们在实践中的采用仍然受到限制。完全双曲线空间。为了解决这些问题，我们建议使用Taylor系列扩展对双曲线操作员进行近似，这使我们能够将计算昂贵的切线和余弦双曲线功能重新调整为更有效的多项式型号。这使我们能够保留保留双曲线空间层次解剖结构的好处，同时保持对当前加速深度学习基础设施的可伸缩性。多项式配方还使我们能够利用欧几里得网络中的进步，例如梯度剪辑和relu激活，以避免由于经常在切线空间和双曲空间之间进行切换而消除梯度并消除错误。我们对图形分析和计算机视觉域中标准基准测试的经验评估表明，在记忆和时间复杂性方面，我们的多项式公式与欧几里得体系结构一样可扩展，同时提供的结果与双曲线模型一样有效。此外，由于我们解决了消失的梯度和信息丢失，我们的配方还显示出对基线的大幅改进。

Supervision for metric learning has long been given in the form of equivalence between human-labeled classes. Although this type of supervision has been a basis of metric learning for decades, we argue that it hinders further advances of the field. In this regard, we propose a new regularization method, dubbed HIER, to discover the latent semantic hierarchy of training data, and to deploy the hierarchy to provide richer and more fine-grained supervision than inter-class separability induced by common metric learning losses. HIER achieved this goal with no annotation for the semantic hierarchy but by learning hierarchical proxies in hyperbolic spaces. The hierarchical proxies are learnable parameters, and each of them is trained to serve as an ancestor of a group of data or other proxies to approximate the semantic hierarchy among them. HIER deals with the proxies along with data in hyperbolic space since geometric properties of the space are well-suited to represent their hierarchical structure. The efficacy of HIER was evaluated on four standard benchmarks, where it consistently improved performance of conventional methods when integrated with them, and consequently achieved the best records, surpassing even the existing hyperbolic metric learning technique, in almost all settings.

零拍的学习依赖于语义类表示，例如手工设计的属性或学习的嵌入方式来预测类，而无需任何标记的示例。我们建议通过将节点从矢量空间中的常识知识图中嵌入节点来学习班级表示。常识知识图是未开发的明确高级知识的来源，几乎不需要人类的努力才能应用于一系列任务。为了捕获图中的知识，我们引入了ZSL-KG，这是一种具有新型变压器图卷积网络（TRGCN）的通用框架，用于生成类表示。我们提出的TRGCN体系结构计算节点社区的非线性组合。我们的结果表明，ZSL-KG在语言和视觉中的六个零弹药基准数据集中有五个基于WordNet的方法改进了基于WordNet的方法。

关系提取（RE）是自然语言处理的基本任务。RE试图通过识别文本中的实体对之间的关系信息来将原始的，非结构化的文本转变为结构化知识。RE有许多用途，例如知识图完成，文本摘要，提问和搜索查询。RE方法的历史可以分为四个阶段：基于模式的RE，基于统计的RE，基于神经的RE和大型语言模型的RE。这项调查始于对RE的早期阶段的一些示例性作品的概述，突出了局限性和缺点，以使进度相关。接下来，我们回顾流行的基准测试，并严格检查用于评估RE性能的指标。然后，我们讨论遥远的监督，这是塑造现代RE方法发展的范式。最后，我们回顾了重点是降级和培训方法的最新工作。