法律法规识别的任务（LSI）旨在确定与法律案件的给定的事实或证据的描述相关的法律法规。现有方法仅利用事实和法律文章的文本内容来指导此类任务。但是，案例文件和法律法规之间的引文网络是一个丰富的附加信息来源，这是现有模型的考虑。在这项工作中，我们采取第一步利用LSI任务的文本和法律引文网络。我们为这项任务策划了一个大型新型数据集，包括来自印度若干主要法院的案例，以及来自印度刑法（IPC）的法规。将法规和培训文档建模为异构图，我们提出的模型Lesicin可以学习丰富的文本和图形功能，并且还可以调整本身来关联这些功能。此后，该模型可用于感应地预测测试文档（其图形特征不可用的新节点）和法规（现有节点）之间的链接。关于数据集的广泛实验表明，我们的模型通过利用图形结构以及文本特征来舒适地舒适地优于若干最先进的基线。数据集和我们的代码可用于https://github.com/law-ai/lesicin。

在法律文本中预先培训的基于变压器的预训练语言模型（PLM）的出现，法律领域中的自然语言处理受益匪浅。有经过欧洲和美国法律文本的PLM，最著名的是Legalbert。但是，随着印度法律文件的NLP申请量的迅速增加以及印度法律文本的区别特征，也有必要在印度法律文本上预先培训LMS。在这项工作中，我们在大量的印度法律文件中介绍了基于变压器的PLM。我们还将这些PLM应用于印度法律文件的几个基准法律NLP任务，即从事实，法院判决的语义细分和法院判决预测中的法律法规识别。我们的实验证明了这项工作中开发的印度特定PLM的实用性。

建模法检索和检索作为预测问题最近被出现为法律智能的主要方法。专注于法律文章检索任务，我们展示了一个名为Lamberta的深度学习框架，该框架被设计用于民法代码，并在意大利民法典上专门培训。为了我们的知识，这是第一项研究提出了基于伯特（来自变压器的双向编码器表示）学习框架的意大利法律制度对意大利法律制度的高级法律文章预测的研究，最近引起了深度学习方法的增加，呈现出色的有效性在几种自然语言处理和学习任务中。我们通过微调意大利文章或其部分的意大利预先训练的意大利预先训练的伯爵来定义Lamberta模型，因为法律文章作为分类任务检索。我们Lamberta框架的一个关键方面是我们构思它以解决极端的分类方案，其特征在于课程数量大，少量学习问题，以及意大利法律预测任务的缺乏测试查询基准。为了解决这些问题，我们为法律文章的无监督标签定义了不同的方法，原则上可以应用于任何法律制度。我们提供了深入了解我们Lamberta模型的解释性和可解释性，并且我们对单一标签以及多标签评估任务进行了广泛的查询模板实验分析。经验证据表明了Lamberta的有效性，以及对广泛使用的深度学习文本分类器和一些构思的几次学习者来说，其优越性是对属性感知预测任务的优势。

The development of deep neural networks has improved representation learning in various domains, including textual, graph structural, and relational triple representations. This development opened the door to new relation extraction beyond the traditional text-oriented relation extraction. However, research on the effectiveness of considering multiple heterogeneous domain information simultaneously is still under exploration, and if a model can take an advantage of integrating heterogeneous information, it is expected to exhibit a significant contribution to many problems in the world. This thesis works on Drug-Drug Interactions (DDIs) from the literature as a case study and realizes relation extraction utilizing heterogeneous domain information. First, a deep neural relation extraction model is prepared and its attention mechanism is analyzed. Next, a method to combine the drug molecular structure information and drug description information to the input sentence information is proposed, and the effectiveness of utilizing drug molecular structures and drug descriptions for the relation extraction task is shown. Then, in order to further exploit the heterogeneous information, drug-related items, such as protein entries, medical terms and pathways are collected from multiple existing databases and a new data set in the form of a knowledge graph (KG) is constructed. A link prediction task on the constructed data set is conducted to obtain embedding representations of drugs that contain the heterogeneous domain information. Finally, a method that integrates the input sentence information and the heterogeneous KG information is proposed. The proposed model is trained and evaluated on a widely used data set, and as a result, it is shown that utilizing heterogeneous domain information significantly improves the performance of relation extraction from the literature.

自动推荐向特定法律案件的相关法律文章引起了很多关注，因为它可以大大释放人工劳动力，从而在大型法律数据库中寻找。然而，目前的研究只支持粗粒度推荐，其中所有相关文章都预测为整体，而无需解释每种文章与之相关的具体事实。由于一个案例可以由许多支持事实形成，因此遍历它们来验证推荐结果的正确性可能是耗时的。我们认为，在每个单一的事实和法律文章之间学习细粒度的对应，对于准确可靠的AI系统至关重要。通过这种动机，我们执行开创性的研究并创建一个手动注释的事实 - 文章的语料库。我们将学习视为文本匹配任务，并提出一个多级匹配网络来解决它。为了帮助模型更好地消化法律文章的内容，我们以随机森林的前提结论对形式解析物品。实验表明，解析的形式产生了更好的性能，结果模型超越了其他流行的文本匹配基线。此外，我们与先前的研究相比，并发现建立细粒度的事实 - 文章对应物可以通过大幅度提高建议准确性。我们最好的系统达到了96.3％的F1得分，使其具有实际使用潜力。它还可以显着提高法律决策预测的下游任务，将F1增加到12.7％。

事实证明，信息提取方法可有效从结构化或非结构化数据中提取三重。以（头部实体，关系，尾部实体）形式组织这样的三元组的组织称为知识图（kgs）。当前的大多数知识图都是不完整的。为了在下游任务中使用kgs，希望预测kgs中缺少链接。最近，通过将实体和关系嵌入到低维的矢量空间中，旨在根据先前访问的三元组来预测三元组，从而对KGS表示不同的方法。根据如何独立或依赖对三元组进行处理，我们将知识图完成的任务分为传统和图形神经网络表示学习，并更详细地讨论它们。在传统的方法中，每个三重三倍将独立处理，并在基于GNN的方法中进行处理，三倍也考虑了他们的当地社区。查看全文

图形神经网络（GNN）在解决图形结构数据（即网络）方面的各种分析任务方面已广受欢迎。典型的gnns及其变体遵循一种消息的方式，该方式通过网络拓扑沿网络拓扑的特征传播过程获得网络表示，然而，它们忽略了许多现实世界网络中存在的丰富文本语义（例如，局部单词序列）。现有的文本丰富网络方法通过主要利用内部信息（例如主题或短语/单词）来整合文本语义，这些信息通常无法全面地挖掘文本语义，从而限制了网络结构和文本语义之间的相互指导。为了解决这些问题，我们提出了一个具有外部知识（TEKO）的新型文本富裕的图形神经网络，以充分利用文本丰富的网络中的结构和文本信息。具体而言，我们首先提出一个灵活的异质语义网络，该网络结合了文档和实体之间的高质量实体和互动。然后，我们介绍两种类型的外部知识，即结构化的三胞胎和非结构化实体描述，以更深入地了解文本语义。我们进一步为构建的异质语义网络设计了互惠卷积机制，使网络结构和文本语义能够相互协作并学习高级网络表示。在四个公共文本丰富的网络以及一个大规模的电子商务搜索数据集上进行了广泛的实验结果，这说明了Teko优于最先进的基线。

法律文件是非结构化的，使用法律术语，并且具有相当长的长度，使得难以通过传统文本处理技术自动处理。如果文档可以在语义上分割成连贯的信息单位，法律文件处理系统将基本上受益。本文提出了一种修辞职位（RR）系统，用于将法律文件分组成语义连贯的单位：事实，论点，法规，问题，先例，裁决和比例。在法律专家的帮助下，我们提出了一套13个细粒度的修辞标志标签，并创建了与拟议的RR批发的新的法律文件有条件。我们开发一个系统，以将文件分段为修辞职位单位。特别是，我们开发了一种基于多任务学习的深度学习模型，文档修辞角色标签作为分割法律文件的辅助任务。我们在广泛地尝试各种深度学习模型，用于预测文档中的修辞角色，并且所提出的模型对现有模型显示出卓越的性能。此外，我们应用RR以预测法律案件的判断，并表明与基于变压器的模型相比，使用RR增强了预测。

Graph neural networks (GNNs) have been utilized for various natural language processing (NLP) tasks lately. The ability to encode corpus-wide features in graph representation made GNN models popular in various tasks such as document classification. One major shortcoming of such models is that they mainly work on homogeneous graphs, while representing text datasets as graphs requires several node types which leads to a heterogeneous schema. In this paper, we propose a transductive hybrid approach composed of an unsupervised node representation learning model followed by a node classification/edge prediction model. The proposed model is capable of processing heterogeneous graphs to produce unified node embeddings which are then utilized for node classification or link prediction as the downstream task. The proposed model is developed to classify stock market technical analysis reports, which to our knowledge is the first work in this domain. Experiments, which are carried away using a constructed dataset, demonstrate the ability of the model in embedding extraction and the downstream tasks.

学术研究是解决以前从未解决过的问题的探索活动。通过这种性质，每个学术研究工作都需要进行文献审查，以区分其Novelties尚未通过事先作品解决。在自然语言处理中，该文献综述通常在“相关工作”部分下进行。鉴于研究文件的其余部分和引用的论文列表，自动相关工作生成的任务旨在自动生成“相关工作”部分。虽然这项任务是在10年前提出的，但直到最近，它被认为是作为科学多文件摘要问题的变种。然而，即使在今天，尚未标准化了自动相关工作和引用文本生成的问题。在这项调查中，我们进行了一个元研究，从问题制定，数据集收集，方法方法，绩效评估和未来前景的角度来比较相关工作的现有文献，以便为读者洞察到国家的进步 - 最内容的研究，以及如何进行未来的研究。我们还调查了我们建议未来工作要考虑整合的相关研究领域。

异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎，从链接预测到节点分类。但是，大多数现有作品都忽略了多型节点之间的多重网络的关系异质性，而在元路径中，元素嵌入中关系的重要性不同，这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战，这项工作提出了用于异质网络嵌入的多重异质图卷积网络（MHGCN）。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外，我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中，并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明，根据所有评估指标，MHGCN与最先进的嵌入基线的优势。

双类型的异构图形应用于许多真实情景。然而，以前的异构图形学习研究通常忽略这种异构图中的双键入实体之间的复杂相互作用。为了解决这个问题，在本文中，我们提出了一种新的双重分层关注网络（DHAN），以了解与类内和级别的分层关注网络的双键入异构图中的综合节点表示。具体地，课堂上的注意力旨在从相同类型的邻居中学习节点表示，而级别的关注能够从其不同类型的邻居聚合节点表示。因此，双重关注操作使DHAN不仅能够充分地利用节点帧内邻近信息，而且可以在双键入的异构图中提供帧间相邻信息。关于针对最先进的各种任务的实验结果充分证实了DHAN在学习节点的学习节点综合陈述的能力

GitHub已成为代码共享和科学交流的重要平台。使用大量的存储库可用，需要基于主题的搜索需求。即使介绍了主题标签功能，大多数GitHub存储库都没有任何标签，阻碍了搜索和基于主题的分析。这项工作将自动存储库分类问题定位为关键字驱动的分层分类。具体而言，用户只需要提供具有关键字的标签层次结构以作为监控提供。此设置灵活，适用于用户的需求，占主题标签的不同粒度，需要最小的人力努力。我们确定了这个问题的三个关键挑战，即（1）多模态信号的存在; （2）监督稀缺和偏见; （3）监督格式不匹配。为了认识到这些挑战，我们提出了一种HIGITCLASS框架，包括三个模块：异构信息网络嵌入;关键词富集;主题建模和伪文档生成。在两个GitHub存储库集合上的实验结果证实，HIGITCLASS优于现有的弱监督和DATALESS分层分类方法，尤其是集成了用于存储库分类的结构化和非结构化数据的能力。

我们为图神经网络提供了一种通用和趋势感知的课程学习方法。它通过结合样品级别的损失趋势来扩展现有方法，以更好地区分更轻松的样本并安排培训。该模型有效地集成了文本和结构信息，以在文本图中提取关系提取。实验结果表明，该模型提供了对样品难度的强大估计，并显示了几个数据集对最新方法的显着改善。

Though many algorithms can be used to automatically summarize legal case decisions, most fail to incorporate domain knowledge about how important sentences in a legal decision relate to a representation of its document structure. For example, analysis of a legal case summarization dataset demonstrates that sentences serving different types of argumentative roles in the decision appear in different sections of the document. In this work, we propose an unsupervised graph-based ranking model that uses a reweighting algorithm to exploit properties of the document structure of legal case decisions. We also explore the impact of using different methods to compute the document structure. Results on the Canadian Legal Case Law dataset show that our proposed method outperforms several strong baselines.

外部知识（A.K.A.侧面信息）在零拍摄学习（ZSL）中起着关键作用，该角色旨在预测从未出现在训练数据中的看不见的类。已被广泛调查了几种外部知识，例如文本和属性，但他们独自受到不完整的语义。因此，一些最近的研究提出了由于其高度富有效力和代表知识的兼容性而使用知识图表（千克）。但是，ZSL社区仍然缺乏用于学习和比较不同外部知识设置和基于不同的KG的ZSL方法的标准基准。在本文中，我们提出了六个资源，涵盖了三个任务，即零拍摄图像分类（ZS-IMGC），零拍摄关系提取（ZS-RE）和零拍KG完成（ZS-KGC）。每个资源都有一个正常的zsl基准标记和包含从文本到属性的kg的kg，从关系知识到逻辑表达式。我们已清楚地介绍了这些资源，包括其建设，统计数据格式和使用情况W.r.t.不同的ZSL方法。更重要的是，我们进行了一项全面的基准研究，具有两个通用和最先进的方法，两种特定方法和一种可解释方法。我们讨论并比较了不同的ZSL范式W.R.T.不同的外部知识设置，并发现我们的资源具有开发更高级ZSL方法的巨大潜力，并为应用KGS进行增强机学习的更多解决方案。所有资源都可以在https://github.com/china-uk-zsl/resources_for_kzsl上获得。

文档级关系提取（DRE）旨在识别两个实体之间的关系。实体可以对应于超越句子边界的多个提升。以前很少有研究已经调查了提及集成，这可能是有问题的，因为库鲁弗提到对特定关系没有同样有贡献。此外，事先努力主要关注实体级的推理，而不是捕获实体对之间的全局相互作用。在本文中，我们提出了两种新颖的技术，上下文指导的集成和交互推理（CGM2IR），以改善DRE。而不是简单地应用平均池，而是利用上下文来指导在加权和方式中的经验提升的集成。另外，对实体对图的相互作用推理在实体对图上执行迭代算法，以模拟关系的相互依赖性。我们在三个广泛使用的基准数据集中评估我们的CGM2IR模型，即Docred，CDR和GDA。实验结果表明，我们的模型优于以前的最先进的模型。

Variational Graph Autoencoders (VGAEs) are powerful models for unsupervised learning of node representations from graph data. In this work, we systematically analyze modeling node attributes in VGAEs and show that attribute decoding is important for node representation learning. We further propose a new learning model, interpretable NOde Representation with Attribute Decoding (NORAD). The model encodes node representations in an interpretable approach: node representations capture community structures in the graph and the relationship between communities and node attributes. We further propose a rectifying procedure to refine node representations of isolated notes, improving the quality of these nodes' representations. Our empirical results demonstrate the advantage of the proposed model when learning graph data in an interpretable approach.

图形神经网络已被证明可以为各种软件工程任务产生令人印象深刻的结果。但是，现有技术仍然有两个问题：（1）长期依赖性和（2）不同的代码组件在不应该的情况下被视为平等。为了解决这些问题，我们提出了一种表示代码为层次结构（代码层次结构）的方法，其中不同的代码组件在各个粒度级别分别表示。然后，为了处理每个表示级别的表示，我们设计了一个新颖的网络体系结构Echelon，它结合了异质图形变压器网络和基于树的卷积神经网络的优势，以学习具有代码依赖性信息丰富的抽象语法树。我们还提出了一个新颖的预处理目标，称为缺失子树预测以补充我们的代码层次结构。评估结果表明，我们的方法在三个任务中大大优于其他基准：任何代码完成，代码分类和代码克隆检测。

由于知识图（kgs）的不完整，旨在预测kgs中未观察到的关系的零照片链接预测（ZSLP）引起了研究人员的最新兴趣。一个常见的解决方案是将关系的文本特征（例如表面名称或文本描述）用作辅助信息，以弥合所见关系和看不见的关系之间的差距。当前方法学习文本中每个单词令牌的嵌入。这些方法缺乏稳健性，因为它们遭受了量不足（OOV）的问题。同时，建立在字符n-grams上的模型具有为OOV单词生成表达式表示的能力。因此，在本文中，我们提出了一个为零链接预测（HNZSLP）的层次N-gram框架，该框架考虑了ZSLP的关系n-gram之间的依赖项。我们的方法通过首先在表面名称上构造层次n-gram图来进行起作用，以模拟导致表面名称的N-gram的组织结构。然后，将基于变压器的革兰amtransformer呈现，以建模层次n-gram图，以构建ZSLP的关系嵌入。实验结果表明，提出的HNZSLP在两个ZSLP数据集上实现了最先进的性能。