自动推荐向特定法律案件的相关法律文章引起了很多关注，因为它可以大大释放人工劳动力，从而在大型法律数据库中寻找。然而，目前的研究只支持粗粒度推荐，其中所有相关文章都预测为整体，而无需解释每种文章与之相关的具体事实。由于一个案例可以由许多支持事实形成，因此遍历它们来验证推荐结果的正确性可能是耗时的。我们认为，在每个单一的事实和法律文章之间学习细粒度的对应，对于准确可靠的AI系统至关重要。通过这种动机，我们执行开创性的研究并创建一个手动注释的事实 - 文章的语料库。我们将学习视为文本匹配任务，并提出一个多级匹配网络来解决它。为了帮助模型更好地消化法律文章的内容，我们以随机森林的前提结论对形式解析物品。实验表明，解析的形式产生了更好的性能，结果模型超越了其他流行的文本匹配基线。此外，我们与先前的研究相比，并发现建立细粒度的事实 - 文章对应物可以通过大幅度提高建议准确性。我们最好的系统达到了96.3％的F1得分，使其具有实际使用潜力。它还可以显着提高法律决策预测的下游任务，将F1增加到12.7％。

鉴于案件的事实，法律判断预测（LJP）涉及一系列的子任务，例如预测违规的法律文章，费用和罚款期限。我们建议利用LJP的统一文本到文本变压器，其中子任务之间的依赖关系可以自然地建立在自动回归解码器中。与以前的作品相比，它有三个优点：（1）它适合屏蔽语言模型的预先预订模式，从而可以从每个子任务的语义提示中受益，而不是将它们视为原子标签，（2）它使用单个统一的架构，在所有子任务中都可以实现完整参数共享，并且（3）它可以包含分类和生成子任务。我们展示了这款统一的变压器，尽管普通的域文本，但优于法律领域专门针对的预磨损模型。通过广泛的实验，我们发现捕获依赖性的最佳订单与人类直觉不同，而且人类最合理的逻辑顺序可以是模型的次优。我们还包括两个更多的辅助任务：法院视图生成和文章内容预测，显示它们不仅可以提高预测准确性，而且也可以为模型输出提供可解释的解释，即使在进行错误时也是模型输出。通过最佳配置，我们的模型优于先前的SOTA和一个单一任务版本的统一变压器，通过大边距。

学术研究是解决以前从未解决过的问题的探索活动。通过这种性质，每个学术研究工作都需要进行文献审查，以区分其Novelties尚未通过事先作品解决。在自然语言处理中，该文献综述通常在“相关工作”部分下进行。鉴于研究文件的其余部分和引用的论文列表，自动相关工作生成的任务旨在自动生成“相关工作”部分。虽然这项任务是在10年前提出的，但直到最近，它被认为是作为科学多文件摘要问题的变种。然而，即使在今天，尚未标准化了自动相关工作和引用文本生成的问题。在这项调查中，我们进行了一个元研究，从问题制定，数据集收集，方法方法，绩效评估和未来前景的角度来比较相关工作的现有文献，以便为读者洞察到国家的进步 - 最内容的研究，以及如何进行未来的研究。我们还调查了我们建议未来工作要考虑整合的相关研究领域。

建模法检索和检索作为预测问题最近被出现为法律智能的主要方法。专注于法律文章检索任务，我们展示了一个名为Lamberta的深度学习框架，该框架被设计用于民法代码，并在意大利民法典上专门培训。为了我们的知识，这是第一项研究提出了基于伯特（来自变压器的双向编码器表示）学习框架的意大利法律制度对意大利法律制度的高级法律文章预测的研究，最近引起了深度学习方法的增加，呈现出色的有效性在几种自然语言处理和学习任务中。我们通过微调意大利文章或其部分的意大利预先训练的意大利预先训练的伯爵来定义Lamberta模型，因为法律文章作为分类任务检索。我们Lamberta框架的一个关键方面是我们构思它以解决极端的分类方案，其特征在于课程数量大，少量学习问题，以及意大利法律预测任务的缺乏测试查询基准。为了解决这些问题，我们为法律文章的无监督标签定义了不同的方法，原则上可以应用于任何法律制度。我们提供了深入了解我们Lamberta模型的解释性和可解释性，并且我们对单一标签以及多标签评估任务进行了广泛的查询模板实验分析。经验证据表明了Lamberta的有效性，以及对广泛使用的深度学习文本分类器和一些构思的几次学习者来说，其优越性是对属性感知预测任务的优势。

名人认可是品牌交流中最重要的策略之一。如今，越来越多的公司试图为自己建立生动的特征。因此，他们的品牌身份交流应符合人类和法规的某些特征。但是，以前的作品主要是通过假设停止的，而不是提出一种特定的品牌和名人之间匹配的方式。在本文中，我们建议基于自然语言处理（NLP）技术的品牌名人匹配模型（BCM）。鉴于品牌和名人，我们首先从互联网上获得了一些描述性文档，然后总结了这些文档，最后计算品牌和名人之间的匹配程度，以确定它们是否匹配。根据实验结果，我们提出的模型以0.362 F1得分和精度的6.3％优于最佳基线，这表明我们模型在现实世界中的有效性和应用值。更重要的是，据我们所知，拟议的BCM模型是使用NLP解决认可问题的第一项工作，因此它可以为以下工作提供一些新颖的研究思想和方法。

自论证挖掘领域成立以来，在法律话语中识别，分类和分析的论点一直是研究的重要领域。但是，自然语言处理（NLP）研究人员的模型模型与法院决策中的注释论点与法律专家理解和分析法律论证的方式之间存在重大差异。尽管计算方法通常将论点简化为通用的前提和主张，但法律研究中的论点通常表现出丰富的类型，对于获得一般法律的特定案例和应用很重要。我们解决了这个问题，并做出了一些实质性的贡献，以推动该领域的前进。首先，我们在欧洲人权法院（ECHR）诉讼中为法律论点设计了新的注释计划，该计划深深植根于法律论证研究的理论和实践中。其次，我们编译和注释了373项法院判决（230万令牌和15K注释的论点跨度）的大量语料库。最后，我们训练一个论证挖掘模型，该模型胜过法律NLP领域中最先进的模型，并提供了彻底的基于专家的评估。所有数据集和源代码均可在https://github.com/trusthlt/mining-legal-arguments的开放lincenses下获得。

随着文献资源的丰富，研究人员面临着信息爆炸和知识过载的不断增长的问题。为了帮助学者检索文学并成功获得知识，澄清学术文学中内容的语义结构已成为基本的研究问题。在识别学术文章中章节的结构功能的研究中，只有几项研究使用了深度学习模型，并探索了特征输入的优化。这限制了研究任务深度学习模型的应用，优化潜力。本文将ACL会议的文章作为语料库。我们采用传统的机器学习模型和深度学习模型，基于各种特征输入构建分类器。实验结果表明，（1）与章节内容相比，章节标题更有利于识别学术文章的结构功能。 （2）相对位置是建立传统模型的有价值的功能。 （3）受到（2）的启发，本文进一步将上下文信息引入深度学习模型，取得了显着的结果。同时，我们的模型在包含200个采样的非训练样本的开放式测试中显示出良好的迁移能力。近五年我们还基于表演模型的最佳实践，并对整体语料库进行了时间序列分析，近五年注释了ACL主要会议文件。这项工作通过多个比较实验探索并总结了此任务的实际功能和模型，并为相关文本分类任务提供了参考。最后，我们表示当前模型的局限性和缺点以及进一步优化的方向。

Deep Learning and Machine Learning based models have become extremely popular in text processing and information retrieval. However, the non-linear structures present inside the networks make these models largely inscrutable. A significant body of research has focused on increasing the transparency of these models. This article provides a broad overview of research on the explainability and interpretability of natural language processing and information retrieval methods. More specifically, we survey approaches that have been applied to explain word embeddings, sequence modeling, attention modules, transformers, BERT, and document ranking. The concluding section suggests some possible directions for future research on this topic.

在人口稠密的国家中，悬而未决的法律案件呈指数增长。需要开发处理和组织法律文件的技术。在本文中，我们引入了一个新的语料库来构建法律文件。特别是，我们介绍了用英语的法律判断文件进行的，这些文件被分割为局部和连贯的部分。这些零件中的每一个都有注释，标签来自预定义角色的列表。我们开发基线模型，以根据注释语料库自动预测法律文档中的修辞角色。此外，我们展示了修辞角色在提高总结和法律判断预测任务的绩效方面的应用。我们发布了语料库和基线模型代码以及纸张。

Nowadays, time-stamped web documents related to a general news query floods spread throughout the Internet, and timeline summarization targets concisely summarizing the evolution trajectory of events along the timeline. Unlike traditional document summarization, timeline summarization needs to model the time series information of the input events and summarize important events in chronological order. To tackle this challenge, in this paper, we propose a Unified Timeline Summarizer (UTS) that can generate abstractive and extractive timeline summaries in time order. Concretely, in the encoder part, we propose a graph-based event encoder that relates multiple events according to their content dependency and learns a global representation of each event. In the decoder part, to ensure the chronological order of the abstractive summary, we propose to extract the feature of event-level attention in its generation process with sequential information remained and use it to simulate the evolutionary attention of the ground truth summary. The event-level attention can also be used to assist in extracting summary, where the extracted summary also comes in time sequence. We augment the previous Chinese large-scale timeline summarization dataset and collect a new English timeline dataset. Extensive experiments conducted on these datasets and on the out-of-domain Timeline 17 dataset show that UTS achieves state-of-the-art performance in terms of both automatic and human evaluations.

法律文件是非结构化的，使用法律术语，并且具有相当长的长度，使得难以通过传统文本处理技术自动处理。如果文档可以在语义上分割成连贯的信息单位，法律文件处理系统将基本上受益。本文提出了一种修辞职位（RR）系统，用于将法律文件分组成语义连贯的单位：事实，论点，法规，问题，先例，裁决和比例。在法律专家的帮助下，我们提出了一套13个细粒度的修辞标志标签，并创建了与拟议的RR批发的新的法律文件有条件。我们开发一个系统，以将文件分段为修辞职位单位。特别是，我们开发了一种基于多任务学习的深度学习模型，文档修辞角色标签作为分割法律文件的辅助任务。我们在广泛地尝试各种深度学习模型，用于预测文档中的修辞角色，并且所提出的模型对现有模型显示出卓越的性能。此外，我们应用RR以预测法律案件的判断，并表明与基于变压器的模型相比，使用RR增强了预测。

多文件摘要（MDS）是信息聚合的有效工具，它从与主题相关文档集群生成信息和简洁的摘要。我们的调查是，首先，系统地概述了最近的基于深度学习的MDS模型。我们提出了一种新的分类学，总结神经网络的设计策略，并进行全面的最先进的概要。我们突出了在现有文献中很少讨论的各种客观函数之间的差异。最后，我们提出了与这个新的和令人兴奋的领域有关的几个方向。

诸如学术文章和商业报告之类的长期文件一直是详细说明重要问题和需要额外关注的复杂主题的标准格式。自动汇总系统可以有效地将长文档置于简短而简洁的文本中，以封装最重要的信息，从而在帮助读者的理解中很重要。最近，随着神经体系结构的出现，已经做出了重大的研究工作，以推动自动文本摘要系统，以及有关将这些系统扩展到长期文档领域的挑战的大量研究。在这项调查中，我们提供了有关长期文档摘要的研究的全面概述，以及其研究环境的三个主要组成部分的系统评估：基准数据集，汇总模型和评估指标。对于每个组成部分，我们在长期汇总的背景下组织文献，并进行经验分析，以扩大有关当前研究进度的观点。实证分析包括一项研究基准数据集的内在特征，摘要模型的多维分析以及摘要评估指标的综述。根据总体发现，我们通过提出可能在这个快速增长的领域中提出未来探索的方向来得出结论。

Future work sentences (FWS) are the particular sentences in academic papers that contain the author's description of their proposed follow-up research direction. This paper presents methods to automatically extract FWS from academic papers and classify them according to the different future directions embodied in the paper's content. FWS recognition methods will enable subsequent researchers to locate future work sentences more accurately and quickly and reduce the time and cost of acquiring the corpus. The current work on automatic identification of future work sentences is relatively small, and the existing research cannot accurately identify FWS from academic papers, and thus cannot conduct data mining on a large scale. Furthermore, there are many aspects to the content of future work, and the subdivision of the content is conducive to the analysis of specific development directions. In this paper, Nature Language Processing (NLP) is used as a case study, and FWS are extracted from academic papers and classified into different types. We manually build an annotated corpus with six different types of FWS. Then, automatic recognition and classification of FWS are implemented using machine learning models, and the performance of these models is compared based on the evaluation metrics. The results show that the Bernoulli Bayesian model has the best performance in the automatic recognition task, with the Macro F1 reaching 90.73%, and the SCIBERT model has the best performance in the automatic classification task, with the weighted average F1 reaching 72.63%. Finally, we extract keywords from FWS and gain a deep understanding of the key content described in FWS, and we also demonstrate that content determination in FWS will be reflected in the subsequent research work by measuring the similarity between future work sentences and the abstracts.

我们研究了检查问题的事实，旨在识别给定索赔的真实性。具体而言，我们专注于事实提取和验证（发烧）及其伴随数据集的任务。该任务包括从维基百科检索相关文件（和句子）并验证文件中的信息是否支持或驳斥所索赔的索赔。此任务至关重要，可以是假新闻检测和医疗索赔验证等应用程序块。在本文中，我们以通过以结构化和全面的方式呈现文献来更好地了解任务的挑战。我们通过分析不同方法的技术视角并讨论发热数据集的性能结果，描述了所提出的方法，这是最熟悉的和正式结构化的数据集，就是事实提取和验证任务。我们还迄今为止迄今为止确定句子检索组件的有益损失函数的最大实验研究。我们的分析表明，采样负句对于提高性能并降低计算复杂性很重要。最后，我们描述了开放的问题和未来的挑战，我们激励了未来的任务研究。

文本分类在许多实际应用中起着重要作用。在现实世界中，数据集非常小。大多数现有方法采用预训练的神经网络模型来处理这种数据集。但是，这些方法要么很难在移动设备上部署，因此它们的输出尺寸较大，或者无法完全提取短语和条款之间的深层语义信息。本文提出了一个基于多模型的深度学习框架，用于使用不平衡且极其小的数据集，用于短文本多类分类。我们的框架主要包括五层：编码器层使用Distilbert获得上下文敏感的动态词向量，这些词向量很难在传统的功能工程方法中表示。由于该层的变压器部分是蒸馏的，因此我们的框架被压缩。然后，我们使用接下来的两层提取深层语义信息。编码器层的输出发送到双向LSTM网络，并以单词和句子级别的LSTM层次提取特征矩阵，以获得细粒的语义表示。之后，最大式层将特征矩阵转换为较低维矩阵，仅保留明显的特征。最后，将特征矩阵视为完全连接的软磁层的输入，该输入包含一个可以将预测的线性向量转换为输出值的函数，作为每个分类中文本的概率。对两个公共基准测试的广泛实验证明了我们提出的方法对极小的数据集的有效性。它在精确，召回，准确性和F1得分方面保留最先进的基线性能，以及通过模型大小，训练时间和收敛时期，我们可以得出结论，可以更快，更轻松地部署我们的方法在移动设备上。

The rapid advancement of AI technology has made text generation tools like GPT-3 and ChatGPT increasingly accessible, scalable, and effective. This can pose serious threat to the credibility of various forms of media if these technologies are used for plagiarism, including scientific literature and news sources. Despite the development of automated methods for paraphrase identification, detecting this type of plagiarism remains a challenge due to the disparate nature of the datasets on which these methods are trained. In this study, we review traditional and current approaches to paraphrase identification and propose a refined typology of paraphrases. We also investigate how this typology is represented in popular datasets and how under-representation of certain types of paraphrases impacts detection capabilities. Finally, we outline new directions for future research and datasets in the pursuit of more effective paraphrase detection using AI.

在法律文本中预先培训的基于变压器的预训练语言模型（PLM）的出现，法律领域中的自然语言处理受益匪浅。有经过欧洲和美国法律文本的PLM，最著名的是Legalbert。但是，随着印度法律文件的NLP申请量的迅速增加以及印度法律文本的区别特征，也有必要在印度法律文本上预先培训LMS。在这项工作中，我们在大量的印度法律文件中介绍了基于变压器的PLM。我们还将这些PLM应用于印度法律文件的几个基准法律NLP任务，即从事实，法院判决的语义细分和法院判决预测中的法律法规识别。我们的实验证明了这项工作中开发的印度特定PLM的实用性。

排名模型是信息检索系统的主要组成部分。排名的几种方法是基于传统的机器学习算法，使用一组手工制作的功能。最近，研究人员在信息检索中利用了深度学习模型。这些模型的培训结束于结束，以提取来自RAW数据的特征来排序任务，因此它们克服了手工制作功能的局限性。已经提出了各种深度学习模型，每个模型都呈现了一组神经网络组件，以提取用于排名的特征。在本文中，我们在不同方面比较文献中提出的模型，以了解每个模型的主要贡献和限制。在我们对文献的讨论中，我们分析了有前途的神经元件，并提出了未来的研究方向。我们还显示文档检索和其他检索任务之间的类比，其中排名的项目是结构化文档，答案，图像和视频。

法律判决预测是NLP，AI和法律联合领域最受欢迎的领域之一。通过法律预测，我们是指能够预测特定司法特征的智能系统，例如司法结果，司法阶级，可以预测特定案例。在这项研究中，我们使用AI分类器来预测巴西法律体系中的司法结果。为此，我们开发了一个文本爬网，以从巴西官方电子法律系统中提取数据。这些文本构成了二级谋杀和主动腐败案件的数据集。我们应用了不同的分类器，例如支持向量机和神经网络，通过分析数据集中的文本功能来预测司法结果。我们的研究表明，回归树，封闭的重复单元和分层注意力网络给出了不同子集的较高指标。作为最终目标，我们探讨了一种算法的权重，即分层注意力网络，以找到用于免除或定罪被告的最重要词的样本。