Question Generation (QG) is fundamentally a simple syntactic transformation; however, many aspects of semantics influence what questions are good to form. We implement this observation by developing SynQG, a set of transparent syntactic rules leveraging universal dependencies, shallow semantic parsing, lexical resources, and custom rules which transform declarative sentences into question-answer pairs. We utilize PropBank argument descriptions and VerbNet state predicates to incorporate shallow semantic content, which helps generate questions of a descriptive nature and produce inferential and semantically richer questions than existing systems. In order to improve syntactic fluency and eliminate grammatically incorrect questions, we employ back-translation over the output of these syntactic rules. A set of crowd-sourced evaluations shows that our system can generate a larger number of highly grammatical and relevant questions than previous QG systems and that back-translation drastically improves grammaticality at a slight cost of generating irrelevant questions.

本文提出了一种基于答案设置编程（ASP）的方法，用于代表自然语言文本生成的知识。文本中的知识是使用Neo Davidsonian的形式主义建模的，然后将其表示为答案集计划。相关的致辞知识另外导入Wordnet等资源，并在ASP中表示。然后可以使用所产生的知识库来在ASP系统的帮助下执行推理。这种方法可以促进许多自然语言任务，如自动问题应答，文本摘要和自动化问题。基于ASP的技术表示，例如默认推理，分层知识组织，默认值等的首选项，用于模拟完成这些任务所需的致辞推理方法。在本文中，我们描述了我们开发的CaspR系统，以自动解决在给出英语文本时回答自然语言问题的任务。 CASPR可以被视为一个系统，通过“了解”文本并已在队列数据集上进行了测试，具有有希望的结果。

One of the common traits of past and present approaches for Semantic Role Labeling (SRL) is that they rely upon discrete labels drawn from a predefined linguistic inventory to classify predicate senses and their arguments. However, we argue this need not be the case. In this paper, we present an approach that leverages Definition Modeling to introduce a generalized formulation of SRL as the task of describing predicate-argument structures using natural language definitions instead of discrete labels. Our novel formulation takes a first step towards placing interpretability and flexibility foremost, and yet our experiments and analyses on PropBank-style and FrameNet-style, dependency-based and span-based SRL also demonstrate that a flexible model with an interpretable output does not necessarily come at the expense of performance. We release our software for research purposes at https://github.com/SapienzaNLP/dsrl.

方面含义是指如何提出情况的内部时间结构。这包括情况是将情况描述为状态还是事件，无论情况已经完成还是正在进行，以及是否被视为一个整体，还是关注特定阶段。这项调查概述了对词汇和语法方面进行建模以及对必要语言概念和术语的直观解释的概述。特别是，我们描述了统计，远程感，习惯性，完美和不完美的概念，以及最终性和情况类型的有影响力的清单。我们认为，由于方面是语义的关键组成部分，尤其是在以精确的方式报告情况的时间结构时，未来的NLP方法需要能够系统地处理和评估它，以实现人类水平的语言理解。

关于概念及其属性的常识知识（CSK）有助于AI应用程序。诸如ConceptNet之类的先前作品已经编译了大型CSK集合。但是，它们的表现力限制在主题性 - 预处理（SPO）的三联元中，对p和o的s和字符串的简单概念。与先前的作品相比，CSK断言具有精致的表现力和更好的精度和回忆。 Ascent ++通过用子组和方面捕获复合概念，以及用语义方面的主张来捕获复合概念。后者对于表达断言和进一步预选赛的时间和空间有效性至关重要。此外，Ascent ++将开放信息提取（OpenIE）与典型性和显着性分数的明智清洁和排名相结合。对于高覆盖范围，我们的方法挖掘到具有广泛的Web内容的大规模爬网C4中。通过人类判断的评估显示了上升++ Kb的卓越质量，以及对QA支持任务的外部评估强调了Ascent ++的好处。可以在https://ascentpp.mpi-inf.mpg.de/上访问Web界面，数据和代码。

知识表示和推理（KRR）系统表示知识作为事实和规则的集合。像数据库一样，KRR系统包含有关工业企业，科学和业务等人类活动领域的信息。 KRR可以代表复杂的概念和关系，它们可以以复杂的方式查询和操纵信息。不幸的是，指定必要的知识需要大多数领域专家没有的技能，而专业知识工程师很难找到，因此KRR技术受到了阻碍。一种解决方案可能是从英语文本中提取知识，并且许多作品都尝试这样做（Openseame，Google的吊索等）。不幸的是，目前，从不受限制的自然语言中提取逻辑事实仍然是不准确的，无法用于推理，而限制语言语法（所谓的受控自然语言或CNL）对于用户来说很难学习和使用。然而，与其他方法相比，一些最近基于CNL的方法，例如知识创作逻辑机（KALM）的精度非常高，并且一个自然的问题是可以在多大程度上取消CNL限制。在本文中，我们通过将KALM框架移植到神经自然语言解析器Mstanza来解决这个问题。在这里，我们将注意力限制在创作事实和查询上，因此我们的重点是我们所说的事实英语陈述。在我们的后续工作中将考虑创作其他类型的知识，例如规则。事实证明，基于神经网络的解析器有自己的问题，并且他们犯的错误范围从言论的一部分标记到lemmatization到依赖性错误。我们介绍了许多解决这些问题并测试新系统KALMFL（即，事实语言的KALM）的技术，这些技术表明KALMFL的正确性超过95％。

自动问题应答（QA）系统的目的是以时间有效的方式向用户查询提供答案。通常在数据库（或知识库）或通常被称为语料库的文件集合中找到答案。在过去的几十年里，收购知识的扩散，因此生物医学领域的新科学文章一直是指数增长。因此，即使对于领域专家，也难以跟踪域中的所有信息。随着商业搜索引擎的改进，用户可以在某些情况下键入其查询并获得最相关的一小组文档，以及在某些情况下从文档中的相关片段。但是，手动查找所需信息或答案可能仍然令人疑惑和耗时。这需要开发高效的QA系统，该系统旨在为用户提供精确和精确的答案提供了生物医学领域的自然语言问题。在本文中，我们介绍了用于开发普通域QA系统的基本方法，然后彻底调查生物医学QA系统的不同方面，包括使用结构化数据库和文本集合的基准数据集和几种提出的方​​法。我们还探讨了当前系统的局限性，并探索潜在的途径以获得进一步的进步。

数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。

开放信息提取是一个重要的NLP任务，它针对从非结构化文本中提取结构化信息的目标，而无需限制关系类型或文本域。该调查文件涵盖了2007年至2022年的开放信息提取技术，重点是以前的调查未涵盖的新模型。我们从信息角度来源提出了一种新的分类方法，以适应最近的OIE技术的开发。此外，我们根据任务设置以及当前流行的数据集和模型评估指标总结了三种主要方法。鉴于全面的审查，从数据集，信息来源，输出表格，方法和评估指标方面显示了几个未来的方向。

Natural Language Generation (NLG) has improved exponentially in recent years thanks to the development of sequence-to-sequence deep learning technologies such as Transformer-based language models. This advancement has led to more fluent and coherent NLG, leading to improved development in downstream tasks such as abstractive summarization, dialogue generation and data-to-text generation. However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. To address this issue, many studies have been presented in measuring and mitigating hallucinated texts, but these have never been reviewed in a comprehensive manner before. In this survey, we thus provide a broad overview of the research progress and challenges in the hallucination problem in NLG. The survey is organized into two parts: (1) a general overview of metrics, mitigation methods, and future directions; and (2) an overview of task-specific research progress on hallucinations in the following downstream tasks, namely abstractive summarization, dialogue generation, generative question answering, data-to-text generation, machine translation, and visual-language generation. This survey serves to facilitate collaborative efforts among researchers in tackling the challenge of hallucinated texts in NLG.

除了以实体为中心的知识之外，通常组织为知识图（千克），事件也是世界上的必不可少的知识，这触发了活动以kg（ekg）等事件为中心的知识表示形式的春天。它在许多机器学习和人工智能应用中起着越来越重要的作用，例如智能搜索，问答，推荐和文本生成。本文提供了历史，本体实例和应用视图的ekg综合调查。具体而言，要彻底地表征EKG，我们专注于其历史，定义，架构归纳，获取，相关代表图形/系统和应用程序。其中研究了发展过程和趋势。我们进一步总结了透视方向，以促进对EKG的未来研究。

尽管传记在语义网络中广泛传播，但自动提取传记事件的资源和方法受到限制。这种限制减少了结构化的，可读的传记信息的数量，尤其是关于属于代表性不足的人的人的数量。我们的工作通过为生活事件的语义注释提供一组准则来挑战这一限制。该准则旨在与现有的ISO语义注释标准可互操作：ISO-TIMEML（ISO-24617-1）和SEMAF（ISO-24617-4）。通过代表不足的作家的维基百科传记的注释任务，即非西方国家，移民或属于少数民族的作者，对准则进行了测试。 4个注释者注释了1,000个句子，平均通知者协议为0.825。由此产生的语料库被映射在Ontonotes上。这样的映射允许扩展我们的语料库，表明已经存在现有资源可以用于传记事件提取任务。

知识基础问题回答（KBQA）旨在通过知识库（KB）回答问题。早期研究主要集中于回答有关KB的简单问题，并取得了巨大的成功。但是，他们在复杂问题上的表现远非令人满意。因此，近年来，研究人员提出了许多新颖的方法，研究了回答复杂问题的挑战。在这项调查中，我们回顾了KBQA的最新进展，重点是解决复杂问题，这些问题通常包含多个主题，表达复合关系或涉及数值操作。详细说明，我们从介绍复杂的KBQA任务和相关背景开始。然后，我们描述用于复杂KBQA任务的基准数据集，并介绍这些数据集的构建过程。接下来，我们提出两个复杂KBQA方法的主流类别，即基于语义解析的方法（基于SP）的方法和基于信息检索的方法（基于IR）。具体而言，我们通过流程设计说明了他们的程序，并讨论了它们的主要差异和相似性。之后，我们总结了这两类方法在回答复杂问题时会遇到的挑战，并解释了现有工作中使用的高级解决方案和技术。最后，我们结论并讨论了与复杂的KBQA有关的几个有希望的方向，以进行未来的研究。

基于变压器的语言模型最近在许多自然语言任务中取得了显着的结果。但是，通常通过利用大量培训数据来实现排行榜的性能，并且很少通过将明确的语言知识编码为神经模型。这使许多人质疑语言学对现代自然语言处理的相关性。在本文中，我介绍了几个案例研究，以说明理论语言学和神经语言模型仍然相互关联。首先，语言模型通过提供一个客观的工具来测量语义距离，这对语言学家很有用，语义距离很难使用传统方法。另一方面，语言理论通过提供框架和数据源来探究我们的语言模型，以了解语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法 - 听觉界面的不同方面。在论文的第一部分中，我将语言模型应用于单词类灵活性的问题。我将Mbert作为语义距离测量的来源，我提供了有利于将单词类灵活性分析为方向过程的证据。在论文的第二部分中，我提出了一种方法来测量语言模型中间层的惊奇方法。我的实验表明，包含形态句法异常的句子触发了语言模型早期的惊喜，而不是语义和常识异常。最后，在论文的第三部分中，我适应了一些心理语言学研究，以表明语言模型包含了论证结构结构的知识。总而言之，我的论文在自然语言处理，语言理论和心理语言学之间建立了新的联系，以为语言模型的解释提供新的观点。

关于概念及其属性的常识知识（CSK）对AI应用程序（例如强大的聊天机器人）有用。诸如ConceptNet，Tuplekb和其他人之类的先前作品汇编了大型CSK集合，但在其表现力上限制了主题性主体对象（SPO）三倍（SPO）三元组，其中s和p和Onolithic的简单概念是P和O。这些项目都优先考虑精确精度。或召回，但几乎不能调和这些互补目标。本文介绍了一种称为Ascent的方法，以自动建立一个大规模的CSK断言的知识库（KB），具有高级表现力，并且比先前的作品更好，并且具有更好的精度和回忆。通过捕获子组和方面的复合概念，以及通过语义方面的主张来捕获复合概念，超越了三倍。后者对于表达断言和进一步预选赛的时间和空间有效性很重要。 Ascent使用语言模型将开放信息提取与明智的清洁结合在一起。内在评估显示了上升KB的较高规模和质量，QA支持任务的外部评估强调了上升的好处。可以在https://ascent.mpi-inf.mpg.de/上找到Web界面，数据和代码。

问题应答系统这些天通常使用基于模板的语言生成。虽然足够适用于特定于域的任务，但这些系统对于域无关的系统来说太限性和预定义。本文提出了一个输出全长答案的系统给出一个问题和提取的事实答案（如命名实体等短跨度）作为输入。我们的系统使用选区和依赖性解析问题的树木。基于变压器的语法纠错模型Gector（2020）用作后处理步骤，以便更好流畅。我们将系统与（i）修改的指针生成器（SOTA）和（ii）微调对话框进行了比较。我们还通过更好的结果测试我们的方法（是 - 否）问题的方法。我们的模型比最先进的（SOTA）方法产生准确和流畅的答案。评估是在NewsQA和Squad数据集上完成的，分别增加0.4和0.9个百分点的速度分数。与SOTA相比，推理时间也减少了85 \％。用于我们评估的改进数据集将作为研究贡献的一部分发布。

The rapid advancement of AI technology has made text generation tools like GPT-3 and ChatGPT increasingly accessible, scalable, and effective. This can pose serious threat to the credibility of various forms of media if these technologies are used for plagiarism, including scientific literature and news sources. Despite the development of automated methods for paraphrase identification, detecting this type of plagiarism remains a challenge due to the disparate nature of the datasets on which these methods are trained. In this study, we review traditional and current approaches to paraphrase identification and propose a refined typology of paraphrases. We also investigate how this typology is represented in popular datasets and how under-representation of certain types of paraphrases impacts detection capabilities. Finally, we outline new directions for future research and datasets in the pursuit of more effective paraphrase detection using AI.

Despite progress in perceptual tasks such as image classification, computers still perform poorly on cognitive tasks such as image description and question answering. Cognition is core to tasks that involve not just recognizing, but reasoning about our visual world. However, models used to tackle the rich content in images for cognitive tasks are still being trained using the same datasets designed for perceptual tasks. To achieve success at cognitive tasks, models need to understand the interactions and relationships between objects in

当前的语言模型可以产生高质量的文本。他们只是复制他们之前看到的文本，或者他们学习了普遍的语言抽象吗？要取笑这些可能性，我们介绍了乌鸦，这是一套评估生成文本的新颖性，专注于顺序结构（n-gram）和句法结构。我们将这些分析应用于四种神经语言模型（LSTM，变压器，变换器-XL和GPT-2）。对于本地结构 - 例如，单个依赖性 - 模型生成的文本比来自每个模型的测试集的人类生成文本的基线显着不那么新颖。对于大规模结构 - 例如，总句结构 - 模型生成的文本与人生成的基线一样新颖甚至更新颖，但模型仍然有时复制，在某些情况下，在训练集中重复超过1000字超过1,000字的通道。我们还表现了广泛的手动分析，表明GPT-2的新文本通常在形态学和语法中形成良好，但具有合理的语义问题（例如，是自相矛盾）。

语义角色标签（SRL）旨在识别句子的谓词题目结构，并可以分解为两个子任务：谓词歧义歧义和参数标记。先前的工作独立处理这两个任务，这两个任务忽略了两个任务之间的语义连接。在本文中，我们建议使用机器阅读理解（MRC）框架来弥合这一差距。我们将谓词歧义形式化为多项选择的机器阅读理解，其中给定谓词的候选感官的描述用作选择正确的感觉的选项。然后使用所选的谓词感来确定该谓词的语义角色，这些语义角色用于构建另一个MRC模型的查询以进行参数标记。这样，我们能够利用参数标记的谓词语义和语义角色语义。我们还建议为计算效率选择所有可能的语义角色的子集。实验表明，所提出的框架可实现与先前工作的最新结果或可比的结果。代码可在\ url {https://github.com/shannonai/mrc-srl}上获得。