随着变压器模型的激增，许多人研究了注意力如何在学习的表示上。但是，对于语义解析等特定任务，仍然忽略了注意力。句子含义形式表示的一种流行方法是抽象含义表示（AMR）。到目前为止，句子及其AMR表示之间的对齐方式已通过不同的方式进行探索，例如通过规则或通过期望最大化（EM）算法。在本文中，我们研究了基于变压器的解析模型在没有临时策略的情况下产生有效对齐的能力。我们通过句子跨度和图中的语义单元之间对齐，对AMR进行了对AMR的交叉注意事项的第一次深入探索。我们展示了当前基于变压器的解析器如何隐式编码交叉注意权重中的对齐信息以及如何利用它来提取这种比对。此外，我们使用对齐方式监督和指导交叉注意，从而删除对英语和特定于AMR的规则的需求。
translated by 谷歌翻译
我们提出了一种基于转换的系统来转换摘要意义代表（AMR）进入SPARQL，了解知识库问题应答（KBQA）。这允许将抽象问题的一部分委派给强训练的语义解析器，同时使用少量配对数据学习转换。我们从最近的工作相关的AMR和SPARQL构造，而不是应用一套规则，我们教导BART模型选择性地使用这些关系。此外，在最近的语义解析作品之后，我们避免在BART的注意机制中进行了显式编码AMR，而是编码解析器状态。结果模型很简单，为其决策提供支持文本，并且优于LC-Quad（F1 53.4）中的基于AMR的KBQA中的最新进展，在QAL（F1 30.8）中匹配，同时利用相同的归纳偏差。
translated by 谷歌翻译
理解和生成语言的能力使人类认知与其他已知的生命形式不同。我们研究一种在语义解析的任务中，将两种最成功的途径（统计语言模型和象征性语义形式主义）梳理到语言的意义。我们基于基于过渡的抽象表示（AMR）解析器，AMREAGER，我们探索了融合预验证的上下文感知的单词嵌入的实用性 - 例如Bert和Roberta，在AMR解析的问题中，我们为新的解析器做出了贡献。 Dub作为Amrberger。实验发现，与非上下文对应物相比，这些丰富的词汇特征对改善解析器的总体表现并不特别有助于改善解析器的整体性能，而其他概念信息则赋予了系统以优于基准的能力。通过病变研究，我们发现上下文嵌入的使用有助于使系统更强大，以消除显式句法特征。这些发现揭示了上下文嵌入的优势和劣势，并以当前形式揭示了语言模型，并激发了更深入的理解。
translated by 谷歌翻译
我们提出了一种可解释的关系提取方法，通过共同训练这两个目标来减轻概括和解释性之间的张力。我们的方法使用多任务学习体系结构，该体系结构共同训练分类器以进行关系提取，并在解释关系分类器的决策的关系中标记单词的序列模型。我们还将模型输出转换为规则，以将全局解释带入这种方法。使用混合策略对此序列模型进行训练：有监督，当可获得预先存在的模式的监督时，另外还要半监督。在后一种情况下，我们将序列模型的标签视为潜在变量，并学习最大化关系分类器性能的最佳分配。我们评估了两个数据集中的提议方法，并表明序列模型提供了标签，可作为关系分类器决策的准确解释，并且重要的是，联合培训通常可以改善关系分类器的性能。我们还评估了生成的规则的性能，并表明新规则是手动规则的重要附加功能，并使基于规则的系统更接近神经模型。
translated by 谷歌翻译
The word alignment task, despite its prominence in the era of statistical machine translation (SMT), is niche and under-explored today. In this two-part tutorial, we argue for the continued relevance for word alignment. The first part provides a historical background to word alignment as a core component of the traditional SMT pipeline. We zero-in on GIZA++, an unsupervised, statistical word aligner with surprising longevity. Jumping forward to the era of neural machine translation (NMT), we show how insights from word alignment inspired the attention mechanism fundamental to present-day NMT. The second part shifts to a survey approach. We cover neural word aligners, showing the slow but steady progress towards surpassing GIZA++ performance. Finally, we cover the present-day applications of word alignment, from cross-lingual annotation projection, to improving translation.
translated by 谷歌翻译
In order to achieve deep natural language understanding, syntactic constituent parsing is a vital step, highly demanded by many artificial intelligence systems to process both text and speech. One of the most recent proposals is the use of standard sequence-to-sequence models to perform constituent parsing as a machine translation task, instead of applying task-specific parsers. While they show a competitive performance, these text-to-parse transducers are still lagging behind classic techniques in terms of accuracy, coverage and speed. To close the gap, we here extend the framework of sequence-to-sequence models for constituent parsing, not only by providing a more powerful neural architecture for improving their performance, but also by enlarging their coverage to handle the most complex syntactic phenomena: discontinuous structures. To that end, we design several novel linearizations that can fully produce discontinuities and, for the first time, we test a sequence-to-sequence model on the main discontinuous benchmarks, obtaining competitive results on par with task-specific discontinuous constituent parsers and achieving state-of-the-art scores on the (discontinuous) English Penn Treebank.
translated by 谷歌翻译
在本文中，我们试图通过引入深度学习模型的句法归纳偏见来建立两所学校之间的联系。我们提出了两个归纳偏见的家族，一个家庭用于选区结构，另一个用于依赖性结构。选区归纳偏见鼓励深度学习模型使用不同的单位（或神经元）分别处理长期和短期信息。这种分离为深度学习模型提供了一种方法，可以从顺序输入中构建潜在的层次表示形式，即更高级别的表示由高级表示形式组成，并且可以分解为一系列低级表示。例如，在不了解地面实际结构的情况下，我们提出的模型学会通过根据其句法结构组成变量和运算符的表示来处理逻辑表达。另一方面，依赖归纳偏置鼓励模型在输入序列中找到实体之间的潜在关系。对于自然语言，潜在关系通常被建模为一个定向依赖图，其中一个单词恰好具有一个父节点和零或几个孩子的节点。将此约束应用于类似变压器的模型之后，我们发现该模型能够诱导接近人类专家注释的有向图，并且在不同任务上也优于标准变压器模型。我们认为，这些实验结果为深度学习模型的未来发展展示了一个有趣的选择。
translated by 谷歌翻译
尽管对抽象中的英语句子进行了广泛的研究，但是通过自动度量标准与金图相比，它与金图类进行了比较，但是统一图表表示的全文解析缺乏定义明确的表示和评估。利用以前的工作中的超级信托级别注释，我们介绍了一种用于导出统一图形表示的简单算法，避免了从合并不合并和缺乏连贯性信息丢失的陷阱。接下来，我们描述了对Swatch度量标准的改进，使其易于进行比较文档级图形，并使用它重新评估最佳已发布的文档级AMR解析器。我们还提出了一种与COREREFER解决系统的顶部组合的管道方法，为未来的研究提供了强大的基线。
translated by 谷歌翻译
Contextualized representation models such as ELMo (Peters et al., 2018a) and BERT (Devlin et al., 2018) have recently achieved state-of-the-art results on a diverse array of downstream NLP tasks. Building on recent token-level probing work, we introduce a novel edge probing task design and construct a broad suite of sub-sentence tasks derived from the traditional structured NLP pipeline. We probe word-level contextual representations from four recent models and investigate how they encode sentence structure across a range of syntactic, semantic, local, and long-range phenomena. We find that existing models trained on language modeling and translation produce strong representations for syntactic phenomena, but only offer comparably small improvements on semantic tasks over a non-contextual baseline.
translated by 谷歌翻译
Transformer-based models have pushed state of the art in many areas of NLP, but our understanding of what is behind their success is still limited. This paper is the first survey of over 150 studies of the popular BERT model. We review the current state of knowledge about how BERT works, what kind of information it learns and how it is represented, common modifications to its training objectives and architecture, the overparameterization issue and approaches to compression. We then outline directions for future research.
translated by 谷歌翻译
通常认为语言模型能够编码语法[Tenney等，2019； Jawahar等，2019； Hewitt和Manning，2019]。在本文中，我们提出了UPOA，这是一种无监督的组成分析模型，该模型仅基于以验证的语言模型学习为跨度分割的句法距离，仅基于自我发挥的权重矩阵来计算出OUT关联得分。我们进一步提出了一个增强的版本UPIO，该版本利用了内部关联和外部关联得分来估计跨度的可能性。使用UPOA和UPIO的实验揭示了自我注意机制中查询和密钥的线性投影矩阵在解析中起重要作用。因此，我们将无监督的模型扩展到了几个射击模型（FPOA，FPIO），这些模型使用一些注释的树来学习更好的线性投影矩阵进行解析。宾夕法尼亚河岸上的实验表明，我们的无监督解析模型UPIO实现了与短句子（长度<= 10）相当的结果。我们的几个解析模型FPIO接受了仅20棵带注释的树木的训练，优于前几种镜头解析方法，该方法接受了50棵带注释的树木的训练。交叉解析的实验表明，无监督和少数解析方法都比SPMRL大多数语言的先前方法都更好[Seddah等，2013]。
translated by 谷歌翻译
由于包括架构改进和转移学习的效果，AMR Parsing在过去三年中经历了不起起的表现增加。自学习技术也在推动性能方面发挥作用。然而，对于最近的高性能解析器，自学和银数据生成的效果似乎褪色。在本文中，我们表明，通过将基于Spatch的集合技术与集合蒸馏组合来克服这一减少的银数据的递减。在一个广泛的实验设置中，我们首次推出超过85次Spatch以上的单一模型英语解析器性能并返回大量收益。我们还为中国，德语，意大利语和西班牙语进行了跨语态amr解析的新型最先进的。最后，我们探讨了所提出的蒸馏技术对领域适应的影响，并表明它可以产生竞争对QALD-9的人类注释数据的增益，并为生物群体实现新的最先进。
translated by 谷歌翻译
尽管最近的抽象摘要有所改善，但大多数当前方法都会产生与源文档不一致的摘要，从而严重限制了其在现实世界应用中的信任和使用。最近的作品显示了使用文本或依赖性弧形识别事实错误识别的有希望的改进；但是，他们不会同时考虑整个语义图。为此，我们提出了Factgraph，该方法将文档分解为结构化含义表示（MR），更适合于事实评估。太太描述了核心语义概念及其关系，以规范形式汇总文档和摘要中的主要内容，并减少数据稀疏性。 Factgraph使用与结构感知适配器增强的图形编码器编码此类图，以根据图形连接性捕获概念之间的交互，以及使用基于适配器的文本编码器的文本表示。在不同基准上进行评估事实的实验表明，事实图的表现优于先前的方法高达15％。此外，Factgraph改善了识别内容可验证性错误的性能，并更好地捕获了附近级别的事实不一致。
translated by 谷歌翻译
与伯特（Bert）等语言模型相比，已证明知识增强语言表示的预培训模型在知识基础构建任务（即〜关系提取）中更有效。这些知识增强的语言模型将知识纳入预训练中，以生成实体或关系的表示。但是，现有方法通常用单独的嵌入表示每个实体。结果，这些方法难以代表播出的实体和大量参数，在其基础代币模型之上（即〜变压器），必须使用，并且可以处理的实体数量为由于内存限制，实践限制。此外，现有模型仍然难以同时代表实体和关系。为了解决这些问题，我们提出了一个新的预培训模型，该模型分别从图书中学习实体和关系的表示形式，并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度，我们的模型可以代表实体及其关系，但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练，并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明，我们的模型比基线学习对实体和关系的表现更好，而在监督的设置中，微调我们的模型始终优于罗伯塔，并在信息提取任务上取得了竞争成果。
translated by 谷歌翻译
我们使用神经语义解析方法解决对大知识图表的弱监督会议问题的问题。我们介绍了一种新的逻辑表单（LF）语法，可以在图中模拟各种查询，同时仍然足够简单以有效地生成监督数据。我们的变换器的模型将类似于输入的JSON的结构，允许我们轻松地结合知识图形和会话环境。该结构化输入转换为嵌入列表，然后馈送到标准注意图层。我们验证了我们的方法，无论是在语法覆盖范围和LF执行准确性方面，在两个公开可用的数据集，CSQA和Chamquestions，都在Wikidata接地。在CSQA上，我们的方法将覆盖范围从80美元的价格增加到96.2 \％$ 75.6 \％$ 75.6 \％$ 75.6 \％$，关于以前的最先进的结果。在CuncQuestions上，我们对最先进的竞争结果实现了竞争力。
translated by 谷歌翻译
目前，基于生物和元组的方法在基于跨度的语义角色标记（SRL）任务上表现得很好。然而，基于生物的方法通常需要在预测其参数时为每个谓词编码一次句子，并且基于元组的方法必须处理$ O（n ^ 3）$的巨大搜索空间，大大减少培训和推理效率。解析速度每秒小于50句话。此外，基于生物的和基于元组的方法通常在预测时仅考虑局部结构信息。本文建议将基于端到端的跨度的SRL作为图形解析任务。基于新颖的图形表示模式，我们在近期工作的肩部上呈现快速准确的SRL解析器对高阶语义依赖图解析。此外，我们提出了受限制的维特比程序，以确保输出图的合法性。英语Conll05和Conll12数据集的实验表明，我们的模型在没有训练有素的语言模型的两个设置下实现了新的最先进的结果，并且可以每秒用600句话解析600句话。
translated by 谷歌翻译
我们研究了原则上的程度，原则上，语言图表表示可以补充和改进神经语言建模。通过一个由7种不同的形式主义之一的预磨削变压器和地面真相图组成的集合设置，我们发现，总体而言，语义构成结构对语言建模性能最有用 - 超越句法选区结构以及句法和语义依赖结构。此外，效果取决于语音级别的级别大大变化。总而言之，我们的调查结果指出了神经象征性语言建模的有希望的趋势，并邀请未来的研究量化不同形式主义所制作的设计选择。
translated by 谷歌翻译
最近的研究表明，自然语言理解中的系统概括仍然是最先进的神经模型（如变形金刚和图形神经网络）的挑战。为了解决这一挑战，我们提出了边缘变压器，这是一种新的模型，将灵感与基于规则的符号AI结合起来。边缘变压器中的第一个关键思想是将矢量状态与每个边缘相关联，即使用每对输入节点 - 与每个节点相对，因为它在变压器模型中完成。第二重要创新是一个三角形关注机制，以通过从逻辑编程的统一启发的方式更新边缘表示。我们在关系推理，语义解析和依赖性解析中评估边缘变压器上的成分泛化基准。在所有三种设置中，边缘变压器优于关系感知，通用和古典变压器基线。
translated by 谷歌翻译
意义表示（AMR）是一种基于图形的语义表示的句子，由语义关系链接的概念集合组成。基于AMR的方法在各种应用程序中找到了成功，但在需要文档级背景下的任务中使用它的挑战是它只代表单个句子。在基于AMR的总结中的事先工作已经自动将单个句子图与文档图合并到文档图中，但尚未独立地评估合并方法及其对摘要内容选择的影响。在本文中，我们介绍了一种新的数据集，由配对文件的节点与可用于评估（1）合并策略之间的摘要之间的人为注释对齐组成; （2）在合并或未混合的AMR图表的节点上的内容选择方法的性能。我们将这两种形式的评估应用于现有工作以及节点合并的新方法，并表明我们的新方法比现有工作明显更好。
translated by 谷歌翻译
多文件科学摘要（MDSS）旨在为与主题相关的科学论文群生成连贯和简洁的摘要。此任务需要精确理解纸张内容以及对交叉纸关系的准确建模。知识图为文档传达了紧凑且可解释的结构化信息，这使其非常适合内容建模和关系建模。在本文中，我们提出了KGSUM，这是一个MDSS模型，以编码和解码过程中的知识图为中心。具体而言，在编码过程中，提出了两个基于图的模块，以将知识图信息纳入纸张编码，而在解码过程中，我们通过以描述性句子的形式首先生成摘要的知识图，提出了一个两阶段解码器。 ，然后生成最终摘要。经验结果表明，所提出的体系结构对多XSCIENCE数据集的基准进行了实质性改进。
translated by 谷歌翻译