话语关系通过明确的内容以及生产者和口译员之间的共享或隐性知识来解释的想法在话语研究和语言学中无处不在。但是，尚不清楚论证词汇语义的实际贡献。我们提出了一种计算方法来分析PDTB语料库中的对比和特许关系。我们的作品阐明了词汇语义在多大程度上有助于信号的明确和隐式话语关系，并阐明了两者中不同部分的贡献。这项研究有助于弥合语料库语言学和计算语言学之间的差距，通过根据其论点的同义词和反义词提出透明和可解释的话语关系模型。

作为人类认知的重要组成部分，造成效果关系频繁出现在文本中，从文本策划原因关系有助于建立预测任务的因果网络。现有的因果关系提取技术包括基于知识的，统计机器学习（ML）和基于深度学习的方法。每种方法都具有其优点和缺点。例如，基于知识的方法是可以理解的，但需要广泛的手动域知识并具有较差的跨域适用性。由于自然语言处理（NLP）工具包，统计机器学习方法更加自动化。但是，功能工程是劳动密集型的，工具包可能导致错误传播。在过去的几年里，由于其强大的代表学习能力和计算资源的快速增加，深入学习技术吸引了NLP研究人员的大量关注。它们的局限包括高计算成本和缺乏足够的注释培训数据。在本文中，我们对因果关系提取进行了综合调查。我们最初介绍了因果关系提取中存在的主要形式：显式的内部管制因果关系，隐含因果关系和间情态因果关系。接下来，我们列出了代理关系提取的基准数据集和建模评估方法。然后，我们介绍了三种技术的结构化概述了与他们的代表系统。最后，我们突出了潜在的方向存在现有的开放挑战。

基于变压器的语言模型最近在许多自然语言任务中取得了显着的结果。但是，通常通过利用大量培训数据来实现排行榜的性能，并且很少通过将明确的语言知识编码为神经模型。这使许多人质疑语言学对现代自然语言处理的相关性。在本文中，我介绍了几个案例研究，以说明理论语言学和神经语言模型仍然相互关联。首先，语言模型通过提供一个客观的工具来测量语义距离，这对语言学家很有用，语义距离很难使用传统方法。另一方面，语言理论通过提供框架和数据源来探究我们的语言模型，以了解语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法 - 听觉界面的不同方面。在论文的第一部分中，我将语言模型应用于单词类灵活性的问题。我将Mbert作为语义距离测量的来源，我提供了有利于将单词类灵活性分析为方向过程的证据。在论文的第二部分中，我提出了一种方法来测量语言模型中间层的惊奇方法。我的实验表明，包含形态句法异常的句子触发了语言模型早期的惊喜，而不是语义和常识异常。最后，在论文的第三部分中，我适应了一些心理语言学研究，以表明语言模型包含了论证结构结构的知识。总而言之，我的论文在自然语言处理，语言理论和心理语言学之间建立了新的联系，以为语言模型的解释提供新的观点。

最近围绕语言处理模型的复杂性的最新炒作使人们对机器获得了类似人类自然语言的指挥的乐观情绪。人工智能中自然语言理解的领域声称在这一领域取得了长足的进步，但是，在这方面和其他学科中使用“理解”的概念性清晰，使我们很难辨别我们实际上有多近的距离。目前的方法和剩余挑战的全面，跨学科的概述尚待进行。除了语言知识之外，这还需要考虑我们特定于物种的能力，以对，记忆，标签和传达我们（足够相似的）体现和位置经验。此外，测量实际约束需要严格分析当前模型的技术能力，以及对理论可能性和局限性的更深入的哲学反思。在本文中，我将所有这些观点（哲学，认知语言和技术）团结在一起，以揭开达到真实（人类般的）语言理解所涉及的挑战。通过解开当前方法固有的理论假设，我希望说明我们距离实现这一目标的实际程度，如果确实是目标。

This volume contains revised versions of the papers selected for the third volume of the Online Handbook of Argumentation for AI (OHAAI). Previously, formal theories of argument and argument interaction have been proposed and studied, and this has led to the more recent study of computational models of argument. Argumentation, as a field within artificial intelligence (AI), is highly relevant for researchers interested in symbolic representations of knowledge and defeasible reasoning. The purpose of this handbook is to provide an open access and curated anthology for the argumentation research community. OHAAI is designed to serve as a research hub to keep track of the latest and upcoming PhD-driven research on the theory and application of argumentation in all areas related to AI.

我们描述了土耳其话语银行1.2，这是一个最新版本的话语语料库，以明确或隐式传达的话语关系，其本构单元以及宾夕法尼亚州话语bank treebank风格的感觉。我们介绍了最近添加的令牌的评估，并检查了三种通常发生的依赖模式，这些模式在一对相邻话语关系的本构单元之间存在，即共同的参数，完整的嵌入和对话语关系的部分遏制。我们提出了三个主要发现：（a）隐式传达的关系发生的频率比数据中明确传达的关系更频繁； （b）两个相邻的隐式话语关系分享一个论点比对两个相邻的显式关系更为普遍； （c）语料库中普遍存在的完全嵌入和部分围绕话语关系是普遍存在的，这可能部分是由于下属连接剂，其预先的下属子句倾向于与矩阵子句一起选择，而不是单独选择。最后，我们简要讨论了我们发现对土耳其话语解析的含义。

Teaching machines to read natural language documents remains an elusive challenge. Machine reading systems can be tested on their ability to answer questions posed on the contents of documents that they have seen, but until now large scale training and test datasets have been missing for this type of evaluation. In this work we define a new methodology that resolves this bottleneck and provides large scale supervised reading comprehension data. This allows us to develop a class of attention based deep neural networks that learn to read real documents and answer complex questions with minimal prior knowledge of language structure.

本文报告了在应用多维缩放（MDS）技术中以创建语言研究中的语义地图的最先进。 MDS指的是一种统计技术，其表示对象（词汇项，语言上下文，语言等）作为空间中的点，使得对象之间的密切相似性对应于表示表示中的对应点之间的距离。我们专注于使用MDS与在跨语言变异研究中使用的并行语料库数据相结合。我们首先介绍了MD的数学基础，然后略微概述过去的研究，采用MDS技术与并行语料库数据结合使用。我们提出了一组术语，以简便地描述特定MDS应用程序的关键参数。然后，我们表明，这种计算方法是理论中立的，即它可以用来在各种语言理论框架中回答研究问题。最后，我们展示了这在语言学中的MDS研究中的两条发展程度的发展。

尽管最近在机器学习用于自然语言处理的机器学习方面，但自然语言推论（NLI）问题仍然是挑战。为此目的，我们贡献了一个新的数据集，专注于事实现象;但是，我们的任务与其他NLI任务保持相同，即引起的征集，矛盾或中性（ECN）。 DataSet在波兰语中包含完全自然语言话语，收集2,432个动词补充对和309个独特的动词。 DataSet基于国家波兰语（NKJP）的国家语料库，是主要动词频率和其他语言特征的代表性样本（例如，内部否定的发生）。我们发现，基于变压器的基于判决的模型获得了相对良好的结果（$ \ \左右89 \％$ F1得分）。尽管使用语言特征实现了更好的结果（$ \大约91 \％$ F1得分），但这种模型需要更多人工劳动力（循环中的人类），因为专家语言学家手动制备特征。基于BERT的模型仅消耗输入句子表明，它们捕获了NLI / Factivity的大部分复杂性。现象中的复杂病例 - 例如具有权利（e）和非致命动词的案件 - 仍然是进一步研究的开放问题。

在本文中，我们得出了“上下文中的单词含义”的概念，将其描述为强化和概念。我们介绍了一个框架，用于在上下文中指定对单词含义的局部和全局约束以及它们的相互作用，从而建模在话语解释中观察到的各种词汇转移和歧义。我们将句子表示为“情况描述系统”，这是一种概率模型，它将话语理解是一种对自己描述一种或多种情况描述的心理过程，该过程将解释观察到的话语。我们展示了如何在实践中实现该系统，并将其应用于包含各种背景化现象的示例。

方面含义是指如何提出情况的内部时间结构。这包括情况是将情况描述为状态还是事件，无论情况已经完成还是正在进行，以及是否被视为一个整体，还是关注特定阶段。这项调查概述了对词汇和语法方面进行建模以及对必要语言概念和术语的直观解释的概述。特别是，我们描述了统计，远程感，习惯性，完美和不完美的概念，以及最终性和情况类型的有影响力的清单。我们认为，由于方面是语义的关键组成部分，尤其是在以精确的方式报告情况的时间结构时，未来的NLP方法需要能够系统地处理和评估它，以实现人类水平的语言理解。

本地语言识别（NLI）是培训（通过监督机器学习）的任务，该分类器猜测文本作者的母语。在过去的十年中，这项任务已经进行了广泛的研究，多年来，NLI系统的性能稳步改善。我们专注于NLI任务的另一个方面，即分析由\ emph {Aupplable}机器学习算法培训的NLI分类器的内部组件，以获取其分类决策的解释，并具有获得的最终目标，即获得最终的目标。深入了解语言现象````赋予说话者''的母语''。我们使用这种观点来解决NLI和（研究得多的）伴侣任务，即猜测是由本地人还是非本地人说的文本。使用三个不同出处的数据集（英语学习者论文的两个数据集和社交媒体帖子的数据集），我们研究哪种语言特征（词汇，形态学，句法和统计）最有效地解决了我们的两项任务，即，最大的表明说话者的L1。我们还提出了两个案例研究，一个关于西班牙语，另一个关于意大利英语学习者，其中我们分析了分类器对发现这些L1最重要的单个语言特征。总体而言，我们的研究表明，使用可解释的机器学习可能是TH的宝贵工具

Despite extensive research efforts in recent years, computational argumentation (CA) remains one of the most challenging areas of natural language processing. The reason for this is the inherent complexity of the cognitive processes behind human argumentation, which integrate a plethora of different types of knowledge, ranging from topic-specific facts and common sense to rhetorical knowledge. The integration of knowledge from such a wide range in CA requires modeling capabilities far beyond many other natural language understanding tasks. Existing research on mining, assessing, reasoning over, and generating arguments largely acknowledges that much more knowledge is needed to accurately model argumentation computationally. However, a systematic overview of the types of knowledge introduced in existing CA models is missing, hindering targeted progress in the field. Adopting the operational definition of knowledge as any task-relevant normative information not provided as input, the survey paper at hand fills this gap by (1) proposing a taxonomy of types of knowledge required in CA tasks, (2) systematizing the large body of CA work according to the reliance on and exploitation of these knowledge types for the four main research areas in CA, and (3) outlining and discussing directions for future research efforts in CA.

情感是引人入胜的叙事的关键部分：文学向我们讲述了有目标，欲望，激情和意图的人。情绪分析是情感分析更广泛，更大的领域的一部分，并且在文学研究中受到越来越多的关注。过去，文学的情感维度主要在文学诠释学的背景下进行了研究。但是，随着被称为数字人文科学（DH）的研究领域的出现，在文学背景下对情绪的一些研究已经发生了计算转折。鉴于DH仍被形成为一个领域的事实，这一研究方向可以相对较新。在这项调查中，我们概述了现有的情感分析研究机构，以适用于文献。所评论的研究涉及各种主题，包括跟踪情节发展的巨大变化，对文学文本的网络分析以及了解文本的情感以及其他主题。

Deep Learning and Machine Learning based models have become extremely popular in text processing and information retrieval. However, the non-linear structures present inside the networks make these models largely inscrutable. A significant body of research has focused on increasing the transparency of these models. This article provides a broad overview of research on the explainability and interpretability of natural language processing and information retrieval methods. More specifically, we survey approaches that have been applied to explain word embeddings, sequence modeling, attention modules, transformers, BERT, and document ranking. The concluding section suggests some possible directions for future research on this topic.

系统发育比较方法在我们的领域是新的，并且对于大多数语言学家来说，至少有一点谜团。然而，导致他们在比较生物学中发现的道路与平衡抽样的方法论历史如此类似，这只是一个历史的事故，即他们没有被典型的专家发现。在这里，我们澄清了系统发育比较方法背后的基本逻辑及其对重点采样的深刻智力传统的基本相关性。然后我们介绍将在日常类型的研究中使用类型的概念，方法和工具，使类型学家能够在日常类型的研究中使用这些方法。系统发育比较方法和平衡采样的关键共性是他们试图因系谱而应对统计非独立性。虽然采样永远不会实现独立性，但需要大多数比较数据被丢弃，系统发育比较方法在保留和使用所有数据的同时实现独立性。我们讨论了系统发育信号的基本概念;关于树木的不确定性;典型的类型学平均值和比例对族谱敏感;跨语言家庭的比较;和体现的影响。广泛的补充材料说明了实际分析的计算工具，我们说明了与帕马尼云根腭膜对比的类型学案例研究讨论的方法。

情绪分析中最突出的任务是为文本分配情绪，并了解情绪如何在语言中表现出来。自然语言处理的一个重要观察结果是，即使没有明确提及情感名称，也可以通过单独参考事件来隐式传达情绪。在心理学中，被称为评估理论的情感理论类别旨在解释事件与情感之间的联系。评估可以被形式化为变量，通过他们认为相关的事件的人们的认知评估来衡量认知评估。其中包括评估事件是否是新颖的，如果该人认为自己负责，是否与自己的目标以及许多其他人保持一致。这样的评估解释了哪些情绪是基于事件开发的，例如，新颖的情况会引起惊喜或不确定后果的人可能引起恐惧。我们在文本中分析了评估理论对情绪分析的适用性，目的是理解注释者是否可以可靠地重建评估概念，如果可以通过文本分类器预测，以及评估概念是否有助于识别情感类别。为了实现这一目标，我们通过要求人们发短信描述触发特定情绪并披露其评估的事件来编译语料库。然后，我们要求读者重建文本中的情感和评估。这种设置使我们能够衡量是否可以纯粹从文本中恢复情绪和评估，并为判断模型的绩效指标提供人体基准。我们将文本分类方法与人类注释者的比较表明，两者都可以可靠地检测出具有相似性能的情绪和评估。我们进一步表明，评估概念改善了文本中情绪的分类。

我们研究了现代神经语言模型容易受到结构启动的程度，这种现象使句子的结构在后续句子中更有可能使相同的结构更有可能。我们探索如何使用启动来研究这些模型学习抽象结构信息的潜力，这是需要自然语言理解技能的任务良好表现的先决条件。我们引入了一种新型的度量标准和释放Prime-LM，这是一个大型语料库，我们可以控制与启动强度相互作用的各种语言因素。我们发现，变压器模型确实显示了结构启动的证据，但他们所学到的概括在某种程度上是由语义信息调节的。我们的实验还表明，模型获得的表示不仅可以编码抽象的顺序结构，而且还涉及一定级别的层次句法信息。更普遍的是，我们的研究表明，启动范式是一种有用的，可用于洞悉语言模型能力的有用的，并为未来的基于底漆的调查打开了探测模型内部状态的未来大门。

Transformer-based models have pushed state of the art in many areas of NLP, but our understanding of what is behind their success is still limited. This paper is the first survey of over 150 studies of the popular BERT model. We review the current state of knowledge about how BERT works, what kind of information it learns and how it is represented, common modifications to its training objectives and architecture, the overparameterization issue and approaches to compression. We then outline directions for future research.

本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片（Sota）。它填补了空白，因为现有的调查文章在其范围内或被约会。我们包括两个重要方面，目前正在挖掘和建模社交媒体的重要性：动态和网络。社会动态对于了解影响影响或疾病的传播，友谊的形成，友谊的形成等，另一方面，可以捕获各种复杂关系，提供额外的洞察力和识别否则将不会被注意的重要模式。