语言的演变遵循逐渐变化的规则。语法，词汇和词汇语义转移会随着时间的推移而发生，导致了直觉的语言差距。因此，用不同的时代语言编写了大量文本，这为自然语言处理任务（例如单词分割和机器翻译）造成了障碍。尽管中文历史悠久，但以前的中国自然语言处理研究主要集中在特定时代的任务上。因此，我们为中文单词分割（CWS）提出了一个跨时代的学习框架，该框架使用开关记忆（SM）模块来合并ERA特定的语言知识。来自不同时代的四个语料库的实验表明，每个语料库的性能都显着提高。进一步的分析还表明，SM可以有效地将时代的知识整合到神经网络中。

Lexicon信息和预先训练的型号，如伯特，已被组合以探索由于各自的优势而探索中文序列标签任务。然而，现有方法通过浅和随机初始化的序列层仅熔断词典特征，并且不会将它们集成到伯特的底层中。在本文中，我们提出了用于汉语序列标记的Lexicon增强型BERT（Lebert），其直接通过Lexicon适配器层将外部词典知识集成到BERT层中。与现有方法相比，我们的模型促进了伯特下层的深层词典知识融合。关于十个任务的十个中文数据集的实验，包括命名实体识别，单词分段和言语部分标记，表明Lebert实现了最先进的结果。

大多数中国预训练的模型都采用字符作为下游任务的基本单元。但是，这些模型忽略了单词传递的信息，从而导致某些重要语义的丧失。在本文中，我们提出了一种新方法来利用单词结构并将词汇语义集成到预训练模型的特征表示中。具体而言，我们根据相似度的重量将单词嵌入其内部字符的嵌入中。为了加强边界信息一词，我们将一个单词中内部字符的表示形式混合在一起。之后，我们将单词到字符对准注意机制通过掩盖不重要的角色来强调重要角色。此外，为了减少单词分割引起的误差传播，我们提出了一种合奏方法，以结合不同的标记者给出的分割结果。实验结果表明，我们的方法在不同的中文NLP任务上取得了优于基本预训练的模型Bert，Bert-WWM和Ernie：情感分类，句子对匹配，自然语言推断和机器阅读理解。我们进行进一步的分析以证明我们模型每个组成部分的有效性。

The lack of label data is one of the significant bottlenecks for Chinese Spelling Check (CSC). Existing researches use the method of automatic generation by exploiting unlabeled data to expand the supervised corpus. However, there is a big gap between the real input scenario and automatic generated corpus. Thus, we develop a competitive general speller ECSpell which adopts the Error Consistent masking strategy to create data for pretraining. This error consistency masking strategy is used to specify the error types of automatically generated sentences which is consistent with real scene. The experimental result indicates our model outperforms previous state-of-the-art models on the general benchmark. Moreover, spellers often work within a particular domain in real life. Due to lots of uncommon domain terms, experiments on our built domain specific datasets show that general models perform terribly. Inspired by the common practice of input methods, we propose to add an alterable user dictionary to handle the zero-shot domain adaption problem. Specifically, we attach a User Dictionary guided inference module (UD) to a general token classification based speller. Our experiments demonstrate that ECSpell$^{UD}$, namely ECSpell combined with UD, surpasses all the other baselines largely, even approaching the performance on the general benchmark.

确保适当的标点符号和字母外壳是朝向应用复杂的自然语言处理算法的关键预处理步骤。这对于缺少标点符号和壳体的文本源，例如自动语音识别系统的原始输出。此外，简短的短信和微博的平台提供不可靠且经常错误的标点符号和套管。本调查概述了历史和最先进的技术，用于恢复标点符号和纠正单词套管。此外，突出了当前的挑战和研究方向。

跨度提取，旨在从纯文本中提取文本跨度（如单词或短语），是信息提取中的基本过程。最近的作品介绍了通过将跨度提取任务正式化为问题（QA正式化）的跨度提取任务来提高文本表示，以实现最先进的表现。然而，QA正规化并没有充分利用标签知识并遭受培训/推理的低效率。为了解决这些问题，我们介绍了一种新的范例来整合标签知识，并进一步提出一个小说模型，明确有效地将标签知识集成到文本表示中。具体而言，它独立地编码文本和标签注释，然后将标签知识集成到文本表示中，并使用精心设计的语义融合模块进行文本表示。我们在三个典型的跨度提取任务中进行广泛的实验：扁平的网，嵌套网和事件检测。实证结果表明，我们的方法在四个基准测试中实现了最先进的性能，而且分别将培训时间和推理时间降低76％和77％，与QA形式化范例相比。我们的代码和数据可在https://github.com/apkepers/lear中获得。

在计算语言学和自然语言处理的应用方面，中文字分割和语音标记是必要的任务。许多重新搜索者仍然辩论对深度学习时代中汉语词组和演讲的一部分。尽管如此，解决歧义并检测到未知词是挑战这一领域的问题。以前关于联合中文分割和语音标记的研究主要遵循关注的基于角色的标记模型，专注于模拟n-gram功能。与以前的作品不同，我们提出了一个名为SpanseGtag的神经模型，用于联合中文字分割和跨度标记之后的语音标记，其中每个n克是单词和词语标签的概率是主要的问题。我们在连续字符的左边和右边界表示的左边和右边界表示中使用双重边界表示来模拟n-gram。我们的实验表明，我们的BERT基模型SPANSEGTAG在CTB5，CTB6和UD上实现了竞争性能，或者使用BERT或ZEN编码器的当前最先进的方法对CTB7和CTB9基准数据集进行了显着改进。

受益于训练有素的模型的强大能力，近年来近年来的中文分割（CWS）的研究取得了很大进展。然而，由于巨大的计算，大型和复杂的模型无法赋予其工业用途能力。另一方面，对于低资源场景，普遍的解码方法（例如条件随机字段（CRF））无法利用培训数据的完整信息。这项工作提出了一种快速准确的CWS框架，其包含光加权模型和升级的解码方法（PCRF），朝工业低资源CWS场景。首先，我们将基于变压器的学生模型作为编码器蒸发，这不仅加速推理速度而且结合了开放知识和特定于域的知识。其次，评估语言模型的困惑分数融合到CRF模块中以更好地识别字边界。实验表明，与基于原始BERT的模型相比，我们的工作在多达14 \％消耗的多达14 \％的多个数据集中获得了相对高的性能。此外，在低资源设置下，与传统的解码方法相比，我们得到了卓越的结果。

自动言论（POS）标记是许多自然语言处理（NLP）任务的预处理步骤，例如名称实体识别（NER），语音处理，信息提取，单词sense sisse disampigation和Machine Translation。它已经在英语和欧洲语言方面取得了令人鼓舞的结果，但是使用印度语言，尤其是在Odia语言中，由于缺乏支持工具，资源和语言形态丰富性，因此尚未得到很好的探索。不幸的是，我们无法为ODIA找到一个开源POS标记，并且仅尝试为ODIA语言开发POS标记器的尝试。这项研究工作的主要贡献是介绍有条件的随机场（CRF）和基于深度学习的方法（CNN和双向长期短期记忆）来开发ODIA的语音部分。我们使用了一个公开访问的语料库，并用印度标准局（BIS）标签设定了数据集。但是，全球的大多数语言都使用了带有通用依赖项（UD）标签集注释的数据集。因此，要保持统一性，odia数据集应使用相同的标签集。因此，我们已经构建了一个从BIS标签集到UD标签集的简单映射。我们对CRF模型进行了各种特征集输入，观察到构造特征集的影响。基于深度学习的模型包括BI-LSTM网络，CNN网络，CRF层，角色序列信息和预训练的单词向量。通过使用卷积神经网络（CNN）和BI-LSTM网络提取角色序列信息。实施了神经序列标记模型的六种不同组合，并研究了其性能指标。已经观察到具有字符序列特征和预训练的单词矢量的BI-LSTM模型取得了显着的最新结果。

Recognizing useful named entities plays a vital role in medical information processing, which helps drive the development of medical area research. Deep learning methods have achieved good results in medical named entity recognition (NER). However, we find that existing methods face great challenges when dealing with the nested named entities. In this work, we propose a novel method, referred to as ASAC, to solve the dilemma caused by the nested phenomenon, in which the core idea is to model the dependency between different categories of entity recognition. The proposed method contains two key modules: the adaptive shared (AS) part and the attentive conditional random field (ACRF) module. The former part automatically assigns adaptive weights across each task to achieve optimal recognition accuracy in the multi-layer network. The latter module employs the attention operation to model the dependency between different entities. In this way, our model could learn better entity representations by capturing the implicit distinctions and relationships between different categories of entities. Extensive experiments on public datasets verify the effectiveness of our method. Besides, we also perform ablation analyses to deeply understand our methods.

引号提取旨在从书面文本中提取引号。引号中有三个组成部分：来源是指引号的持有人，提示是触发词，内容是主体。引号提取的现有解决方案主要利用基于规则的方法和序列标签模型。尽管基于规则的方法通常会导致召回率低，但序列标记模型不能很好地处理带有复杂结构的报价。在本文中，我们提出了上下文和以前的标签增强净（Cofenet），以提取引号。Cofenet能够提取具有可变长度和复杂结构的组成部分的复杂报价。在两个公共数据集（即polnear和Riqua）和一个专有数据集（即Politicszh）上，我们表明我们的Cofenet在复杂的引号提取方面取得了最先进的表现。

Nowadays, time-stamped web documents related to a general news query floods spread throughout the Internet, and timeline summarization targets concisely summarizing the evolution trajectory of events along the timeline. Unlike traditional document summarization, timeline summarization needs to model the time series information of the input events and summarize important events in chronological order. To tackle this challenge, in this paper, we propose a Unified Timeline Summarizer (UTS) that can generate abstractive and extractive timeline summaries in time order. Concretely, in the encoder part, we propose a graph-based event encoder that relates multiple events according to their content dependency and learns a global representation of each event. In the decoder part, to ensure the chronological order of the abstractive summary, we propose to extract the feature of event-level attention in its generation process with sequential information remained and use it to simulate the evolutionary attention of the ground truth summary. The event-level attention can also be used to assist in extracting summary, where the extracted summary also comes in time sequence. We augment the previous Chinese large-scale timeline summarization dataset and collect a new English timeline dataset. Extensive experiments conducted on these datasets and on the out-of-domain Timeline 17 dataset show that UTS achieves state-of-the-art performance in terms of both automatic and human evaluations.

使用诸如BERT，ELMO和FLAIR等模型建模上下文信息的成立具有显着改善了文字的表示学习。它还给出了几乎每个NLP任务机器翻译，文本摘要和命名实体识别的Sota结果，以命名为少。在这项工作中，除了使用这些主导的上下文感知的表示之外，我们还提出了一种用于命名实体识别（NER）的知识意识表示学习（KARL）网络。我们讨论了利用现有方法在纳入世界知识方面的挑战，并展示了如何利用我们所提出的方法来克服这些挑战。 KARL基于变压器编码器，该变压器编码器利用表示为事实三元组的大知识库，将它们转换为图形上下文，并提取驻留在内部的基本实体信息以生成用于特征增强的上下文化三联表示。实验结果表明，使用卡尔的增强可以大大提升我们的内部系统的性能，并在三个公共网络数据集中的文献中的现有方法，即Conll 2003，Conll ++和Ontonotes V5实现了比文献中现有方法的显着更好的结果。我们还观察到更好的概括和应用于从Karl上看不见的实体的真实环境。

令牌化是预用语言模型（PLMS）的基础。用于中文PLMS的现有销量化方法通常将每个角色视为不可分割的令牌。然而，它们忽略了中文写字系统的独特特征，其中附加语言信息在字符级别下方，即在子字符级别。要利用此类信息，我们提出了子字符（Sub Const for Short）标记。具体地，我们首先通过基于其字形或发音将每个汉字转换为短序列来编码输入文本，然后根据具有子字标记化的编码文本构造词汇表。实验结果表明，Sub Colar标记与现有标记均具有两个主要优点：1）它们可以将输入牌销料到更短的序列中，从而提高计算效率。 2）基于发音的Sub Col.Tokenizers可以将中文同音铭器编码为相同的音译序列并产生相同的标记输出，因此对所有同音声音拼写的强大。与此同时，使用Sub Colar标记培训的模型竞争地执行下游任务。我们在https://github.com/thunlp/subchartoken中发布我们的代码，以促进未来的工作。

尽管现有的机器阅读理解模型在许多数据集上取得了迅速的进展，但它们远非强劲。在本文中，我们提出了一个面向理解的机器阅读理解模型，以解决三种鲁棒性问题，这些问题过于敏感，稳定性和泛化。具体而言，我们首先使用自然语言推理模块来帮助模型了解输入问题的准确语义含义，以解决过度敏感性和稳定性的问题。然后，在机器阅读理解模块中，我们提出了一种记忆引导的多头注意方法，该方法可以进一步很好地理解输入问题和段落的语义含义。第三，我们提出了一种多语言学习机制来解决概括问题。最后，这些模块与基于多任务学习的方法集成在一起。我们在三个旨在衡量模型稳健性的基准数据集上评估了我们的模型，包括Dureader（健壮）和两个与小队相关的数据集。广泛的实验表明，我们的模型可以很好地解决上述三种鲁棒性问题。而且，即使在某些极端和不公平的评估下，它也比所有这些数据集中所有这些数据集的最先进模型的结果要好得多。我们工作的源代码可在以下网址获得：https：//github.com/neukg/robustmrc。

Language model pre-training has proven to be useful in learning universal language representations. As a state-of-the-art language model pre-training model, BERT (Bidirectional Encoder Representations from Transformers) has achieved amazing results in many language understanding tasks. In this paper, we conduct exhaustive experiments to investigate different fine-tuning methods of BERT on text classification task and provide a general solution for BERT fine-tuning. Finally, the proposed solution obtains new state-of-the-art results on eight widely-studied text classification datasets. 1

Intent classification and slot filling are two core tasks in natural language understanding (NLU). The interaction nature of the two tasks makes the joint models often outperform the single designs. One of the promising solutions, called BERT (Bidirectional Encoder Representations from Transformers), achieves the joint optimization of the two tasks. BERT adopts the wordpiece to tokenize each input token into multiple sub-tokens, which causes a mismatch between the tokens and the labels lengths. Previous methods utilize the hidden states corresponding to the first sub-token as input to the classifier, which limits performance improvement since some hidden semantic informations is discarded in the fine-tune process. To address this issue, we propose a novel joint model based on BERT, which explicitly models the multiple sub-tokens features after wordpiece tokenization, thereby generating the context features that contribute to slot filling. Specifically, we encode the hidden states corresponding to multiple sub-tokens into a context vector via the attention mechanism. Then, we feed each context vector into the slot filling encoder, which preserves the integrity of the sentence. Experimental results demonstrate that our proposed model achieves significant improvement on intent classification accuracy, slot filling F1, and sentence-level semantic frame accuracy on two public benchmark datasets. The F1 score of the slot filling in particular has been improved from 96.1 to 98.2 (2.1% absolute) on the ATIS dataset.

In constituency parsing, span-based decoding is an important direction. However, for Chinese sentences, because of their linguistic characteristics, it is necessary to utilize other models to perform word segmentation first, which introduces a series of uncertainties and generally leads to errors in the computation of the constituency tree afterward. This work proposes a method for joint Chinese word segmentation and Span-based Constituency Parsing by adding extra labels to individual Chinese characters on the parse trees. Through experiments, the proposed algorithm outperforms the recent models for joint segmentation and constituency parsing on CTB 5.1.

本文通过将深度递归编码器添加到具有深递归编码器（BERT-DRE）的伯爵，提供了一种深度神经阵列匹配（NLSM）。我们对模型行为的分析表明，BERT仍未捕获文本的全部复杂性，因此伯特顶部应用了一个深递归编码器。具有残留连接的三个Bi-LSTM层用于设计递归编码器，并在此编码器顶部使用注意模块。为了获得最终的载体，使用由平均值和最大池组成的池化层。我们在四个基准，SNLI，贝尔船，Multinli，Scitail和新的波斯宗教问题数据集上进行模型。本文侧重于改善NLSM任务中的BERT结果。在这方面，进行BERT-DRE和BERT之间的比较，并且显示在所有情况下，BERT-DRE优于伯特。宗教数据集的BERT算法实现了89.70％的精度，并且BERT-DRE架构使用相同的数据集提高了90.29％。

本文对过去二十年来对自然语言生成（NLG）的研究提供了全面的审查，特别是与数据到文本生成和文本到文本生成深度学习方法有关，以及NLG的新应用技术。该调查旨在（a）给出关于NLG核心任务的最新综合，以及该领域采用的建筑;（b）详细介绍各种NLG任务和数据集，并提请注意NLG评估中的挑战，专注于不同的评估方法及其关系;（c）强调一些未来的强调和相对近期的研究问题，因为NLG和其他人工智能领域的协同作用而增加，例如计算机视觉，文本和计算创造力。