Intent classification and slot filling are two core tasks in natural language understanding (NLU). The interaction nature of the two tasks makes the joint models often outperform the single designs. One of the promising solutions, called BERT (Bidirectional Encoder Representations from Transformers), achieves the joint optimization of the two tasks. BERT adopts the wordpiece to tokenize each input token into multiple sub-tokens, which causes a mismatch between the tokens and the labels lengths. Previous methods utilize the hidden states corresponding to the first sub-token as input to the classifier, which limits performance improvement since some hidden semantic informations is discarded in the fine-tune process. To address this issue, we propose a novel joint model based on BERT, which explicitly models the multiple sub-tokens features after wordpiece tokenization, thereby generating the context features that contribute to slot filling. Specifically, we encode the hidden states corresponding to multiple sub-tokens into a context vector via the attention mechanism. Then, we feed each context vector into the slot filling encoder, which preserves the integrity of the sentence. Experimental results demonstrate that our proposed model achieves significant improvement on intent classification accuracy, slot filling F1, and sentence-level semantic frame accuracy on two public benchmark datasets. The F1 score of the slot filling in particular has been improved from 96.1 to 98.2 (2.1% absolute) on the ATIS dataset.

口语语言理解已被处理为监督的学习问题，其中每个域都有一组培训数据。但是，每个域的注释数据都是经济昂贵和不可扩展的，因此我们应该充分利用所有域的信息。通过进行多域学习，使用跨域的联合训练的共享参数来解决一个现有方法解决问题。我们建议通过使用域特定和特定于任务的模型参数来改善该方法的参数化，以改善知识学习和传输。5个域的实验表明，我们的模型对多域SLU更有效，并获得最佳效果。此外，当适应具有很少数据的新域时，通过优于12.4 \％来表现出先前最佳模型的可转换性。

插槽填充和意图检测是自然语言理解领域的两个基本任务。由于这两项任务之间存在很强的相关性，因此以前的研究努力通过多任务学习或设计功能交互模块来建模它们，以提高每个任务的性能。但是，现有的方法都没有考虑句子的结构信息与两个任务的标签语义之间的相关性。话语的意图和语义成分取决于句子的句法元素。在本文中，我们研究了一个多透明的标签改进网络，该网络利用依赖性结构和标签语义嵌入。考虑到增强句法表示，我们将句子的依赖性结构介绍到我们的模型中。为了捕获句法信息和任务标签之间的语义依赖性，我们将特定于任务的特征与相应的标签嵌入通过注意机制相结合。实验结果表明，我们的模型在两个公共数据集上实现了竞争性能。

语言理解（SLU）是以任务为导向对话系统的核心组成部分，期望面对人类用户不耐烦的推理较短。现有的工作通过为单转弯任务设计非自动回旋模型来提高推理速度，但在面对对话历史记录时未能适用于多转移SLU。直观的想法是使所有历史言语串联并直接利用非自动进取模型。但是，这种方法严重错过了显着的历史信息，并遭受了不协调的问题。为了克服这些缺点，我们提出了一个新型模型，用于使用层改造的变压器（SHA-LRT），该模型名为“显着历史”，该模型由SHA模块组成，该模块由SHA模块组成，一种层的机制（LRM）和插槽标签生成（SLG）任务。 SHA通过历史悠久的注意机制捕获了从历史言论和结果进行的当前对话的显着历史信息。 LRM预测了Transferer的中间状态的初步SLU结果，并利用它们来指导最终预测，SLG获得了非自动进取编码器的顺序依赖性信息。公共数据集上的实验表明，我们的模型可显着提高多转弯性能（总体上为17.5％），并且加速（接近15倍）最先进的基线的推理过程，并且在单转弯方面有效SLU任务。

Recent graph-based models for joint multiple intent detection and slot filling have obtained promising results through modeling the guidance from the prediction of intents to the decoding of slot filling. However, existing methods (1) only model the \textit{unidirectional guidance} from intent to slot; (2) adopt \textit{homogeneous graphs} to model the interactions between the slot semantics nodes and intent label nodes, which limit the performance. In this paper, we propose a novel model termed Co-guiding Net, which implements a two-stage framework achieving the \textit{mutual guidances} between the two tasks. In the first stage, the initial estimated labels of both tasks are produced, and then they are leveraged in the second stage to model the mutual guidances. Specifically, we propose two \textit{heterogeneous graph attention networks} working on the proposed two \textit{heterogeneous semantics-label graphs}, which effectively represent the relations among the semantics nodes and label nodes. Experiment results show that our model outperforms existing models by a large margin, obtaining a relative improvement of 19.3\% over the previous best model on MixATIS dataset in overall accuracy.

Multi-intent detection and slot filling joint models are gaining increasing traction since they are closer to complicated real-world scenarios. However, existing approaches (1) focus on identifying implicit correlations between utterances and one-hot encoded labels in both tasks while ignoring explicit label characteristics; (2) directly incorporate multi-intent information for each token, which could lead to incorrect slot prediction due to the introduction of irrelevant intent. In this paper, we propose a framework termed DGIF, which first leverages the semantic information of labels to give the model additional signals and enriched priors. Then, a multi-grain interactive graph is constructed to model correlations between intents and slots. Specifically, we propose a novel approach to construct the interactive graph based on the injection of label semantics, which can automatically update the graph to better alleviate error propagation. Experimental results show that our framework significantly outperforms existing approaches, obtaining a relative improvement of 13.7% over the previous best model on the MixATIS dataset in overall accuracy.

目前对语言理解（SLU）的研究重大仅限于简单的设置：基于纯文本的SLU，它将用户话语为输入并生成其相应的语义帧（例如，意图和插槽）。不幸的是，当话语是语义模糊的话语时，这种简单的设置可能无法在复杂的真实情景中工作，这不能通过基于文本的SLU模型来实现的。在本文中，我们首先介绍了一种新的和重要任务，基于个人资料的口语语言理解（ProSlu），这需要不仅依赖于纯文本的模型，而且需要支持的资料配置文件，以预测正确的意图和插槽。为此，我们进一步引入了一个具有超过5K的大规模的汉语数据集及其相应的支持简档信息（知识图（kg），用户配置文件（向上），上下文意识（CA））。此外，我们还评估了多个最先进的基线模型，并探索多级知识适配器，以有效地结合资料信息。实验结果表明，当话语是语义模糊的，我们所提出的框架可以有效地融合了句子级意图检测和令牌级槽填充的支持信息，所以所有现有的基于文本的SLU模型都无法工作。最后，我们总结了关键挑战，为未来方向提供了新的观点，希望促进研究。

Named Entity Recognition and Intent Classification are among the most important subfields of the field of Natural Language Processing. Recent research has lead to the development of faster, more sophisticated and efficient models to tackle the problems posed by those two tasks. In this work we explore the effectiveness of two separate families of Deep Learning networks for those tasks: Bidirectional Long Short-Term networks and Transformer-based networks. The models were trained and tested on the ATIS benchmark dataset for both English and Greek languages. The purpose of this paper is to present a comparative study of the two groups of networks for both languages and showcase the results of our experiments. The models, being the current state-of-the-art, yielded impressive results and achieved high performance.

Recent joint multiple intent detection and slot filling models employ label embeddings to achieve the semantics-label interactions. However, they treat all labels and label embeddings as uncorrelated individuals, ignoring the dependencies among them. Besides, they conduct the decoding for the two tasks independently, without leveraging the correlations between them. Therefore, in this paper, we first construct a Heterogeneous Label Graph (HLG) containing two kinds of topologies: (1) statistical dependencies based on labels' co-occurrence patterns and hierarchies in slot labels; (2) rich relations among the label nodes. Then we propose a novel model termed ReLa-Net. It can capture beneficial correlations among the labels from HLG. The label correlations are leveraged to enhance semantic-label interactions. Moreover, we also propose the label-aware inter-dependent decoding mechanism to further exploit the label correlations for decoding. Experiment results show that our ReLa-Net significantly outperforms previous models. Remarkably, ReLa-Net surpasses the previous best model by over 20\% in terms of overall accuracy on MixATIS dataset.

了解用户的意图并从句子中识别出语义实体，即自然语言理解（NLU），是许多自然语言处理任务的上游任务。主要挑战之一是收集足够数量的注释数据来培训模型。现有有关文本增强的研究并没有充分考虑实体，因此对于NLU任务的表现不佳。为了解决这个问题，我们提出了一种新型的NLP数据增强技术，实体意识数据增强（EADA），该技术应用了树结构，实体意识到语法树（EAST），以表示句子与对实体的注意相结合。我们的EADA技术会自动从少量注释的数据中构造东方，然后生成大量的培训实例，以进行意图检测和插槽填充。四个数据集的实验结果表明，该技术在准确性和泛化能力方面显着优于现有数据增强方法。

数据稀疏问题是自然语言理解（NLU）的关键挑战，特别是对于新的目标域。通过在源域中训练NLU模型并直接将模型应用于任意目标域（即使没有微调），很少拍摄的NLU对缓解数据稀缺问题至关重要。在本文中，我们建议改进具有矢量投影距离和抽象三角条件随机场（CRF）的原型网络，用于几次射击NLU。向量投影距离利用在标签向量上的上下文词嵌入的投影作为单词标签相似度，其等同于归一化的线性模型。抽象三角CRF了解用于联合意图分类和插槽填充任务的域名忽视标签转换。广泛的实验表明，我们所提出的方法可以显着超越强力基线。具体而言，我们的方法可以在中文和英语中达到两次拍摄的两次拍摄NLU基准（几个关节和剪辑）的新技术，而无需对目标域的微调。

我们介绍了第一项经验研究，研究了突发性检测对意向检测和插槽填充的下游任务的影响。我们对越南人进行了这项研究，这是一种低资源语言，没有以前的研究，也没有公共数据集可用于探索。首先，我们通过手动添加上下文不满并注释它们来扩展流利的越南意图检测和插槽填充phoatis。然后，我们使用强基线进行实验进行实验，以基于预训练的语言模型，以检测和关节意图检测和插槽填充。我们发现：（i）爆发对下游意图检测和插槽填充任务的性能产生负面影响，并且（ii）在探索环境中，预先训练的多语言语言模型XLM-R有助于产生更好的意图检测和插槽比预先训练的单语言模型phobert填充表演，这与在流利性环境中通常发现的相反。

最近，培训预培训方法在以任务为导向的对话框（TOD）系统中表现出了很大的成功。但是，大多数现有的预培训模型用于TOD专注于对话的理解或对话生成，但并非两者兼而有之。在本文中，我们提出了Space-3，这是一种新型的统一的半监督预培训的预训练的对话模型，从大规模对话CORPORA中学习有限的注释，可以有效地对广泛的下游对话任务进行微调。具体而言，Space-3由单个变压器中的四个连续组件组成，以维护TOD系统中的任务流：（i）对话框编码模块编码对话框历史记录，（ii）对话框理解模块以从任一用户中提取语义向量查询或系统响应，（iii）一个对话框策略模块，以生成包含响应高级语义的策略向量，以及（iv）对话框生成模块以产生适当的响应。我们为每个组件设计一个专门的预训练目标。具体而言，我们预先培训对话框编码模块，使用跨度掩码语言建模，以学习上下文化对话框信息。为了捕获“结构化对话框”语义，我们通过额外的对话注释通过新颖的树诱导的半监视对比度学习目标来预先培训对话框理解模块。此外，我们通过将其输出策略向量与响应响应的语义向量之间的L2距离最小化以进行策略优化，从而预先培训对话策略模块。最后，对话框生成模型由语言建模预先训练。结果表明，Space-3在八个下游对话框基准中实现最新性能，包括意图预测，对话框状态跟踪和端到端对话框建模。我们还表明，在低资源设置下，Space-3比现有模型具有更强的射击能力。

预训练的语言模型在对话任务上取得了长足的进步。但是，这些模型通常在表面对话文本上进行训练，因此被证明在理解对话环境的主要语义含义方面是薄弱的。我们研究抽象含义表示（AMR）作为预训练模型的明确语义知识，以捕获预训练期间对话中的核心语义信息。特别是，我们提出了一个基于语义的前训练框架，该框架通过三个任务来扩展标准的预训练框架（Devlin等，2019）。根据AMR图表示。关于聊天聊天和面向任务的对话的理解的实验表明了我们的模型的优势。据我们所知，我们是第一个利用深层语义表示进行对话预训练的人。

具有对比性学习目标的预训练方法在对话了解任务中表现出了显着的成功。但是，当前的对比学习仅将自调查的对话样本视为正样本，并将所有其他对话样本视为负面样本，即使在语义上相关的对话框中，也会强制执行不同的表示。在本文中，我们提出了一个树木结构化的预培训对话模型Space-2，该模型从有限标记的对话框和大规模的无标记的对话框COLPORA通过半监督的对比度预培训来学习对话框表示。具体而言，我们首先定义一个通用的语义树结构（STS），以统一不同对话框数据集的注释模式，以便可以利用所有标记数据中存储的丰富结构信息。然后，我们提出了一个新颖的多视图分数功能，以增加共享类似STS的所有可能对话框的相关性，并且在监督的对比预训练期间仅推开其他完全不同的对话框。为了充分利用未标记的对话，还增加了基本的自我监督对比损失，以完善学习的表示。实验表明，我们的方法可以在DialogLue基准测试中实现新的最新结果，该基准由七个数据集和四个流行的对话框组成。为了获得可重复性，我们在https://github.com/alibabaresearch/damo-convai/tree/main/main/space-2上发布代码和数据。

口语理解（SLU）系统提取文本成绩单和语义与意图和插槽相关的语言。 SLU系统通常由（1）自动语音识别（ASR）模块组成，（2）接口来自ASR相关输出的接口模块，以及（3）自然语言理解（NLU）模块。 SLU系统中的接口随附文本转录或更丰富的信息（例如从ASR到NLU）的信息。在本文中，我们研究界面如何影响与口语理解的联合培训。最值得注意的是，我们在公开可用的50小时SLURP数据集中获得了最新结果。我们首先利用通过文本界面连接的大型ASR和NLU模型，然后通过序列损耗函数共同训练这两个模型。对于未利用预位模型的场景，使用更丰富的神经界面通过联合序列损失训练获得了最佳结果。最后，我们显示了利用预期模型随培训数据规模增加的总体减少影响。

近年来已经看到了最终（E2E）口语理解（SLU）系统的重要进展，它直接从口头音频预测意图和插槽。虽然对话历史被利用以改善基于传统的基于文本的自然语言理解系统，但是当前的E2E SLU方法尚未在多转义和面向任务的对话中尚未结合这种关键的上下文信号。在这项工作中，我们提出了一个上下文E2E SLU模型架构，它使用多针关注机制来通过编码的先前的话语和对话框（语音助手所采取的动作）进行多转对对话。我们详细介绍了将这些上下文集成到最先进的复制和转换器的模型中的替代方法。当应用于由语音助理收集的大型识别的话语数据集时，我们的方法分别将平均单词和语义误差率降低10.8％和12.6％。我们还在公开可用的数据集中呈现结果，并显示我们的方法显着提高了非联盟基线的性能

随着未来以数据为中心的决策，对数据库的无缝访问至关重要。关于创建有效的文本到SQL（Text2SQL）模型以访问数据库的数据有广泛的研究。使用自然语言是可以通过有效访问数据库（尤其是对于非技术用户）来弥合数据和结果之间差距的最佳接口之一。它将打开门，并在精通技术技能或不太熟练的查询语言的用户中引起极大的兴趣。即使提出或研究了许多基于深度学习的算法，在现实工作场景中使用自然语言来解决数据查询问题仍然非常具有挑战性。原因是在不同的研究中使用不同的数据集，这带来了其局限性和假设。同时，我们确实缺乏对这些提议的模型及其对其训练的特定数据集的局限性的彻底理解。在本文中，我们试图介绍过去几年研究的24种神经网络模型的整体概述，包括其涉及卷积神经网络，经常性神经网络，指针网络，强化学习，生成模型等的架构。我们还概述11个数据集，这些数据集被广泛用于训练Text2SQL技术的模型。我们还讨论了无缝数据查询中文本2SQL技术的未来应用可能性。

Lexicon信息和预先训练的型号，如伯特，已被组合以探索由于各自的优势而探索中文序列标签任务。然而，现有方法通过浅和随机初始化的序列层仅熔断词典特征，并且不会将它们集成到伯特的底层中。在本文中，我们提出了用于汉语序列标记的Lexicon增强型BERT（Lebert），其直接通过Lexicon适配器层将外部词典知识集成到BERT层中。与现有方法相比，我们的模型促进了伯特下层的深层词典知识融合。关于十个任务的十个中文数据集的实验，包括命名实体识别，单词分段和言语部分标记，表明Lebert实现了最先进的结果。

基于方面的情绪分析（ABSA）任务由三个典型的子特点组成：术语术语提取，意见术语提取和情感极性分类。这三个子组织通常是共同执行的，以节省资源并减少管道中的错误传播。但是，大多数现有联合模型只关注编码器共享的福利在子任务之间共享，但忽略差异。因此，我们提出了一个关节ABSA模型，它不仅享有编码器共享的好处，而且还专注于提高模型效率的差异。详细地，我们介绍了双编码器设计，其中一对编码器特别侧重于候选方识对分类，并且原始编码器对序列标记进行注意。经验结果表明，我们的拟议模型显示了鲁棒性，并显着优于前一个基准数据集的先前最先进。