代码生成的重点是将自然语言（NL）话语自动转换为代码段。序列对树（Seq2Tree）方法，例如Tranx，是为代码生成的，并保证了生成的代码的编译性，该代码的编译性会生成随后的抽象语法树（AST）节点，该节点依赖于AST节点的前提预测。现有的SEQ2TREE方法倾向于同时对待前期预测和后续预测。但是，在AST约束下，SEQ2TREE模型很难基于不正确的先决预测产生正确的后续预测。因此，与后续预测相比，先行预测应该受到更多的关注。为此，在本文中，我们提出了一种有效的方法，称为aptranx（先行优先级Tranx），基于Tranx。 APTRANX包含了先行优先级（AP）损失，该损失通过利用生成的AST节点的位置信息来帮助模型对先行预测的重要性。凭借更好的先行预测和随后的预测，Aptranx显着提高了性能。我们在几个基准数据集上进行了广泛的实验，实验结果证明了我们所提出的方法与最新方法相比的优势和普遍性。

代码生成旨在从自然语言描述中自动生成代码段。通常，主流代码生成方法依赖大量的配对培训数据，包括自然语言描述和代码。但是，在某些特定领域的情况下，很难为代码生成建立如此大的配对语料库，因为没有直接可用的配对数据，并且需要大量精力来手动编写代码说明来构建高质量的培训数据集。由于培训数据有限，生成模型不能经过良好的训练，并且可能过于拟合，从而使该模型对现实世界的使用不满意。为此，在本文中，我们提出了一种任务增强方法，该方法通过扩展原始的Tranx模型来支持suptoken级代码生成，将域知识通过辅助任务和亚键入tranx模型纳入代码生成模型。为了验证我们提出的方法，我们收集了一个真实的代码生成数据集并在其上进行实验。我们的实验结果表明，亚句级Tranx模型在我们的数据集中优于原始Tranx模型和变压器模型，并且在我们的任务增强方法的帮助下，Subtoken-Tranx的确切匹配精度可显着提高12.75 \％。多个代码类别的模型性能满足了工业系统应用程序的要求。我们提出的方法已由阿里巴巴的\ emph {bizcook}平台采用。据我们所知，这是在工业开发环境中采用的第一个领域代码生成系统。

随着未来以数据为中心的决策，对数据库的无缝访问至关重要。关于创建有效的文本到SQL（Text2SQL）模型以访问数据库的数据有广泛的研究。使用自然语言是可以通过有效访问数据库（尤其是对于非技术用户）来弥合数据和结果之间差距的最佳接口之一。它将打开门，并在精通技术技能或不太熟练的查询语言的用户中引起极大的兴趣。即使提出或研究了许多基于深度学习的算法，在现实工作场景中使用自然语言来解决数据查询问题仍然非常具有挑战性。原因是在不同的研究中使用不同的数据集，这带来了其局限性和假设。同时，我们确实缺乏对这些提议的模型及其对其训练的特定数据集的局限性的彻底理解。在本文中，我们试图介绍过去几年研究的24种神经网络模型的整体概述，包括其涉及卷积神经网络，经常性神经网络，指针网络，强化学习，生成模型等的架构。我们还概述11个数据集，这些数据集被广泛用于训练Text2SQL技术的模型。我们还讨论了无缝数据查询中文本2SQL技术的未来应用可能性。

最近，人们对使用深度学习自动化软件工程任务的兴趣激增。这项工作解决了代码生成问题的问题，该问题是在其中以不同的语言或自然语言描述生成目标代码的目标代码。代码生成的大多数最先进的深度学习模型都使用主要是为自然语言设计的培训策略。但是，理解和生成代码需要对代码语法和语义的更严格理解。通过这种动机，我们开发了一个编码器变压器模型，其中训练编码器和解码器分别识别源和目标代码中的语法和数据流。我们不仅通过利用源代码的语法树和数据流程图来使编码器结构感知，而且我们还确保我们的解码器通过引入两个辅助任务来保留目标代码的语法和数据流：路径预测和数据流预测。据我们所知，这是第一项引入结构感知的变压器解码器，以通过对目标语法和数据流进行建模来增强生成代码的质量。所提出的结构编码器模型在CodexGlue基准测试中实现了代码翻译和文本对代码生成任务的最新性能。

手写数学表达识别（HMER）是具有许多潜在应用的挑战性任务。 HMER的最新方法通过编码器架构实现了出色的性能。但是，这些方法符合“从一个字符到另一个字符”进行预测的范式，由于数学表达式或厌恶的手写的复杂结构，这不可避免地会产生预测错误。在本文中，我们为HMER提出了一种简单有效的方法，该方法是第一个将语法信息纳入编码器编码器网络的方法。具体而言，我们提出了一组语法规则，用于将每个表达式的乳胶标记序列转换为一个解析树。然后，我们将标记序列预测建模为具有深神经网络的树遍布过程。通过这种方式，提出的方法可以有效地描述表达式的语法上下文，从而减轻HMER的结构预测错误。在三个基准数据集上的实验表明，与先前的艺术相比，我们的方法实现了更好的识别性能。为了进一步验证我们方法的有效性，我们创建了一个大规模数据集，该数据集由从一万个作家中获取的100k手写数学表达图像组成。该工作的源代码，新数据集和预培训的模型将公开可用。

谈话问题应答需要能够正确解释问题。然而，由于在日常谈话中难以理解共同参考和省略号的难度，目前的模型仍然不令人满意。尽管生成方法取得了显着的进展，但它们仍然被语义不完整陷入困境。本文提出了一种基于动作的方法来恢复问题的完整表达。具体地，我们首先在将相应的动作分配给每个候选跨度的同时定位问题中的共同引用或省略号的位置。然后，我们寻找与对话环境中的候选线索相关的匹配短语。最后，根据预测的操作，我们决定是否用匹配的信息替换共同参考或补充省略号。我们展示了我们对英语和中文发言权重写任务的方法的有效性，在RESTORATION-200K数据集中分别在3.9 \％和Rouge-L中提高了最先进的EM（完全匹配）。

代码摘要可帮助开发人员理解程序并减少在软件维护过程中推断程序功能的时间。最近的努力诉诸深度学习技术，例如序列到序列模型，以生成准确的代码摘要，其中基于变压器的方法已实现了有希望的性能。但是，在此任务域中，有效地将代码结构信息集成到变压器中的情况不足。在本文中，我们提出了一种名为SG-Trans的新方法，将代码结构属性纳入变压器。具体而言，我们将局部符号信息（例如，代码令牌和语句）和全局句法结构（例如，数据流程图）注入变压器的自我发项模块中。为了进一步捕获代码的层次结构特征，局部信息和全局结构旨在分布在下层和变压器高层的注意力头中。广泛的评估表明，SG-trans的表现优于最先进的方法。与表现最佳的基线相比，SG-Trans在流星评分方面仍然可以提高1.4％和2.0％，这是一个广泛用于测量发电质量的度量，分别在两个基准数据集上。

（源）代码摘要旨在以自然语言的形式自动为给定代码段生成摘要/注释。此类摘要在帮助开发人员理解和维护源代码方面起着关键作用。现有的代码摘要技术可以分类为提取方法和抽象方法。提取方法使用检索技术从代码段中提取重要语句和关键字的子集，并生成一个摘要，该摘要保留了重要语句和关键字中的事实详细信息。但是，这样的子集可能会错过标识符或实体命名，因此，产生的摘要的自然性通常很差。抽象方法可以生成类似人写的摘要，从而利用神经机器翻译域的编码器模型。然而，生成的摘要通常会错过重要的事实细节。为了通过保留的事实细节生成类似人写的摘要，我们提出了一个新颖的提取和吸收框架。框架中的提取模块执行了提取代码摘要的任务，该任务列入了代码段，并预测包含关键事实细节的重要陈述。框架中的抽象模块执行了抽象代码摘要的任务，该任务是在整个代码段和并行的重要陈述中进行的，并生成了简洁而人工写的类似的自然语言摘要。我们通过在涉及六种编程语言的三个数据集上进行广泛的实验来评估称为EACS的有效性。实验结果表明，在所有三种广泛使用的指标（包括BLEU，流星和Rough-l）方面，EACS明显优于最先进的技术。

基因本体论（GO）是能够在生物医学中实现计算任务的主要基因功能知识基础。 GO的基本元素是一个术语，其中包括一组具有相同功能的基因。 GO的现有研究工作主要集中于预测基因术语关联。很少追求其他任务，例如生成新术语的描述。在本文中，我们提出了一项新颖的任务：GO术语描述生成。该任务旨在自动生成一个句子，该句子描述了属于这三个类别之一的GO术语的功能，即分子功能，生物过程和细胞分量。为了解决此任务，我们提出了一个可以有效利用GO结构信息的图形网络。提出的网络引入了两层图：第一层是GO术语的图形，每个节点也是一个图（基因图）。这样的图形网络可以得出GO术语的生物学功能并生成适当的描述。为了验证拟议网络的有效性，我们构建了三个大规模基准数据集。通过合并所提出的图形网络，可以在所有评估指标中显着提高七个不同序列与序列模型的性能，其中BLEU，Rouge-rouge-相对改善高达34.7％，14.5％和39.1％ L和流星。

在本文中，我们试图通过引入深度学习模型的句法归纳偏见来建立两所学校之间的联系。我们提出了两个归纳偏见的家族，一个家庭用于选区结构，另一个用于依赖性结构。选区归纳偏见鼓励深度学习模型使用不同的单位（或神经元）分别处理长期和短期信息。这种分离为深度学习模型提供了一种方法，可以从顺序输入中构建潜在的层次表示形式，即更高级别的表示由高级表示形式组成，并且可以分解为一系列低级表示。例如，在不了解地面实际结构的情况下，我们提出的模型学会通过根据其句法结构组成变量和运算符的表示来处理逻辑表达。另一方面，依赖归纳偏置鼓励模型在输入序列中找到实体之间的潜在关系。对于自然语言，潜在关系通常被建模为一个定向依赖图，其中一个单词恰好具有一个父节点和零或几个孩子的节点。将此约束应用于类似变压器的模型之后，我们发现该模型能够诱导接近人类专家注释的有向图，并且在不同任务上也优于标准变压器模型。我们认为，这些实验结果为深度学习模型的未来发展展示了一个有趣的选择。

场景图是一种语义表示，表达场景中对象之间的对象，属性和关系。场景图在许多交叉模态任务中起着重要作用，因为它们能够捕获图像和文本之间的交互。在本文中，我们关注场景图修改（SGM），其中需要系统来学习如何基于自然语言查询更新现有场景图。与以前重建整个场景图的方法不同，我们通过引入增量结构扩展（ISE）来将SGM作为图形扩展任务。 ISE通过逐步扩展源图来构建目标图，而无需更改未修改的结构。基于ISE，我们进一步提出了一个模型，该模型在节点预测和边缘预测之间进行迭代，从而逐渐推断出更准确和和谐的扩展决策。此外，我们构建了一个具有挑战性的数据集，该数据集包含比现有数据集更复杂的查询和更大的场景图。四个基准测试的实验证明了我们的方法的有效性，该实验超过了以前的最新模型。

Code completion aims to help improve developers' productivity by suggesting the next code tokens from a given context. Various approaches have been proposed to incorporate abstract syntax tree (AST) information for model training, ensuring that code completion is aware of the syntax of the programming languages. However, existing syntax-aware code completion approaches are not on-the-fly, as we found that for every two-thirds of characters that developers type, AST fails to be extracted because it requires the syntactically correct source code, limiting its practicality in real-world scenarios. On the other hand, existing on-the-fly code completion does not consider syntactic information yet. In this paper, we propose PyCoder to leverage token types, a kind of lightweight syntactic information, which is readily available and aligns with the natural order of source code. Our PyCoder is trained in a multi-task training manner so that by learning the supporting task of predicting token types during the training phase, the models achieve better performance on predicting tokens and lines of code without the need for token types in the inference phase. Comprehensive experiments show that PyCoder achieves the first rank on the CodeXGLUE leaderboard with an accuracy of 77.12% for the token-level predictions, which is 0.43%-24.25% more accurate than baselines. In addition, PyCoder achieves an exact match of 43.37% for the line-level predictions, which is 3.63%-84.73% more accurate than baselines. These results lead us to conclude that token type information (an alternative to syntactic information) that is rarely used in the past can greatly improve the performance of code completion approaches, without requiring the syntactically correct source code like AST-based approaches do. Our PyCoder is publicly available on HuggingFace.

本文对过去二十年来对自然语言生成（NLG）的研究提供了全面的审查，特别是与数据到文本生成和文本到文本生成深度学习方法有关，以及NLG的新应用技术。该调查旨在（a）给出关于NLG核心任务的最新综合，以及该领域采用的建筑;（b）详细介绍各种NLG任务和数据集，并提请注意NLG评估中的挑战，专注于不同的评估方法及其关系;（c）强调一些未来的强调和相对近期的研究问题，因为NLG和其他人工智能领域的协同作用而增加，例如计算机视觉，文本和计算创造力。

本文通过自然应用程序对网页和元素分类来解决复杂结构数据的高效表示的问题。我们假设网页内部元素周围的上下文对问题的价值很高，目前正在被利用。本文旨在通过考虑到其上下文来解决将Web元素分类为DOM树的子树的问题。为实现这一目标，首先讨论当前在结构上工作的专家知识系统，如树 - LSTM。然后，我们向该模型提出上下文感知扩展。我们表明，在多级Web分类任务中，新模型实现了0.7973的平均F1分数。该模型为各种子树生成更好的表示，并且可以用于应用此类元素分类，钢筋在网上学习中的状态估计等。

知识图（kg）存储了大量的结构知识，而直接人类的理解并不容易。知识图表到文本（kg-to-text）生成旨在从kg产生易于理解的句子，同时，在生成的句子和kg之间保持语义一致性。现有的kg至文本生成方法短语此任务是线性化kg作为序列到序列生成任务作为输入的，并通过在每个解码的句子和kg节点word之间的简单选择来考虑生成的文本和kg的一致性问题时间步骤。但是，线性化的kg顺序通常是通过启发式搜索获得的，而无需数据驱动的优化。在本文中，我们根据从标题提取的顺序监督优化了知识描述顺序预测，并通过句法和语义正则化进一步增强了生成的句子和kg的一致性。我们合并了词性（POS）句法标签，以限制位置以复制kg中的单词并采用语义上下文评分函数，以评估生成句子中的每个单词时在本地上下文中每个单词的语义适应性。在两个数据集（WebNLG和DART）上进行了广泛的实验，并实现最先进的表演。

隐性话语关系识别（IDRR）是话语分析中的一个具有挑战性，但重要的任务。大多数现有方法如何培训多个模型以独立预测多级标签，同时忽略分层结构标签之间的依赖。在本文中，我们将多级IDRR视为条件标签序列生成任务，并为其提出标签依赖感知序列生成模型（LDSGM）。具体而言，我们首先设计标签专注编码器，以了解输入实例的全局表示及其级别特定上下文，其中标记依赖性被集成以获取更好的标签嵌入。然后，我们使用标签序列解码器以自上而下方式输出预测标签，其中预测的更高级别标签直接用于指导当前级别的标签预测。我们进一步开发了一个相互学习的增强培训方法，以利用了基础方向上的标签依赖性，该依赖于训练期间引入的辅助解码器捕获。 PDTB数据集上的实验结果表明，我们的模型在多级IDRR上实现了最先进的性能。我们将在https://github.com/nlpersecjtu/ldsgm发布我们的代码。

基于语音的投入在我们日常生活中获得了智能手机和平板电脑的普及，因为声音是人类计算机交互的最简单而有效的方式。本文旨在设计更有效的基于语音的接口，以查询关系数据库中的结构化数据。我们首先识别名为Speep-to-SQL的新任务，旨在了解人类语音传达的信息，并直接将其转换为结构化查询语言（SQL）语句。对此问题的天真解决方案可以以级联方式工作，即，自动语音识别（ASR）组件，后跟文本到SQL组件。然而，它需要高质量的ASR系统，并且还遭受了两种组件之间的错误复合问题，从而产生有限的性能。为了处理这些挑战，我们进一步提出了一个名为SpeepSQLNET的新型端到端神经结构，直接将人类语音转化为没有外部ASR步骤的SQL查询。 SpeemSQLNET具有充分利用演讲中提供的丰富语言信息的优势。据我们所知，这是第一次尝试根据任意自然语言问题直接综合SQL，而不是基于自然语言的SQL版本或其具有有限的SQL语法的变体。为了验证所提出的问题和模型的有效性，我们还通过捎带广泛使用的文本到SQL数据集来进一步构建名为SpeemQL的数据集。对该数据集的广泛实验评估表明，SpeemSQLNET可以直接从人类语音中直接综合高质量的SQL查询，优于各种竞争对手，以及在精确匹配的准确性方面的级联方法。

考虑到RDF三元组的集合，RDF到文本生成任务旨在生成文本描述。最先前的方法使用序列到序列模型或使用基于图形的模型来求解此任务以编码RDF三维并生成文本序列。然而，这些方法未能明确模拟RDF三元组之间的本地和全球结构信息。此外，以前的方法也面临了生成文本的低信任问题的不可忽略的问题，这严重影响了这些模型的整体性能。为了解决这些问题，我们提出了一种组合两个新的图形增强结构神经编码器的模型，共同学习输入的RDF三元组中的本地和全局结构信息。为了进一步改进文本忠诚，我们创新地根据信息提取（即）引进了强化学习（RL）奖励。我们首先使用佩带的IE模型从所生成的文本中提取三元组，并将提取的三级的正确数量视为额外的RL奖励。两个基准数据集上的实验结果表明，我们所提出的模型优于最先进的基线，额外的加强学习奖励确实有助于改善所生成的文本的忠诚度。

文本到SQL解析是一项必不可少且具有挑战性的任务。文本到SQL解析的目的是根据关系数据库提供的证据将自然语言（NL）问题转换为其相应的结构性查询语言（SQL）。来自数据库社区的早期文本到SQL解析系统取得了显着的进展，重度人类工程和用户与系统的互动的成本。近年来，深层神经网络通过神经生成模型显着提出了这项任务，该模型会自动学习从输入NL问题到输出SQL查询的映射功能。随后，大型的预训练的语言模型将文本到SQL解析任务的最新作品带到了一个新级别。在这项调查中，我们对文本到SQL解析的深度学习方法进行了全面的评论。首先，我们介绍了文本到SQL解析语料库，可以归类为单转和多转。其次，我们提供了预先训练的语言模型和现有文本解析方法的系统概述。第三，我们向读者展示了文本到SQL解析所面临的挑战，并探索了该领域的一些潜在未来方向。

图像标题将复杂的视觉信息转换为抽象的自然语言以获得表示的抽象自然语言，这可以帮助计算机快速了解世界。但是，由于真实环境的复杂性，它需要识别关键对象并实现其连接，并进一步生成自然语言。整个过程涉及视觉理解模块和语言生成模块，它为深度神经网络的设计带来了比其他任务的深度神经网络的更具挑战。神经架构搜索（NAS）在各种图像识别任务中显示了它的重要作用。此外，RNN在图像标题任务中起重要作用。我们介绍了一种自动调用方法，可以更好地设计图像标题的解码器模块，其中我们使用NAS自动设计称为Autornn的解码器模块。我们使用基于共享参数的加固学习方法有效地自动设计Autornn。 AutoCaption的搜索空间包括图层之间的连接和层次的操作，它可以使Autornn快递更多的架构。特别是，RNN等同于搜索空间的子集。 MSCOCO数据集上的实验表明，我们的自动驾统模型可以比传统的手工设计方法实现更好的性能。