Automata-based representations play an important role in control and planning in sequential decision-making, but obtaining high-level task knowledge for building automata is often difficult. Although large-scale generative language models (GLMs) can help automatically distill task knowledge, the textual outputs from GLMs are not directly utilizable in sequential decision-making. We resolve this problem by proposing a novel algorithm named GLM2FSA, which obtains high-level task knowledge, represented in a finite state automaton (FSA), from a given brief description of the task goal. GLM2FSA sends queries to a GLM for task knowledge in textual form and then builds a FSA to represent the textual knowledge. This algorithm fills the gap between text and automata-based representations, and the constructed FSA can be directly utilized in sequential decision-making. We provide examples to demonstrate how GLM2FSA constructs FSAs to represent knowledge encoded in the texts generated by the large-scale GLMs.

深度神经语言模型的最新进展与大规模数据集的能力相结合，加速了自然语言生成系统的发展，这些系统在多种任务和应用程序上下文中产生流利和连贯的文本（在各种成功程度上）。但是，为所需的用户控制这些模型的输出仍然是一个开放的挑战。这不仅对于自定义生成语言的内容和样式至关重要，而且对于他们在现实世界中的安全可靠部署至关重要。我们提出了一项关于受约束神经语言生成的新兴主题的广泛调查，在该主题中，我们通过区分条件和约束（后者是在输出文本上而不是输入的可检验条件），正式定义和分类自然语言生成问题，目前是可检验的）约束文本生成任务，并查看受限文本生成的现有方法和评估指标。我们的目的是强调这个新兴领域的最新进展和趋势，以告知最有希望的方向和局限性，以推动受约束神经语言生成研究的最新作品。

最近显示出一种仅通过神经元的尖峰实现的计算系统，即语法，即进行简单的英语句子的依赖性解析。我们解决了这项工作所留下的两个最重要的问题：选区（句子的关键部分，例如动词短语）和处理依赖句子的处理，尤其是中央句子。我们表明，语言的这两个方面也可以由神经元和突触以与已知或被广泛相信的语言器官的结构和功能兼容的方式来实现。令人惊讶的是，我们实施中心嵌入的方式指出了无上下文语言的新表征。

自然语言是人类将任务传达给机器人的直觉方式。尽管自然语言（NL）是模棱两可的，但现实世界的任务及其安全要求需要明确传达。信号时间逻辑（STL）是一种形式的逻辑，可以用作描述机器人任务的多功能，表达和明确的形式语言。一方面，使用STL用于机器人域的现有工作通常要求最终用户在STL中表达任务规格，这是非专家用户的挑战。另一方面，从NL转换为STL规范的转换限制为特定片段。在这项工作中，我们提出了Dialoguestl，这是一种从（通常）模棱两可的NL描述中学习正确和简洁的STL公式的交互方法。我们结合了语义解析，基于预训练的变压器的语言模型以及少数用户演示的用户澄清，以预测编码NL任务描述的最佳STL公式。将NL映射到STL的一个优点是，在使用增强学习（RL）以识别机器人的控制策略方面，最近有很多工作。我们表明，我们可以使用深层学习技术来从学习的STL规范中学习最佳策略。我们证明DialogUestl具有高效，可扩展性和健壮性，并且在预测正确的STL公式方面具有很高的精度，并与Oracle用户进行了一些演示和一些交互。

数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。

我们的工作是使用自然语言处理以自动化对物流至关重要的系统模型的开发的首次尝试。我们证明，基于变压器的语言模型的微型GPT-3 Codex的顶部建立的框架可以在给定口头描述的情况下对排队和库存控制系统进行功能有效的模拟。在进行的实验中，GPT-3 Codex在Python上表现出令人信服的专业知识，并了解了特定于域的词汇。结果，语言模型可以在给定特定于域的上下文，详细描述过程以及具有相应值的变量列表的情况下，生成单产品库存控制系统和单服务器排队系统的模拟。展示的结果以及语言模型的快速改进，为模拟模型开发背后的工作流程的重大简化打开了大门，这将使专家可以专注于对问题和整体思维的高级考虑。

自然语言处理（NLP）已成为当前人工智能繁荣中的主要应用领域之一。转移学习已经启用了大量深入学习的神经网络，接受了语言建模任务，以大大提高了所有语言任务的性能。有趣的是，当模型培训使用包含软件代码的数据培训时，它们在从自然语言规范中生成功能计算机代码时展示了显着的能力。我们认为这是一种难题，用于神经模型为生成词组结构语法提供了一种替代理论，以说明语言有效。由于编程语言的语法由短语结构语法决定，因此成功的神经模型显然是对编程语言的理论基础的理论基础，以及通过扩展，自然语言来实现。我们认为语言模型的术语模型是误导性的，因为深度学习模型不是语言的理论模型，并提出采用语料库模型，这更好地反映了模型的成因和内容。

Storytelling and narrative are fundamental to human experience, intertwined with our social and cultural engagement. As such, researchers have long attempted to create systems that can generate stories automatically. In recent years, powered by deep learning and massive data resources, automatic story generation has shown significant advances. However, considerable challenges, like the need for global coherence in generated stories, still hamper generative models from reaching the same storytelling ability as human narrators. To tackle these challenges, many studies seek to inject structured knowledge into the generation process, which is referred to as structure knowledge-enhanced story generation. Incorporating external knowledge can enhance the logical coherence among story events, achieve better knowledge grounding, and alleviate over-generalization and repetition problems in stories. This survey provides the latest and comprehensive review of this research field: (i) we present a systematical taxonomy regarding how existing methods integrate structured knowledge into story generation; (ii) we summarize involved story corpora, structured knowledge datasets, and evaluation metrics; (iii) we give multidimensional insights into the challenges of knowledge-enhanced story generation and cast light on promising directions for future study.

复杂的工程系统的设计是一个漫长而明确的过程，高度依赖于工程师的专业知识和专业判断。因此，涉及人类因素的活动的典型陷阱通常是由于缺乏分析的完整性或详尽性，设计选择或文档之间的不一致性以及隐性主观性而表现出来。提出了一种方法，以帮助系统工程师从非结构化的自然语言文本中自动生成系统图。自然语言处理（NLP）技术用于从组织中提供的文本资源（例如规格，手册，技术报告，维护报告）从组织中提取实体及其关系，并将其转换为系统建模语言（SYSML）图表，并具有特定的图表专注于结构和需求图。目的是为用户提供一个更具标准化，全面和自动化的起点，随后根据其需求改进并调整图表。所提出的方法是灵活和开放域。它由六个步骤组成，这些步骤利用开放式工具，并导致自动生成的SYSML图，而无需中间建模要求，但通过用户对一组参数的规范。拟议方法的适用性和好处是通过六个案例研究显示的，其文本源为输入，并根据手动定义的图表元素进行了标准。

Many real-world applications of language models (LMs), such as code autocomplete and writing assistance, involve human-LM interaction, but the main LM benchmarks are non-interactive, where a system produces output without human intervention. To evaluate human-LM interaction, we develop a framework, Human-AI Language-based Interaction Evaluation (H-LINE), that expands non-interactive evaluation along three dimensions, capturing (i) the interactive process, not only the final output; (ii) the first-person subjective experience, not just a third-party assessment; and (iii) notions of preference beyond quality. We then design five tasks ranging from goal-oriented to open-ended to capture different forms of interaction. On four state-of-the-art LMs (three variants of OpenAI's GPT-3 and AI21's J1-Jumbo), we find that non-interactive performance does not always result in better human-LM interaction and that first-person and third-party metrics can diverge, suggesting the importance of examining the nuances of human-LM interaction.

Automated plot generation is the challenge of generating a sequence of events that will be perceived by readers as the plot of a coherent story. Traditional symbolic planners plan a story from a goal state and guarantee logical causal plot coherence but rely on a library of hand-crafted actions with their preconditions and effects. This closed world setting limits the length and diversity of what symbolic planners can generate. On the other hand, pre-trained neural language models can generate stories with great diversity, while being generally incapable of ending a story in a specified manner and can have trouble maintaining coherence. In this paper, we present an approach to story plot generation that unifies causal planning with neural language models. We propose to use commonsense knowledge extracted from large language models to recursively expand a story plot in a backward chaining fashion. Specifically, our system infers the preconditions for events in the story and then events that will cause those conditions to become true. We performed automatic evaluation to measure narrative coherence as indicated by the ability to answer questions about whether different events in the story are causally related to other events. Results indicate that our proposed method produces more coherent plotlines than several strong baselines.

Controllable Text Generation (CTG) is emerging area in the field of natural language generation (NLG). It is regarded as crucial for the development of advanced text generation technologies that are more natural and better meet the specific constraints in practical applications. In recent years, methods using large-scale pre-trained language models (PLMs), in particular the widely used transformer-based PLMs, have become a new paradigm of NLG, allowing generation of more diverse and fluent text. However, due to the lower level of interpretability of deep neural networks, the controllability of these methods need to be guaranteed. To this end, controllable text generation using transformer-based PLMs has become a rapidly growing yet challenging new research hotspot. A diverse range of approaches have emerged in the recent 3-4 years, targeting different CTG tasks which may require different types of controlled constraints. In this paper, we present a systematic critical review on the common tasks, main approaches and evaluation methods in this area. Finally, we discuss the challenges that the field is facing, and put forward various promising future directions. To the best of our knowledge, this is the first survey paper to summarize CTG techniques from the perspective of PLMs. We hope it can help researchers in related fields to quickly track the academic frontier, providing them with a landscape of the area and a roadmap for future research.

知识表示和推理（KRR）系统表示知识作为事实和规则的集合。像数据库一样，KRR系统包含有关工业企业，科学和业务等人类活动领域的信息。 KRR可以代表复杂的概念和关系，它们可以以复杂的方式查询和操纵信息。不幸的是，指定必要的知识需要大多数领域专家没有的技能，而专业知识工程师很难找到，因此KRR技术受到了阻碍。一种解决方案可能是从英语文本中提取知识，并且许多作品都尝试这样做（Openseame，Google的吊索等）。不幸的是，目前，从不受限制的自然语言中提取逻辑事实仍然是不准确的，无法用于推理，而限制语言语法（所谓的受控自然语言或CNL）对于用户来说很难学习和使用。然而，与其他方法相比，一些最近基于CNL的方法，例如知识创作逻辑机（KALM）的精度非常高，并且一个自然的问题是可以在多大程度上取消CNL限制。在本文中，我们通过将KALM框架移植到神经自然语言解析器Mstanza来解决这个问题。在这里，我们将注意力限制在创作事实和查询上，因此我们的重点是我们所说的事实英语陈述。在我们的后续工作中将考虑创作其他类型的知识，例如规则。事实证明，基于神经网络的解析器有自己的问题，并且他们犯的错误范围从言论的一部分标记到lemmatization到依赖性错误。我们介绍了许多解决这些问题并测试新系统KALMFL（即，事实语言的KALM）的技术，这些技术表明KALMFL的正确性超过95％。

随着未来以数据为中心的决策，对数据库的无缝访问至关重要。关于创建有效的文本到SQL（Text2SQL）模型以访问数据库的数据有广泛的研究。使用自然语言是可以通过有效访问数据库（尤其是对于非技术用户）来弥合数据和结果之间差距的最佳接口之一。它将打开门，并在精通技术技能或不太熟练的查询语言的用户中引起极大的兴趣。即使提出或研究了许多基于深度学习的算法，在现实工作场景中使用自然语言来解决数据查询问题仍然非常具有挑战性。原因是在不同的研究中使用不同的数据集，这带来了其局限性和假设。同时，我们确实缺乏对这些提议的模型及其对其训练的特定数据集的局限性的彻底理解。在本文中，我们试图介绍过去几年研究的24种神经网络模型的整体概述，包括其涉及卷积神经网络，经常性神经网络，指针网络，强化学习，生成模型等的架构。我们还概述11个数据集，这些数据集被广泛用于训练Text2SQL技术的模型。我们还讨论了无缝数据查询中文本2SQL技术的未来应用可能性。

本文提出了一种基于答案设置编程（ASP）的方法，用于代表自然语言文本生成的知识。文本中的知识是使用Neo Davidsonian的形式主义建模的，然后将其表示为答案集计划。相关的致辞知识另外导入Wordnet等资源，并在ASP中表示。然后可以使用所产生的知识库来在ASP系统的帮助下执行推理。这种方法可以促进许多自然语言任务，如自动问题应答，文本摘要和自动化问题。基于ASP的技术表示，例如默认推理，分层知识组织，默认值等的首选项，用于模拟完成这些任务所需的致辞推理方法。在本文中，我们描述了我们开发的CaspR系统，以自动解决在给出英语文本时回答自然语言问题的任务。 CASPR可以被视为一个系统，通过“了解”文本并已在队列数据集上进行了测试，具有有希望的结果。

大型的预训练的语言模型在诸如叙事生成，问答和机器翻译等各种任务中显示出令人鼓舞的结果。同样，目前的文献趋势非常集中于控制生成的文本的显着特性，包括情感，主题和连贯性，以产生更多类似人类的输出。在这项工作中，我们引入了文本生成或UCTG的统一复杂性，这是使现有模型就所使用的输入或提示产生统一复杂文本的挑战。例如，如果输入文本提示的读数级别适用于低级学习者（CEFR中的Ex。A2），则NLG系统生成的文本也应假设此特定级别以增加可读性。在一项受控的叙事生成任务中，我们调查了160多种语言和认知动机的特征，以评估文本可读性，并发现GPT-2模型甚至人类在维护所使用的输入提示的语言复杂性方面努力。最终，我们制定了潜在的方法和方法，这些方法和方法可以将其纳入转向语言模型的一般框架中，以应对这一重要挑战。

当前的语言模型可以产生高质量的文本。他们只是复制他们之前看到的文本，或者他们学习了普遍的语言抽象吗？要取笑这些可能性，我们介绍了乌鸦，这是一套评估生成文本的新颖性，专注于顺序结构（n-gram）和句法结构。我们将这些分析应用于四种神经语言模型（LSTM，变压器，变换器-XL和GPT-2）。对于本地结构 - 例如，单个依赖性 - 模型生成的文本比来自每个模型的测试集的人类生成文本的基线显着不那么新颖。对于大规模结构 - 例如，总句结构 - 模型生成的文本与人生成的基线一样新颖甚至更新颖，但模型仍然有时复制，在某些情况下，在训练集中重复超过1000字超过1,000字的通道。我们还表现了广泛的手动分析，表明GPT-2的新文本通常在形态学和语法中形成良好，但具有合理的语义问题（例如，是自相矛盾）。

人工推理通常可以理解为两个系统之间的相互作用：直观和关联（“系统1”）和审议和逻辑（“系统2”）。神经序列模型 - 在执行复杂，结构化任务时越来越成功 - 表现出系统1的优点和故障模式：它们是快速和学习数据的模式，但通常不一致和不连贯。在这项工作中，我们通过添加系统2-Inspired逻辑推理，寻求一种轻量级，无培训的手段来改善现有系统1样序列模型。我们探讨了该主题的几种变体，其中通过符号推理模块检查来自神经序列模型的候选几代，可以通过符号推理模块来接受或拒绝几代人。我们的方法使用神经推理来介导神经系统1和逻辑系统2.导致强大的故事生成和接地的指示，表明这种方法可以增加神经基代的一致性和准确性。

大型语言模型可以编码有关世界的大量语义知识。这种知识对于旨在采取自然语言表达的高级，时间扩展的指示的机器人可能非常有用。但是，语言模型的一个重大弱点是，它们缺乏现实世界的经验，这使得很难利用它们在给定的体现中进行决策。例如，要求语言模型描述如何清洁溢出物可能会导致合理的叙述，但是它可能不适用于需要在特定环境中执行此任务的特定代理商（例如机器人）。我们建议通过预处理的技能来提供现实世界的基础，这些技能用于限制模型以提出可行且在上下文上适当的自然语言动作。机器人可以充当语​​言模型的“手和眼睛”，而语言模型可以提供有关任务的高级语义知识。我们展示了如何将低级技能与大语言模型结合在一起，以便语言模型提供有关执行复杂和时间扩展说明的过程的高级知识，而与这些技能相关的价值功能则提供了连接必要的基础了解特定的物理环境。我们在许多现实世界的机器人任务上评估了我们的方法，我们表明了对现实世界接地的需求，并且这种方法能够在移动操纵器上完成长远，抽象的自然语言指令。该项目的网站和视频可以在https://say-can.github.io/上找到。

在线自主代理能够利用各种潜在的任务知识来源；但是，目前的方法总是只关注一两个。在这里，我们调查了利用多样化知识源以一记模拟的家用移动机器人的新任务学习的挑战和影响。在SOAR认知体系结构中开发的最终代理使用以下域和任务知识来源：与环境的互动，任务执行和规划知识，人类自然语言指导以及从大语言模型（GPT-3）检索到的响应。我们探讨了这些知识来源的不同贡献，并在学习正确的任务知识，人力工作量和计算成本方面评估了不同组合的性能。结合所有来源的结果表明，整合可以在计算成本和人力工作量方面改善一声任务学习。