Large pretrained language models can easily produce toxic or biased content, which is prohibitive for practical use. In order to detect such toxic generations, existing methods rely on templates, real-world data extraction, crowdsourcing workers, or automatic generation to construct adversarial contexts that are likely to induce toxic generations. However, what type of context is more likely to induce unsafe responses is still under-explored. In this paper, we identify that context toxicity and context category (e.g., \textit{profanity}, \textit{insult}, \textit{drugs}, etc.) are two important factors to cause safety issues in response generation. Hence, we propose a method called \emph{reverse generation} to construct adversarial contexts conditioned on a given response, with the flexibility to control category, toxicity level, and inductivity of the generated contexts. Via reverse generation, we augment the existing BAD dataset and construct a new dataset BAD+ which contains more than 120K diverse and highly inductive contexts in 12 categories. We test three popular pretrained dialogue models (Blender, DialoGPT, and Plato2) and find that BAD+ can largely expose their safety problems. Furthermore, we show that BAD+ can greatly enhance the safety of generation and reveal the key factors of safety improvement. Our code and dataset is available at \url{https://github.com/thu-coai/Reverse_Generation}.

聊天机器人用于许多应用程序中，例如自动化代理，智能家庭助理，在线游戏中的互动角色等。因此，确保他们不会以不希望的方式行事，对用户提供令人反感或有毒的反应。这并不是一项琐碎的任务，因为最先进的聊天机器人模型是在从互联网公开收集的大型公共数据集上培训的。本文提出了对聊天机器人中毒性的首次大规模测量。我们表明，公开可用的聊天机器人很容易在喂养有毒的查询时提供有毒的反应。更令人担忧的是，一些无毒的查询也会触发有毒反应。然后，我们着手设计和实验攻击，即毒性，该攻击依赖于微调的GPT-2来产生无毒的查询，使聊天机器人以有毒的方式做出反应。我们广泛的实验评估表明，我们的攻击对公共聊天机器人模型有效，并且优于先前工作提出的手动制作的恶意查询。我们还评估了针对毒性的三种防御机制，表明它们要么以影响聊天机器人的效用而降低攻击性能，要么仅有效地减轻了一部分攻击。这强调了对计算机安全和在线安全社区进行更多研究的需求，以确保聊天机器人模型不会伤害其用户。总体而言，我们有信心有毒可以用作审计工具，我们的工作将为设计更有效的聊天机器人安全防御措施铺平道路。

聊天和个人助理形式的对话系统正在越来越纳入人们的生命。现代对话系统可能会考虑采用拟人的人物，模仿社会人口统计团体对用户来说更接近和值得信赖。但是，通过一个人的通过可能导致偏见的采用。在本文中，我们向对话系统中的角色偏见提供了第一个大规模研究，并对不同社会阶层，性取向，种族和性别的人物进行分析。我们将人格偏见定义为响应的有害差异（例如，不同的冒险程度，与有害陈述的不同程度）产生从采用不同的人口统计学。此外，我们介绍了一个开源框架，UnitPersonabias，以探索对话系统中的角色偏见。通过分析搅拌机和对话对话系统，我们观察到，与不使用任何一个人的人，采用人物实际上可以减少有害响应。此外，我们发现角色选择可以影响所生成的响应中的危害程度，因此应在部署前系统地进行系统。我们还分析了角色如何导致对特定人口统计数据的不同危害。

我们提出了Blenderbot 3，这是一个175B参数对话模型，能够通过访问Internet和长期内存进行开放域对话，并接受了大量用户定义的任务的培训。我们同时发布了模型权重和代码，还将模型部署在公共网页上，以与有机用户进行交互。该技术报告描述了该模型的构建方式（建筑，模型和培训计划）以及其部署的细节，包括安全机制。人类评估表明，它优于现有的开放域对话代理，包括其前身（Roller等，2021； Komeili等，2022）。最后，我们使用部署收集的数据详细介绍了持续学习的计划，该数据也将公开发布。因此，该研究计划的目标是使社区能够研究通过互动学习的不断改进的负责任的代理商。

Knowledge-grounded dialogue systems powered by large language models often generate responses that, while fluent, are not attributable to a relevant source of information. Progress towards models that do not exhibit this issue requires evaluation metrics that can quantify its prevalence. To this end, we introduce the Benchmark for Evaluation of Grounded INteraction (BEGIN), comprised of 12k dialogue turns generated by neural dialogue systems trained on three knowledgegrounded dialogue corpora. We collect human annotations assessing the extent to which the models' responses can be attributed to the given background information. We then use BEGIN to analyze eight evaluation metrics. We find that these metrics rely on spurious correlations, do not reliably distinguish attributable abstractive responses from unattributable ones, and perform substantially worse when the knowledge source is longer. Our findings underscore the need for more sophisticated and robust evaluation metrics for knowledge-grounded dialogue. We make BEGIN publicly available at https://github.com/ google/BEGIN-dataset.

在本文中，我们介绍了基于大型预训练的语言模型（PLM）pangu-alpha（Zeng等，2021）的中国预训练的开放域对话生成模型。与其他对大量对话数据进行培训的预训练的对话模型不同，我们旨在通过继承PLM的有价值的语言能力和知识来构建强大的对话模型，并以相对较少的数据和计算成本构建强大的对话模型。为此，我们训练大型PLM Pangu-Alpha的Pangu-bot，该机器人已被证明在各种中国自然语言任务上表现出色。我们研究了pangu-bot产生的响应的不同方面，包括响应质量，知识和安全性。我们表明，Pangu-Bot优于最先进的中国对话系统（CDIALGPT（Wang等，2020），Eva（Zhou等，2021），EVA2.0（Gu等，2022）） W.R.T.以上三个方面。我们还证明，可以轻松地部署pangu-bot，以在没有进一步训练的情况下产生情感反应。在整个经验分析中，我们还指出，Pangu-bot响应质量，知识正确性和安全性仍然远非完美，进一步的探索对于建立可靠且智能的对话系统是必不可少的。我们的型号和代码将在https://github.com/huawei-noah/pretretaining-language-model/tree/master/master/pangu-bot上提供。

许多文献表明，基于及时的学习是使用大型预训练的语言模型的有效方法。最近的作品还展示了通过插入适当的提示来指导聊天机器人输出的可能性。基于梯度的方法通常用于扰动提示。但是，某些语言模型甚至无法为公众提供。在这项工作中，我们首先探讨了提示和加强学习（RL）与转向模型的生成的组合，而无需访问任何模型的参数。其次，为了减少培训工作并增强对看不见的任务的普遍性，我们应用多任务学习以使模型学会更好地对新任务进行推广。实验结果表明，我们提出的方法可以成功控制几个最新的（SOTA）对话模型，而无需访问其参数。此外，该模型证明了与基线模型更少的步骤快速适应看不见的任务的强大能力。

Dialogue models are able to generate coherent and fluent responses, but they can still be challenging to control and may produce non-engaging, unsafe results. This unpredictability diminishes user trust and can hinder the use of the models in the real world. To address this, we introduce DialGuide, a novel framework for controlling dialogue model behavior using natural language rules, or guidelines. These guidelines provide information about the context they are applicable to and what should be included in the response, allowing the models to generate responses that are more closely aligned with the developer's expectations and intent. We evaluate DialGuide on three tasks in open-domain dialogue response generation: guideline selection, response generation, and response entailment verification. Our dataset contains 10,737 positive and 15,467 negative dialogue context-response-guideline triplets across two domains - chit-chat and safety. We provide baseline models for the tasks and benchmark their performance. We also demonstrate that DialGuide is effective in the dialogue safety domain, producing safe and engaging responses that follow developer guidelines.

了解用户对话中的毒性无疑是一个重要问题。正如在以前的工作中所说的那样，解决“隐秘”或隐含毒性案件特别困难，需要上下文。以前很少有研究已经分析了会话语境在人类感知或自动检测模型中的影响。我们深入探讨这两个方向。我们首先分析现有的上下文数据集，并得出结论，人类的毒性标记一般受到对话结构，极性和主题的影响。然后，我们建议通过引入（a）神经架构来将这些发现带入计算检测模型中，以了解会话结构的语境毒性检测，以及（b）可以帮助模拟语境毒性检测的数据增强策略。我们的结果表明了了解谈话结构的神经架构的令人鼓舞的潜力。我们还表明，这些模型可以从合成数据中受益，尤其是在社交媒体领域。

在基于文本的分类器中测试公平性问题的一种常见方法是通过使用反事实来：如果更改输入中的敏感属性，则分类器输出是否会更改？现有的反事实生成方法通常依赖于单词列表或模板，产生不考虑语法，上下文或微妙敏感属性引用的简单反事实，并且可能会错过WordList创建者未考虑的问题。在本文中，我们介绍了一项为克服这些缺点而产生的反事实的任务，并证明了如何利用大型语言模型（LLM）来在此任务上取得进展。我们表明，这种基于LLM的方法可以产生现有方法无法实现的复杂反事实，从而比较了民事评论数据集中各种反事实生成方法的性能，并在评估毒性分类器时显示出它们的价值。

我们介绍了Sparrow，这是一个寻求信息的对话代理，与提示的语言模型基线相比，训练有素，更有帮助，正确和无害。我们使用从人类反馈中的强化学习来培训我们的模型，以帮助人类评估者判断代理人的行为。首先，为了使我们的代理人更有帮助和无害，我们将良好对话的要求分解为代理人应遵循的自然语言规则，并分别向评估者询问每个规则。我们证明，这种崩溃使我们能够收集对代理行为的更多针对性的人类判断，并允许更有效的规则条件奖励模型。其次，我们的代理商在收集对模型声明的偏好判决时提供了支持事实主张的来源的证据。对于事实问题，麻雀提供的证据支持了78％的时间。比基线比基线更享受麻雀，同时对人类的对抗性探测更具弹性，在探测时只有8％的时间违反了我们的规则。最后，我们进行了广泛的分析，表明尽管我们的模型学会遵守我们的规则，但它可以表现出分布偏见。

当前的语言模型达到了较低的困惑，但其产生的几代人仍然遭受有毒的反应，重复性和矛盾。标准语言建模设置无法解决这些问题。在本文中，我们介绍了一个新的体系结构{\ sc导演}，由一个统一的生成器分类器组成，具有语言建模和每个输出令牌的分类头。培训是使用标准语言建模数据共同进行的，并以所需和不良序列标记的数据。与标准语言模型相比，该模型在多种设置中的实验表明，该模型具有竞争性的培训和解码速度，同时产生了较高的结果，从而减轻了已知的问题，同时保持发电质量。就准确性和效率而言，它还优于现有的模型指导方法。

我们提出了一种整体方法，用于构建一个可实现的自然语言分类系统，以实现现实世界中的内容适度。这样一个系统的成功依赖于一系列精心设计和执行的步骤，包括内容分类法和标签说明的设计，数据质量控制，主动学习管道以捕获罕见事件以及使模型可靠的各种方法并避免过度拟合。我们的审核系统经过培训，可以检测一系列不希望的内容，包括性内容，可恨的内容，暴力，自我伤害和骚扰。这种方法概括为各种不同的内容分类法，可用于创建优于现成模型的高质量内容分类器。

Controllable Text Generation (CTG) is emerging area in the field of natural language generation (NLG). It is regarded as crucial for the development of advanced text generation technologies that are more natural and better meet the specific constraints in practical applications. In recent years, methods using large-scale pre-trained language models (PLMs), in particular the widely used transformer-based PLMs, have become a new paradigm of NLG, allowing generation of more diverse and fluent text. However, due to the lower level of interpretability of deep neural networks, the controllability of these methods need to be guaranteed. To this end, controllable text generation using transformer-based PLMs has become a rapidly growing yet challenging new research hotspot. A diverse range of approaches have emerged in the recent 3-4 years, targeting different CTG tasks which may require different types of controlled constraints. In this paper, we present a systematic critical review on the common tasks, main approaches and evaluation methods in this area. Finally, we discuss the challenges that the field is facing, and put forward various promising future directions. To the best of our knowledge, this is the first survey paper to summarize CTG techniques from the perspective of PLMs. We hope it can help researchers in related fields to quickly track the academic frontier, providing them with a landscape of the area and a roadmap for future research.

预先接受的语言模型（PLM）在神经对话建模中标志着巨大的飞跃。虽然PLMS在大型文本语料库上进行预先培训，但通常在具有特定领域知识和对话风格的稀缺对话数据上进行微调。然而，在大型预先训练模型中充分利用现有知识的同时定制语言模型仍然是一个挑战。在本文中，我们提出了一种预先接受训练的对话建模的新方法，将对话生成问题作为一个快速学习任务。而不是在有限的对话数据上进行微调，我们的方法，DialogPrompt学习针对对话背景优化的连续提示嵌入，从而从大型预训练模型中促进了知识。为了鼓励模型更好地利用提示嵌入，提示编码器被设计为在输入对话框上下文中的条件。流行对话数据集的实验表明，我们的方法显着优于微调基线和通用及时学习方法。此外，人类评估强烈支持对DialialPrompt的优越性在响应生成质量方面。

有毒语言检测系统通常会错误地将包含少数群体群体提及的毒性的错误标记文本，因为这些群体通常是在线仇恨的目标。这种对虚假相关性的过度依赖也导致系统在检测隐式有毒语言方面挣扎。为了帮助缓解这些问题，我们创建了Toxigen，这是一个新的大规模和机器生成的数据集，该数据集是274K有毒和良性陈述，约有13个少数群体。我们开发了一个基于示范的提示框架和一种对抗性分类器的解码方法，以使用大量预处理的语言模型生成微妙的有毒和良性文本。以这种方式控制机器的生成使毒素可以比以前的人写文本的资源更大的规模和大约人口组覆盖隐式有毒文本。我们对毒素的一个充满挑战的子集进行人体评估，发现注释者难以区分机器生成的文本和人类写的语言。我们还发现，94.5％的有毒例子被人类注释者标记为仇恨言论。我们使用三个公开可用的数据集，我们表明，对我们的数据进行毒性分类器的填充可以大大提高其在人体编写数据上的性能。我们还证明，毒素可用于抵抗机器生成的毒性，因为鉴定在我们的评估子集中大大改善了分类器。我们的代码和数据可以在https://github.com/microsoft/toxigen上找到。

深度神经语言模型的最新进展与大规模数据集的能力相结合，加速了自然语言生成系统的发展，这些系统在多种任务和应用程序上下文中产生流利和连贯的文本（在各种成功程度上）。但是，为所需的用户控制这些模型的输出仍然是一个开放的挑战。这不仅对于自定义生成语言的内容和样式至关重要，而且对于他们在现实世界中的安全可靠部署至关重要。我们提出了一项关于受约束神经语言生成的新兴主题的广泛调查，在该主题中，我们通过区分条件和约束（后者是在输出文本上而不是输入的可检验条件），正式定义和分类自然语言生成问题，目前是可检验的）约束文本生成任务，并查看受限文本生成的现有方法和评估指标。我们的目的是强调这个新兴领域的最新进展和趋势，以告知最有希望的方向和局限性，以推动受约束神经语言生成研究的最新作品。

As language models (LMs) scale, they develop many novel behaviors, good and bad, exacerbating the need to evaluate how they behave. Prior work creates evaluations with crowdwork (which is time-consuming and expensive) or existing data sources (which are not always available). Here, we automatically generate evaluations with LMs. We explore approaches with varying amounts of human effort, from instructing LMs to write yes/no questions to making complex Winogender schemas with multiple stages of LM-based generation and filtering. Crowdworkers rate the examples as highly relevant and agree with 90-100% of labels, sometimes more so than corresponding human-written datasets. We generate 154 datasets and discover new cases of inverse scaling where LMs get worse with size. Larger LMs repeat back a dialog user's preferred answer ("sycophancy") and express greater desire to pursue concerning goals like resource acquisition and goal preservation. We also find some of the first examples of inverse scaling in RL from Human Feedback (RLHF), where more RLHF makes LMs worse. For example, RLHF makes LMs express stronger political views (on gun rights and immigration) and a greater desire to avoid shut down. Overall, LM-written evaluations are high-quality and let us quickly discover many novel LM behaviors.

作为有效的策略，数据增强（DA）减轻了深度学习技术可能失败的数据稀缺方案。它广泛应用于计算机视觉，然后引入自然语言处理并实现了许多任务的改进。DA方法的主要重点之一是提高培训数据的多样性，从而帮助模型更好地推广到看不见的测试数据。在本调查中，我们根据增强数据的多样性，将DA方法框架为三类，包括释义，注释和采样。我们的论文根据上述类别，详细分析了DA方法。此外，我们还在NLP任务中介绍了他们的应用以及挑战。

鉴于大型语言模型的广泛能力，应该有可能朝着一般的文本的助手工作，这些助手与人类价值一致，这意味着它是有帮助，诚实的和无害的。在此方向上的初始遗传，我们研究简单的基线技术和评估，例如提示。我们发现，从模型规模增加适度的干预措施的好处，概括为各种对准评估，并不会损害大型模型的性能。接下来，我们调查与对齐，比较仿制，二进制歧视和排名偏好建模相关的几个培训目标的缩放趋势。我们发现排名优先级模型比模仿学习更好地表现得多，并且通常以模型大小更有利地缩放。相比之下，二进制歧视通常与模仿学习非常类似地执行和缩放。最后，我们研究了一种“偏好模型预训练阶段的培训阶段，其目的是在对人偏好的芬明时提高样本效率。