我们提出了一种新的域特定的生成预训练（DS-GPT）方法，用于文本生成，并将其应用于电子商务移动显示器上的产品Titleand审查总结问题。首先，我们采用了仅限解码器的变压器体系结构，该架构Fitswell通过组合输入和输出全部携带的微调任务。其次，我们在相关域中仅使用少量预训练数据是强大的。预先训练从一般语料库中的矛盾，如维基百科或通用需要巨大的时间和资源承诺，如果下游任务有限。 OUDSGPT在Limble DataSet中预先培训，中文短篇演示数据集（LCSTS）。第三，我们的模型不要求相关的人类标记数据。对于标题摘要任务，艺术状态明确地使用额外的背景知识训练和预测阶段。相比之下，我们的模型暗示 - 在公共Taobao.comDataset上微调后，旨在捕获这种知识并实现了重要的改进其他方法。对于审查摘要任务，我们利用JD.com在-UteedAtaset上，并观察到缺乏微调灵活性的标准机械进程方法的类似改进。我们的工作可以简单地扩展到其他文本生成任务的域。

在过去的十年中，电子商务的自动产品描述生成已经取得了重大进步。产品文案旨在通过通过文本描述突出产品特征来吸引用户的兴趣并改善用户体验。随着电子商务平台提供的服务变得多样化，有必要动态地调整自动生成描述的模式。在本文中，我们将基于电子商务前缀的可控文案生成（EPCCG）系统部署到JD.com电子商务产品推荐平台中的经验。系统的开发包含两个主要组成部分：1）文案写作方面提取； 2）弱监督的方面标签； 3）具有基于前缀的语言模型的文本生成； 4）文案写作质量控制。我们进行实验以验证拟议的EPCCG的有效性。此外，我们将与EPCCG合作的已部署架构介绍到实时JD.com电子商务推荐平台以及部署以来的巨大回报。

通过言语技术的最新进步和智能助理的引入，如亚马逊Alexa，Apple Siri和Google Home，越来越多的用户通过语音命令与各种应用程序进行交互。电子商务公司通常在其网页上显示较短的产品标题，在需要简洁时，可以在其网页上进行人工策划或算法生成。然而，这些标题与自然语言不同。例如，“幸运的魅力面筋无麸质谷物，20.5盎司盒装幸运魅力含有无麸质”可以在网页上显示，而在基于语音的文本到语音应用程序中不能使用类似的标题。在这种对话系统中，易于理解的句子，例如“20.5盎司的幸运魅力麸质谷物”是优选的。与显示设备相比，可以向用户呈现图像和详细的产品信息，在与语音助手相互作用时，需要传达最重要信息的产品的短标题。我们提出Ebert，通过进一步预先训练电子商务产品描述语料库中的BERT嵌入来进行序列到序列方法，然后微调结果模型，以产生来自输入Web标题的短，自然的语言标题。我们对现实世界行业数据集的广泛实验，以及对模型输出的人类评估，表明Ebert摘要优于相当的基线模型。由于该模型的功效，该模型的版本已在真实世界中进行部署。

在本文中，我们利用了以前的预训练模型（PTM）的优势，并提出了一种新型的中国预训练的不平衡变压器（CPT）。与以前的中国PTM不同，CPT旨在利用自然语言理解（NLU）和自然语言生成（NLG）之间的共同知识来促进表现。 CPT包括三个部分：共享编码器，一个理解解码器和一代解码器。具有共享编码器的两个特定解码器分别通过蒙版语言建模（MLM）进行了预训练，并分别将自动编码（DAE）任务进行了验证。借助部分共享的体系结构和多任务预培训，CPT可以（1）使用两个解码器学习NLU或NLG任务的特定知识，并且（2）对模型的潜力充分利用了微调。此外，不平衡的变压器节省了计算和存储成本，这使CPT竞争激烈，并极大地加速了文本生成的推断。对各种中国NLU和NLG任务的实验结果显示了CPT的有效性。

长文件摘要是自然语言处理领域的重要且艰巨的任务。良好的长文件摘要表现揭示了模型对人类语言的理解。目前，大多数研究侧重于如何修改变压器的注意机制，实现更高的胭脂分数。数据预处理和后处理的研究相对较少。在本文中，我们使用两个预处理方法和后处理方法，并分析了这些方法对各种长文件摘要模型的影响。

本文介绍了Z-Code ++，这是一种针对抽象文本摘要优化的新的预训练的语言模型。该模型使用三种技术扩展了艺术编码器模型的状态。首先，我们使用两阶段的预训练过程来改善模型在低资源摘要任务上的性能。该模型首先是使用文本语料库进行语言理解的预先培训的，然后在汇总语料库中不断预先培训，以进行基础文本生成。其次，我们用分离的注意力层代替编码器中的自我发项层，其中每个单词都使用两个向量分别代表其内容和位置。第三，我们使用融合编码器，这是一种以层次方式编码长序列的简单而有效的方法。 Z-Code ++在13个文本摘要任务中的9个跨5种语言中创建了新的艺术状态。我们的模型的参数有效，因为它的表现优于XSUM上600倍较大的Palm-540b，并且在Samsum上的易经的200倍GPT3-175B较大。在零射击和少量设置中，我们的模型大大优于竞争模型。

We present BART, a denoising autoencoder for pretraining sequence-to-sequence models. BART is trained by ( 1) corrupting text with an arbitrary noising function, and (2) learning a model to reconstruct the original text. It uses a standard Tranformer-based neural machine translation architecture which, despite its simplicity, can be seen as generalizing BERT (due to the bidirectional encoder), GPT (with the left-to-right decoder), and many other more recent pretraining schemes. We evaluate a number of noising approaches, finding the best performance by both randomly shuffling the order of the original sentences and using a novel in-filling scheme, where spans of text are replaced with a single mask token. BART is particularly effective when fine tuned for text generation but also works well for comprehension tasks. It matches the performance of RoBERTa with comparable training resources on GLUE and SQuAD, achieves new stateof-the-art results on a range of abstractive dialogue, question answering, and summarization tasks, with gains of up to 6 ROUGE. BART also provides a 1.1 BLEU increase over a back-translation system for machine translation, with only target language pretraining. We also report ablation experiments that replicate other pretraining schemes within the BART framework, to better measure which factors most influence end-task performance.

通过自我监督的学习预先训练的大型语言模型在各种各样的任务上表现出令人印象深刻的零击功能。在这项工作中，我们介绍了Welm：一种针对中文的精心读取的预训练的语言模型，能够无缝执行不同类型的任务，以零或几次演示。 Welm通过“阅读”涵盖广泛主题的精选高质量语料库来接受10b参数的培训。我们表明，韦尔姆拥有有关各种领域和语言的广泛知识。在18个单语（中文）任务中，WELM可以大大优于现有的预训练模型，尺寸相似，并匹配高达25倍大的模型的性能。韦尔姆还表现出强大的多种语言和代码转换理解的能力，优于预先对30种语言进行预培训的现有多语言模型。此外，我们收集了人工编写的提示，并通过多次培训进行了大量的中文和微调韦尔姆的监督数据集。最终的模型可以实现对看不见的任务类型的强烈概括，并在零射门学习中优于无监督的韦尔姆。最后，我们证明韦尔姆具有解释和校准自己的决策的基本技能，这可能是未来研究的有希望的方向。我们的模型可以从https://welm.weixin.qq.com/docs/api/应用。

This paper presents a new UNIfied pre-trained Language Model (UNILM) that can be fine-tuned for both natural language understanding and generation tasks. The model is pre-trained using three types of language modeling tasks: unidirectional, bidirectional, and sequence-to-sequence prediction. The unified modeling is achieved by employing a shared Transformer network and utilizing specific self-attention masks to control what context the prediction conditions on. UNILM compares favorably with BERT on the GLUE benchmark, and the SQuAD 2.0 and CoQA question answering tasks. Moreover, UNILM achieves new state-ofthe-art results on five natural language generation datasets, including improving the CNN/DailyMail abstractive summarization ROUGE-L to 40.51 (2.04 absolute improvement), the Gigaword abstractive summarization ROUGE-L to 35.75 (0.86 absolute improvement), the CoQA generative question answering F1 score to 82.5 (37.1 absolute improvement), the SQuAD question generation BLEU-4 to 22.12 (3.75 absolute improvement), and the DSTC7 document-grounded dialog response generation NIST-4 to 2.67 (human performance is 2.65). The code and pre-trained models are available at https://github.com/microsoft/unilm. * Equal contribution. † Contact person.

在本文中，我们呈现了Bartpho的两个版本Bartpho-symlable和Bartpho-Word，这是第一个为越南语预先培训的公共大规模单声道序列到序列模型。Bartpho使用“大”架构和序列序列去噪的预训练方案，因此特别适用于生成NLP任务。我们开展实验，以将我们的巴特照片与竞争对手MBART进行比较，以越南文本摘要的下游任务，表明：在自动和人类评估中，Bartpho优于强大的基线MBART并改善了最先进的。我们释放巴特诺以促进未来的生成越南NLP任务的研究和应用。我们的Bartpho模型可公开提供：https://github.com/vinairesearch/bartpho

预先接受的语言模型实现了最先进的导致各种自然语言处理（NLP）任务。 GPT-3表明，缩放预先训练的语言模型可以进一步利用它们的巨大潜力。最近提出了一个名为Ernie 3.0的统一框架，以预先培训大型知识增强型号，并培训了具有10亿参数的模型。 Ernie 3.0在各种NLP任务上表现出最先进的模型。为了探讨缩放的表现，我们培养了百卢比的3.0泰坦参数型号，在PaddlePaddle平台上有高达260亿参数的泰坦。此外，我们设计了一种自我监督的对抗性损失和可控语言建模损失，以使ERNIE 3.0 TITAN产生可信和可控的文本。为了减少计算开销和碳排放，我们向Ernie 3.0泰坦提出了一个在线蒸馏框架，教师模型将同时教授学生和培训。埃塞尼3.0泰坦是迄今为止最大的中国密集预训练模型。经验结果表明，Ernie 3.0泰坦在68个NLP数据集中优于最先进的模型。

Aspect or query-based summarization has recently caught more attention, as it can generate differentiated summaries based on users' interests. However, the current dataset for aspect or query-based summarization either focuses on specific domains, contains relatively small-scale instances, or includes only a few aspect types. Such limitations hinder further explorations in this direction. In this work, we take advantage of crowd-sourcing knowledge on Wikipedia.org and automatically create a high-quality, large-scale open-domain aspect-based summarization dataset named OASum, which contains more than 3.7 million instances with around 1 million different aspects on 2 million Wikipedia pages. We provide benchmark results on OAsum and demonstrate its ability for diverse aspect-based summarization generation. To overcome the data scarcity problem on specific domains, we also perform zero-shot, few-shot, and fine-tuning on seven downstream datasets. Specifically, zero/few-shot and fine-tuning results show that the model pre-trained on our corpus demonstrates a strong aspect or query-focused generation ability compared with the backbone model. Our dataset and pre-trained checkpoints are publicly available.

对话机器人已广泛应用于客户服务方案，以提供及时且用户友好的体验。这些机器人必须对对话的适当域进行分类，了解用户的意图并产生适当的响应。现有的对话预训练模型仅针对多个对话任务而设计，而忽略了弱监督的客户服务对话中的专家知识。在本文中，我们提出了一个新颖的统一知识提示预训练框架，ufa（\ textbf {u} nified Model \ textbf {f}或\ textbf {a} ll任务），用于客户服务对话。我们将客户服务对话的所有任务作为统一的文本到文本生成任务，并引入知识驱动的及时策略，以共同从不同的对话任务中学习。我们将UFA预先训练UFA，从实用场景中收集的大型中国客户服务语料库中，并对自然语言理解（NLU）和自然语言生成（NLG）基准进行了重大改进。

如今，基础模型已成为人工智能中的基本基础设施之一，铺平了通往通用情报的方式。但是，现实提出了两个紧急挑战：现有的基础模型由英语社区主导；用户通常会获得有限的资源，因此不能总是使用基础模型。为了支持中文社区的发展，我们介绍了一个名为Fengshenbang的开源项目，该项目由认知计算与自然语言研究中心（CCNL）领导。我们的项目具有全面的功能，包括大型预培训模型，用户友好的API，基准，数据集等。我们将所有这些都包装在三个子项目中：风水次模型，风水框架和狂热基准。 Fengshenbang的开源路线图旨在重新评估中国预培训的大型大型模型的开源社区，促使整个中国大型模型社区的发展。我们还希望构建一个以用户为中心的开源生态系统，以允许个人访问所需的模型以匹配其计算资源。此外，我们邀请公司，大学和研究机构与我们合作建立大型开源模型的生态系统。我们希望这个项目将成为中国认知情报的基础。

The research on text summarization for low-resource Indian languages has been limited due to the availability of relevant datasets. This paper presents a summary of various deep-learning approaches used for the ILSUM 2022 Indic language summarization datasets. The ISUM 2022 dataset consists of news articles written in Indian English, Hindi, and Gujarati respectively, and their ground-truth summarizations. In our work, we explore different pre-trained seq2seq models and fine-tune those with the ILSUM 2022 datasets. In our case, the fine-tuned SoTA PEGASUS model worked the best for English, the fine-tuned IndicBART model with augmented data for Hindi, and again fine-tuned PEGASUS model along with a translation mapping-based approach for Gujarati. Our scores on the obtained inferences were evaluated using ROUGE-1, ROUGE-2, and ROUGE-4 as the evaluation metrics.

（源）代码摘要旨在以自然语言的形式自动为给定代码段生成摘要/注释。此类摘要在帮助开发人员理解和维护源代码方面起着关键作用。现有的代码摘要技术可以分类为提取方法和抽象方法。提取方法使用检索技术从代码段中提取重要语句和关键字的子集，并生成一个摘要，该摘要保留了重要语句和关键字中的事实详细信息。但是，这样的子集可能会错过标识符或实体命名，因此，产生的摘要的自然性通常很差。抽象方法可以生成类似人写的摘要，从而利用神经机器翻译域的编码器模型。然而，生成的摘要通常会错过重要的事实细节。为了通过保留的事实细节生成类似人写的摘要，我们提出了一个新颖的提取和吸收框架。框架中的提取模块执行了提取代码摘要的任务，该任务列入了代码段，并预测包含关键事实细节的重要陈述。框架中的抽象模块执行了抽象代码摘要的任务，该任务是在整个代码段和并行的重要陈述中进行的，并生成了简洁而人工写的类似的自然语言摘要。我们通过在涉及六种编程语言的三个数据集上进行广泛的实验来评估称为EACS的有效性。实验结果表明，在所有三种广泛使用的指标（包括BLEU，流星和Rough-l）方面，EACS明显优于最先进的技术。

Controllable Text Generation (CTG) is emerging area in the field of natural language generation (NLG). It is regarded as crucial for the development of advanced text generation technologies that are more natural and better meet the specific constraints in practical applications. In recent years, methods using large-scale pre-trained language models (PLMs), in particular the widely used transformer-based PLMs, have become a new paradigm of NLG, allowing generation of more diverse and fluent text. However, due to the lower level of interpretability of deep neural networks, the controllability of these methods need to be guaranteed. To this end, controllable text generation using transformer-based PLMs has become a rapidly growing yet challenging new research hotspot. A diverse range of approaches have emerged in the recent 3-4 years, targeting different CTG tasks which may require different types of controlled constraints. In this paper, we present a systematic critical review on the common tasks, main approaches and evaluation methods in this area. Finally, we discuss the challenges that the field is facing, and put forward various promising future directions. To the best of our knowledge, this is the first survey paper to summarize CTG techniques from the perspective of PLMs. We hope it can help researchers in related fields to quickly track the academic frontier, providing them with a landscape of the area and a roadmap for future research.

语言是人类交流的主要工具，其中幽默是最有吸引力的部分之一。使用计算机，又称自然语言生成（NLG）的人类产生自然语言，已广泛用于对话系统，聊天机器人，机器翻译以及计算机AID创建，例如Idea Generations，剧本。但是，自然语言的幽默方面相对不足，尤其是在预训练的语言模型时代。在这项工作中，我们旨在初步测试NLG是否可以像人类一样产生幽默。我们构建了一个新的数据集，该数据集由众多数字化的中国可笑的串扰脚本（称为c $^3 $简称），该脚本适用于1800年代以来名为“ Xiangsheng”的流行中国表演艺术。 （为了方便非中国扬声器，我们在本文中称为“ Xiangsheng”的“ Crosstalk”。）我们基准了各种一代方法，包括训练seq2seq，微调中级PLMS和大型PLMS（大型PLMS）（有无微调）。此外，我们还进行了人类评估，表明1）大规模预处理在很大程度上提高了串扰的产生质量； 2）即使是从最佳PLM产生的脚本也远非我们的期望，只有65％的人类创建的串扰质量。我们得出结论，使用大型PLM可以在很大程度上改善幽默的产生，但仍处于起步阶段。 \ url {https://github.com/anonno2/crosstalk-generation}公开可用数据和基准代码。

Pre-trained models have achieved remarkable success in natural language processing (NLP). However, existing pre-training methods underutilize the benefits of language understanding for generation. Inspired by the idea of Generative Adversarial Networks (GANs), we propose a GAN-style model for encoder-decoder pre-training by introducing an auxiliary discriminator, unifying the ability of language understanding and generation in a single model. Our model, named as GanLM, is trained with two pre-training objectives: replaced token detection and replaced token denoising. Specifically, given masked source sentences, the generator outputs the target distribution and the discriminator predicts whether the target sampled tokens from distribution are incorrect. The target sentence is replaced with misclassified tokens to construct noisy previous context, which is used to generate the gold sentence. In general, both tasks improve the ability of language understanding and generation by selectively using the denoising data. Extensive experiments in language generation benchmarks show that GanLM with the powerful language understanding capability outperforms various strong pre-trained language models (PLMs) and achieves state-of-the-art performance.

大型预训练的语言模型已经表现出了产生现实文本的强大功能。但是，控制生成结果仍然具有挑战性。以前的方法，例如提示远远不足，这限制了语言模型的使用。为了解决这一挑战，我们提出了一种创新的方法，逆提示，更好地控制文本生成。逆提示的核心思想是使用生成的文本来在波束搜索期间反转提示，这增强了提示和生成文本之间的相关性，并提供了更好的可控性。经验上，我们预先培训了大规模的汉语模型，在开放式诗歌生成和开放式长形问题的任务上使用人力评估进行系统研究。我们的研究结果表明，我们的提出方法显着优于基线，而我们的发电质量与某些任务中的某些任务接近人类性能。叙述者可以在https://pretrain.aminer.cn/apps/poetry.html上尝试我们的诗歌生成演示，而我们的QA演示可以在https://pretrain.aminer.cn/app/qa找到。对于研究人员来说，代码是在https://github.com/thudm/inverseprompting中提供的。