文本生成模型（TGMS）成功地创建了与人类语言风格匹配的文本。可以区分TGM生成的文本和人写的探测器在防止滥用TGM方面起着重要作用。在本文中，我们描述了两个Dialog-22 RUATD任务的管道：检测生成的文本（二进制任务）和使用哪个模型的分类来生成文本（多类任务）。我们在二进制分类任务上获得了第一名，精度得分为0.82995，在私人测试集上，在多类分类任务中排名第四，在私人测试集上的精度为0.62856。我们提出了一种基于注意机制的不同预训练模型的合奏方法。

本文描述了为DAGPAP22开发的神经模型，该任务在第三次有关学术文档处理的研讨会上托管。这项共享的任务针对自动检测生成的科学论文。我们的工作着重于比较不同的基于变压器的模型，并使用其他数据集和技术来处理不平衡的类。作为最后的提交，我们利用了Scibert，Roberta和Deberta的合奏，并使用随机过采样技术进行了微调。我们的模型在F1得分方面达到了99.24％。官方评估结果使我们的系统排名第三。

The research on text summarization for low-resource Indian languages has been limited due to the availability of relevant datasets. This paper presents a summary of various deep-learning approaches used for the ILSUM 2022 Indic language summarization datasets. The ISUM 2022 dataset consists of news articles written in Indian English, Hindi, and Gujarati respectively, and their ground-truth summarizations. In our work, we explore different pre-trained seq2seq models and fine-tune those with the ILSUM 2022 datasets. In our case, the fine-tuned SoTA PEGASUS model worked the best for English, the fine-tuned IndicBART model with augmented data for Hindi, and again fine-tuned PEGASUS model along with a translation mapping-based approach for Gujarati. Our scores on the obtained inferences were evaluated using ROUGE-1, ROUGE-2, and ROUGE-4 as the evaluation metrics.

在本文中，我们呈现了Bartpho的两个版本Bartpho-symlable和Bartpho-Word，这是第一个为越南语预先培训的公共大规模单声道序列到序列模型。Bartpho使用“大”架构和序列序列去噪的预训练方案，因此特别适用于生成NLP任务。我们开展实验，以将我们的巴特照片与竞争对手MBART进行比较，以越南文本摘要的下游任务，表明：在自动和人类评估中，Bartpho优于强大的基线MBART并改善了最先进的。我们释放巴特诺以促进未来的生成越南NLP任务的研究和应用。我们的Bartpho模型可公开提供：https://github.com/vinairesearch/bartpho

Pre-trained models have achieved remarkable success in natural language processing (NLP). However, existing pre-training methods underutilize the benefits of language understanding for generation. Inspired by the idea of Generative Adversarial Networks (GANs), we propose a GAN-style model for encoder-decoder pre-training by introducing an auxiliary discriminator, unifying the ability of language understanding and generation in a single model. Our model, named as GanLM, is trained with two pre-training objectives: replaced token detection and replaced token denoising. Specifically, given masked source sentences, the generator outputs the target distribution and the discriminator predicts whether the target sampled tokens from distribution are incorrect. The target sentence is replaced with misclassified tokens to construct noisy previous context, which is used to generate the gold sentence. In general, both tasks improve the ability of language understanding and generation by selectively using the denoising data. Extensive experiments in language generation benchmarks show that GanLM with the powerful language understanding capability outperforms various strong pre-trained language models (PLMs) and achieves state-of-the-art performance.

这项研究提供了对僧伽罗文本分类的预训练语言模型的性能的首次全面分析。我们测试了一组不同的Sinhala文本分类任务，我们的分析表明，在包括Sinhala（XLM-R，Labse和Laser）的预训练的多语言模型中，XLM-R是迄今为止Sinhala文本的最佳模型分类。我们还预先培训了两种基于罗伯塔的单语僧伽罗模型，它们远远优于僧伽罗的现有预训练的语言模型。我们表明，在微调时，这些预训练的语言模型为僧伽罗文本分类树立了非常强大的基线，并且在标记数据不足以进行微调的情况下非常强大。我们进一步提供了一组建议，用于使用预训练的模型进行Sinhala文本分类。我们还介绍了新的注释数据集，可用于僧伽罗文本分类的未来研究，并公开发布我们的预培训模型。

As the deep learning rapidly promote, the artificial texts created by generative models are commonly used in news and social media. However, such models can be abused to generate product reviews, fake news, and even fake political content. The paper proposes a solution for the Russian Artificial Text Detection in the Dialogue shared task 2022 (RuATD 2022) to distinguish which model within the list is used to generate this text. We introduce the DeBERTa pre-trained language model with multiple training strategies for this shared task. Extensive experiments conducted on the RuATD dataset validate the effectiveness of our proposed method. Moreover, our submission ranked second place in the evaluation phase for RuATD 2022 (Multi-Class).

Detecting sarcasm and verbal irony from people's subjective statements is crucial to understanding their intended meanings and real sentiments and positions in social scenarios. This paper describes the X-PuDu system that participated in SemEval-2022 Task 6, iSarcasmEval - Intended Sarcasm Detection in English and Arabic, which aims at detecting intended sarcasm in various settings of natural language understanding. Our solution finetunes pre-trained language models, such as ERNIE-M and DeBERTa, under the multilingual settings to recognize the irony from Arabic and English texts. Our system ranked second out of 43, and ninth out of 32 in Task A: one-sentence detection in English and Arabic; fifth out of 22 in Task B: binary multi-label classification in English; first out of 16, and fifth out of 13 in Task C: sentence-pair detection in English and Arabic.

在本文中，我们描述了我们参与Case-2022的子任务1，即与休闲新闻语料库的事件因果关系识别。我们通过在少数带注释的示例（即几次配置）上利用一组简单但互补的技术来解决因果关系识别（CRI）任务。我们遵循一种基于迅速的预测方法，用于微调LMS，其中CRI任务被视为掩盖语言建模问题（MLM）。这种方法允许LMS在MLM问题上进行本地预先训练，可以直接生成对CRI特异性提示的文本响应。我们将此方法的性能与在整个数据集中训练的集合技术进行比较。我们表现​​最佳的提交仅接受了每班256个实例，整个数据集的一小部分培训，但能够获得第二好的精度（0.82），第三好的精度（0.82）和F1得分。 （0.85）非常接近获胜者团队（0.86）的报道。

首字母缩略词是通过在文本中使用短语的初始组件构建的短语单元的缩写单元。自动提取文本中的首字母缩略词可以帮助各种自然语言处理任务，如机器翻译，信息检索和文本汇总。本文讨论了缩写式萃取任务的集合方法，利用两种不同的方法提取缩略语及其相应的长形式。第一种方法利用多语言语境语言模型，并进行微调模型以执行任务。第二种方法依赖于卷积神经网络架构，以提取首字母缩略词并将其附加到先前方法的输出。我们还将官方培训数据集增强，其中包含从几个开放式期刊中提取的其他培训样本，以帮助提高任务性能。我们的数据集分析还突出显示当前任务数据集中的噪声。我们的方法在通过任务发布的测试数据上实现了以下宏观F1分数：丹麦语（0.74），英语 - 法律（0.72），英语 - 科学（0.73），法语（0.63），波斯（0.57），西班牙语（0.65） ，越南语（0.65）。我们公开发布我们的代码和模型。

大型和超大语言模型的开发，例如GPT-3，T5，Switch Transformer，Ernie等，已经显着改善了文本生成的性能。该领域的重要研究方向之一是产生具有争论的文本。该问题的解决方案可以用于商务会议，政治辩论，对话系统，以准备学生论文。这些应用的主要领域之一是经济领域。俄罗斯语言的论证文本生成的关键问题是缺乏注释的论证语料库。在本文中，我们将论证的微观版，说服力论文和UKP句子语料库的翻译版本用于微调Rubert模型。此外，该模型用于通过论证注释经济新闻的语料库。然后使用带注释的语料库微调Rugpt-3模型，该模型生成参数文本。结果表明，与原始的Rugpt-3模型相比，这种方法将论点生成的准确性提高了20个百分点（63.2 \％vs. 42.5 \％）。

自动估计读者文本的复杂性具有多种应用程序，例如向语言学习者推荐具有适当复杂性的文本或支持文本简化方法的评估。在本文中，我们介绍了2022年文本复杂性的提交，这是一项回归任务，目的是预测B级的德国学习者对德国学习者的复杂性德国Wikipedia和其他Corpora训练基于变压器的模型，并避免任何功能工程或任何其他标记的数据。我们发现，基于伪标签的方法给出了令人印象深刻的结果，但几乎不需要对特定任务进行调整，因此很容易适应其他域和任务。

最紧迫的社会问题之一是与虚假新闻的斗争。虚假的主张很难暴露，造成了很多损害。为了解决这个问题，事实验证变得至关重要，因此是不同研究社区中感兴趣的话题。仅使用数据的文本形式，我们建议解决问题的解决方案，并通过其他方法实现竞争结果。我们基于两种方法（基于训练的语言模型）基于两种方法和基于提示的方法提供解决方案。基于PLM的方法使用传统的监督学习，其中训练模型以“ X”为输入和输出预测为P（Y | X）。鉴于，基于及时的学习反映了设计输入以适合模型的想法，以便可以将原始目标重新构成（掩盖）语言建模的问题。我们可能会进一步刺激PLM提供的丰富知识，以通过采用额外提示来微调PLM，以更好地完成下游任务。我们的实验表明，所提出的方法的性能不仅仅是微调PLM。我们在Trancify数据集中获得了0.6946的F1分数，在比赛负责人板上获得了第七名。

Understanding customer feedback is becoming a necessity for companies to identify problems and improve their products and services. Text classification and sentiment analysis can play a major role in analyzing this data by using a variety of machine and deep learning approaches. In this work, different transformer-based models are utilized to explore how efficient these models are when working with a German customer feedback dataset. In addition, these pre-trained models are further analyzed to determine if adapting them to a specific domain using unlabeled data can yield better results than off-the-shelf pre-trained models. To evaluate the models, two downstream tasks from the GermEval 2017 are considered. The experimental results show that transformer-based models can reach significant improvements compared to a fastText baseline and outperform the published scores and previous models. For the subtask Relevance Classification, the best models achieve a micro-averaged $F1$-Score of 96.1 % on the first test set and 95.9 % on the second one, and a score of 85.1 % and 85.3 % for the subtask Polarity Classification.

对于自然语言处理应用可能是有问题的，因为它们的含义不能从其构成词语推断出来。缺乏成功的方法方法和足够大的数据集防止了用于检测成语的机器学习方法的开发，特别是对于在训练集中不发生的表达式。我们提出了一种叫做小鼠的方法，它使用上下文嵌入来实现此目的。我们展示了一个新的多字表达式数据集，具有文字和惯用含义，并使用它根据两个最先进的上下文单词嵌入式培训分类器：Elmo和Bert。我们表明，使用两个嵌入式的深度神经网络比现有方法更好地执行，并且能够检测惯用词使用，即使对于训练集中不存在的表达式。我们展示了开发模型的交叉传输，并分析了所需数据集的大小。

社交媒体平台上的假新闻，误导和无法验证的事实宣传了不和谐，影响社会，特别是在处理像Covid-19这样的流行病时。假新闻检测的任务旨在通过将新闻项目分类为假或真实的新闻项目来解决这种错误信息的影响。在本文中，我们提出了一种新的方法，通过自动收集每个索赔的证据来改善目前的自动自动假新闻检测方法。我们的方法从Web艺术品中提取支持证据，然后选择待视为证据组的适当文本。我们在这些证据组上使用预先训练的摘要，然后使用提取的摘要作为支持证据来帮助分类任务。我们的实验，使用机器学习和基于深度学习的方法，有助于对我们的方法进行广泛的评估。结果表明，我们的方法优于假新闻检测中的最先进方法，以在为约束-2021共享任务提供的数据集中实现99.25的F1分数。我们还释放了任何进一步研究的增强数据集，我们的代码和模型。

在本文中，我们利用了以前的预训练模型（PTM）的优势，并提出了一种新型的中国预训练的不平衡变压器（CPT）。与以前的中国PTM不同，CPT旨在利用自然语言理解（NLU）和自然语言生成（NLG）之间的共同知识来促进表现。 CPT包括三个部分：共享编码器，一个理解解码器和一代解码器。具有共享编码器的两个特定解码器分别通过蒙版语言建模（MLM）进行了预训练，并分别将自动编码（DAE）任务进行了验证。借助部分共享的体系结构和多任务预培训，CPT可以（1）使用两个解码器学习NLU或NLG任务的特定知识，并且（2）对模型的潜力充分利用了微调。此外，不平衡的变压器节省了计算和存储成本，这使CPT竞争激烈，并极大地加速了文本生成的推断。对各种中国NLU和NLG任务的实验结果显示了CPT的有效性。

大型审慎的语言模型最近征服了自然语言处理领域。作为BERT中引入的主要掩盖语言建模的替代方案，T5模型引入了更通用的训练目标，即序列转换的顺序，其中包括蒙版语言模型，但自然地适合文本生成任务，例如机器翻译，摘要，开放 - 开放 - 域问题回答，文本简化，对话系统等。T5模型的单语变体仅限于资源良好的语言，而大量的多语言T5模型则支持101种语言。相比之下，我们训练了两个不同尺寸的T5型序列，以使用较少的资源并分析其行为的形态丰富的斯洛文尼语的序列模型。关于分类任务，SLOT5模型主要落后于单语Slovene Sloberta模型，但应考虑生成任务。

文本分类是具有各种有趣应用程序的典型自然语言处理或计算语言学任务。随着社交媒体平台上的用户数量的增加，数据加速促进了有关社交媒体文本分类（SMTC）或社交媒体文本挖掘的新兴研究。与英语相比，越南人是低资源语言之一，仍然没有集中精力并彻底利用。受胶水成功的启发，我们介绍了社交媒体文本分类评估（SMTCE）基准，作为各种SMTC任务的数据集和模型的集合。借助拟议的基准，我们实施和分析了各种基于BERT的模型（Mbert，XLM-R和Distilmbert）和基于单语的BERT模型（Phobert，Vibert，Vibert，Velectra和Vibert4news）的有效性SMTCE基准。单语模型优于多语言模型，并实现所有文本分类任务的最新结果。它提供了基于基准的多语言和单语言模型的客观评估，该模型将使越南语言中有关贝尔特兰的未来研究有利。

With an increasing amount of data in the art world, discovering artists and artworks suitable to collectors' tastes becomes a challenge. It is no longer enough to use visual information, as contextual information about the artist has become just as important in contemporary art. In this work, we present a generic Natural Language Processing framework (called ArtLM) to discover the connections among contemporary artists based on their biographies. In this approach, we first continue to pre-train the existing general English language models with a large amount of unlabelled art-related data. We then fine-tune this new pre-trained model with our biography pair dataset manually annotated by a team of professionals in the art industry. With extensive experiments, we demonstrate that our ArtLM achieves 85.6% accuracy and 84.0% F1 score and outperforms other baseline models. We also provide a visualisation and a qualitative analysis of the artist network built from ArtLM's outputs.