对人类法官和现有的NLP系统，受人尊敬和屈尊的语言（PCL）具有巨大的有害影响，很难检测到。在Semeval-2022任务4中，我们提出了一个基于变压器的新型模型及其合奏，以准确了解PCL检测的这种语言上下文。为了促进对PCL的微妙和主观性质的理解，采用两种微调策略来捕获不同语言行为和分类分布的歧视性特征。该系统在官方排名中取得了显着的结果，包括子任务中的1和第5位。

Detecting sarcasm and verbal irony from people's subjective statements is crucial to understanding their intended meanings and real sentiments and positions in social scenarios. This paper describes the X-PuDu system that participated in SemEval-2022 Task 6, iSarcasmEval - Intended Sarcasm Detection in English and Arabic, which aims at detecting intended sarcasm in various settings of natural language understanding. Our solution finetunes pre-trained language models, such as ERNIE-M and DeBERTa, under the multilingual settings to recognize the irony from Arabic and English texts. Our system ranked second out of 43, and ninth out of 32 in Task A: one-sentence detection in English and Arabic; fifth out of 22 in Task B: binary multi-label classification in English; first out of 16, and fifth out of 13 in Task C: sentence-pair detection in English and Arabic.

PCL检测任务旨在识别和分类语言，这些语言是光顾或屈服于一般媒体中的脆弱社区。 ，使通用文本分类方法的表现令人失望。针对Semeval-2022任务4中的PCL检测问题，在本文中，我们对团队的解决方案进行了介绍，该解决方案利用了基于段落分类的及时学习的力量。我们将任务重新制定为适当的披肩提示，并使用预先训练的蒙版语言模型来填补披肩插槽。对于这两个子任务，即二进制分类和多标签分类，采用并微调Deberta模型来预测特定于任务的提示的标签单词。在评估数据集中，对于二进制分类，我们的方法达到了0.6406的F1分数；对于多标签分类，我们的方法达到了0.4689的宏F1得分，在排行榜中排名第一。

We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models (Peters et al., 2018a;Radford et al., 2018), BERT is designed to pretrain deep bidirectional representations from unlabeled text by jointly conditioning on both left and right context in all layers. As a result, the pre-trained BERT model can be finetuned with just one additional output layer to create state-of-the-art models for a wide range of tasks, such as question answering and language inference, without substantial taskspecific architecture modifications.BERT is conceptually simple and empirically powerful. It obtains new state-of-the-art results on eleven natural language processing tasks, including pushing the GLUE score to 80.5% (7.7% point absolute improvement), MultiNLI accuracy to 86.7% (4.6% absolute improvement), SQuAD v1.1 question answering Test F1 to 93.2 (1.5 point absolute improvement) and SQuAD v2.0 Test F1 to 83.1 (5.1 point absolute improvement).

Language model pre-training has proven to be useful in learning universal language representations. As a state-of-the-art language model pre-training model, BERT (Bidirectional Encoder Representations from Transformers) has achieved amazing results in many language understanding tasks. In this paper, we conduct exhaustive experiments to investigate different fine-tuning methods of BERT on text classification task and provide a general solution for BERT fine-tuning. Finally, the proposed solution obtains new state-of-the-art results on eight widely-studied text classification datasets. 1

社交媒体的重要性在过去几十年中增加了流畅，因为它帮助人们甚至是世界上最偏远的角落保持联系。随着技术的出现，数字媒体比以往任何时候都变得更加相关和广泛使用，并且在此之后，假冒新闻和推文的流通中有一种复兴，需要立即关注。在本文中，我们描述了一种新的假新闻检测系统，可自动识别新闻项目是“真实的”或“假”，作为我们在英语挑战中的约束Covid-19假新闻检测中的工作的延伸。我们使用了一个由预先训练的模型组成的集合模型，然后是统计特征融合网络，以及通过在新闻项目或推文中的各种属性，如源，用户名处理，URL域和作者中的各种属性结合到统计特征中的各种属性。我们所提出的框架还规定了可靠的预测性不确定性以及分类任务的适当类别输出置信水平。我们在Covid-19假新闻数据集和Fakenewsnet数据集上评估了我们的结果，以显示所提出的算法在短期内容中检测假新闻以及新闻文章中的算法。我们在Covid-19数据集中获得了0.9892的最佳F1分，以及Fakenewsnet数据集的F1分数为0.9073。

在法律文本中预先培训的基于变压器的预训练语言模型（PLM）的出现，法律领域中的自然语言处理受益匪浅。有经过欧洲和美国法律文本的PLM，最著名的是Legalbert。但是，随着印度法律文件的NLP申请量的迅速增加以及印度法律文本的区别特征，也有必要在印度法律文本上预先培训LMS。在这项工作中，我们在大量的印度法律文件中介绍了基于变压器的PLM。我们还将这些PLM应用于印度法律文件的几个基准法律NLP任务，即从事实，法院判决的语义细分和法院判决预测中的法律法规识别。我们的实验证明了这项工作中开发的印度特定PLM的实用性。

Neural language representation models such as BERT pre-trained on large-scale corpora can well capture rich semantic patterns from plain text, and be fine-tuned to consistently improve the performance of various NLP tasks. However, the existing pre-trained language models rarely consider incorporating knowledge graphs (KGs), which can provide rich structured knowledge facts for better language understanding. We argue that informative entities in KGs can enhance language representation with external knowledge. In this paper, we utilize both large-scale textual corpora and KGs to train an enhanced language representation model (ERNIE), which can take full advantage of lexical, syntactic, and knowledge information simultaneously. The experimental results have demonstrated that ERNIE achieves significant improvements on various knowledge-driven tasks, and meanwhile is comparable with the state-of-the-art model BERT on other common NLP tasks. The source code and experiment details of this paper can be obtained from https:// github.com/thunlp/ERNIE.

本文介绍了关于剧透筛选的研究。在这种用例中，我们描述了微调和组织基于文本的模型任务的方法，并具有最新的深度学习成果和技术来解释模型的结果。到目前为止，文献中的剧透研究很少描述。我们在带有带注释的扰流板（ROC AUC以上的TV Tropes Point DataSet上超过81 \％的Roc Auc以上的Roc Auc上超过81 \％）的转移学习方法和不同的最新变压器架构。我们还收集了数据并使用细粒度注释组装了新数据集。为此，我们采用了可解释技术和措施来评估模型的可靠性并解释其结果。

Supervised approaches generally rely on majority-based labels. However, it is hard to achieve high agreement among annotators in subjective tasks such as hate speech detection. Existing neural network models principally regard labels as categorical variables, while ignoring the semantic information in diverse label texts. In this paper, we propose AnnoBERT, a first-of-its-kind architecture integrating annotator characteristics and label text with a transformer-based model to detect hate speech, with unique representations based on each annotator's characteristics via Collaborative Topic Regression (CTR) and integrate label text to enrich textual representations. During training, the model associates annotators with their label choices given a piece of text; during evaluation, when label information is not available, the model predicts the aggregated label given by the participating annotators by utilising the learnt association. The proposed approach displayed an advantage in detecting hate speech, especially in the minority class and edge cases with annotator disagreement. Improvement in the overall performance is the largest when the dataset is more label-imbalanced, suggesting its practical value in identifying real-world hate speech, as the volume of hate speech in-the-wild is extremely small on social media, when compared with normal (non-hate) speech. Through ablation studies, we show the relative contributions of annotator embeddings and label text to the model performance, and tested a range of alternative annotator embeddings and label text combinations.

*内容警告：此工作显示明确和强烈令人反感的语言的示例。 Covid-19大流行引起了抗亚洲仇外心理和偏见的激增。许多人已经向社交媒体表达了这些负面情绪，需要开发可靠的系统来检测仇恨言论，往往是代表性的人口统计。在本文中，我们使用2种实验方法创建和注释推特推文的语料库，以探讨较好的粒度的反亚洲滥用和仇恨言论。使用具有较少偏置注释的数据集，我们部署多种模型，并检查其他相关的语料库的适用性来完成这些多任务分类。除了展示有希望的结果外，我们的实验还提供了对文化和后勤因素的差别，以了解不同人口统计学的讨厌讲话。我们的分析旨在促进对仇恨语音检测领域的理解，特别是对低资源群体。

由于细微偏见，主观性和难以在规模上获得良好质量的数据集，尤其考虑到社会偏见和社会的不断变化本质，检测文本中的社会偏见是挑战。为了解决这些挑战，我们提出了一些基于指令的基于指令的方法，以提示预先接受预先接受的语言模型（LMS）。我们从最接近查询的小型支持存储库中选择一些标签平衡的示例，以便在嵌入空间中标记。然后，我们向LM提供由标记示例的此子集的指令，查询文本被分类，偏差定义，并提示它做出决定。我们证明了几次上下文中使用的大型LMS可以检测不同类型的细粒度偏差，具有与微调模型的相似且有时卓越的精度。我们观察到，与较小模型相比，最大的530B参数模型在检测社会偏差方面明显更有效（与其他模型相比，在AUC度量上实现至少20％）。它还在几张拍摄设置中保持高AUC（掉落小于5％），其中标记的存储库减少到100个样本的少量。因此，大型预制语言模型使得更容易且更快地建立新的偏置探测器。

现在，越来越多的人依靠在线平台来满足其健康信息需求。因此，确定不一致或矛盾的文本健康信息已成为一项关键的任务。健康建议数据提出了一个独特的挑战，在一个诊断的背景下，在另一个诊断的背景下是准确的信息。例如，患有糖尿病和高血压的人通常会在饮食方面得到矛盾的健康建议。这激发了对可以提供上下文化的，特定于用户的健康建议的技术的需求。朝着情境化建议迈出的关键一步是能够比较健康建议陈述并检测它们是否以及如何冲突的能力。这是健康冲突检测（HCD）的任务。鉴于两个健康建议，HCD的目标是检测和分类冲突的类型。这是一项具有挑战性的任务，因为（i）自动识别和分类冲突需要更深入地了解文本的语义，并且（ii）可用数据的数量非常有限。在这项研究中，我们是第一个在预先训练的语言模型的背景下探索HCD的人。我们发现，Deberta-V3在所有实验中的平均F1得分为0.68。我们还研究了不同冲突类型所带来的挑战，以及合成数据如何改善模型对冲突特定语义的理解。最后，我们强调了收集实际健康冲突的困难，并提出了一种人类的合成数据增强方法来扩展现有的HCD数据集。我们的HCD培训数据集比现有的HCD数据集大2倍以上，并在GitHub上公开可用。

在本文中，我们描述了我们参与Case-2022的子任务1，即与休闲新闻语料库的事件因果关系识别。我们通过在少数带注释的示例（即几次配置）上利用一组简单但互补的技术来解决因果关系识别（CRI）任务。我们遵循一种基于迅速的预测方法，用于微调LMS，其中CRI任务被视为掩盖语言建模问题（MLM）。这种方法允许LMS在MLM问题上进行本地预先训练，可以直接生成对CRI特异性提示的文本响应。我们将此方法的性能与在整个数据集中训练的集合技术进行比较。我们表现​​最佳的提交仅接受了每班256个实例，整个数据集的一小部分培训，但能够获得第二好的精度（0.82），第三好的精度（0.82）和F1得分。 （0.85）非常接近获胜者团队（0.86）的报道。

在线评论对客户的购买决策有了重大影响，以满足任何产品或服务。但是，假审查可以误导消费者和公司。已经开发了几种模型来使用机器学习方法检测假审查。许多这些模型具有一些限制，导致在虚假和真正的评论之间具有低准确性。这些模型仅集中在语言特征上，以检测虚假评论，未能捕获评论的语义含义。要解决此问题，本文提出了一种新的集合模型，采用变换器架构，以在一系列虚假评论中发现隐藏的模式并准确地检测它们。该拟议方法结合了三种变压器模型来提高虚假和真正行为分析和建模的鲁棒性，以检测虚假评论。使用半真实基准数据集的实验结果显示了拟议的型号模型的优越性。

对比的学习技术已广泛用于计算机视野中作为增强数据集的手段。在本文中，我们将这些对比学习嵌入的使用扩展到情绪分析任务，并证明了对这些嵌入的微调在基于BERT的嵌入物上的微调方面提供了改进，以在评估时实现更高的基准。在Dynasent DataSet上。我们还探讨了我们的微调模型在跨域基准数据集上执行的。此外，我们探索了ups采样技术，以实现更平衡的班级分发，以进一步改进我们的基准任务。

BERT，ROBERTA或GPT-3等复杂的基于注意力的语言模型的外观已允许在许多场景中解决高度复杂的任务。但是，当应用于特定域时，这些模型会遇到相当大的困难。诸如Twitter之类的社交网络就是这种情况，Twitter是一种不断变化的信息流，以非正式和复杂的语言编写的信息流，鉴于人类的重要作用，每个信息都需要仔细评估，即使人类也需要理解。通过自然语言处理解决该领域的任务涉及严重的挑战。当将强大的最先进的多语言模型应用于这种情况下，特定语言的细微差别用来迷失翻译。为了面对这些挑战，我们提出了\ textbf {bertuit}，这是迄今为止针对西班牙语提出的较大变压器，使用Roberta Optimization进行了230m西班牙推文的大规模数据集进行了预培训。我们的动机是提供一个强大的资源，以更好地了解西班牙Twitter，并用于专注于该社交网络的应用程序，特别强调致力于解决该平台中错误信息传播的解决方案。对Bertuit进行了多个任务评估，并与M-Bert，XLM-Roberta和XLM-T进行了比较，该任务非常具有竞争性的多语言变压器。在这种情况下，使用应用程序显示了我们方法的实用性：一种可视化骗局和分析作者群体传播虚假信息的零击方法。错误的信息在英语以外的其他语言等平台上疯狂地传播，这意味着在英语说话之外转移时，变形金刚的性能可能会受到影响。

仇恨言语分类一直是自然语言处理中的一个长期问题。但是，即使有许多仇恨言论检测方法，它们通常忽略了许多仇恨言论，因为它们在自然界中是隐含的。开发数据集以协助隐性仇恨言语分类的任务伴随着自己的挑战；困难是语言上的细微差别，改变了构成仇恨言论的定义以及劳动密集型的注释过程。这导致了可用于训练和测试此类系统的数据稀缺，当使用基于参数的变压器模型来解决该问题时，这会引起较高的差异问题。在本文中，我们探讨了各种优化和正则化技术，并开发了一种基于罗伯塔的新型模型，可实现最先进的性能。

Laws and their interpretations, legal arguments and agreements\ are typically expressed in writing, leading to the production of vast corpora of legal text. Their analysis, which is at the center of legal practice, becomes increasingly elaborate as these collections grow in size. Natural language understanding (NLU) technologies can be a valuable tool to support legal practitioners in these endeavors. Their usefulness, however, largely depends on whether current state-of-the-art models can generalize across various tasks in the legal domain. To answer this currently open question, we introduce the Legal General Language Understanding Evaluation (LexGLUE) benchmark, a collection of datasets for evaluating model performance across a diverse set of legal NLU tasks in a standardized way. We also provide an evaluation and analysis of several generic and legal-oriented models demonstrating that the latter consistently offer performance improvements across multiple tasks.

软件工程（SE）中的情感分析表明了承诺分析和支持各种发展活动。我们报告了经验研究的结果，以确定我们通过组合独立的SE特定情绪探测器的极性标签来确定开发集合发动机的可行性。我们的研究有两个阶段。在第一阶段，我们通过Lin等人从最近发表的两篇论文中选择了五个特定的情绪检测工具。 [31,32]，谁首先报告了独立的情绪探测器的负面结果，然后提出了改进的SE特异性情绪检测器，POME [31]。我们向第17,581个单位（句子/文件）报告来自六个目前可用情绪基准的17,581个单位（句子/文件）。我们发现现有工具可以在85-95％的情况下互补，即，一个是错误的，但另一个是对的。然而，这些工具的大多数基于投票的集合未能提高情绪检测的准确性。我们通过将极性标签和单词袋作为特征组合来开发Sentisead，一个受监督的工具。 Sentisead将各个工具的性能（F1分数）提高了4％（Over Senti4SD [5]） - 100％（通过Pome [31]）。在第二阶段，我们使用预先培训的变压器模型（PTM）进行比较和改进Sentisead基础架构。我们发现，带Roberta的Sentisead基础架构作为来自Lin等人的五个独立规则和浅学习的SE特定工具的集合。 [31,32]在六个数据集中提供0.805的最佳F1分数，而独立罗伯塔显示F1分数为0.801。