Sarcasm is a form of irony that involves saying or writing something that is opposite or opposite to what one really means, often in a humorous or mocking way. It is often used to mock or mock someone or something, or to be humorous or amusing. Sarcasm is usually conveyed through tone of voice, facial expressions, or other forms of nonverbal communication, but it can also be indicated by the use of certain words or phrases that are typically associated with irony or humor. Sarcasm detection is difficult because it relies on context and non-verbal cues. It can also be culturally specific, subjective and ambiguous. In this work, we fine-tune the RoBERTa based sarcasm detection model presented in Abaskohi et al. [2022] to get to within 0.02 F1 of the state-of-the-art (Hercog et al. [2022]) on the iSarcasm dataset (Oprea and Magdy [2019]). This performance is achieved by augmenting iSarcasm with a pruned version of the Self Annotated Reddit Corpus (SARC) (Khodak et al. [2017]). Our pruned version is 100 times smaller than the subset of SARC used to train the state-of-the-art model.

注释滥用语言很昂贵，在逻辑上复杂，并造成了心理伤害的风险。但是，大多数机器学习研究都优先提高有效性（即F1或精度得分），而不是数据效率（即，最小化注释的数据量）。在本文中，我们在两个数据集上使用模拟实验，以不同比例的滥用，以证明基于变形金刚的主动学习是一种有前途的方法，可以实质上提高效率，同时仍然保持高效，尤其是当虐待内容是数据集中较小比例的情况下。这种方法需要大量的标记数据，以达到与完整数据集培训相等的性能。

Covid-19已遍布全球，已经开发了几种疫苗来应对其激增。为了确定与社交媒体帖子中与疫苗相关的正确情感，我们在与Covid-19疫苗相关的推文上微调了各种最新的预训练的变压器模型。具体而言，我们使用最近引入的最先进的预训练的变压器模型Roberta，XLNet和Bert，以及在CoVID-19的推文中预先训练的域特异性变压器模型CT-Bert和Bertweet。我们通过使用基于语言模型的过采样技术（LMOTE）过采样来进一步探索文本扩展的选项，以改善这些模型的准确性，特别是对于小样本数据集，在正面，负面和中性情感类别之间存在不平衡的类别分布。我们的结果总结了我们关于用于微调最先进的预训练的变压器模型的不平衡小样本数据集的文本过采样的适用性，以及针对分类任务的域特异性变压器模型的实用性。

讽刺是指使用单词嘲笑，刺激或娱乐某人的术语。它通常在社交媒体上使用。讽刺的隐喻性和创造性为基于情感计算的情感分析系统带来了重大困难。本文介绍了我们团队UTNLP在Semeval-2022共享任务6中的方法和结果。我们将不同的模型和数据增强方法放在测试中，并报告哪种最佳作用。测试始于传统的机器学习模型和基于变压器和基于注意力的模型的进展。我们基于数据突变和数据生成采用了数据增强。使用Roberta和基于突变的数据增强，我们的最佳方法在竞争评估阶段达到了0.38的F1毛囊。竞争结束后，我们修复了模型的缺陷，并达到了0.414的F1-Sarcastic。

生物重建VII轨道3挑战重点是在Twitter用户时间表中识别药物名称。对于我们提交这一挑战，我们通过使用多种数据增强技术扩展了可用的培训数据。然后，增强数据用于微调在一般域推特内容上预先培训的语言模型的集合。拟议的方法优于先前的最先进的算法Kusuri，并在竞争中排名高，为我们所选择的客观函数重叠F1分数。

对比的学习技术已广泛用于计算机视野中作为增强数据集的手段。在本文中，我们将这些对比学习嵌入的使用扩展到情绪分析任务，并证明了对这些嵌入的微调在基于BERT的嵌入物上的微调方面提供了改进，以在评估时实现更高的基准。在Dynasent DataSet上。我们还探讨了我们的微调模型在跨域基准数据集上执行的。此外，我们探索了ups采样技术，以实现更平衡的班级分发，以进一步改进我们的基准任务。

我们从任务特定的BERT基教师模型执行知识蒸馏（KD）基准到各种学生模型：Bilstm，CNN，Bert-Tiny，Bert-Mini和Bert-small。我们的实验涉及在两个任务中分组的12个数据集：印度尼西亚语言中的文本分类和序列标记。我们还比较蒸馏的各个方面，包括使用Word Embeddings和未标记的数据增强的使用。我们的实验表明，尽管基于变压器的模型的普及程度不断上升，但是使用Bilstm和CNN学生模型，与修剪的BERT模型相比，使用Bilstm和CNN学生模型提供了性能和计算资源（CPU，RAM和存储）之间的最佳权衡。我们进一步提出了一些快速胜利，通过涉及涉及丢失功能，Word Embeddings和未标记的数据准备的简单选择的高效KD培训机制来生产小型NLP模型。

在这项工作中，我们介绍了患者生成的含量中第一个用于德国不良药物反应（ADR）检测的语料库。该数据包括来自德国患者论坛的4,169个二进制注释的文档，用户谈论健康问题并从医生那里获得建议。正如该领域的社交媒体数据中常见的那样，语料库的类标签非常不平衡。这一主题不平衡使其成为一个非常具有挑战性的数据集，因为通常相同的症状可能会有几种原因，并且并不总是与药物摄入有关。我们旨在鼓励在ADR检测领域进行进一步的多语性努力，并使用基于多语言模型的零和少数学习方法为二进制分类提供初步实验。当对XLM-Roberta进行微调首先在英语患者论坛数据上，然后在新的德国数据上进行微调时，我们的正面级别的F1得分为37.52。我们使数据集和模型公开可供社区使用。

Data Augmentation (DA) is frequently used to automatically provide additional training data without extra human annotation. However, data augmentation may introduce noisy data that impairs training. To guarantee the quality of augmented data, existing methods either assume no noise exists in the augmented data and adopt consistency training or use simple heuristics such as training loss and diversity constraints to filter out ``noisy'' data. However, those filtered examples may still contain useful information, and dropping them completely causes loss of supervision signals. In this paper, based on the assumption that the original dataset is cleaner than the augmented data, we propose an on-the-fly denoising technique for data augmentation that learns from soft augmented labels provided by an organic teacher model trained on the cleaner original data. A simple self-regularization module is applied to force the model prediction to be consistent across two distinct dropouts to further prevent overfitting on noisy labels. Our method can be applied to augmentation techniques in general and can consistently improve the performance on both text classification and question-answering tasks.

了解用户对话中的毒性无疑是一个重要问题。正如在以前的工作中所说的那样，解决“隐秘”或隐含毒性案件特别困难，需要上下文。以前很少有研究已经分析了会话语境在人类感知或自动检测模型中的影响。我们深入探讨这两个方向。我们首先分析现有的上下文数据集，并得出结论，人类的毒性标记一般受到对话结构，极性和主题的影响。然后，我们建议通过引入（a）神经架构来将这些发现带入计算检测模型中，以了解会话结构的语境毒性检测，以及（b）可以帮助模拟语境毒性检测的数据增强策略。我们的结果表明了了解谈话结构的神经架构的令人鼓舞的潜力。我们还表明，这些模型可以从合成数据中受益，尤其是在社交媒体领域。

由于BERT出现，变压器语言模型和转移学习已成为自然语言理解任务的最先进。最近，一些作品适用于特定领域的预训练，专制模型，例如科学论文，医疗文件等。在这项工作中，我们呈现RoberTuito，用于西班牙语中的用户生成内容的预先训练的语言模型。我们在西班牙语中培训了罗伯特托5亿推文。关于涉及用户生成文本的4个任务的基准测试显示，罗伯特托多于西班牙语的其他预先接受的语言模型。为了帮助进一步研究，我们将罗伯特多公开可在HuggingFace Model Hub上提供。

本文介绍了我们对SMM4H 2022共享任务的提交，内容涉及自我报告的亲密伴侣暴力在Twitter上（英语）。这项任务的目的是准确确定给定推文的内容是否证明了某人报告自己的亲密伴侣暴力经历。提交的系统是五个罗伯塔模型组成的合奏，每个模型各自在验证数据集上由各自的F1分数加权。该系统的性能比基线要好13％，并且是该共享任务的总体性能最佳系统。

Facebook和Twitter等社交媒体平台上的在线形象已成为互联网用户的日常习惯。尽管平台为用户提供了大量服务，但用户仍遭受网络欺凌的困扰，这进一步导致了精神虐待，并可能升级以对个人或目标群体造成身体伤害。在本文中，我们使用相关的阿拉伯语Twitter数据集将其提交给阿拉伯仇恨言论2022共享任务研讨会（OSACT5 2022）。共享任务由3个子任务组成，子任务A的重点是检测该推文是否令人反感。然后，对于进攻性推文，子任务B专注于检测该推文是否是仇恨言论。最后，对于仇恨言论推文，子任务C的重点是检测六个不同类别中的细粒度仇恨言论。变压器模型证明了它们在分类任务方面的效率，但是在小型或不平衡数据集中进行微调时的合适问题。我们通过研究多个培训范式（例如对比学习和多任务学习以及分类微调）以及我们前5名表演者的合奏来克服这一限制。我们提出的解决方案分别在子任务A，B和C中分别实现了0.841、0.817和0.476宏F1平均。

Distantly-Supervised Named Entity Recognition (DS-NER) effectively alleviates the data scarcity problem in NER by automatically generating training samples. Unfortunately, the distant supervision may induce noisy labels, thus undermining the robustness of the learned models and restricting the practical application. To relieve this problem, recent works adopt self-training teacher-student frameworks to gradually refine the training labels and improve the generalization ability of NER models. However, we argue that the performance of the current self-training frameworks for DS-NER is severely underestimated by their plain designs, including both inadequate student learning and coarse-grained teacher updating. Therefore, in this paper, we make the first attempt to alleviate these issues by proposing: (1) adaptive teacher learning comprised of joint training of two teacher-student networks and considering both consistent and inconsistent predictions between two teachers, thus promoting comprehensive student learning. (2) fine-grained student ensemble that updates each fragment of the teacher model with a temporal moving average of the corresponding fragment of the student, which enhances consistent predictions on each model fragment against noise. To verify the effectiveness of our proposed method, we conduct experiments on four DS-NER datasets. The experimental results demonstrate that our method significantly surpasses previous SOTA methods.

BERT，ROBERTA或GPT-3等复杂的基于注意力的语言模型的外观已允许在许多场景中解决高度复杂的任务。但是，当应用于特定域时，这些模型会遇到相当大的困难。诸如Twitter之类的社交网络就是这种情况，Twitter是一种不断变化的信息流，以非正式和复杂的语言编写的信息流，鉴于人类的重要作用，每个信息都需要仔细评估，即使人类也需要理解。通过自然语言处理解决该领域的任务涉及严重的挑战。当将强大的最先进的多语言模型应用于这种情况下，特定语言的细微差别用来迷失翻译。为了面对这些挑战，我们提出了\ textbf {bertuit}，这是迄今为止针对西班牙语提出的较大变压器，使用Roberta Optimization进行了230m西班牙推文的大规模数据集进行了预培训。我们的动机是提供一个强大的资源，以更好地了解西班牙Twitter，并用于专注于该社交网络的应用程序，特别强调致力于解决该平台中错误信息传播的解决方案。对Bertuit进行了多个任务评估，并与M-Bert，XLM-Roberta和XLM-T进行了比较，该任务非常具有竞争性的多语言变压器。在这种情况下，使用应用程序显示了我们方法的实用性：一种可视化骗局和分析作者群体传播虚假信息的零击方法。错误的信息在英语以外的其他语言等平台上疯狂地传播，这意味着在英语说话之外转移时，变形金刚的性能可能会受到影响。

在Twitter数据中表达的情绪的自动识别具有广泛的应用。我们通过将中性类添加到一个由四种情绪组成的基准数据集中添加中性类来创建一个均衡的数据集：恐惧，悲伤，喜悦和愤怒。在此扩展数据集上，我们研究了来自变压器（BERT）的支持向量机（SVM）和双向编码器表示情感识别的使用。我们通过组合两个BERT和SVM模型来提出一种新颖的合奏模型。实验表明，所提出的模型在推文中的情绪识别方面达到了0.91的最新精度。

*内容警告：此工作显示明确和强烈令人反感的语言的示例。 Covid-19大流行引起了抗亚洲仇外心理和偏见的激增。许多人已经向社交媒体表达了这些负面情绪，需要开发可靠的系统来检测仇恨言论，往往是代表性的人口统计。在本文中，我们使用2种实验方法创建和注释推特推文的语料库，以探讨较好的粒度的反亚洲滥用和仇恨言论。使用具有较少偏置注释的数据集，我们部署多种模型，并检查其他相关的语料库的适用性来完成这些多任务分类。除了展示有希望的结果外，我们的实验还提供了对文化和后勤因素的差别，以了解不同人口统计学的讨厌讲话。我们的分析旨在促进对仇恨语音检测领域的理解，特别是对低资源群体。

The paper describes the work that has been submitted to the 5th workshop on Challenges and Applications of Automated Extraction of socio-political events from text (CASE 2022). The work is associated with Subtask 1 of Shared Task 3 that aims to detect causality in protest news corpus. The authors used different large language models with customized cross-entropy loss functions that exploit annotation information. The experiments showed that bert-based-uncased with refined cross-entropy outperformed the others, achieving a F1 score of 0.8501 on the Causal News Corpus dataset.

This paper presents an analysis regarding an influence of the Distance Metric Learning (DML) loss functions on the supervised fine-tuning of the language models for classification tasks. We experimented with known datasets from SentEval Transfer Tasks. Our experiments show that applying the DML loss function can increase performance on downstream classification tasks of RoBERTa-large models in few-shot scenarios. Models fine-tuned with the use of SoftTriple loss can achieve better results than models with a standard categorical cross-entropy loss function by about 2.89 percentage points from 0.04 to 13.48 percentage points depending on the training dataset. Additionally, we accomplished a comprehensive analysis with explainability techniques to assess the models' reliability and explain their results.

广泛观察到的神经缩放定律，其中错误是训练集大小，模型大小或两者兼而有之的误差，从而促进了深度学习的实质性改进。但是，仅通过缩放来进行这些改进就需要计算和能源成本相当大。在这里，我们专注于数据集大小的错误缩放，并展示在理论和实践中如何超越幂律的扩展，并将其减少到指数缩放，如果我们可以访问高质量的数据修剪指标，以将顺序排名为应该丢弃哪些培训示例以实现任何修剪的数据集大小。然后，我们通过经验修剪的数据集大小来测试这一新的指数缩放预测，并且实际上观察到了在CIFAR-10，SVHN和Imagenet训练的重新NET上的功率定律缩放性能。鉴于找到高质量的修剪指标的重要性，我们对ImageNet上十个不同的数据修剪指标进行了第一个大规模的基准测试研究。我们发现大多数现有的高性能指标尺寸较差，而对于ImageNet来说，最佳尺度是计算密集型的，并且需要为每个图像标签。因此，我们开发了一种新的简单，便宜和可扩展的自我监督的修剪指标，该指标与最佳监督指标相当。总体而言，我们的工作表明，发现良好的数据指标可能会为可行的途径提供可行的途径，从而大大改善神经缩放法律，从而降低现代深度学习的资源成本。