社交网络数据评估的自动化是自然语言处理的经典挑战之一。在共同199年的大流行期间，关于了解健康命令的态度，公共信息中的采矿人们的立场变得至关重要。在本文中，作者提出了基于变压器体系结构的预测模型，以对Twitter文本中的前提进行分类。这项工作是作为2022年社交媒体挖掘（SMM4H）研讨会的一部分完成的。我们探索了现代变压器的分类器，以便构建管道有效地捕获推文语义。我们在Twitter数据集上的实验表明，在前提预测任务的情况下，罗伯塔（Roberta）优于其他变压器模型。该模型在ROC AUC值0.807方面实现了竞争性能，而F1得分为0.7648。

本文介绍了我们对SMM4H 2022共享任务的提交，内容涉及自我报告的亲密伴侣暴力在Twitter上（英语）。这项任务的目的是准确确定给定推文的内容是否证明了某人报告自己的亲密伴侣暴力经历。提交的系统是五个罗伯塔模型组成的合奏，每个模型各自在验证数据集上由各自的F1分数加权。该系统的性能比基线要好13％，并且是该共享任务的总体性能最佳系统。

由于BERT出现，变压器语言模型和转移学习已成为自然语言理解任务的最先进。最近，一些作品适用于特定领域的预训练，专制模型，例如科学论文，医疗文件等。在这项工作中，我们呈现RoberTuito，用于西班牙语中的用户生成内容的预先训练的语言模型。我们在西班牙语中培训了罗伯特托5亿推文。关于涉及用户生成文本的4个任务的基准测试显示，罗伯特托多于西班牙语的其他预先接受的语言模型。为了帮助进一步研究，我们将罗伯特多公开可在HuggingFace Model Hub上提供。

本文介绍了AILAB-UDINE团队为SMM4H 22共享任务开发的模型。我们探索了基于变压器的模型在文本分类，实体提取和实体归一化，解决任务1、2、5、6和10的极限。使用集合学习时的不同体系结构，以及生成模型的巨大潜力，以实现术语归一化。

This paper presents our solutions for the MediaEval 2022 task on DisasterMM. The task is composed of two subtasks, namely (i) Relevance Classification of Twitter Posts (RCTP), and (ii) Location Extraction from Twitter Texts (LETT). The RCTP subtask aims at differentiating flood-related and non-relevant social posts while LETT is a Named Entity Recognition (NER) task and aims at the extraction of location information from the text. For RCTP, we proposed four different solutions based on BERT, RoBERTa, Distil BERT, and ALBERT obtaining an F1-score of 0.7934, 0.7970, 0.7613, and 0.7924, respectively. For LETT, we used three models namely BERT, RoBERTa, and Distil BERTA obtaining an F1-score of 0.6256, 0.6744, and 0.6723, respectively.

Covid-19已遍布全球，已经开发了几种疫苗来应对其激增。为了确定与社交媒体帖子中与疫苗相关的正确情感，我们在与Covid-19疫苗相关的推文上微调了各种最新的预训练的变压器模型。具体而言，我们使用最近引入的最先进的预训练的变压器模型Roberta，XLNet和Bert，以及在CoVID-19的推文中预先训练的域特异性变压器模型CT-Bert和Bertweet。我们通过使用基于语言模型的过采样技术（LMOTE）过采样来进一步探索文本扩展的选项，以改善这些模型的准确性，特别是对于小样本数据集，在正面，负面和中性情感类别之间存在不平衡的类别分布。我们的结果总结了我们关于用于微调最先进的预训练的变压器模型的不平衡小样本数据集的文本过采样的适用性，以及针对分类任务的域特异性变压器模型的实用性。

Automated offensive language detection is essential in combating the spread of hate speech, particularly in social media. This paper describes our work on Offensive Language Identification in low resource Indic language Marathi. The problem is formulated as a text classification task to identify a tweet as offensive or non-offensive. We evaluate different mono-lingual and multi-lingual BERT models on this classification task, focusing on BERT models pre-trained with social media datasets. We compare the performance of MuRIL, MahaTweetBERT, MahaTweetBERT-Hateful, and MahaBERT on the HASOC 2022 test set. We also explore external data augmentation from other existing Marathi hate speech corpus HASOC 2021 and L3Cube-MahaHate. The MahaTweetBERT, a BERT model, pre-trained on Marathi tweets when fine-tuned on the combined dataset (HASOC 2021 + HASOC 2022 + MahaHate), outperforms all models with an F1 score of 98.43 on the HASOC 2022 test set. With this, we also provide a new state-of-the-art result on HASOC 2022 / MOLD v2 test set.

社交媒体帖子包含有关医疗条件和与健康相关行为的潜在有价值的信息。生物重建VII任务3专注于通过识别推文中的药物和膳食补充剂的提及来挖掘这些信息。我们通过精细调整多个BERT样式语言模型来执行此任务以执行令牌级分类，并将它们组合成集合以生成最终预测。我们最好的系统由五个Megatron-Bert-345M型号组成，在看不见的测试数据上实现了0.764的严格F1得分。

在大量人员中，在线社交媒体（OSMS）消费的广泛上升构成了遏制这些平台上仇恨内容的传播的关键问题。随着多种语言的效果越来越多，检测和表征仇恨的任务变得更加复杂。代码混合文本的微妙变化以及切换脚本仅增加了复杂性。本文介绍了哈索克2021多语种推特仇恨语音检测挑战的解决方案，由Team Precog IIIT Hyderabad。我们采用基于多语言变压器的方法，并为所有6个子任务描述了我们的架构作为挑战的一部分。在参加所有子特设券的6支球队中，我们的提交总体排名第3。

通过匿名和可访问性，社交媒体平台促进了仇恨言论的扩散，提示在开发自动方法以识别这些文本时提高研究。本文探讨了使用各种深度神经网络模型架构（如长短期内存（LSTM）和卷积神经网络（CNN）的文本中性别歧视分类。这些网络与来自变压器（BERT）和Distilbert模型的双向编码器表示形式的传输学习一起使用，以及数据增强，以在社交中的性别歧视识别中对推文和GAB的数据集进行二进制和多种性别歧视分类Iberlef 2021中的网络（存在）任务。看到模型与竞争对手的比较，使用BERT和多滤波器CNN模型进行了最佳性能。数据增强进一步提高了多级分类任务的结果。本文还探讨了模型所做的错误，并讨论了由于标签的主观性和社交媒体中使用的自然语言的复杂性而自动对性别歧视的难度。

仇恨语音在线的检测已成为一项重要的任务，因为伤害，淫秽和侮辱性内容等冒犯性语言可能会危害边缘化的人或团体。本文介绍了Indo-European语言中的仇恨语音和冒犯内容识别的共同任务任务1A和1B的任务1A和1B的实验和结果。在整个竞争中，对各种子特派团评估了不同的自然语言处理模型的成功。我们通过竞争对手基于单词和字符级别的复发神经网络测试了不同的模型，并通过竞争对手基于提供的数据集进行了学习方法。在已经用于实验的测试模型中，基于转移学习的模型在两个子任务中获得了最佳结果。

在Twitter数据中表达的情绪的自动识别具有广泛的应用。我们通过将中性类添加到一个由四种情绪组成的基准数据集中添加中性类来创建一个均衡的数据集：恐惧，悲伤，喜悦和愤怒。在此扩展数据集上，我们研究了来自变压器（BERT）的支持向量机（SVM）和双向编码器表示情感识别的使用。我们通过组合两个BERT和SVM模型来提出一种新颖的合奏模型。实验表明，所提出的模型在推文中的情绪识别方面达到了0.91的最新精度。

在本文中，我们展示了我们参与生物重建VII轨道3的工作 - 在推文中自动提取药物名称，在那里我们实施了一个多任务学习模型，这些模型是在文本分类和序列标记上进行的联合培训的多任务学习模型。我们最好的系统运行达到了80.4的严格F1，比所有参与者的平均分数排名第一，排名超过10点。我们的分析表明，集合技术，多任务学习和数据增强都是有益于推文中的药物检测。

Following the outbreak of a global pandemic, online content is filled with hate speech. Donald Trump's ''Chinese Virus'' tweet shifted the blame for the spread of the Covid-19 virus to China and the Chinese people, which triggered a new round of anti-China hate both online and offline. This research intends to examine China-related hate speech on Twitter during the two years following the burst of the pandemic (2020 and 2021). Through Twitter's API, in total 2,172,333 tweets hashtagged #china posted during the time were collected. By employing multiple state-of-the-art pretrained language models for hate speech detection, we identify a wide range of hate of various types, resulting in an automatically labeled anti-China hate speech dataset. We identify a hateful rate in #china tweets of 2.5% in 2020 and 1.9% in 2021. This is well above the average rate of online hate speech on Twitter at 0.6% identified in Gao et al., 2017. We further analyzed the longitudinal development of #china tweets and those identified as hateful in 2020 and 2021 through visualizing the daily number and hate rate over the two years. Our keyword analysis of hate speech in #china tweets reveals the most frequently mentioned terms in the hateful #china tweets, which can be used for further social science studies.

随着社交媒体平台影响的增长，滥用的影响变得越来越有影响力。自动检测威胁和滥用语言的重要性不能高估。但是，大多数现有的研究和最先进的方法都以英语为目标语言，对低资产品语言的工作有限。在本文中，我们介绍了乌尔都语的两项滥用和威胁性语言检测的任务，该任务在全球范围内拥有超过1.7亿扬声器。两者都被视为二进制分类任务，其中需要参与系统将乌尔都语中的推文分类为两个类别，即：（i）第一个任务的滥用和不滥用，以及（ii）第二次威胁和不威胁。我们提供两个手动注释的数据集，其中包含标有（i）滥用和非虐待的推文，以及（ii）威胁和无威胁。滥用数据集在火车零件中包含2400个注释的推文，测试部分中包含1100个注释的推文。威胁数据集在火车部分中包含6000个注释的推文，测试部分中包含3950个注释的推文。我们还为这两个任务提供了逻辑回归和基于BERT的基线分类器。在这项共同的任务中，来自六个国家的21个团队注册参加了参与（印度，巴基斯坦，中国，马来西亚，阿拉伯联合酋长国和台湾），有10个团队提交了子任务A的奔跑，这是虐待语言检测，9个团队提交了他们的奔跑对于正在威胁语言检测的子任务B，七个团队提交了技术报告。最佳性能系统达到子任务A的F1得分值为0.880，子任务为0.545。对于两个子任务，基于M-Bert的变压器模型都表现出最佳性能。

在本文中，我们介绍了TweetNLP，这是社交媒体中自然语言处理（NLP）的集成平台。TweetNLP支持一套多样化的NLP任务，包括诸如情感分析和命名实体识别的通用重点领域，以及社交媒体特定的任务，例如表情符号预测和进攻性语言识别。特定于任务的系统由专门用于社交媒体文本的合理大小的基于变压器的语言模型（尤其是Twitter）提供动力，无需专用硬件或云服务即可运行。TweetNLP的主要贡献是：（1）使用适合社会领域的各种特定于任务的模型，用于支持社交媒体分析的现代工具包的集成python库；（2）使用我们的模型进行无编码实验的交互式在线演示；（3）涵盖各种典型社交媒体应用的教程。

自动监测不良药物事件（ADES）或反应（ADRS）目前正在从生物医学界获得重大关注。近年来，用户生成的社交媒体数据已成为这项任务的宝贵资源。神经模型对ADR检测的自动文本分类取得了令人印象深刻的性能。然而，对这些方法的培训和评估是对关于目标药物的用户生成的文本进行。在本文中，我们评估了不同药物组的最先进神经结构的鲁棒性。除了手动注释的列车集外，我们还调查了几种使用伪标记的数据的策略。在数据集外部实验中诊断了监督模型的瓶颈在故障性能方面，而额外的伪标记数据无论文本选择策略如何，都会提高整体结果。

BERT，ROBERTA或GPT-3等复杂的基于注意力的语言模型的外观已允许在许多场景中解决高度复杂的任务。但是，当应用于特定域时，这些模型会遇到相当大的困难。诸如Twitter之类的社交网络就是这种情况，Twitter是一种不断变化的信息流，以非正式和复杂的语言编写的信息流，鉴于人类的重要作用，每个信息都需要仔细评估，即使人类也需要理解。通过自然语言处理解决该领域的任务涉及严重的挑战。当将强大的最先进的多语言模型应用于这种情况下，特定语言的细微差别用来迷失翻译。为了面对这些挑战，我们提出了\ textbf {bertuit}，这是迄今为止针对西班牙语提出的较大变压器，使用Roberta Optimization进行了230m西班牙推文的大规模数据集进行了预培训。我们的动机是提供一个强大的资源，以更好地了解西班牙Twitter，并用于专注于该社交网络的应用程序，特别强调致力于解决该平台中错误信息传播的解决方案。对Bertuit进行了多个任务评估，并与M-Bert，XLM-Roberta和XLM-T进行了比较，该任务非常具有竞争性的多语言变压器。在这种情况下，使用应用程序显示了我们方法的实用性：一种可视化骗局和分析作者群体传播虚假信息的零击方法。错误的信息在英语以外的其他语言等平台上疯狂地传播，这意味着在英语说话之外转移时，变形金刚的性能可能会受到影响。

我们介绍了Twhin-Bert，这是一种多语言语言模型，该模型在流行的社交网络Twitter上训练了内域数据。Twhin-bert与先前的预训练的语言模型有所不同，因为它不仅接受了基于文本的自学训练，而且还具有基于Twitter异质信息网络（TWHIN）中丰富社交活动的社会目标。我们的模型接受了70亿条推文的培训，涵盖了100多种不同的语言，为简短，嘈杂，用户生成的文本提供了有价值的表示形式。我们对各种多语言社会建议和语义理解任务进行评估，并证明了对既定的预训练的语言模型的大幅改进。我们将自由开放源代码Twhin-Bert和我们为研究社区提供的精心策划标签预测和社会参与基准数据集。

This paper mainly describes the dma submission to the TempoWiC task, which achieves a macro-F1 score of 77.05% and attains the first place in this task. We first explore the impact of different pre-trained language models. Then we adopt data cleaning, data augmentation, and adversarial training strategies to enhance the model generalization and robustness. For further improvement, we integrate POS information and word semantic representation using a Mixture-of-Experts (MoE) approach. The experimental results show that MoE can overcome the feature overuse issue and combine the context, POS, and word semantic features well. Additionally, we use a model ensemble method for the final prediction, which has been proven effective by many research works.