生物重建VII轨道3挑战重点是在Twitter用户时间表中识别药物名称。对于我们提交这一挑战，我们通过使用多种数据增强技术扩展了可用的培训数据。然后，增强数据用于微调在一般域推特内容上预先培训的语言模型的集合。拟议的方法优于先前的最先进的算法Kusuri，并在竞争中排名高，为我们所选择的客观函数重叠F1分数。

在本文中，我们展示了我们参与生物重建VII轨道3的工作 - 在推文中自动提取药物名称，在那里我们实施了一个多任务学习模型，这些模型是在文本分类和序列标记上进行的联合培训的多任务学习模型。我们最好的系统运行达到了80.4的严格F1，比所有参与者的平均分数排名第一，排名超过10点。我们的分析表明，集合技术，多任务学习和数据增强都是有益于推文中的药物检测。

社交媒体帖子包含有关医疗条件和与健康相关行为的潜在有价值的信息。生物重建VII任务3专注于通过识别推文中的药物和膳食补充剂的提及来挖掘这些信息。我们通过精细调整多个BERT样式语言模型来执行此任务以执行令牌级分类，并将它们组合成集合以生成最终预测。我们最好的系统由五个Megatron-Bert-345M型号组成，在看不见的测试数据上实现了0.764的严格F1得分。

本文介绍了我们对SMM4H 2022共享任务的提交，内容涉及自我报告的亲密伴侣暴力在Twitter上（英语）。这项任务的目的是准确确定给定推文的内容是否证明了某人报告自己的亲密伴侣暴力经历。提交的系统是五个罗伯塔模型组成的合奏，每个模型各自在验证数据集上由各自的F1分数加权。该系统的性能比基线要好13％，并且是该共享任务的总体性能最佳系统。

Covid-19已遍布全球，已经开发了几种疫苗来应对其激增。为了确定与社交媒体帖子中与疫苗相关的正确情感，我们在与Covid-19疫苗相关的推文上微调了各种最新的预训练的变压器模型。具体而言，我们使用最近引入的最先进的预训练的变压器模型Roberta，XLNet和Bert，以及在CoVID-19的推文中预先训练的域特异性变压器模型CT-Bert和Bertweet。我们通过使用基于语言模型的过采样技术（LMOTE）过采样来进一步探索文本扩展的选项，以改善这些模型的准确性，特别是对于小样本数据集，在正面，负面和中性情感类别之间存在不平衡的类别分布。我们的结果总结了我们关于用于微调最先进的预训练的变压器模型的不平衡小样本数据集的文本过采样的适用性，以及针对分类任务的域特异性变压器模型的实用性。

在这项工作中，我们介绍了患者生成的含量中第一个用于德国不良药物反应（ADR）检测的语料库。该数据包括来自德国患者论坛的4,169个二进制注释的文档，用户谈论健康问题并从医生那里获得建议。正如该领域的社交媒体数据中常见的那样，语料库的类标签非常不平衡。这一主题不平衡使其成为一个非常具有挑战性的数据集，因为通常相同的症状可能会有几种原因，并且并不总是与药物摄入有关。我们旨在鼓励在ADR检测领域进行进一步的多语性努力，并使用基于多语言模型的零和少数学习方法为二进制分类提供初步实验。当对XLM-Roberta进行微调首先在英语患者论坛数据上，然后在新的德国数据上进行微调时，我们的正面级别的F1得分为37.52。我们使数据集和模型公开可供社区使用。

在过去的十年中，越来越多的用户开始在社交媒体平台，博客和健康论坛上报告不良药物事件（ADE）。鉴于大量报告，药物宣传的重点是使用自然语言处理（NLP）技术快速检查这些大量文本收集的方法，从而提到了与药物相关的不良反应对触发医学调查的提及。但是，尽管对任务和NLP的进步越来越兴趣，但面对语言现象（例如否定和猜测），这些模型的鲁棒性是一个公开的研究问题。否定和猜测是自然语言中普遍存在的现象，可以严重阻碍自动化系统区分文本中事实和非事实陈述的能力。在本文中，我们考虑了在社交媒体文本上进行ADE检测的四个最新系统。我们介绍了Snax，这是一种基准测试，以测试其性能，以对包含被否定和推测的ADE的样品进行样本，显示它们针对这些现象的脆弱性。然后，我们引入了两种可能提高这些模型的鲁棒性的可能策略，表明它们俩都带来了大幅提高性能，从而将模型预测的伪造实体数量降低了60％以否定为否定，而猜测为80％。

通过匿名和可访问性，社交媒体平台促进了仇恨言论的扩散，提示在开发自动方法以识别这些文本时提高研究。本文探讨了使用各种深度神经网络模型架构（如长短期内存（LSTM）和卷积神经网络（CNN）的文本中性别歧视分类。这些网络与来自变压器（BERT）和Distilbert模型的双向编码器表示形式的传输学习一起使用，以及数据增强，以在社交中的性别歧视识别中对推文和GAB的数据集进行二进制和多种性别歧视分类Iberlef 2021中的网络（存在）任务。看到模型与竞争对手的比较，使用BERT和多滤波器CNN模型进行了最佳性能。数据增强进一步提高了多级分类任务的结果。本文还探讨了模型所做的错误，并讨论了由于标签的主观性和社交媒体中使用的自然语言的复杂性而自动对性别歧视的难度。

仇恨语音在线的检测已成为一项重要的任务，因为伤害，淫秽和侮辱性内容等冒犯性语言可能会危害边缘化的人或团体。本文介绍了Indo-European语言中的仇恨语音和冒犯内容识别的共同任务任务1A和1B的任务1A和1B的实验和结果。在整个竞争中，对各种子特派团评估了不同的自然语言处理模型的成功。我们通过竞争对手基于单词和字符级别的复发神经网络测试了不同的模型，并通过竞争对手基于提供的数据集进行了学习方法。在已经用于实验的测试模型中，基于转移学习的模型在两个子任务中获得了最佳结果。

BERT，ROBERTA或GPT-3等复杂的基于注意力的语言模型的外观已允许在许多场景中解决高度复杂的任务。但是，当应用于特定域时，这些模型会遇到相当大的困难。诸如Twitter之类的社交网络就是这种情况，Twitter是一种不断变化的信息流，以非正式和复杂的语言编写的信息流，鉴于人类的重要作用，每个信息都需要仔细评估，即使人类也需要理解。通过自然语言处理解决该领域的任务涉及严重的挑战。当将强大的最先进的多语言模型应用于这种情况下，特定语言的细微差别用来迷失翻译。为了面对这些挑战，我们提出了\ textbf {bertuit}，这是迄今为止针对西班牙语提出的较大变压器，使用Roberta Optimization进行了230m西班牙推文的大规模数据集进行了预培训。我们的动机是提供一个强大的资源，以更好地了解西班牙Twitter，并用于专注于该社交网络的应用程序，特别强调致力于解决该平台中错误信息传播的解决方案。对Bertuit进行了多个任务评估，并与M-Bert，XLM-Roberta和XLM-T进行了比较，该任务非常具有竞争性的多语言变压器。在这种情况下，使用应用程序显示了我们方法的实用性：一种可视化骗局和分析作者群体传播虚假信息的零击方法。错误的信息在英语以外的其他语言等平台上疯狂地传播，这意味着在英语说话之外转移时，变形金刚的性能可能会受到影响。

Automated offensive language detection is essential in combating the spread of hate speech, particularly in social media. This paper describes our work on Offensive Language Identification in low resource Indic language Marathi. The problem is formulated as a text classification task to identify a tweet as offensive or non-offensive. We evaluate different mono-lingual and multi-lingual BERT models on this classification task, focusing on BERT models pre-trained with social media datasets. We compare the performance of MuRIL, MahaTweetBERT, MahaTweetBERT-Hateful, and MahaBERT on the HASOC 2022 test set. We also explore external data augmentation from other existing Marathi hate speech corpus HASOC 2021 and L3Cube-MahaHate. The MahaTweetBERT, a BERT model, pre-trained on Marathi tweets when fine-tuned on the combined dataset (HASOC 2021 + HASOC 2022 + MahaHate), outperforms all models with an F1 score of 98.43 on the HASOC 2022 test set. With this, we also provide a new state-of-the-art result on HASOC 2022 / MOLD v2 test set.

社交媒体的重要性在过去几十年中增加了流畅，因为它帮助人们甚至是世界上最偏远的角落保持联系。随着技术的出现，数字媒体比以往任何时候都变得更加相关和广泛使用，并且在此之后，假冒新闻和推文的流通中有一种复兴，需要立即关注。在本文中，我们描述了一种新的假新闻检测系统，可自动识别新闻项目是“真实的”或“假”，作为我们在英语挑战中的约束Covid-19假新闻检测中的工作的延伸。我们使用了一个由预先训练的模型组成的集合模型，然后是统计特征融合网络，以及通过在新闻项目或推文中的各种属性，如源，用户名处理，URL域和作者中的各种属性结合到统计特征中的各种属性。我们所提出的框架还规定了可靠的预测性不确定性以及分类任务的适当类别输出置信水平。我们在Covid-19假新闻数据集和Fakenewsnet数据集上评估了我们的结果，以显示所提出的算法在短期内容中检测假新闻以及新闻文章中的算法。我们在Covid-19数据集中获得了0.9892的最佳F1分，以及Fakenewsnet数据集的F1分数为0.9073。

Covid-19-Pandemic继续在社交媒体上提出各种讨论或辩论的主题。为了探索大流行对人们生活的影响，了解公众对与大流行有关的实体（例如药物，疫苗）对社交媒体的关注和态度至关重要。但是，对现有命名实体识别（NER）或目标情感分析（TSA）数据集培训的模型具有有限的理解与COVID相关的社交媒体文本的能力有限，因为这些数据集并未从医学角度设计或注释。本文释放了Mets-COV，这是一种包含医疗实体的数据集和与COVID相关的推文中的目标情感。 Mets-COV包含10,000条带有7种实体的推文，包括4种医疗实体类型（疾病，药物，症状和疫苗）和3种通用实体类型（人，位置和组织）。为了进一步调查推文用户对特定实体的态度，选择了4种类型的实体（人，组织，药物和疫苗），并用用户情感注释，从而产生了具有9,101个实体（5,278个推文）的目标情感数据集。据我们所知，METS-COV是第一个收集与COVID相关推文的医疗实体和相应情感的数据集。我们通过广泛的实验对经典机器学习模型和最先进的深度学习模型进行基准测试。结果表明，该数据集在NER和TSA任务方面都有大量改进的空间。 METS-COV是开发更好的医学社交媒体工具并促进计算社会科学研究的重要资源，尤其是在流行病学方面。我们的数据，注释准则，基准模型和源代码公开可用（https://github.com/ylab-open/mets-cov），以确保可重复性。

随着社交媒体平台影响的增长，滥用的影响变得越来越有影响力。自动检测威胁和滥用语言的重要性不能高估。但是，大多数现有的研究和最先进的方法都以英语为目标语言，对低资产品语言的工作有限。在本文中，我们介绍了乌尔都语的两项滥用和威胁性语言检测的任务，该任务在全球范围内拥有超过1.7亿扬声器。两者都被视为二进制分类任务，其中需要参与系统将乌尔都语中的推文分类为两个类别，即：（i）第一个任务的滥用和不滥用，以及（ii）第二次威胁和不威胁。我们提供两个手动注释的数据集，其中包含标有（i）滥用和非虐待的推文，以及（ii）威胁和无威胁。滥用数据集在火车零件中包含2400个注释的推文，测试部分中包含1100个注释的推文。威胁数据集在火车部分中包含6000个注释的推文，测试部分中包含3950个注释的推文。我们还为这两个任务提供了逻辑回归和基于BERT的基线分类器。在这项共同的任务中，来自六个国家的21个团队注册参加了参与（印度，巴基斯坦，中国，马来西亚，阿拉伯联合酋长国和台湾），有10个团队提交了子任务A的奔跑，这是虐待语言检测，9个团队提交了他们的奔跑对于正在威胁语言检测的子任务B，七个团队提交了技术报告。最佳性能系统达到子任务A的F1得分值为0.880，子任务为0.545。对于两个子任务，基于M-Bert的变压器模型都表现出最佳性能。

*内容警告：此工作显示明确和强烈令人反感的语言的示例。 Covid-19大流行引起了抗亚洲仇外心理和偏见的激增。许多人已经向社交媒体表达了这些负面情绪，需要开发可靠的系统来检测仇恨言论，往往是代表性的人口统计。在本文中，我们使用2种实验方法创建和注释推特推文的语料库，以探讨较好的粒度的反亚洲滥用和仇恨言论。使用具有较少偏置注释的数据集，我们部署多种模型，并检查其他相关的语料库的适用性来完成这些多任务分类。除了展示有希望的结果外，我们的实验还提供了对文化和后勤因素的差别，以了解不同人口统计学的讨厌讲话。我们的分析旨在促进对仇恨语音检测领域的理解，特别是对低资源群体。

Migraine is a high-prevalence and disabling neurological disorder. However, information migraine management in real-world settings could be limited to traditional health information sources. In this paper, we (i) verify that there is substantial migraine-related chatter available on social media (Twitter and Reddit), self-reported by migraine sufferers; (ii) develop a platform-independent text classification system for automatically detecting self-reported migraine-related posts, and (iii) conduct analyses of the self-reported posts to assess the utility of social media for studying this problem. We manually annotated 5750 Twitter posts and 302 Reddit posts. Our system achieved an F1 score of 0.90 on Twitter and 0.93 on Reddit. Analysis of information posted by our 'migraine cohort' revealed the presence of a plethora of relevant information about migraine therapies and patient sentiments associated with them. Our study forms the foundation for conducting an in-depth analysis of migraine-related information using social media data.

自动监测不良药物事件（ADES）或反应（ADRS）目前正在从生物医学界获得重大关注。近年来，用户生成的社交媒体数据已成为这项任务的宝贵资源。神经模型对ADR检测的自动文本分类取得了令人印象深刻的性能。然而，对这些方法的培训和评估是对关于目标药物的用户生成的文本进行。在本文中，我们评估了不同药物组的最先进神经结构的鲁棒性。除了手动注释的列车集外，我们还调查了几种使用伪标记的数据的策略。在数据集外部实验中诊断了监督模型的瓶颈在故障性能方面，而额外的伪标记数据无论文本选择策略如何，都会提高整体结果。

电子医疗记录（EMRS）包含对医学研究人员具有巨大潜在价值的临床叙述文本。但是，将该信息与个人身份信息（PII）混合，这会给患者和临床医生机密的风险带来风险。本文介绍了端到端的去除识别框架，以自动从医院排放摘要中删除PII。我们的语料库包括600名医院出院摘要，该摘要是从澳大利亚悉尼的两家主要推荐医院的EMRS中提取的。我们的端到端去识别框架由三个组件组成：1）注释：使用五个预定类别的600家医院放电摘要标记PII：人，地址，出生日期，识别号码，电话号码; 2）建模：培训六个命名实体识别（NER）深度学习基础 - 平衡和不平衡数据集;并评估组合所有六种基础型号的合奏，这三种基础模型，具有最佳的F1分数和三种基础型号，分别使用令牌级多数投票和堆叠方法分别具有最佳的召回分数; 3）去鉴定：从医院排放摘要中移除PII。我们的研究结果表明，使用堆叠支持向量机（SVM）方法在三种基础上使用最佳F1分数的堆栈模型实现了优异的结果，在我们的语料库的测试组上的F1得分为99.16％。我们还评估了2014年I2B2去识别数据集上的建模组件的稳健性。我们在所有六种基础型号上使用令牌级多数投票方法的集合模型，在严格的实体匹配中实现了96.24％的最高F1得分，并且在二进制令牌级匹配中的最高F1得分为98.64％，而二进制符合两个州-Of-最现实的方法。该框架提供了一种强大的解决方案，可以安全地去识别临床叙述文本。

Pre-training large neural language models, such as BERT, has led to impressive gains on many natural language processing (NLP) tasks. Although this method has proven to be effective for many domains, it might not always provide desirable benefits. In this paper, we study the effects of hateful pre-training on low-resource hate speech classification tasks. While previous studies on the English language have emphasized its importance, we aim to augment their observations with some non-obvious insights. We evaluate different variations of tweet-based BERT models pre-trained on hateful, non-hateful, and mixed subsets of a 40M tweet dataset. This evaluation is carried out for the Indian languages Hindi and Marathi. This paper is empirical evidence that hateful pre-training is not the best pre-training option for hate speech detection. We show that pre-training on non-hateful text from the target domain provides similar or better results. Further, we introduce HindTweetBERT and MahaTweetBERT, the first publicly available BERT models pre-trained on Hindi and Marathi tweets, respectively. We show that they provide state-of-the-art performance on hate speech classification tasks. We also release hateful BERT for the two languages and a gold hate speech evaluation benchmark HateEval-Hi and HateEval-Mr consisting of manually labeled 2000 tweets each. The models and data are available at https://github.com/l3cube-pune/MarathiNLP .

As demand for large corpora increases with the size of current state-of-the-art language models, using web data as the main part of the pre-training corpus for these models has become a ubiquitous practice. This, in turn, has introduced an important challenge for NLP practitioners, as they are now confronted with the task of developing highly optimized models and pipelines for pre-processing large quantities of textual data, which implies, effectively classifying and filtering multilingual, heterogeneous and noisy data, at web scale. One of the main components of this pre-processing step for the pre-training corpora of large language models, is the removal of adult and harmful content. In this paper we explore different methods for detecting adult and harmful of content in multilingual heterogeneous web data. We first show how traditional methods in harmful content detection, that seemingly perform quite well in small and specialized datasets quickly break down when confronted with heterogeneous noisy web data. We then resort to using a perplexity based approach but with a twist: Instead of using a so-called "clean" corpus to train a small language model and then use perplexity so select the documents with low perplexity, i.e., the documents that resemble this so-called "clean" corpus the most. We train solely with adult and harmful textual data, and then select the documents having a perplexity value above a given threshold. This approach will virtually cluster our documents into two distinct groups, which will greatly facilitate the choice of the threshold for the perplexity and will also allow us to obtain higher precision than with the traditional classification methods for detecting adult and harmful content.