随着人们对精神危机及其社会影响的认识，在许多国家，提供紧急支持的在线服务变得司空见惯。接受寻求帮助者和提供者之间讨论的培训的计算模型可以通过识别高危个人来支持预防自杀。但是，缺乏特定领域的模型，尤其是在低资源语言中，对自动检测自杀风险构成了重大挑战。我们提出了一个模型，该模型将预训练的语言模型（PLM）与固定的一组手动制作（并经过临床批准）的自杀提示相结合，然后进行了两阶段的微调过程。我们的模型达到了0.91 ROC-AUC和0.55的F2分数，甚至在对话的早期就表现出了一系列强大的基线，这对于该领域的实时检测至关重要。此外，该模型在性别和年龄段之间表现良好。

在自然语言处理中，已证明使用预训练的语言模型可以在许多下游任务（例如情感分析，作者识别等）中获得最先进的结果。在这项工作中，我们解决了这些方法从文本中使用的人格分类。着眼于Myers-Briggs（MBTI）人格模型，我们描述了一系列实验，其中众所周知的双向编码器表示来自变形金刚（BERT）模型的模型进行微调以执行MBTI分类。我们的主要发现表明，当前方法在多种评估方案中基于词袋和静态单词嵌入方式大大优于众所周知的文本分类模型，并且通常在该领域的先前工作都优于先前的工作。

讽刺可以被定义为说或写讽刺与一个人真正想表达的相反，通常是为了侮辱，刺激或娱乐某人。由于文本数据中讽刺性的性质晦涩难懂，因此检测到情感分析研究社区的困难和非常感兴趣。尽管讽刺检测的研究跨越了十多年，但最近已经取得了一些重大进步，包括在多模式环境中采用了无监督的预训练的预训练的变压器，并整合了环境以识别讽刺。在这项研究中，我们旨在简要概述英语计算讽刺研究的最新进步和趋势。我们描述了与讽刺有关的相关数据集，方法，趋势，问题，挑战和任务，这些数据集，趋势，问题，挑战和任务是无法检测到的。我们的研究提供了讽刺数据集，讽刺特征及其提取方法以及各种方法的性能分析，这些表可以帮助相关领域的研究人员了解当前的讽刺检测中最新实践。

自杀是主要的公共卫生危机。每年有超过20,000,000多次自杀企图，对自杀意图的早期发现有可能挽救数十万生命。传统的心理健康筛查方法是耗时的，昂贵的，而且弱势群体通常无法获得；使用机器学习对自杀意图的在线检测提供了可行的替代方法。在这里，我们介绍了迄今为止最大的非关键字生成的自杀语料库Robin，包括超过110万个在线论坛发布。除了其前所未有的规模外，罗宾还专门构建了各种自杀文本，例如自杀丧亲和轻率的参考文献，更好地促进了对罗宾进行培训的模型，以学习表达自杀构思的文本细微差别。实验结果通过传统方法（例如逻辑回归（F1 = 0.85））以及大规模的预训练的语言模型（例如BERT）（F1 = 0.92），实现了自杀文本分类的最新性能。 。最后，我们公开发布Robin数据集作为机器学习资源，有可能推动下一代自杀情绪研究。

In recent years, there has been a surge of interest in research on automatic mental health detection (MHD) from social media data leveraging advances in natural language processing and machine learning techniques. While significant progress has been achieved in this interdisciplinary research area, the vast majority of work has treated MHD as a binary classification task. The multiclass classification setup is, however, essential if we are to uncover the subtle differences among the statistical patterns of language use associated with particular mental health conditions. Here, we report on experiments aimed at predicting six conditions (anxiety, attention deficit hyperactivity disorder, bipolar disorder, post-traumatic stress disorder, depression, and psychological stress) from Reddit social media posts. We explore and compare the performance of hybrid and ensemble models leveraging transformer-based architectures (BERT and RoBERTa) and BiLSTM neural networks trained on within-text distributions of a diverse set of linguistic features. This set encompasses measures of syntactic complexity, lexical sophistication and diversity, readability, and register-specific ngram frequencies, as well as sentiment and emotion lexicons. In addition, we conduct feature ablation experiments to investigate which types of features are most indicative of particular mental health conditions.

在网络和社交媒体上生成的大量数据增加了检测在线仇恨言论的需求。检测仇恨言论将减少它们对他人的负面影响和影响。在自然语言处理（NLP）域中的许多努力旨在宣传仇恨言论或检测特定的仇恨言论，如宗教，种族，性别或性取向。讨厌的社区倾向于使用缩写，故意拼写错误和他们的沟通中的编码词来逃避检测，增加了讨厌语音检测任务的更多挑战。因此，词表示将在检测仇恨言论中发挥越来越关的作用。本文研究了利用基于双向LSTM的深度模型中嵌入的域特定词语的可行性，以自动检测/分类仇恨语音。此外，我们调查转移学习语言模型（BERT）对仇恨语音问题作为二进制分类任务。实验表明，与双向LSTM基于LSTM的深层模型嵌入的域特异性词嵌入了93％的F1分数，而BERT在可用仇恨语音数据集中的组合平衡数据集上达到了高达96％的F1分数。

已经开发了许多方法，以通过消除社交媒体平台的庸俗，令人反感和激烈的评论来监测现代岁月中的消极性传播。然而，存在相对较少的研究，这些研究会收敛于拥抱积极性，加强在线论坛中的支持性和放心内容。因此，我们建议创建英国kannada希望语音数据集，Kanhope并比较几个实验来基准数据集。 DataSet由6,176个用户生成的评论组成，代码混合kannada从YouTube刮擦并手动注释为轴承希望语音或不希望的演讲。此外，我们介绍了DC-BERT4HOPE，一种使用Kanhope的英语翻译进行额外培训的双通道模型，以促进希望语音检测。该方法实现了0.756的加权F1分数，更好的其他模型。从此，卡霍普旨在促进坎卡达的研究，同时促进研究人员，以鼓励，积极和支持的在线内容中务实的方法。

自2020年初以来，Covid-19-19造成了全球重大影响。这给社会带来了很多困惑，尤其是由于错误信息通过社交媒体传播。尽管已经有几项与在社交媒体数据中发现错误信息有关的研究，但大多数研究都集中在英语数据集上。印度尼西亚的COVID-19错误信息检测的研究仍然很少。因此，通过这项研究，我们收集和注释印尼语的数据集，并通过考虑该推文的相关性来构建用于检测COVID-19错误信息的预测模型。数据集构造是由一组注释者进行的，他们标记了推文数据的相关性和错误信息。在这项研究中，我们使用印度培训预培训的语言模型提出了两阶段分类器模型，以进行推文错误信息检测任务。我们还尝试了其他几种基线模型进行文本分类。实验结果表明，对于相关性预测，BERT序列分类器的组合和用于错误信息检测的BI-LSTM的组合优于其他机器学习模型，精度为87.02％。总体而言，BERT利用率有助于大多数预测模型的更高性能。我们发布了高质量的Covid-19错误信息推文语料库，用高通道一致性表示。

深语模型在NLP域中取得了显着的成功。培养深层语言模型的标准方法是从大型未标记的语料库中雇用无监督的学习。但是，这种大型公司仅适用于广泛采用和高资源语言和域名。本研究提出了第一款深语型号DPRK-BERT为朝鲜语言。我们通过编制朝鲜语言的第一个未标记的语料库和微调预先存在的ROK语言模型来实现这一目标。我们将所提出的模型与现有方法进行比较，并显示两个DPRK数据集的显着改进。我们还提供了这种模型的交叉语言版本，其在两种韩语语言中产生了更好的泛化。最后，我们提供与朝鲜语言相关的各种NLP工具，这些工具将培养未来的研究。

In this work, we introduce IndicXTREME, a benchmark consisting of nine diverse tasks covering 18 languages from the Indic sub-continent belonging to four different families. Across languages and tasks, IndicXTREME contains a total of 103 evaluation sets, of which 51 are new contributions to the literature. To maintain high quality, we only use human annotators to curate or translate\footnote{for IndicXParaphrase, where an automatic translation system is used, a second human verification and correction step is done.} our datasets. To the best of our knowledge, this is the first effort toward creating a standard benchmark for Indic languages that aims to test the zero-shot capabilities of pretrained language models. We also release IndicCorp v2, an updated and much larger version of IndicCorp that contains 20.9 billion tokens in 24 languages. We pretrain IndicBERT v2 on IndicCorp v2 and evaluate it on IndicXTREME to show that it outperforms existing multilingual language models such as XLM-R and MuRIL.

我们介绍了Twhin-Bert，这是一种多语言语言模型，该模型在流行的社交网络Twitter上训练了内域数据。Twhin-bert与先前的预训练的语言模型有所不同，因为它不仅接受了基于文本的自学训练，而且还具有基于Twitter异质信息网络（TWHIN）中丰富社交活动的社会目标。我们的模型接受了70亿条推文的培训，涵盖了100多种不同的语言，为简短，嘈杂，用户生成的文本提供了有价值的表示形式。我们对各种多语言社会建议和语义理解任务进行评估，并证明了对既定的预训练的语言模型的大幅改进。我们将自由开放源代码Twhin-Bert和我们为研究社区提供的精心策划标签预测和社会参与基准数据集。

社交媒体的自杀意图检测是一种不断发展的研究，挑战了巨大的挑战。许多有自杀倾向的人通过社交媒体平台分享他们的思想和意见。作为许多研究的一部分，观察到社交媒体的公开职位包含有价值的标准，以有效地检测有自杀思想的个人。防止自杀的最困难的部分是检测和理解可能导致自杀的复杂风险因素和警告标志。这可以通过自动识别用户行为的突然变化来实现。自然语言处理技术可用于收集社交媒体交互的行为和文本特征，这些功能可以传递给特殊设计的框架，以检测人类交互中的异常，这是自杀意图指标。我们可以使用深度学习和/或基于机器学习的分类方法来实现快速检测自杀式思想。出于这种目的，我们可以采用LSTM和CNN模型的组合来检测来自用户的帖子的这种情绪。为了提高准确性，一些方法可以使用更多数据进行培训，使用注意模型提高现有模型等的效率。本文提出了一种LSTM-Incription-CNN组合模型，用于分析社交媒体提交，以检测任何潜在的自杀意图。在评估期间，所提出的模型的准确性为90.3％，F1分数为92.6％，其大于基线模型。

近年来，我们看到了处理敏感个人信息的应用程序（包括对话系统）的指数增长。这已经揭示了在虚拟环境中有关个人数据保护的极为重要的问题。首先，性能模型应该能够区分敏感内容与中性句子的句子。其次，它应该能够识别其中包含的个人数据类别的类型。这样，可以考虑每个类别的不同隐私处理。在文献中，如果有关于自动敏感数据识别的作品，则通常在没有共同基准的不同域或语言上进行。为了填补这一空白，在这项工作中，我们介绍了SPEDAC，这是一个新的注释基准，用于识别敏感的个人数据类别。此外，我们提供了对数据集的广泛评估，该数据集使用不同的基准和基于Roberta的分类器进行的，这是一种神经体系结构，在检测敏感句子和个人数据类别的分类方面实现了强大的性能。

在文本分类模型由于数据变化而随着时间的变化而下降的情况下，其持续时间持续时间的模型的开发很重要。预测模型随着时间的推移能力的能力可以帮助设计模型，这些模型可以在更长的时间内有效使用。在本文中，我们通过评估各种语言模型和分类算法随着时间的推移持续存在的能力，以及数据集特性如何帮助预测不同模型的时间稳定性，从而研究了这个问题。我们在跨越6到19年的三个数据集上执行纵向分类实验，并涉及各种任务和类型的数据。我们发现，人们可以根据（i）模型在限制时间段内的性能及其外推到更长的时间段，以及（ii）数据集的语言特征，以及（ii）数据集的语言特征，如何估算模型如何在时间上保持其性能。例如不同年份的子集之间的熟悉程度。这些实验的发现对文本分类模型的设计具有重要意义，目的是保留随着时间的推移性能。

对于政治和社会科学以及语言学和自然语言处理（NLP），它们都很有趣。退出研究涵盖了各个议会内的讨论。相比之下，我们将高级NLP方法应用于2017年至2020年之间的六个国家议会（保加利亚，捷克语，法语，斯洛文尼亚，西班牙语和英国）的联合和比较分析，其笔录是Parlamint数据集收集的一部分。使用统一的方法，我们分析了讨论，情感和情感的主题。我们评估说话者的年龄，性别和政治取向是否可以从演讲中检测到。结果表明，分析国家之间的一些共同点和许多令人惊讶的差异。

随着社交媒体平台影响的增长，滥用的影响变得越来越有影响力。自动检测威胁和滥用语言的重要性不能高估。但是，大多数现有的研究和最先进的方法都以英语为目标语言，对低资产品语言的工作有限。在本文中，我们介绍了乌尔都语的两项滥用和威胁性语言检测的任务，该任务在全球范围内拥有超过1.7亿扬声器。两者都被视为二进制分类任务，其中需要参与系统将乌尔都语中的推文分类为两个类别，即：（i）第一个任务的滥用和不滥用，以及（ii）第二次威胁和不威胁。我们提供两个手动注释的数据集，其中包含标有（i）滥用和非虐待的推文，以及（ii）威胁和无威胁。滥用数据集在火车零件中包含2400个注释的推文，测试部分中包含1100个注释的推文。威胁数据集在火车部分中包含6000个注释的推文，测试部分中包含3950个注释的推文。我们还为这两个任务提供了逻辑回归和基于BERT的基线分类器。在这项共同的任务中，来自六个国家的21个团队注册参加了参与（印度，巴基斯坦，中国，马来西亚，阿拉伯联合酋长国和台湾），有10个团队提交了子任务A的奔跑，这是虐待语言检测，9个团队提交了他们的奔跑对于正在威胁语言检测的子任务B，七个团队提交了技术报告。最佳性能系统达到子任务A的F1得分值为0.880，子任务为0.545。对于两个子任务，基于M-Bert的变压器模型都表现出最佳性能。

现在，越来越多的人依靠在线平台来满足其健康信息需求。因此，确定不一致或矛盾的文本健康信息已成为一项关键的任务。健康建议数据提出了一个独特的挑战，在一个诊断的背景下，在另一个诊断的背景下是准确的信息。例如，患有糖尿病和高血压的人通常会在饮食方面得到矛盾的健康建议。这激发了对可以提供上下文化的，特定于用户的健康建议的技术的需求。朝着情境化建议迈出的关键一步是能够比较健康建议陈述并检测它们是否以及如何冲突的能力。这是健康冲突检测（HCD）的任务。鉴于两个健康建议，HCD的目标是检测和分类冲突的类型。这是一项具有挑战性的任务，因为（i）自动识别和分类冲突需要更深入地了解文本的语义，并且（ii）可用数据的数量非常有限。在这项研究中，我们是第一个在预先训练的语言模型的背景下探索HCD的人。我们发现，Deberta-V3在所有实验中的平均F1得分为0.68。我们还研究了不同冲突类型所带来的挑战，以及合成数据如何改善模型对冲突特定语义的理解。最后，我们强调了收集实际健康冲突的困难，并提出了一种人类的合成数据增强方法来扩展现有的HCD数据集。我们的HCD培训数据集比现有的HCD数据集大2倍以上，并在GitHub上公开可用。

对于自然语言处理应用可能是有问题的，因为它们的含义不能从其构成词语推断出来。缺乏成功的方法方法和足够大的数据集防止了用于检测成语的机器学习方法的开发，特别是对于在训练集中不发生的表达式。我们提出了一种叫做小鼠的方法，它使用上下文嵌入来实现此目的。我们展示了一个新的多字表达式数据集，具有文字和惯用含义，并使用它根据两个最先进的上下文单词嵌入式培训分类器：Elmo和Bert。我们表明，使用两个嵌入式的深度神经网络比现有方法更好地执行，并且能够检测惯用词使用，即使对于训练集中不存在的表达式。我们展示了开发模型的交叉传输，并分析了所需数据集的大小。

语言可以用作再现和执行有害刻板印象和偏差的手段，并被分析在许多研究中。在本文中，我们对自然语言处理中的性别偏见进行了304篇论文。我们分析了社会科学中性别及其类别的定义，并将其连接到NLP研究中性别偏见的正式定义。我们调查了在对性别偏见的研究中应用的Lexica和数据集，然后比较和对比方法来检测和减轻性别偏见。我们发现对性别偏见的研究遭受了四个核心限制。 1）大多数研究将性别视为忽视其流动性和连续性的二元变量。 2）大部分工作都在单机设置中进行英语或其他高资源语言进行。 3）尽管在NLP方法中对性别偏见进行了无数的论文，但我们发现大多数新开发的算法都没有测试他们的偏见模型，并无视他们的工作的伦理考虑。 4）最后，在这一研究线上发展的方法基本缺陷涵盖性别偏差的非常有限的定义，缺乏评估基线和管道。我们建议建议克服这些限制作为未来研究的指导。

在线用户的精神障碍使用社交媒体帖子确定。该域名的主要挑战是利用在社交媒体平台上使用用户生成文本的道德许可。学术RE搜索者确定了心理健康分类的不足和未标记数据的问题。要处理此问题，我们已经研究了数据增强技术对域特定用户生成的心理健康分类文本的影响。在现有的良好建立的数据增强技术中，我们已经识别了简单的数据增强（EDA），条件BERT和后退转换（BT）作为生成额外文本以提高分类器性能的潜在技术。此外，采用了三种不同分类器随机林（RF），支持向量机（SVM）和逻辑回归（LR）来分析数据增强对两个公共可用的社交媒体数据集的影响。实验心理结果显示在增强数据上培训时对分类器性能的显着改进。