The COVID-19 pandemic has caused drastic alternations in human life in all aspects. The government's laws in this regard affected the lifestyle of all people. Due to this fact studying the sentiment of individuals is essential to be aware of the future impacts of the coming pandemics. To contribute to this aim, we proposed an NLP (Natural Language Processing) model to analyze open-text answers in a survey in Persian and detect positive and negative feelings of the people in Iran. In this study, a distilBert transformer model was applied to take on this task. We deployed three approaches to perform the comparison, and our best model could gain accuracy: 0.824, Precision: 0.824, Recall: 0.798, and F1 score: 0.804.

全球世界正在穿越大流行形势，这是一个灾难性的呼吸综合征爆发被认为是Covid-19。这是212个国家的全球威胁，即人们每天都会遇到强大的情况。相反，成千上万的受感染的人居住丰富的山脉。心理健康也受到全球冠状病毒情况的影响。由于这种情况，在线消息来源使普通人在任何议程中分享他们的意见。如受影响的新闻相关的积极和消极，财务问题，国家和家庭危机，缺乏进出口盈利系统等。不同的情况是最近在任何地方的时尚新闻。因此，在瞬间内产生了大量的文本，在次大陆领域，与其他国家的情况相同，以及文本的人民意见和情况也是相同的，但语言是不同的。本文提出了一些具体的投入以及来自个别来源的孟加拉文本评论，可以确保插图的目标，即机器学习结果能够建立辅助系统。意见挖掘辅助系统可能以可能的所有语言偏好有影响。据我们所知，文章预测了Covid-19问题上的Bangla输入文本，提出了ML算法和深度学习模型分析还通过比较分析检查未来可达性。比较分析规定了关于文本预测精度的报告与ML算法和79％以及深度学习模型以及79％的报告。

问题答案（QA）是自然语言处理中最具挑战性的最具挑战性的问题之一（NLP）。问答（QA）系统试图为给定问题产生答案。这些答案可以从非结构化或结构化文本生成。因此，QA被认为是可以用于评估文本了解系统的重要研究区域。大量的QA研究致力于英语语言，调查最先进的技术和实现最先进的结果。然而，由于阿拉伯QA中的研究努力和缺乏大型基准数据集，在阿拉伯语问答进展中的研究努力得到了很大速度的速度。最近许多预先接受的语言模型在许多阿拉伯语NLP问题中提供了高性能。在这项工作中，我们使用四个阅读理解数据集来评估阿拉伯QA的最先进的接种变压器模型，它是阿拉伯语 - 队，ArcD，AQAD和TYDIQA-GoldP数据集。我们微调并比较了Arabertv2基础模型，ArabertV0.2大型型号和ARAElectra模型的性能。在最后，我们提供了一个分析，了解和解释某些型号获得的低绩效结果。

Covid-19已遍布全球，已经开发了几种疫苗来应对其激增。为了确定与社交媒体帖子中与疫苗相关的正确情感，我们在与Covid-19疫苗相关的推文上微调了各种最新的预训练的变压器模型。具体而言，我们使用最近引入的最先进的预训练的变压器模型Roberta，XLNet和Bert，以及在CoVID-19的推文中预先训练的域特异性变压器模型CT-Bert和Bertweet。我们通过使用基于语言模型的过采样技术（LMOTE）过采样来进一步探索文本扩展的选项，以改善这些模型的准确性，特别是对于小样本数据集，在正面，负面和中性情感类别之间存在不平衡的类别分布。我们的结果总结了我们关于用于微调最先进的预训练的变压器模型的不平衡小样本数据集的文本过采样的适用性，以及针对分类任务的域特异性变压器模型的实用性。

鉴于当前全球的社交距离限制，大多数人现在使用社交媒体作为其主要交流媒介。因此，数百万患有精神疾病的人被孤立了，他们无法亲自获得帮助。他们越来越依赖在线场地，以表达自己并寻求有关处理精神障碍的建议。根据世界卫生组织（WHO）的说法，大约有4.5亿人受到影响。精神疾病（例如抑郁，焦虑等）非常普遍，并影响了个体的身体健康。最近提出了人工智能（AI）方法，以帮助基于患者的真实信息（例如，医疗记录，行为数据，社交媒体利用等），包括精神病医生和心理学家在内的心理健康提供者。 AI创新表明，在从计算机视觉到医疗保健的众多现实应用应用程序中，主要执行。这项研究分析了REDDIT平台上的非结构化用户数据，并分类了五种常见的精神疾病：抑郁，焦虑，双相情感障碍，ADHD和PTSD。我们培训了传统的机器学习，深度学习和转移学习多级模型，以检测个人的精神障碍。这项工作将通过自动化检测过程并告知适当当局需要紧急援助的人来使公共卫生系统受益。

正在纳入数十种新工具和技术，以帮助开发人员，因为他们努力选择一种而不是其他人，这已成为震惊的根源。例如，开发人员至少有十个框架可用于开发Web应用程序，并在选择满足其需求的最佳框架时提出了一个难题。结果，开发人员正在不断搜索每个API，框架，工具等的所有好处和缺点。典型的方法之一是通过官方文档和讨论来检查所有功能。这种方法是耗时的，通常使难以确定哪些方面对特定开发人员最重要，以及特定方面对整个社区是否重要。在本文中，我们使用了从stackoverflow帖子中收集的基准API方面数据集（意见器），并观察了Transformer模型（Bert，Roberta，Distilbert和XLNet）在检测有关基线支持矢量的文本开发人员讨论中的软件方面时的表现机器（SVM）型号。通过广泛的实验，我们发现变压器模型改善了大多数方面的基线SVM的性能，即``performance''，``安全性''，``可用性''，``可用性''，``bug'''，``bug''' '和``其他''。但是，这些模型未能理解某些方面（例如，“社区”和“陶器”），其性能取决于方面。同样，与Distilbert这样的较小体系结构相比，XLNET等较大的体系结构在解释软件方面无效。

对仇恨言论和冒犯性语言（HOF）的认可通常是作为一项分类任务，以决定文本是否包含HOF。我们研究HOF检测是否可以通过考虑HOF和类似概念之间的关系来获利：（a）HOF与情感分析有关，因为仇恨言论通常是负面陈述并表达了负面意见； （b）这与情绪分析有关，因为表达的仇恨指向作者经历（或假装体验）愤怒的同时经历（或旨在体验）恐惧。 （c）最后，HOF的一个构成要素是提及目标人或群体。在此基础上，我们假设HOF检测在与这些概念共同建模时，在多任务学习设置中进行了改进。我们将实验基于这些概念的现有数据集（情感，情感，HOF的目标），并在Hasoc Fire 2021英语子任务1A中评估我们的模型作为参与者（作为IMS-Sinai团队）。基于模型选择实验，我们考虑了多个可用的资源和共享任务的提交，我们发现人群情绪语料库，Semeval 2016年情感语料库和犯罪2019年目标检测数据的组合导致F1 =。 79在基于BERT的多任务多任务学习模型中，与Plain Bert的.7895相比。在HASOC 2019测试数据上，该结果更为巨大，而F1中的增加2pp和召回大幅增加。在两个数据集（2019，2021）中，HOF类的召回量尤其增加（2019年数据的6pp和2021数据的3pp），表明MTL具有情感，情感和目标识别是适合的方法可能部署在社交媒体平台中的预警系统。

创伤后应激障碍（PTSD）是一种长期衰弱的精神状况，是针对灾难性生活事件（例如军事战斗，性侵犯和自然灾害）而发展的。 PTSD的特征是过去的创伤事件，侵入性思想，噩梦，过度维护和睡眠障碍的闪回，所有这些都会影响一个人的生活，并导致相当大的社会，职业和人际关系障碍。 PTSD的诊断是由医学专业人员使用精神障碍诊断和统计手册（DSM）中定义的PTSD症状的自我评估问卷进行的。在本文中，这是我们第一次收集，注释并为公共发行准备了一个新的视频数据库，用于自动PTSD诊断，在野生数据集中称为PTSD。该数据库在采集条件下表现出“自然”和巨大的差异，面部表达，照明，聚焦，分辨率，年龄，性别，种族，遮挡和背景。除了描述数据集集合的详细信息外，我们还提供了评估野生数据集中PTSD的基于计算机视觉和机器学习方法的基准。此外，我们建议并评估基于深度学习的PTSD检测方法。提出的方法显示出非常有希望的结果。有兴趣的研究人员可以从：http：//www.lissi.fr/ptsd-dataset/下载PTSD-in-wild数据集的副本

社交媒体的自杀意图检测是一种不断发展的研究，挑战了巨大的挑战。许多有自杀倾向的人通过社交媒体平台分享他们的思想和意见。作为许多研究的一部分，观察到社交媒体的公开职位包含有价值的标准，以有效地检测有自杀思想的个人。防止自杀的最困难的部分是检测和理解可能导致自杀的复杂风险因素和警告标志。这可以通过自动识别用户行为的突然变化来实现。自然语言处理技术可用于收集社交媒体交互的行为和文本特征，这些功能可以传递给特殊设计的框架，以检测人类交互中的异常，这是自杀意图指标。我们可以使用深度学习和/或基于机器学习的分类方法来实现快速检测自杀式思想。出于这种目的，我们可以采用LSTM和CNN模型的组合来检测来自用户的帖子的这种情绪。为了提高准确性，一些方法可以使用更多数据进行培训，使用注意模型提高现有模型等的效率。本文提出了一种LSTM-Incription-CNN组合模型，用于分析社交媒体提交，以检测任何潜在的自杀意图。在评估期间，所提出的模型的准确性为90.3％，F1分数为92.6％，其大于基线模型。

讽刺可以被定义为说或写讽刺与一个人真正想表达的相反，通常是为了侮辱，刺激或娱乐某人。由于文本数据中讽刺性的性质晦涩难懂，因此检测到情感分析研究社区的困难和非常感兴趣。尽管讽刺检测的研究跨越了十多年，但最近已经取得了一些重大进步，包括在多模式环境中采用了无监督的预训练的预训练的变压器，并整合了环境以识别讽刺。在这项研究中，我们旨在简要概述英语计算讽刺研究的最新进步和趋势。我们描述了与讽刺有关的相关数据集，方法，趋势，问题，挑战和任务，这些数据集，趋势，问题，挑战和任务是无法检测到的。我们的研究提供了讽刺数据集，讽刺特征及其提取方法以及各种方法的性能分析，这些表可以帮助相关领域的研究人员了解当前的讽刺检测中最新实践。

Labelling a large quantity of social media data for the task of supervised machine learning is not only time-consuming but also difficult and expensive. On the other hand, the accuracy of supervised machine learning models is strongly related to the quality of the labelled data on which they train, and automatic sentiment labelling techniques could reduce the time and cost of human labelling. We have compared three automatic sentiment labelling techniques: TextBlob, Vader, and Afinn to assign sentiments to tweets without any human assistance. We compare three scenarios: one uses training and testing datasets with existing ground truth labels; the second experiment uses automatic labels as training and testing datasets; and the third experiment uses three automatic labelling techniques to label the training dataset and uses the ground truth labels for testing. The experiments were evaluated on two Twitter datasets: SemEval-2013 (DS-1) and SemEval-2016 (DS-2). Results show that the Afinn labelling technique obtains the highest accuracy of 80.17% (DS-1) and 80.05% (DS-2) using a BiLSTM deep learning model. These findings imply that automatic text labelling could provide significant benefits, and suggest a feasible alternative to the time and cost of human labelling efforts.

We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models (Peters et al., 2018a;Radford et al., 2018), BERT is designed to pretrain deep bidirectional representations from unlabeled text by jointly conditioning on both left and right context in all layers. As a result, the pre-trained BERT model can be finetuned with just one additional output layer to create state-of-the-art models for a wide range of tasks, such as question answering and language inference, without substantial taskspecific architecture modifications.BERT is conceptually simple and empirically powerful. It obtains new state-of-the-art results on eleven natural language processing tasks, including pushing the GLUE score to 80.5% (7.7% point absolute improvement), MultiNLI accuracy to 86.7% (4.6% absolute improvement), SQuAD v1.1 question answering Test F1 to 93.2 (1.5 point absolute improvement) and SQuAD v2.0 Test F1 to 83.1 (5.1 point absolute improvement).

Any organization needs to improve their products, services, and processes. In this context, engaging with customers and understanding their journey is essential. Organizations have leveraged various techniques and technologies to support customer engagement, from call centres to chatbots and virtual agents. Recently, these systems have used Machine Learning (ML) and Natural Language Processing (NLP) to analyze large volumes of customer feedback and engagement data. The goal is to understand customers in context and provide meaningful answers across various channels. Despite multiple advances in Conversational Artificial Intelligence (AI) and Recommender Systems (RS), it is still challenging to understand the intent behind customer questions during the customer journey. To address this challenge, in this paper, we study and analyze the recent work in Conversational Recommender Systems (CRS) in general and, more specifically, in chatbot-based CRS. We introduce a pipeline to contextualize the input utterances in conversations. We then take the next step towards leveraging reverse feature engineering to link the contextualized input and learning model to support intent recognition. Since performance evaluation is achieved based on different ML models, we use transformer base models to evaluate the proposed approach using a labelled dialogue dataset (MSDialogue) of question-answering interactions between information seekers and answer providers.

通过为患者启用远程医疗服务，远程医疗有助于促进医疗专业人员的机会。随着必要的技术基础设施的出现，这些服务已逐渐流行。自从Covid-19危机开始以来，远程医疗的好处就变得更加明显，因为人们在大流行期间倾向于亲自探望医生。在本文中，我们专注于促进医生和患者之间的聊天课程。我们注意到，随着对远程医疗服务的需求的增加，聊天体验的质量和效率可能至关重要。因此，我们为医学对话开发了一种智能的自动反应生成机制，该机制可帮助医生有效地对咨询请求做出反应，尤其是在繁忙的课程中。我们探索了9个月内收集的医生和患者之间的900,000多个匿名的历史在线信息。我们实施聚类算法，以确定医生最常见的响应，并相应地手动标记数据。然后，我们使用此预处理数据来训练机器学习算法以生成响应。所考虑的算法有两个步骤：过滤（即触发）模型，以滤除不可行的患者消息和一个响应发生器，以建议成功通过触发阶段的响应前3位医生响应。该方法为Precision@3提供了83.28 \％的精度，并显示出其参数的鲁棒性。

在线用户的精神障碍使用社交媒体帖子确定。该域名的主要挑战是利用在社交媒体平台上使用用户生成文本的道德许可。学术RE搜索者确定了心理健康分类的不足和未标记数据的问题。要处理此问题，我们已经研究了数据增强技术对域特定用户生成的心理健康分类文本的影响。在现有的良好建立的数据增强技术中，我们已经识别了简单的数据增强（EDA），条件BERT和后退转换（BT）作为生成额外文本以提高分类器性能的潜在技术。此外，采用了三种不同分类器随机林（RF），支持向量机（SVM）和逻辑回归（LR）来分析数据增强对两个公共可用的社交媒体数据集的影响。实验心理结果显示在增强数据上培训时对分类器性能的显着改进。

转移学习已通过深度审慎的语言模型广泛用于自然语言处理，例如来自变形金刚和通用句子编码器的双向编码器表示。尽管取得了巨大的成功，但语言模型应用于小型数据集时会过多地适合，并且很容易忘记与分类器进行微调时。为了解决这个忘记将深入的语言模型从一个域转移到另一个领域的问题，现有的努力探索了微调方法，以减少忘记。我们建议DeepeMotex是一种有效的顺序转移学习方法，以检测文本中的情绪。为了避免忘记问题，通过从Twitter收集的大量情绪标记的数据来仪器进行微调步骤。我们使用策划的Twitter数据集和基准数据集进行了一项实验研究。 DeepeMotex模型在测试数据集上实现多级情绪分类的精度超过91％。我们评估了微调DeepeMotex模型在分类Emoint和刺激基准数据集中的情绪时的性能。这些模型在基准数据集中的73％的实例中正确分类了情绪。所提出的DeepeMotex-Bert模型优于BI-LSTM在基准数据集上的BI-LSTM增长23％。我们还研究了微调数据集的大小对模型准确性的影响。我们的评估结果表明，通过大量情绪标记的数据进行微调提高了最终目标任务模型的鲁棒性和有效性。

Migraine is a high-prevalence and disabling neurological disorder. However, information migraine management in real-world settings could be limited to traditional health information sources. In this paper, we (i) verify that there is substantial migraine-related chatter available on social media (Twitter and Reddit), self-reported by migraine sufferers; (ii) develop a platform-independent text classification system for automatically detecting self-reported migraine-related posts, and (iii) conduct analyses of the self-reported posts to assess the utility of social media for studying this problem. We manually annotated 5750 Twitter posts and 302 Reddit posts. Our system achieved an F1 score of 0.90 on Twitter and 0.93 on Reddit. Analysis of information posted by our 'migraine cohort' revealed the presence of a plethora of relevant information about migraine therapies and patient sentiments associated with them. Our study forms the foundation for conducting an in-depth analysis of migraine-related information using social media data.

软件工程（SE）中的情感分析表明了承诺分析和支持各种发展活动。我们报告了经验研究的结果，以确定我们通过组合独立的SE特定情绪探测器的极性标签来确定开发集合发动机的可行性。我们的研究有两个阶段。在第一阶段，我们通过Lin等人从最近发表的两篇论文中选择了五个特定的情绪检测工具。 [31,32]，谁首先报告了独立的情绪探测器的负面结果，然后提出了改进的SE特异性情绪检测器，POME [31]。我们向第17,581个单位（句子/文件）报告来自六个目前可用情绪基准的17,581个单位（句子/文件）。我们发现现有工具可以在85-95％的情况下互补，即，一个是错误的，但另一个是对的。然而，这些工具的大多数基于投票的集合未能提高情绪检测的准确性。我们通过将极性标签和单词袋作为特征组合来开发Sentisead，一个受监督的工具。 Sentisead将各个工具的性能（F1分数）提高了4％（Over Senti4SD [5]） - 100％（通过Pome [31]）。在第二阶段，我们使用预先培训的变压器模型（PTM）进行比较和改进Sentisead基础架构。我们发现，带Roberta的Sentisead基础架构作为来自Lin等人的五个独立规则和浅学习的SE特定工具的集合。 [31,32]在六个数据集中提供0.805的最佳F1分数，而独立罗伯塔显示F1分数为0.801。

在网络和社交媒体上生成的大量数据增加了检测在线仇恨言论的需求。检测仇恨言论将减少它们对他人的负面影响和影响。在自然语言处理（NLP）域中的许多努力旨在宣传仇恨言论或检测特定的仇恨言论，如宗教，种族，性别或性取向。讨厌的社区倾向于使用缩写，故意拼写错误和他们的沟通中的编码词来逃避检测，增加了讨厌语音检测任务的更多挑战。因此，词表示将在检测仇恨言论中发挥越来越关的作用。本文研究了利用基于双向LSTM的深度模型中嵌入的域特定词语的可行性，以自动检测/分类仇恨语音。此外，我们调查转移学习语言模型（BERT）对仇恨语音问题作为二进制分类任务。实验表明，与双向LSTM基于LSTM的深层模型嵌入的域特异性词嵌入了93％的F1分数，而BERT在可用仇恨语音数据集中的组合平衡数据集上达到了高达96％的F1分数。

近年来，已经出现了许多巨魔帐户来操纵社交媒体的意见。对于社交网络平台而言，检测和消除巨魔是一个关键问题，因为企业，滥用者和民族国家赞助的巨魔农场使用虚假和自动化的帐户。 NLP技术用于从社交网络文本中提取数据，例如Twitter推文。在许多文本处理应用程序中，诸如BERT之类的单词嵌入表示方法的执行效果要好于先前的NLP技术，从而为各种任务提供了新颖的突破，以精确理解和分类社交网络工作信息。本文实施并比较了九个基于深度学习的巨魔推文检测体系结构，每个bert，elmo和手套词嵌入模型的三个模型。精度，召回，F1分数，AUC和分类精度用于评估每个体系结构。从实验结果中，大多数使用BERT模型的架构改进了巨魔推文检测。具有GRU分类器的基于自定义的基于ELMO的体系结构具有检测巨魔消息的最高AUC。所提出的体系结构可以由各种基于社会的系统用于未来检测巨魔消息。