文本分类是标记开放式文本的自然语言处理中的基本任务之一，对各种应用有用，如情绪分析。在本文中，我们讨论了Khmer文本的各种分类方法，从传统的TF-IDF算法到支持向量机分类器到基于现代字的基于词嵌入的神经网络分类器，包括线性层模型，经常性神经网络和卷积神经网络。 Khmer Word嵌入式模型培训在3000万Khmer-Word语料库上，以构建用于培训三种不同神经网络分类器的字矢量表示。我们为多类和多标签文本分类任务评估了对新闻文章数据集的不同方法的性能。结果表明，使用Word嵌入模型的神经网络分类器始终如一地始终使用TF-IDF来表达传统分类器。与卷积网络和线性层网络相比，经常性神经网络分类器提供稍好的结果。

在线评论在电子商务中发挥重要作用进行决策。大部分人口做出了哪些地方，餐厅访问，以根据各自的平台发布的评论来购买的地方，从哪里购买。欺诈性审查或意见垃圾邮件被分类为一个不诚实或欺骗性的审查。产品或餐厅的肯定审查有助于吸引客户，从而导致销售额增加，而负面评论可能会妨碍餐厅或产品销售的进展，从而导致令人害羞的声誉和损失。欺诈性评论是故意发布的各种在线审查平台，以欺骗客户购买，访问或分散产品或餐厅的注意力。它们也被编写或诋毁产品的辩护。该工作旨在检测和分类审查作为欺骗性或真实性。它涉及使用各种深入学习技术来分类审查和概述涉及基于人的双向LSTM的提出的方法，以解决与基线机器学习技术的评论和比较研究中的语义信息有关的问题，以进行审查分类。

搜索是数字平台和应用程序中的关键功能之一，如电子词典，搜索引擎和电子商务平台。虽然某些语言的搜索功能是微不足道的，但是，考虑到其复杂的写作系统，Khmer Word搜索是具有挑战性的。单词的多个字符和不同的拼写实现对Khmer Word搜索功能的约束施加了约束。此外，拼写错误很常见，因为强大的拼写检查器在输入设备平台上不可能可用。这些挑战阻碍了在搜索嵌入式应用中使用了高棉语言。此外，由于缺乏用于高棉语言的Wordnet的词汇数据库，因此无法在单词之间建立语义关系，从而实现语义搜索。在本文中，我们向上述与高棉Word搜索相关的挑战提出了一系列强大的解决方案。所提出的解决方案包括字符阶级标准化，图形和基于音素的拼写检查器和Khmer Word语义模型。语义模型基于嵌入模型的单词培训，该模型在30亿字的语料库上培训，用于捕获单词之间的语义相似之处。

当前信息时代在互联网上产生的数据的指数增长是数字经济的推动力。信息提取是累积大数据中的主要价值。对统计分析和手工设计的规则机器学习算法的大数据依赖性被人类语言固有的巨大复杂性所淹没。自然语言处理（NLP）正在装备机器，以了解这些人类多样化和复杂的语言。文本分类是一个NLP任务，它会自动识别基于预定义或未定标记的集合的模式。常见的文本分类应用程序包括信息检索，建模新闻主题，主题提取，情感分析和垃圾邮件检测。在文本中，某些单词序列取决于上一个或下一个单词序列以使其充分含义。这是一项具有挑战性的依赖性任务，要求机器能够存储一些以前的重要信息以影响未来的含义。诸如RNN，GRU和LSTM之类的序列模型是具有长期依赖性任务的突破。因此，我们将这些模型应用于二进制和多类分类。产生的结果非常出色，大多数模型在80％和94％的范围内执行。但是，这个结果并不详尽，因为我们认为如果机器要与人类竞争，可以改进。

在网络和社交媒体上生成的大量数据增加了检测在线仇恨言论的需求。检测仇恨言论将减少它们对他人的负面影响和影响。在自然语言处理（NLP）域中的许多努力旨在宣传仇恨言论或检测特定的仇恨言论，如宗教，种族，性别或性取向。讨厌的社区倾向于使用缩写，故意拼写错误和他们的沟通中的编码词来逃避检测，增加了讨厌语音检测任务的更多挑战。因此，词表示将在检测仇恨言论中发挥越来越关的作用。本文研究了利用基于双向LSTM的深度模型中嵌入的域特定词语的可行性，以自动检测/分类仇恨语音。此外，我们调查转移学习语言模型（BERT）对仇恨语音问题作为二进制分类任务。实验表明，与双向LSTM基于LSTM的深层模型嵌入的域特异性词嵌入了93％的F1分数，而BERT在可用仇恨语音数据集中的组合平衡数据集上达到了高达96％的F1分数。

讽刺可以被定义为说或写讽刺与一个人真正想表达的相反，通常是为了侮辱，刺激或娱乐某人。由于文本数据中讽刺性的性质晦涩难懂，因此检测到情感分析研究社区的困难和非常感兴趣。尽管讽刺检测的研究跨越了十多年，但最近已经取得了一些重大进步，包括在多模式环境中采用了无监督的预训练的预训练的变压器，并整合了环境以识别讽刺。在这项研究中，我们旨在简要概述英语计算讽刺研究的最新进步和趋势。我们描述了与讽刺有关的相关数据集，方法，趋势，问题，挑战和任务，这些数据集，趋势，问题，挑战和任务是无法检测到的。我们的研究提供了讽刺数据集，讽刺特征及其提取方法以及各种方法的性能分析，这些表可以帮助相关领域的研究人员了解当前的讽刺检测中最新实践。

在过去的几年里，假新闻的前所未有的扩散。因此，我们更容易受到误导和消毒蔓延可能在我们社会的不同细分市场的影响。因此，开发自动检测假新闻的工具和在预防其负面影响方面发挥着重要作用。大多数尝试仅在使用文本信息时检测和分类错误内容焦点。多式联运方法频繁不那么频繁，它们通常将新闻分类为真假或假。在这项工作中，我们使用单峰和多模式方法对FakedDit DataSet进行精细的虚假新闻分类。我们的实验表明，基于卷积神经网络（CNN）架构的多模式方法组合文本和图像数据的最佳结果，精度为87％。一些假新闻类别，如操纵内容，讽刺或假连接强烈地受益于图像的使用。使用图像也提高了其他类别的结果，但影响较少。关于仅使用文本的单向方法，来自变压器（BERT）的双向编码器表示是最佳模型，精度为78％。因此，利用文本和图像数据显着提高了假新闻检测的性能。

以互联网上的文件形式存储的信息量迅速增加。因此，它已成为以最佳方式组织和维护这些文件的必要性。文本分类算法研究文本中单词之间的复杂关系，并尝试解释文档的语义。这些算法在过去几年中已经显着发展。从简单的机器学习算法到基于变压器的架构有很多进展。然而，现有文献在不同的数据集上分析了不同的方法，从而难以比较机器学习算法的性能。在这项工作中，我们使用标准机器学习方法重新审视长文件分类。我们在六个标准文本分类数据集中从简单的天真贝叶斯到复杂伯爵的基准方法。我们在一系列长文档数据集中呈现了不同算法的详尽比较。我们重新延长了长篇文档分类是一个更简单的任务，甚至基本算法竞争地在大多数数据集上具有基于BERT的方法。基于BERT的模型在所有数据集上始终如一地执行，并且当计算成本不是一个问题时，可以盲目地用于文档分类任务。在浅模范的类别中，我们建议使用原始Bilstm + Max架构的用法，这些架构在所有数据集中体面效果。即使是更简单的手套+注意单词模型也可用于更简单的用例。在IMDB情绪数据集中清晰可见使用复杂模型的重要性，这是一个相对较难的任务。

自动言论（POS）标记是许多自然语言处理（NLP）任务的预处理步骤，例如名称实体识别（NER），语音处理，信息提取，单词sense sisse disampigation和Machine Translation。它已经在英语和欧洲语言方面取得了令人鼓舞的结果，但是使用印度语言，尤其是在Odia语言中，由于缺乏支持工具，资源和语言形态丰富性，因此尚未得到很好的探索。不幸的是，我们无法为ODIA找到一个开源POS标记，并且仅尝试为ODIA语言开发POS标记器的尝试。这项研究工作的主要贡献是介绍有条件的随机场（CRF）和基于深度学习的方法（CNN和双向长期短期记忆）来开发ODIA的语音部分。我们使用了一个公开访问的语料库，并用印度标准局（BIS）标签设定了数据集。但是，全球的大多数语言都使用了带有通用依赖项（UD）标签集注释的数据集。因此，要保持统一性，odia数据集应使用相同的标签集。因此，我们已经构建了一个从BIS标签集到UD标签集的简单映射。我们对CRF模型进行了各种特征集输入，观察到构造特征集的影响。基于深度学习的模型包括BI-LSTM网络，CNN网络，CRF层，角色序列信息和预训练的单词向量。通过使用卷积神经网络（CNN）和BI-LSTM网络提取角色序列信息。实施了神经序列标记模型的六种不同组合，并研究了其性能指标。已经观察到具有字符序列特征和预训练的单词矢量的BI-LSTM模型取得了显着的最新结果。

由于在线学习和评估平台（例如Coursera，Udemy，Khan Academy等）的兴起，对论文（AES）和自动论文评分的自动评估（AES）已成为一个严重的问题。研究人员最近提出了许多用于自动评估的技术。但是，其中许多技术都使用手工制作的功能，因此从特征表示的角度受到限制。深度学习已成为机器学习中的新范式，可以利用大量数据并确定对论文评估有用的功能。为此，我们提出了一种基于复发网络（RNN）和卷积神经网络（CNN）的新型体系结构。在拟议的体系结构中，多通道卷积层从嵌入矢量和基本语义概念中学习并捕获单词n-gram的上下文特征，并使用max-pooling操作在论文级别形成特征向量。 RNN的变体称为双门复发单元（BGRU），用于访问以前和后续的上下文表示。该实验是对Kaggle上的八个数据集进行的，以实现AES的任务。实验结果表明，我们提出的系统比其他基于深度学习的AES系统以及其他最新AES系统的评分精度明显更高。

从文本数据中推断出具有政治收费的信息是文本和作者级别的自然语言处理（NLP）的流行研究主题。近年来，对这种研究的研究是在伯特等变形金刚的代表性的帮助下进行的。尽管取得了很大的成功，但我们可能会询问是否通过将基于转换的模型与其他知识表示形式相结合，是否可以进一步改善结果。为了阐明这个问题，本工作描述了一系列实验，以比较英语和葡萄牙语中文本的政治推断的替代模型配置。结果表明，某些文本表示形式 - 特别是，BERT预训练的语言模型与句法依赖模型的联合使用可能胜过多个实验环境的替代方案，这是进一步研究异质文本表示的潜在强大案例在这些以及可能的其他NLP任务中。

长期以来，共同基金或交易所交易基金（ETF）的分类已为财务分析师提供服务，以进行同行分析，以从竞争对手分析开始到量化投资组合多元化。分类方法通常依赖于从n-1a表格中提取的结构化格式的基金组成数据。在这里，我们启动一项研究，直接从使用自然语言处理（NLP）的表格中描绘的非结构化数据中学习分类系统。将输入数据仅作为表格中报告的投资策略描述，而目标变量是Lipper全球类别，并且使用各种NLP模型，我们表明，分类系统确实可以通过高准确率。我们讨论了我们发现的含义和应用，以及现有的预培训架构的局限性在应用它们以学习基金分类时。

建模法检索和检索作为预测问题最近被出现为法律智能的主要方法。专注于法律文章检索任务，我们展示了一个名为Lamberta的深度学习框架，该框架被设计用于民法代码，并在意大利民法典上专门培训。为了我们的知识，这是第一项研究提出了基于伯特（来自变压器的双向编码器表示）学习框架的意大利法律制度对意大利法律制度的高级法律文章预测的研究，最近引起了深度学习方法的增加，呈现出色的有效性在几种自然语言处理和学习任务中。我们通过微调意大利文章或其部分的意大利预先训练的意大利预先训练的伯爵来定义Lamberta模型，因为法律文章作为分类任务检索。我们Lamberta框架的一个关键方面是我们构思它以解决极端的分类方案，其特征在于课程数量大，少量学习问题，以及意大利法律预测任务的缺乏测试查询基准。为了解决这些问题，我们为法律文章的无监督标签定义了不同的方法，原则上可以应用于任何法律制度。我们提供了深入了解我们Lamberta模型的解释性和可解释性，并且我们对单一标签以及多标签评估任务进行了广泛的查询模板实验分析。经验证据表明了Lamberta的有效性，以及对广泛使用的深度学习文本分类器和一些构思的几次学习者来说，其优越性是对属性感知预测任务的优势。

人格检测是心理学和自动人格预测（或感知）（APP）的一个古老话题，是对不同类型的人类生成/交换内容（例如文本，语音，图像，视频，视频）对个性的自动化（计算）预测。这项研究的主要目的是自2010年以来对应用程序的自然语言处理方法进行浅（总体）审查。随着深度学习的出现并遵循NLP的转移学习和预先培训的模型，应用程序研究领域已经成为一个热门话题，因此在这篇评论中，方法分为三个；预先训练的独立，预训练的基于模型的多模式方法。此外，为了获得全面的比较，数据集为报告的结果提供了信息。

基于方面的情绪分析（ABSA）是一种文本分析方法，其定义了与特定目标相关的某些方面的意见的极性。 ABSA的大部分研究都是英文，阿拉伯语有少量的工作。最先前的阿拉伯语研究依赖于深度学习模型，主要依赖于独立于上下文的单词嵌入（例如，e.g.word2vec），其中每个单词都有一个独立于其上下文的固定表示。本文探讨了从预先培训的语言模型（如BERT）的上下文嵌入的建模功能，例如BERT，以及在阿拉伯语方面情感极度分类任务中使用句子对输入。特别是，我们开发一个简单但有效的基于伯特的神经基线来处理这项任务。根据三种不同阿拉伯语数据集的实验结果，我们的BERT架构与简单的线性分类层超出了最先进的作品。在Arabic Hotel评论数据库中实现了89.51％的准确性，73％的人类注册书评论数据集和阿拉伯新闻数据集的85.73％。

人们使用移动消息传递服务的增加导致了像网络钓鱼一样的社会工程攻击的传播，考虑到垃圾邮件文本是传播网络钓鱼攻击的主要因素之一，以窃取信用卡和密码等敏感数据。此外，关于Covid-19大流行的谣言和不正确的医疗信息在社交媒体上广泛分享，导致人们的恐惧和混乱。因此，过滤垃圾邮件内容对于降低风险和威胁至关重要。以前的研究依赖于机器学习和深入学习的垃圾邮件分类方法，但这些方法有两个限制。机器学习模型需要手动功能工程，而深度神经网络需要高计算成本。本文介绍了一种动态的深度集合模型，用于垃圾邮件检测，调整其复杂性并自动提取功能。所提出的模型利用卷积和汇集层进行特征提取以及基础分类器，如随机森林和极其随机的树木，用于将文本分类为垃圾邮件或合法的树。此外，该模型采用了Boosting和Bagging等集合学习程序。结果，该模型达到了高精度，召回，F1分数和精度为98.38％。

Text classification is a natural language processing (NLP) task relevant to many commercial applications, like e-commerce and customer service. Naturally, classifying such excerpts accurately often represents a challenge, due to intrinsic language aspects, like irony and nuance. To accomplish this task, one must provide a robust numerical representation for documents, a process known as embedding. Embedding represents a key NLP field nowadays, having faced a significant advance in the last decade, especially after the introduction of the word-to-vector concept and the popularization of Deep Learning models for solving NLP tasks, including Convolutional Neural Networks (CNNs), Recurrent Neural Networks (RNNs), and Transformer-based Language Models (TLMs). Despite the impressive achievements in this field, the literature coverage regarding generating embeddings for Brazilian Portuguese texts is scarce, especially when considering commercial user reviews. Therefore, this work aims to provide a comprehensive experimental study of embedding approaches targeting a binary sentiment classification of user reviews in Brazilian Portuguese. This study includes from classical (Bag-of-Words) to state-of-the-art (Transformer-based) NLP models. The methods are evaluated with five open-source databases with pre-defined data partitions made available in an open digital repository to encourage reproducibility. The Fine-tuned TLMs achieved the best results for all cases, being followed by the Feature-based TLM, LSTM, and CNN, with alternate ranks, depending on the database under analysis.

本概述论文描述了乌尔都语语言中的假新闻检测的第一个共享任务。该任务是作为二进制分类任务的，目标是区分真实新闻和虚假新闻。我们提供了一个数据集，分为900个注释的新闻文章，用于培训，并进行了400篇新闻文章进行测试。该数据集包含五个领域的新闻：（i）健康，（ii）体育，（iii）Showbiz，（iv）技术和（v）业务。来自6个不同国家（印度，中国，埃及，德国，巴基斯坦和英国）的42个团队登记了这项任务。9个团队提交了他们的实验结果。参与者使用了各种机器学习方法，从基于功能的传统机器学习到神经网络技术。最佳性能系统的F得分值为0.90，表明基于BERT的方法优于其他机器学习技术

在当代世界中，自动检测假新闻是一项非常重要的任务。这项研究报告了第二项共享任务，称为Urdufake@fire2021，以识别乌尔都语中的假新闻检测。共同任务的目的是激励社区提出解决这一至关重要问题的有效方法，尤其是对于乌尔都语。该任务被视为二进制分类问题，将给定的新闻文章标记为真实或假新闻文章。组织者提供了一个数据集，其中包括五个领域的新闻：（i）健康，（ii）体育，（iii）Showbiz，（iv）技术和（v）业务，分为培训和测试集。该培训集包含1300篇注释的新闻文章 - 750个真实新闻，550个假新闻，而测试集包含300篇新闻文章 - 200个真实，100个假新闻。来自7个不同国家（中国，埃及，以色列，印度，墨西哥，巴基斯坦和阿联酋）的34个团队注册参加了Urdufake@Fire2021共享任务。在这些情况下，有18个团队提交了实验结果，其中11个提交了技术报告，与2020年的Urdufake共享任务相比，这一报告要高得多，当时只有6个团队提交了技术报告。参与者提交的技术报告展示了不同的数据表示技术，从基于计数的弓形功能到单词矢量嵌入以及使用众多的机器学习算法，从传统的SVM到各种神经网络体系结构，包括伯特和罗伯塔等变形金刚。在今年的比赛中，表现最佳的系统获得了0.679的F1-MACRO得分，低于过去一年的0.907 F1-MaCro的最佳结果。诚然，尽管过去和当前几年的培训集在很大程度上重叠，但如果今年完全不同，则测试集。

雇用措施恳求抄袭文本的措施是对学术诚信的严重威胁。要启用检测机释录的文本，我们会评估五个预先训练的单词嵌入模型的有效性与机器学习分类器和最先进的神经语言模型相结合。我们分析了研究论文，毕业论文和维基百科文章的预印刷品，我们使用不同的工具SpinBot和Spinnerchief释放。最佳的表演技术，啰素，平均F1得分为80.99％（F1 = 99.68％，纺纱病例的F1 = 71.64％），而人类评估员均达到纺纱病例的F1 = 78.4％，F1 = 65.6％的纺纱病例。我们表明，自动分类减轻了广泛使用的文本匹配系统的缺点，例如金风格和Plagscan。为了促进未来的研究，所有数据，代码和两个展示我们贡献的Web应用程序都公开使用。