众所周知但很少使用的文本分类方法使用使用数据压缩工具计算的条件熵估计。源自压缩大小的文本亲和分数可用于分类和排序任务，但它们的成功取决于所使用的压缩工具。我们使用zStandard压缩机并以几种方式加强这些想法，调用由此产生的语言无神不可话的技术。在应用中，这种方法简化了配置，避免了仔细的特征提取和大ML模型。我们的消融研究证实了我们介绍的个别增强功能的价值。我们展示了这种ZEST补充，可以与生产中的语言特定的多维内容嵌入品竞争，但不能在公共数据集上倾斜其他计数方法。
translated by 谷歌翻译
随着社交媒体平台影响的增长，滥用的影响变得越来越有影响力。自动检测威胁和滥用语言的重要性不能高估。但是，大多数现有的研究和最先进的方法都以英语为目标语言，对低资产品语言的工作有限。在本文中，我们介绍了乌尔都语的两项滥用和威胁性语言检测的任务，该任务在全球范围内拥有超过1.7亿扬声器。两者都被视为二进制分类任务，其中需要参与系统将乌尔都语中的推文分类为两个类别，即：（i）第一个任务的滥用和不滥用，以及（ii）第二次威胁和不威胁。我们提供两个手动注释的数据集，其中包含标有（i）滥用和非虐待的推文，以及（ii）威胁和无威胁。滥用数据集在火车零件中包含2400个注释的推文，测试部分中包含1100个注释的推文。威胁数据集在火车部分中包含6000个注释的推文，测试部分中包含3950个注释的推文。我们还为这两个任务提供了逻辑回归和基于BERT的基线分类器。在这项共同的任务中，来自六个国家的21个团队注册参加了参与（印度，巴基斯坦，中国，马来西亚，阿拉伯联合酋长国和台湾），有10个团队提交了子任务A的奔跑，这是虐待语言检测，9个团队提交了他们的奔跑对于正在威胁语言检测的子任务B，七个团队提交了技术报告。最佳性能系统达到子任务A的F1得分值为0.880，子任务为0.545。对于两个子任务，基于M-Bert的变压器模型都表现出最佳性能。
translated by 谷歌翻译
软件开发互动期间的有毒对话可能会对免费开源软件（FOSS）开发项目产生严重影响。例如，有毒对话的受害者可能会害怕表达自己，因此会丧失自己的动力，并最终可能离开该项目。自动过滤有毒的对话可能有助于福斯社区保持其成员之间的健康互动。但是，现成的毒性探测器在软件工程（SE）数据集上的表现较差，例如从代码审查评论中策划的一个。为了遇到这一挑战，我们提出了毒性，这是一种基于学习的基于学习的毒性识别工具，用于代码审查互动。有毒物质包括选择一种监督学习算法之一，选择文本矢量化技术，八个预处理步骤以及一个大规模标记的数据集，其中包括19,571个代码评论评论。在这八个预处理步骤中，有两个是特定于SE域。通过对预处理步骤和矢量化技术的各种组合的模型进行严格的评估，我们已经确定了数据集的最佳组合，可提高95.8％的精度和88.9％的F1得分。毒性明显优于我们数据集中的现有毒性探测器。我们已发布了数据集，预处理的模型，评估结果和源代码，网址为：https：//github.com/wsu-seal/toxicr
translated by 谷歌翻译
我们使用不同的语言支持特征预处理方法研究特征密度（FD）的有效性，以估计数据集复杂性，这又用于比较估计任何训练之前机器学习（ML）分类器的潜在性能。我们假设估计数据集复杂性允许减少所需实验迭代的数量。这样我们可以优化ML模型的资源密集型培训，这是由于可用数据集大小的增加以及基于深神经网络（DNN）的模型的不断增加的普及而成为一个严重问题。由于训练大规模ML模型引起的令人惊叹的二氧化碳排放量，不断增加对更强大的计算资源需求的问题也在影响环境。该研究是在多个数据集中进行的，包括流行的数据集，例如用于培训典型情感分析模型的Yelp业务审查数据集，以及最近的数据集尝试解决网络欺凌问题，这是一个严重的社会问题，也是一个严重的社会问题一个更复杂的问题，形成了语言代表的观点。我们使用收集多种语言的网络欺凌数据集，即英语，日语和波兰语。数据集的语言复杂性的差异允许我们另外讨论语言备份的单词预处理的功效。
translated by 谷歌翻译
在当今的世界中，每个人都以某种方式表现出来，而该项目的重点是人们使用Twitter的数据（一个微博平台）的数据，人们对英国和印度的电价上涨的看法，人们在该平台上发布了消息，人们发布了消息，称为Tweets。因为许多人的收入不好，他们必须缴纳如此多的税款和账单，因此如今，维持房屋已成为有争议的问题。尽管政府提供了补贴计划来补偿人们的电费，但不受人们的欢迎。在这个项目中，目的是对Twitter上表达的人们的表达和观点进行情感分析。为了掌握电价的意见，有必要对能源市场的政府和消费者进行情感分析。此外，这些媒体上存在的文本本质上是非结构化的，因此要处理它们，我们首先需要预处理数据。有很多功能提取技术，例如单词袋，tf-idf（术语频率为单位的文档频率），单词嵌入，基于NLP的功能，例如Word Count。在该项目中，我们分析了特征TF-IDF单词级别对情感分析数据集的影响。我们发现，通过使用TF-IDF单词级别的性能分析的表现比使用N-Gram功能高3-4。使用四种分类算法进行分析，包括幼稚的贝叶斯，决策树，随机森林和逻辑回归，并考虑F评分，准确性，精度和召回性能参数。
translated by 谷歌翻译
软件工程（SE）中的情感分析表明了承诺分析和支持各种发展活动。我们报告了经验研究的结果，以确定我们通过组合独立的SE特定情绪探测器的极性标签来确定开发集合发动机的可行性。我们的研究有两个阶段。在第一阶段，我们通过Lin等人从最近发表的两篇论文中选择了五个特定的情绪检测工具。 [31,32]，谁首先报告了独立的情绪探测器的负面结果，然后提出了改进的SE特异性情绪检测器，POME [31]。我们向第17,581个单位（句子/文件）报告来自六个目前可用情绪基准的17,581个单位（句子/文件）。我们发现现有工具可以在85-95％的情况下互补，即，一个是错误的，但另一个是对的。然而，这些工具的大多数基于投票的集合未能提高情绪检测的准确性。我们通过将极性标签和单词袋作为特征组合来开发Sentisead，一个受监督的工具。 Sentisead将各个工具的性能（F1分数）提高了4％（Over Senti4SD [5]） - 100％（通过Pome [31]）。在第二阶段，我们使用预先培训的变压器模型（PTM）进行比较和改进Sentisead基础架构。我们发现，带Roberta的Sentisead基础架构作为来自Lin等人的五个独立规则和浅学习的SE特定工具的集合。 [31,32]在六个数据集中提供0.805的最佳F1分数，而独立罗伯塔显示F1分数为0.801。
translated by 谷歌翻译
Deep neural networks (DNNs) are often used for text classification tasks as they usually achieve high levels of accuracy. However, DNNs can be computationally intensive with billions of parameters and large amounts of labeled data, which can make them expensive to use, to optimize and to transfer to out-of-distribution (OOD) cases in practice. In this paper, we propose a non-parametric alternative to DNNs that's easy, light-weight and universal in text classification: a combination of a simple compressor like gzip with a $k$-nearest-neighbor classifier. Without any training, pre-training or fine-tuning, our method achieves results that are competitive with non-pretrained deep learning methods on six in-distributed datasets. It even outperforms BERT on all five OOD datasets, including four low-resource languages. Our method also performs particularly well in few-shot settings where labeled data are too scarce for DNNs to achieve a satisfying accuracy.
translated by 谷歌翻译
情感分析是最古典的，主要研究的自然语言处理任务之一。这个问题有一个值得注意的提前，主张更复杂和可扩展的机器学习模型。尽管存在这一进展，但巴西葡萄牙语仍然只处理了有限的语言资源，例如专用于情绪分类的数据集，特别是在考虑培训，测试和验证集中的预定义分区时，这将允许更公平地比较不同算法备择方案。这些问题的动机，这项工作分析了一系列文档嵌入策略的预测性能，假设极性作为系统结果。此分析包括在巴西葡萄牙语中的五种情感分析数据集，在单个数据集中统一，以及培训，测试和验证集中的引用分区，两者都通过数字存储库公开可用。进行不同上下文的数据集特定模型的交叉评估，以评估其泛化能力和采用唯一模型来解决所有方案的可行性。
translated by 谷歌翻译
讽刺可以被定义为说或写讽刺与一个人真正想表达的相反，通常是为了侮辱，刺激或娱乐某人。由于文本数据中讽刺性的性质晦涩难懂，因此检测到情感分析研究社区的困难和非常感兴趣。尽管讽刺检测的研究跨越了十多年，但最近已经取得了一些重大进步，包括在多模式环境中采用了无监督的预训练的预训练的变压器，并整合了环境以识别讽刺。在这项研究中，我们旨在简要概述英语计算讽刺研究的最新进步和趋势。我们描述了与讽刺有关的相关数据集，方法，趋势，问题，挑战和任务，这些数据集，趋势，问题，挑战和任务是无法检测到的。我们的研究提供了讽刺数据集，讽刺特征及其提取方法以及各种方法的性能分析，这些表可以帮助相关领域的研究人员了解当前的讽刺检测中最新实践。
translated by 谷歌翻译
发现别人认为是我们信息收集策略的关键方面。现在，人们可以积极利用信息技术来寻找和理解他人的想法，这要归功于越来越多的意见资源（例如在线评论网站和个人博客）的越来越多。由于其在理解人们的意见方面的关键功能，因此情感分析（SA）是一项至关重要的任务。另一方面，现有的研究主要集中在英语上，只有少量研究专门研究低资源语言。对于情感分析，这项工作根据用户评估提供了一个新的多级乌尔都语数据集。高音扬声器网站用于获取乌尔都语数据集。我们提出的数据集包括10,000项评论，这些评论已被人类专家精心归类为两类：正面，负面。这项研究的主要目的是构建一个手动注释的数据集进行乌尔都语情绪分析，并确定基线结果。采用了五种不同的词典和规则的算法，包括NaiveBayes，Stanza，TextBlob，Vader和Flair，实验结果表明，其精度为70％的天赋优于其他经过测试的算法。
translated by 谷歌翻译
衡量文件的复杂性水平是一个悬而未决的挑战，尤其是当一个人正在研究各种文档语料库而不是比较有关类似主题或使用英语以外的其他语言的文档时。在本文中，我们定义了一种方法，可以使用新的一般和多元化的文本，“加拿大法国复杂性水平语料库”和广泛的指标来衡量法国文档的复杂性。我们将不同的学习算法与此任务进行比较，并将其表现以及对文本特征的观察结果进行对比，对其复杂性更为重要。我们的结果表明，我们的方法学给出了法语中文本复杂性的通用测量。
translated by 谷歌翻译
本文介绍了Persian的HMBLOGS语料库，作为一种低资源语言。此语料库已根据波斯博客的空间的一段时间内基于大约15岁的近2000万博客帖子编制的，包括超过68亿令牌。可以声称，此语料库目前是最大的波斯语料库，这些语料库是为波斯语而独立制定的。该语料库以原始和预处理的形式呈现，并且基于预处理的语料库，产生了一些单词嵌入模型。通过提供的模型，将HMBlogs与波斯中可用的一些最重要的公司进行比较，结果表明了HMBLOGS语料库的优势。这些评估还提供了语料库，评估数据集，模型生产方法，不同的高参数甚至评估方法的重要性和影响。除了评估语料库及其产生的语言模型之外，该研究还提供了一个语义类比数据集。
translated by 谷歌翻译
仇恨言论是一种在线骚扰的形式，涉及使用滥用语言，并且在社交媒体帖子中通常可以看到。这种骚扰主要集中在诸如宗教，性别，种族等的特定群体特征上，如今它既有社会和经济后果。文本文章中对滥用语言的自动检测一直是一项艰巨的任务，但最近它从科学界获得了很多兴趣。本文解决了在社交媒体中辨别仇恨内容的重要问题。我们在这项工作中提出的模型是基于LSTM神经网络体系结构的现有方法的扩展，我们在短文中适当地增强和微调以检测某些形式的仇恨语言，例如种族主义或性别歧视。最重要的增强是转换为由复发性神经网络（RNN）分类器组成的两阶段方案。将第一阶段的所有一Vs式分类器（OVR）分类器的输出组合在一起，并用于训练第二阶段分类器，最终决定了骚扰的类型。我们的研究包括对在16K推文的公共语料库中评估的第二阶段提出的几种替代方法的性能比较，然后对另一个数据集进行了概括研究。报道的结果表明，与当前的最新技术相比，在仇恨言论检测任务中，所提出的方案的分类质量出色。
translated by 谷歌翻译
在许多机器学习的情况下，研究表明，培训数据的开发可能比分类器本身的选择和建模更高。因此，已经开发了数据增强方法来通过人为创建的培训数据来改善分类器。在NLP中，为提供新的语言模式的文本转换建立通用规则存在挑战。在本文中，我们介绍并评估一种适合于长期和短文的分类器的性能的文本生成方法。通过我们的文本生成方法的增强，我们在评估简短和长期文本任务时取得了令人鼓舞的改进。尤其是在小型数据分析方面，与NO增强基线和其他数据增强技术相比，在构建的低数据状态下，添加精度的提高到达15.53％和3.56％。由于这些构建制度的当前轨道并非普遍适用，因此我们还显示了几个现实世界中低数据任务（高达+4.84 F1得分）的重大改进。由于我们从许多角度（总共11个数据集）评估了该方法，因此我们还观察到该方法可能不合适的情况。我们讨论了在不同类型的数据集上成功应用我们的方法的含义和模式。
translated by 谷歌翻译
近年来，情感分析方法的表现大大增加。这是由于基于变压器架构的各种模型，特别是伯特。然而，深度神经网络模型难以训练和可解释不佳。一种替代方法是使用情绪词典的基于规则的方法。它们快速，不需要培训，并被解释得很好。但最近，由于深入学习的广泛使用，基于词汇的方法已经退出了背景。本文的目的是研究SO-CAL和Sentistrength Lexicon的方法，适用于俄语。我们已经测试了这些方法，以及rubert神经网络模型，16个文本语料库，并分析了他们的结果。Rubert平均优于基于词汇的方法，但So-Cal超过了16个Corea的Rubert超过16。
translated by 谷歌翻译
在自然语言处理中，已证明使用预训练的语言模型可以在许多下游任务（例如情感分析，作者识别等）中获得最先进的结果。在这项工作中，我们解决了这些方法从文本中使用的人格分类。着眼于Myers-Briggs（MBTI）人格模型，我们描述了一系列实验，其中众所周知的双向编码器表示来自变形金刚（BERT）模型的模型进行微调以执行MBTI分类。我们的主要发现表明，当前方法在多种评估方案中基于词袋和静态单词嵌入方式大大优于众所周知的文本分类模型，并且通常在该领域的先前工作都优于先前的工作。
translated by 谷歌翻译
雇用措施恳求抄袭文本的措施是对学术诚信的严重威胁。要启用检测机释录的文本，我们会评估五个预先训练的单词嵌入模型的有效性与机器学习分类器和最先进的神经语言模型相结合。我们分析了研究论文，毕业论文和维基百科文章的预印刷品，我们使用不同的工具SpinBot和Spinnerchief释放。最佳的表演技术，啰素，平均F1得分为80.99％（F1 = 99.68％，纺纱病例的F1 = 71.64％），而人类评估员均达到纺纱病例的F1 = 78.4％，F1 = 65.6％的纺纱病例。我们表明，自动分类减轻了广泛使用的文本匹配系统的缺点，例如金风格和Plagscan。为了促进未来的研究，所有数据，代码和两个展示我们贡献的Web应用程序都公开使用。
translated by 谷歌翻译
积极的安全方法，例如对手仿真，利用有关威胁行为者及其技术的信息（网络威胁智能，CTI）。但是，大多数CTI仍然以非结构化的形式（即自然语言），例如事件报告和泄漏的文件。为了支持主动的安全工作，我们介绍了一项有关使用机器学习（ML）自动将非结构化CTI自动分类为攻击技术的实验研究。我们为CTI分析的两个新数据集做出了贡献，并评估了几种ML模型，包括传统和深度学习模型。我们介绍了几个课程，了解了ML在此任务中的执行方式，哪些分类器在哪些条件下（这是分类错误的主要原因）以及CTI分析的未来挑战。
translated by 谷歌翻译
姿态检测的目标是确定以目标朝向目标的文本中表达的视点。这些观点或上下文通常以许多不同的语言表达，这取决于用户和平台，这可以是本地新闻插座，社交媒体平台，新闻论坛等。然而，姿态检测的大多数研究已经限于使用单一语言和几个有限的目标，在交叉舌姿态检测很少有效。此外，标记数据的非英语来源通常稀缺，并具有额外的挑战。最近，大型多语言语言模型在许多非英语任务上大大提高了性能，尤其是具有有限数量的示例。这突出了模型预培训的重要性及其从少数例子中学习的能力。在本文中，我们展示了对日期交叉姿态检测的最全面的研究：我们在6名语言系列中使用12种语言的12种不同的数据集进行实验，每个都有6个低资源评估设置。对于我们的实验，我们构建了模式开发培训，提出了添加一种新颖的标签编码器来简化言语程序。我们进一步提出了基于情绪的姿态数据进行预培训，这在与几个强的基线相比，在低拍摄环境中显示了大量的6％F1绝对的增长。
translated by 谷歌翻译
幽默检测和评级的自动化在现代技术中具有有趣的用例，例如人形机器人，聊天机器人和虚拟助手。在本文中，我们提出了一种基于流行的幽默语言理论的短文中检测和评级幽默的新颖方法。提出的技术方法通过将给定文本的句子分开并利用BERT模型来生成每个词来启动。将嵌入式馈送到神经网络中的隐藏层（每个句子的一行）中分离以提取潜在特征。最后，平行线是连接的，以确定句子之间的一致性和其他关系并预测目标值。我们伴随论文提供了一个新颖的数据集，用于幽默检测，其中包括200,000条正式的短文。除了评估我们在新颖数据集上的工作外，我们还参加了一场现场机器学习竞赛，该竞赛的重点是在西班牙推文中评估幽默。在幽默检测实验中，提出的模型获得了0.982和0.869的F1分数，这些实验超过了一般和最先进的模型。在两个对比设置上进行的评估证实了模型的强度和鲁棒性，并提出了在当前任务中实现高准确性的两个重要因素：1）使用句子嵌入和2）在设计拟议模型时利用幽默的语言结构。
translated by 谷歌翻译