This article presents a dataset of 10,917 news articles with hierarchical news categories collected between January 1st 2019, and December 31st 2019. We manually labelled the articles based on a hierarchical taxonomy with 17 first-level and 109 second-level categories. This dataset can be used to train machine learning models for automatically classifying news articles by topic. This dataset can be helpful for researchers working on news structuring, classification, and predicting future events based on released news.

人们依靠新闻来了解世界各地正在发生的事情并告知他们的日常生活。在当今的世界中，当假新闻的扩散猖ramp时，拥有大规模且高质量的真实新闻文章来源，其中包含出版类别的信息对于学习真实新闻的自然语言语法和语义是有价值的。作为这项工作的一部分，我们提供了一个新闻类别数据集，其中包含从HuffPost获得的2012年至2018年的200K新闻头条，以及有用的元数据以实现各种NLP任务。在本文中，我们还从数据集中产生了一些新颖的见解，并描述了数据集的各种现有和潜在应用。

We present the Verifee Dataset: a novel dataset of news articles with fine-grained trustworthiness annotations. We develop a detailed methodology that assesses the texts based on their parameters encompassing editorial transparency, journalist conventions, and objective reporting while penalizing manipulative techniques. We bring aboard a diverse set of researchers from social, media, and computer sciences to overcome barriers and limited framing of this interdisciplinary problem. We collect over $10,000$ unique articles from almost $60$ Czech online news sources. These are categorized into one of the $4$ classes across the credibility spectrum we propose, raging from entirely trustworthy articles all the way to the manipulative ones. We produce detailed statistics and study trends emerging throughout the set. Lastly, we fine-tune multiple popular sequence-to-sequence language models using our dataset on the trustworthiness classification task and report the best testing F-1 score of $0.52$. We open-source the dataset, annotation methodology, and annotators' instructions in full length at https://verifee.ai/research to enable easy build-up work. We believe similar methods can help prevent disinformation and educate in the realm of media literacy.

本概述论文描述了乌尔都语语言中的假新闻检测的第一个共享任务。该任务是作为二进制分类任务的，目标是区分真实新闻和虚假新闻。我们提供了一个数据集，分为900个注释的新闻文章，用于培训，并进行了400篇新闻文章进行测试。该数据集包含五个领域的新闻：（i）健康，（ii）体育，（iii）Showbiz，（iv）技术和（v）业务。来自6个不同国家（印度，中国，埃及，德国，巴基斯坦和英国）的42个团队登记了这项任务。9个团队提交了他们的实验结果。参与者使用了各种机器学习方法，从基于功能的传统机器学习到神经网络技术。最佳性能系统的F得分值为0.90，表明基于BERT的方法优于其他机器学习技术

在当代世界中，自动检测假新闻是一项非常重要的任务。这项研究报告了第二项共享任务，称为Urdufake@fire2021，以识别乌尔都语中的假新闻检测。共同任务的目的是激励社区提出解决这一至关重要问题的有效方法，尤其是对于乌尔都语。该任务被视为二进制分类问题，将给定的新闻文章标记为真实或假新闻文章。组织者提供了一个数据集，其中包括五个领域的新闻：（i）健康，（ii）体育，（iii）Showbiz，（iv）技术和（v）业务，分为培训和测试集。该培训集包含1300篇注释的新闻文章 - 750个真实新闻，550个假新闻，而测试集包含300篇新闻文章 - 200个真实，100个假新闻。来自7个不同国家（中国，埃及，以色列，印度，墨西哥，巴基斯坦和阿联酋）的34个团队注册参加了Urdufake@Fire2021共享任务。在这些情况下，有18个团队提交了实验结果，其中11个提交了技术报告，与2020年的Urdufake共享任务相比，这一报告要高得多，当时只有6个团队提交了技术报告。参与者提交的技术报告展示了不同的数据表示技术，从基于计数的弓形功能到单词矢量嵌入以及使用众多的机器学习算法，从传统的SVM到各种神经网络体系结构，包括伯特和罗伯塔等变形金刚。在今年的比赛中，表现最佳的系统获得了0.679的F1-MACRO得分，低于过去一年的0.907 F1-MaCro的最佳结果。诚然，尽管过去和当前几年的培训集在很大程度上重叠，但如果今年完全不同，则测试集。

以互联网上的文件形式存储的信息量迅速增加。因此，它已成为以最佳方式组织和维护这些文件的必要性。文本分类算法研究文本中单词之间的复杂关系，并尝试解释文档的语义。这些算法在过去几年中已经显着发展。从简单的机器学习算法到基于变压器的架构有很多进展。然而，现有文献在不同的数据集上分析了不同的方法，从而难以比较机器学习算法的性能。在这项工作中，我们使用标准机器学习方法重新审视长文件分类。我们在六个标准文本分类数据集中从简单的天真贝叶斯到复杂伯爵的基准方法。我们在一系列长文档数据集中呈现了不同算法的详尽比较。我们重新延长了长篇文档分类是一个更简单的任务，甚至基本算法竞争地在大多数数据集上具有基于BERT的方法。基于BERT的模型在所有数据集上始终如一地执行，并且当计算成本不是一个问题时，可以盲目地用于文档分类任务。在浅模范的类别中，我们建议使用原始Bilstm + Max架构的用法，这些架构在所有数据集中体面效果。即使是更简单的手套+注意单词模型也可用于更简单的用例。在IMDB情绪数据集中清晰可见使用复杂模型的重要性，这是一个相对较难的任务。

在线评论在电子商务中发挥重要作用进行决策。大部分人口做出了哪些地方，餐厅访问，以根据各自的平台发布的评论来购买的地方，从哪里购买。欺诈性审查或意见垃圾邮件被分类为一个不诚实或欺骗性的审查。产品或餐厅的肯定审查有助于吸引客户，从而导致销售额增加，而负面评论可能会妨碍餐厅或产品销售的进展，从而导致令人害羞的声誉和损失。欺诈性评论是故意发布的各种在线审查平台，以欺骗客户购买，访问或分散产品或餐厅的注意力。它们也被编写或诋毁产品的辩护。该工作旨在检测和分类审查作为欺骗性或真实性。它涉及使用各种深入学习技术来分类审查和概述涉及基于人的双向LSTM的提出的方法，以解决与基线机器学习技术的评论和比较研究中的语义信息有关的问题，以进行审查分类。

我们如何区分商业从新闻中的社论内容，或者更具体地说，区分广告和普通新闻文章？广告是写作并格式化为文章的商业信息，使读者难以识别这些作为广告，尽管使用免责声明。在我们的研究中，我们的目标是使用机器学习模型来区分两个，以及源自它的词典。这是通过从四个不同荷兰新闻来源的1.000文章和1.000个广告版完成并根据文本特征进行分类。使用此设置，我们最成功的机器学习模型的准确性仅超过90美元$。为了在新闻和广告语言之间产生额外的洞察，我们还分析了模型系数并通过共同发生网络和T-SNE图探索了语料库。

自2020年初以来，Covid-19-19造成了全球重大影响。这给社会带来了很多困惑，尤其是由于错误信息通过社交媒体传播。尽管已经有几项与在社交媒体数据中发现错误信息有关的研究，但大多数研究都集中在英语数据集上。印度尼西亚的COVID-19错误信息检测的研究仍然很少。因此，通过这项研究，我们收集和注释印尼语的数据集，并通过考虑该推文的相关性来构建用于检测COVID-19错误信息的预测模型。数据集构造是由一组注释者进行的，他们标记了推文数据的相关性和错误信息。在这项研究中，我们使用印度培训预培训的语言模型提出了两阶段分类器模型，以进行推文错误信息检测任务。我们还尝试了其他几种基线模型进行文本分类。实验结果表明，对于相关性预测，BERT序列分类器的组合和用于错误信息检测的BI-LSTM的组合优于其他机器学习模型，精度为87.02％。总体而言，BERT利用率有助于大多数预测模型的更高性能。我们发布了高质量的Covid-19错误信息推文语料库，用高通道一致性表示。

从文本数据中推断出具有政治收费的信息是文本和作者级别的自然语言处理（NLP）的流行研究主题。近年来，对这种研究的研究是在伯特等变形金刚的代表性的帮助下进行的。尽管取得了很大的成功，但我们可能会询问是否通过将基于转换的模型与其他知识表示形式相结合，是否可以进一步改善结果。为了阐明这个问题，本工作描述了一系列实验，以比较英语和葡萄牙语中文本的政治推断的替代模型配置。结果表明，某些文本表示形式 - 特别是，BERT预训练的语言模型与句法依赖模型的联合使用可能胜过多个实验环境的替代方案，这是进一步研究异质文本表示的潜在强大案例在这些以及可能的其他NLP任务中。

Automatic keyword extraction (AKE) has gained more importance with the increasing amount of digital textual data that modern computing systems process. It has various applications in information retrieval (IR) and natural language processing (NLP), including text summarisation, topic analysis and document indexing. This paper proposes a simple but effective post-processing-based universal approach to improve the performance of any AKE methods, via an enhanced level of semantic-awareness supported by PoS-tagging. To demonstrate the performance of the proposed approach, we considered word types retrieved from a PoS-tagging step and two representative sources of semantic information -- specialised terms defined in one or more context-dependent thesauri, and named entities in Wikipedia. The above three steps can be simply added to the end of any AKE methods as part of a post-processor, which simply re-evaluate all candidate keywords following some context-specific and semantic-aware criteria. For five state-of-the-art (SOTA) AKE methods, our experimental results with 17 selected datasets showed that the proposed approach improved their performances both consistently (up to 100\% in terms of improved cases) and significantly (between 10.2\% and 53.8\%, with an average of 25.8\%, in terms of F1-score and across all five methods), especially when all the three enhancement steps are used. Our results have profound implications considering the ease to apply our proposed approach to any AKE methods and to further extend it.

法律判决预测是NLP，AI和法律联合领域最受欢迎的领域之一。通过法律预测，我们是指能够预测特定司法特征的智能系统，例如司法结果，司法阶级，可以预测特定案例。在这项研究中，我们使用AI分类器来预测巴西法律体系中的司法结果。为此，我们开发了一个文本爬网，以从巴西官方电子法律系统中提取数据。这些文本构成了二级谋杀和主动腐败案件的数据集。我们应用了不同的分类器，例如支持向量机和神经网络，通过分析数据集中的文本功能来预测司法结果。我们的研究表明，回归树，封闭的重复单元和分层注意力网络给出了不同子集的较高指标。作为最终目标，我们探讨了一种算法的权重，即分层注意力网络，以找到用于免除或定罪被告的最重要词的样本。

与简单英语的德国同行“莱希特·斯普拉奇（Leichte Sprache）”是一种旨在促进复杂的书面语言的受监管语言，否则不同的人群将无法访问。我们为简单德语 - 德语提供了一个新的与句子一致的单语语料库。它包含多个使用自动句子对准方法对齐的文档对准源。我们根据手动标记的对齐文档子集评估我们的对齐方式。通过F1得分衡量的句子对齐质量超过了先前的工作。我们根据CC BY-SA和MIT许可证的随附代码发布数据集。

这项研究报告了第二个名为Urdufake@Fire2021的共享任务，以识别乌尔都语语言的假新闻检测。这是一个二进制分类问题，在其中，任务是将给定的新闻文章分为两类：（i）真实新闻，或（ii）假新闻。在这项共同的任务中，来自7个不同国家（中国，埃及，以色列，印度，墨西哥，巴基斯坦和阿联酋）的34个团队注册参加了共同的任务，18个团队提交了他们的实验结果，11个团队提交了他们的技术报告。所提出的系统基于各种基于计数的功能，并使用了不同的分类器以及神经网络体系结构。随机梯度下降（SGD）算法的表现优于其他分类器，并达到0.679 F-SCORE。

在这项工作中，我们考虑欺骗性的欺骗性的集合愚人节（AFD）新闻文章作为欺骗检测任务的现有数据集中的有用添加。这些系列具有既定的基础事实，跨语言构建相对容易。因此，我们介绍了一个包含来自希腊报纸和新闻网站的历时的AFD和正常文章的语料库。最重要的是，我们建立了丰富的语言功能集，并与目前可用的唯一AFD系列进行了分析，并比较其欺骗性提示，这是英文。在目前的研究线程之后，我们还讨论了对这两个数据集的欺骗中的个人主义/集体主义维度。最后，我们通过测试各种单声道和Crosslingual设置来构建分类器。结果展示了AFD数据集可以有助于欺骗检测研究，并且与其他欺骗性检测工作的观察结果进行对齐。

社交媒体的重要性在过去几十年中增加了流畅，因为它帮助人们甚至是世界上最偏远的角落保持联系。随着技术的出现，数字媒体比以往任何时候都变得更加相关和广泛使用，并且在此之后，假冒新闻和推文的流通中有一种复兴，需要立即关注。在本文中，我们描述了一种新的假新闻检测系统，可自动识别新闻项目是“真实的”或“假”，作为我们在英语挑战中的约束Covid-19假新闻检测中的工作的延伸。我们使用了一个由预先训练的模型组成的集合模型，然后是统计特征融合网络，以及通过在新闻项目或推文中的各种属性，如源，用户名处理，URL域和作者中的各种属性结合到统计特征中的各种属性。我们所提出的框架还规定了可靠的预测性不确定性以及分类任务的适当类别输出置信水平。我们在Covid-19假新闻数据集和Fakenewsnet数据集上评估了我们的结果，以显示所提出的算法在短期内容中检测假新闻以及新闻文章中的算法。我们在Covid-19数据集中获得了0.9892的最佳F1分，以及Fakenewsnet数据集的F1分数为0.9073。

Covid-19影响了世界各地，尽管对爆发的错误信息的传播速度比病毒更快。错误的信息通过在线社交网络（OSN）传播，通常会误导人们遵循正确的医疗实践。特别是，OSN机器人一直是传播虚假信息和发起网络宣传的主要来源。现有工作忽略了机器人的存在，这些机器人在传播中充当催化剂，并专注于“帖子中共享的文章”而不是帖子（文本）内容中的假新闻检测。大多数关于错误信息检测的工作都使用手动标记的数据集，这些数据集很难扩展以构建其预测模型。在这项研究中，我们通过在Twitter数据集上使用经过验证的事实检查的陈述来标记数据来克服这一数据稀缺性挑战。此外，我们将文本功能与用户级功能（例如关注者计数和朋友计数）和推文级功能（例如Tweet中的提及，主题标签和URL）结合起来，以充当检测错误信息的其他指标。此外，我们分析了推文中机器人的存在，并表明机器人随着时间的流逝改变了其行为，并且在错误信息中最活跃。我们收集了1022万个Covid-19相关推文，并使用我们的注释模型来构建一个广泛的原始地面真实数据集以进行分类。我们利用各种机器学习模型来准确检测错误信息，我们的最佳分类模型达到了精度（82％），召回（96％）和假阳性率（3.58％）。此外，我们的机器人分析表明，机器人约为错误信息推文的10％。我们的方法可以实质性地暴露于虚假信息，从而改善了通过社交媒体平台传播的信息的可信度。

由于在线新闻变得越来越受欢迎和假新闻越来越普遍，审计在线新闻内容的真实性的能力变得比以往任何时候都变得更加重要。这样的任务代表了二进制分类挑战，该挑战是哪些变换器已经实现了最先进的结果。本研究使用公开可用的ISOT和组合的语料库数据集探讨了识别虚假新闻的变形金刚的能力，特别注意，调查具有不同风格，主题和级别分布的看不见的数据集的概念。此外，我们探讨了意见的新闻文章由于其主观性质和经常敏感的语言而无法归类为真实或假的，并提出了一种新颖的两步分类管道，以从模型训练和最终部署的模型训练中删除这些文章推理系统。与基线方法相比，转化概率，转换概率的F1分数增加到4.9％的F1分数增加到4.9％，进一步增加了我们的两步分类管道后进一步增加了10.1％。据我们所知，本研究是第一个调查变压器在这种背景下的概括。

The coverage of different stakeholders mentioned in the news articles significantly impacts the slant or polarity detection of the concerned news publishers. For instance, the pro-government media outlets would give more coverage to the government stakeholders to increase their accessibility to the news audiences. In contrast, the anti-government news agencies would focus more on the views of the opponent stakeholders to inform the readers about the shortcomings of government policies. In this paper, we address the problem of stakeholder extraction from news articles and thereby determine the inherent bias present in news reporting. Identifying potential stakeholders in multi-topic news scenarios is challenging because each news topic has different stakeholders. The research presented in this paper utilizes both contextual information and external knowledge to identify the topic-specific stakeholders from news articles. We also apply a sequential incremental clustering algorithm to group the entities with similar stakeholder types. We carried out all our experiments on news articles on four Indian government policies published by numerous national and international news agencies. We also further generalize our system, and the experimental results show that the proposed model can be extended to other news topics.

在过去的十年中，视频通信一直在迅速增加，YouTube提供了一种媒介，用户可以在其中发布，发现，共享和反应视频。引用研究文章的视频数量也有所增加，尤其是因为学术会议需要进行视频提交已变得相对普遍。但是，研究文章与YouTube视频之间的关系尚不清楚，本文的目的是解决此问题。我们使用YouTube视频创建了新的数据集，并在各种在线平台上提到了研究文章。我们发现，视频中引用的大多数文章都与医学和生物化学有关。我们通过统计技术和可视化分析了这些数据集，并建立了机器学习模型，以预测（1）视频中是否引用了研究文章，（2）视频中引用的研究文章是否达到了一定程度的知名度，以及（3）引用研究文章的视频是否流行。最佳模型的F1得分在80％至94％之间。根据我们的结果，在更多推文和新闻报道中提到的研究文章有更高的机会接收视频引用。我们还发现，视频观点对于预测引用和增加研究文章的普及和公众参与科学很重要。