在各个领域（例如政治，健康和娱乐）中的真实和虚假新闻每天都通过在线社交媒体传播，需要对多个领域进行虚假新闻检测。其中，在政治和健康等特定领域中的虚假新闻对现实世界产生了更严重的潜在负面影响（例如，由Covid-19的错误信息引导的流行病）。先前的研究着重于多域假新闻检测，同样采矿和建模域之间的相关性。但是，这些多域方法遇到了SEESAW问题：某些域的性能通常会以损害其他域的性能而改善，这可能导致在特定领域的表现不满意。为了解决这个问题，我们建议一个用于假新闻检测（DITFEND）的域和实例级传输框架，这可以改善特定目标域的性能。为了传递粗粒域级知识，我们从元学习的角度训练了所有域数据的通用模型。为了传输细粒度的实例级知识并将一般模型调整到目标域，我们在目标域上训练语言模型，以评估每个数据实例在源域中的可传递性，并重新赢得每个实例的贡献。两个数据集上的离线实验证明了Ditfend的有效性。在线实验表明，在现实世界中，Ditfend对基本模型带来了更多改进。

假新闻的广泛传播越来越威胁到个人和社会。在单个领域（例如政治）上自动假新闻发现已做出了巨大的努力。但是，相关性通常存在于多个新闻领域，因此有望同时检测多个域的假新闻。基于我们的分析，我们在多域假新闻检测中提出了两个挑战：1）域转移，是由域，情感，样式等领域之间的差异引起的。世界分类仅输出一个单个领域标签，而不管新闻文章的主题多样性如何。在本文中，我们提出了一个记忆引导的多视图多域假新闻检测框架（M $^3 $ fend），以应对这两个挑战。我们从多视图的角度对新闻作品进行建模，包括语义，情感和风格。具体而言，我们建议一个域存储库来丰富域信息，该信息可以根据可见的新闻和模型域特征来发现潜在的域标签。然后，以丰富的域信息为输入，域适配器可以从各个域中的新闻的多个视图中适应汇总歧视性信息。对英语和中文数据集进行的大量离线实验证明了M $^3 $ fend的有效性，在线测试在实践中验证了其优势。我们的代码可在https://github.com/ictmcg/m3fend上找到。

假新闻在各个领域的社交媒体上广泛传播，这导致了政治，灾害和金融等许多方面的现实世界威胁。大多数现有方法专注于单域假新闻检测（SFND），当这些方法应用于多域假新闻检测时，导致不满意的性能。作为新兴领域，多域假新闻检测（MFND）越来越受到关注。但是，数据分布，例如词频率和传播模式，从域变化，即域移位。面对严重领域转变的挑战，现有的假新闻检测技术对于多域场景表现不佳。因此，要求为MFND设计专业型号。在本文中，我们首先为MFND设计了一个带有域名标签的假新闻数据集的基准，即Weibo21，由4,488个假新闻和来自9个不同领域的4,640个真实新闻组成。我们进一步提出了一种通过利用域门来聚合由专家混合提取的多个表示来聚合的多域假新闻检测模型（MDFend）。实验表明，MDFEND可以显着提高多域假新闻检测的性能。我们的数据集和代码可在https://github.com/kennqiang/mdfend-weibo21获得。

我们解决了神经机翻译中的两个域适应问题。首先，我们希望达到领域的稳健性，即培训数据的域名的良好质量，以及培训数据中的域名不间断。其次，我们希望我们的系统是Adaptive的，即，可以使用只有数百个域的平行句子来实现Finetune系统。在本文中，我们介绍了两个先前方法的新组合，文字自适应建模，解决了域的鲁棒性和荟萃学习，解决了域适应性，并且我们呈现了显示我们新组合改善这些属性的经验结果。

The spread of rumors along with breaking events seriously hinders the truth in the era of social media. Previous studies reveal that due to the lack of annotated resources, rumors presented in minority languages are hard to be detected. Furthermore, the unforeseen breaking events not involved in yesterday's news exacerbate the scarcity of data resources. In this work, we propose a novel zero-shot framework based on prompt learning to detect rumors falling in different domains or presented in different languages. More specifically, we firstly represent rumor circulated on social media as diverse propagation threads, then design a hierarchical prompt encoding mechanism to learn language-agnostic contextual representations for both prompts and rumor data. To further enhance domain adaptation, we model the domain-invariant structural features from the propagation threads, to incorporate structural position representations of influential community response. In addition, a new virtual response augmentation method is used to improve model training. Extensive experiments conducted on three real-world datasets demonstrate that our proposed model achieves much better performance than state-of-the-art methods and exhibits a superior capacity for detecting rumors at early stages.

社交媒体的重要性在过去几十年中增加了流畅，因为它帮助人们甚至是世界上最偏远的角落保持联系。随着技术的出现，数字媒体比以往任何时候都变得更加相关和广泛使用，并且在此之后，假冒新闻和推文的流通中有一种复兴，需要立即关注。在本文中，我们描述了一种新的假新闻检测系统，可自动识别新闻项目是“真实的”或“假”，作为我们在英语挑战中的约束Covid-19假新闻检测中的工作的延伸。我们使用了一个由预先训练的模型组成的集合模型，然后是统计特征融合网络，以及通过在新闻项目或推文中的各种属性，如源，用户名处理，URL域和作者中的各种属性结合到统计特征中的各种属性。我们所提出的框架还规定了可靠的预测性不确定性以及分类任务的适当类别输出置信水平。我们在Covid-19假新闻数据集和Fakenewsnet数据集上评估了我们的结果，以显示所提出的算法在短期内容中检测假新闻以及新闻文章中的算法。我们在Covid-19数据集中获得了0.9892的最佳F1分，以及Fakenewsnet数据集的F1分数为0.9073。

几乎没有命名的实体识别（NER）对于在有限的资源领域中标记的实体标记至关重要，因此近年来受到了适当的关注。现有的几声方法主要在域内设置下进行评估。相比之下，对于这些固有的忠实模型如何使用一些标记的域内示例在跨域NER中执行的方式知之甚少。本文提出了一种两步以理性为中心的数据增强方法，以提高模型的泛化能力。几个数据集中的结果表明，与先前的最新方法相比，我们的模型无形方法可显着提高跨域NER任务的性能，包括反事实数据增强和及时调用方法。我们的代码可在\ url {https://github.com/lifan-yuan/factmix}上获得。

持续的19日大流行造成了全世界人民的不可估量的损失。为了遏制病毒的传播并进一步减轻危机，已经发布了各种健康政策（例如，在家命令），随着用户转向社交媒体分享他们的态度，他们引发了热烈讨论。在本文中，我们考虑了有关大流行病的立场检测（即跨目标和零照片设置）的更现实的场景，并提出了一个基于对抗性的学习立场分类器，以自动识别公众对与COVID相关健康健康相关健康的态度政策。具体而言，我们采用对抗性学习，使模型可以训练大量标记的数据并从源主题中捕获可转移的知识，从而使具有稀疏标记数据的新兴健康政策概括。同时，设计了一个地理编码器，鼓励模型学习每个区域指定的未观察到的上下文因素，并将其表示为非文本信息，以增强模型的更深入的理解。我们评估了与CoVID-19相关策略的立场检测任务中广泛基线的性能，实验结果表明，我们提出的方法在跨目标和零击设置中都达到了最新的性能。

Language model pre-training has proven to be useful in learning universal language representations. As a state-of-the-art language model pre-training model, BERT (Bidirectional Encoder Representations from Transformers) has achieved amazing results in many language understanding tasks. In this paper, we conduct exhaustive experiments to investigate different fine-tuning methods of BERT on text classification task and provide a general solution for BERT fine-tuning. Finally, the proposed solution obtains new state-of-the-art results on eight widely-studied text classification datasets. 1

Language models pretrained on text from a wide variety of sources form the foundation of today's NLP. In light of the success of these broad-coverage models, we investigate whether it is still helpful to tailor a pretrained model to the domain of a target task. We present a study across four domains (biomedical and computer science publications, news, and reviews) and eight classification tasks, showing that a second phase of pretraining indomain (domain-adaptive pretraining) leads to performance gains, under both high-and low-resource settings. Moreover, adapting to the task's unlabeled data (task-adaptive pretraining) improves performance even after domain-adaptive pretraining. Finally, we show that adapting to a task corpus augmented using simple data selection strategies is an effective alternative, especially when resources for domain-adaptive pretraining might be unavailable. Overall, we consistently find that multiphase adaptive pretraining offers large gains in task performance.

了解文本中表达的态度，也称为姿态检测，在旨在在线检测虚假信息的系统中起重要作用，无论是错误信息（无意的假）或虚假信息（故意错误地蔓延，恶意意图）。姿态检测已经以不同的方式在文献中框架，包括（a）作为事实检查，谣言检测和检测先前的事实检查的权利要求，或（b）作为其自己的任务的组件;在这里，我们看看两者。虽然已经进行了与其他相关任务的突出姿态检测，但诸如论证挖掘和情绪分析之类的其他相关任务，但没有调查姿态检测和错误和缺陷检测之间的关系。在这里，我们的目标是弥合这个差距。特别是，我们在焦点中审查和分析了该领域的现有工作，焦点中的错误和不忠实，然后我们讨论了汲取的经验教训和未来的挑战。

随着电子商务行业的爆炸性增长，检测现实世界应用中的在线交易欺诈对电子商务平台的发展越来越重要。用户的顺序行为历史提供有用的信息，以区分从常规支付的欺诈性付款。最近，已经提出了一些方法来解决基于序列的欺诈检测问题。然而，这些方法通常遭受两个问题：预测结果难以解释，并且对行为的内部信息的利用不足。为了解决上述两个问题，我们提出了一个分层可解释的网络（母鸡）来模拟用户的行为序列，这不仅可以提高欺诈检测的性能，还可以使推理过程解释。同时，随着电子商务业务扩展到新域名，例如新的国家或新市场，在欺诈检测系统中建模用户行为的一个主要问题是数据收集的限制，例如，非常少的数据/标签。因此，在本文中，我们进一步提出了一种转移框架来解决跨域欺诈检测问题，其旨在从现有域（源域）的知识传输足够的域（源域），以提高新域中的性能（目标域）。我们所提出的方法是一般的转移框架，不仅可以应用于母鸡而且可以在嵌入和MLP范例中应用各种现有模型。基于90个转移任务实验，我们还表明，我们的转移框架不仅可以促进母鸡的跨域欺诈检测任务，而且对于各种现有模型也是普遍的和可扩展的。

尽管最近在改善错误信息检测系统的性能方面取得了进展，但在看不见的领域中进行错误信息进行分类仍然是一个难以捉摸的挑战。为了解决这个问题，一种常见的方法是引入域名评论家并鼓励域不变的输入功能。但是，早期的错误信息通常证明了针对现有的错误信息数据（例如，COVID-19数据集中的类不平衡）的条件和标签转移，这使得这种方法在检测早期错误信息方面的有效性较小。在本文中，我们提出了早期错误信息检测（CANMD）的对比适应网络。具体而言，我们利用伪标签来生成高信心的目标示例，用于与源数据的联合培训。我们还设计了标签校正成分，以估算和校正源和目标域之间的标签移动（即类先验）。此外，对比度适应损失已集成在目标函数中，以减少类内部差异并扩大阶层间差异。因此，改编的模型学习了校正的类先验和两个域之间不变的条件分布，以改善目标数据分布的估计。为了证明所提出的CANMD的有效性，我们研究了Covid-19的早期错误信息检测的案例，并使用多个现实世界数据集进行了广泛的实验。结果表明，与最先进的基线相比，CANMD可以有效地将错误信息检测系统适应不见的Covid-19目标域，并有显着改进。

在这项工作中，提出了两种机器学习方法的整合，即适应和可解释的AI，以解决这两个广义检测和解释性的问题。首先，域名对抗神经网络（DANN）在多个社交媒体平台上开发了广义的错误信息检测器，DANN用于为具有相关但看不见的数据的测试域生成分类结果。基于DANN的模型是一种传统的黑盒模型，无法证明其结果合理，即目标域的标签。因此，应用了可解释的局部模型 - 反应解释（LIME）可解释的AI模型来解释DANN模式的结果。为了证明这两种方法及其进行有效解释的广义检测的整合，Covid-19的错误信息被认为是案例研究。我们尝试了两个数据集，分别是CoAid和Misovac，并比较了有或没有DANN实施的结果。 Dann显着提高了精度测量F1分类评分，并提高了准确性和AUC性能。获得的结果表明，所提出的框架在域移动的情况下表现良好，可以学习域名特征，同时使用石灰实现解释目标标签，从而实现可信赖的信息处理和提取，从而有效地打击错误信息。

社交媒体平台上的假新闻，误导和无法验证的事实宣传了不和谐，影响社会，特别是在处理像Covid-19这样的流行病时。假新闻检测的任务旨在通过将新闻项目分类为假或真实的新闻项目来解决这种错误信息的影响。在本文中，我们提出了一种新的方法，通过自动收集每个索赔的证据来改善目前的自动自动假新闻检测方法。我们的方法从Web艺术品中提取支持证据，然后选择待视为证据组的适当文本。我们在这些证据组上使用预先训练的摘要，然后使用提取的摘要作为支持证据来帮助分类任务。我们的实验，使用机器学习和基于深度学习的方法，有助于对我们的方法进行广泛的评估。结果表明，我们的方法优于假新闻检测中的最先进方法，以在为约束-2021共享任务提供的数据集中实现99.25的F1分数。我们还释放了任何进一步研究的增强数据集，我们的代码和模型。

Users' involvement in creating and propagating news is a vital aspect of fake news detection in online social networks. Intuitively, credible users are more likely to share trustworthy news, while untrusted users have a higher probability of spreading untrustworthy news. In this paper, we construct a dual-layer graph (i.e., the news layer and the user layer) to extract multiple relations of news and users in social networks to derive rich information for detecting fake news. Based on the dual-layer graph, we propose a fake news detection model named Us-DeFake. It learns the propagation features of news in the news layer and the interaction features of users in the user layer. Through the inter-layer in the graph, Us-DeFake fuses the user signals that contain credibility information into the news features, to provide distinctive user-aware embeddings of news for fake news detection. The training process conducts on multiple dual-layer subgraphs obtained by a graph sampler to scale Us-DeFake in large scale social networks. Extensive experiments on real-world datasets illustrate the superiority of Us-DeFake which outperforms all baselines, and the users' credibility signals learned by interaction relation can notably improve the performance of our model.

来自变压器（BERT）的双向编码器表示显示了各种NLP任务的奇妙改进，并且已经提出了其连续的变体来进一步提高预先训练的语言模型的性能。在本文中，我们的目标是首先介绍中国伯特的全文掩蔽（WWM）策略，以及一系列中国预培训的语言模型。然后我们还提出了一种简单但有效的型号，称为Macbert，这在几种方面提高了罗伯塔。特别是，我们提出了一种称为MLM作为校正（MAC）的新掩蔽策略。为了展示这些模型的有效性，我们创建了一系列中国预先培训的语言模型，作为我们的基线，包括BERT，Roberta，Electra，RBT等。我们对十个中国NLP任务进行了广泛的实验，以评估创建的中国人托管语言模型以及提议的麦克白。实验结果表明，Macbert可以在许多NLP任务上实现最先进的表演，我们还通过几种可能有助于未来的研究的调查结果来消融细节。我们开源我们的预先培训的语言模型，以进一步促进我们的研究界。资源可用：https://github.com/ymcui/chinese-bert-wwm

预审前的语言模型在自然语言处理的各个领域都取得了成功，包括阅读理解任务。但是，当将机器学习方法应用于新域时，标记的数据可能并不总是可用。为了解决这个问题，我们使用对源域数据进行预处理的监督，以降低特定于域的下游任务的样本复杂性。我们通过将任务转移与域适应性相结合以微调验证的模型，而没有目标任务中的数据来评估特定于领域的阅读理解任务的零射击性能。我们的方法在4个域中的3个域中的下游域特异性阅读理解任务上超过了域自适应预测。

假新闻的迅速增加，这对社会造成重大损害，触发了许多假新闻相关研究，包括开发假新闻检测和事实验证技术。这些研究的资源主要是从Web数据中获取的公共数据集。我们通过三个观点调查了与假新闻研究相关的118个数据集：（1）假新闻检测，（2）事实验证，（3）其他任务;例如，假新闻和讽刺检测分析。我们还详细描述了他们的利用任务及其特征。最后，我们突出了假新闻数据集建设中的挑战以及解决这些挑战的一些研究机会。我们的调查通过帮助研究人员找到合适的数据集来促进假新闻研究，而无需重新发明轮子，从而提高了深度的假新闻研究。

社交媒体数据已成为有关现实世界危机事件的及时信息的有用来源。与将社交媒体用于灾难管理有关的主要任务之一是自动识别与危机相关的消息。关于该主题的大多数研究都集中在特定语言中特定类型事件的数据分析上。这限制了概括现有方法的可能性，因为模型不能直接应用于新类型的事件或其他语言。在这项工作中，我们研究了通过利用跨语言和跨域标记数据来自动对与危机事件相关的消息进行分类的任务。我们的目标是利用来自高资源语言的标记数据来对其他（低资源）语言和/或新（以前看不见的）类型的危机情况进行分类。在我们的研究中，我们从文献中合并了一个大型统一数据集，其中包含多个危机事件和语言。我们的经验发现表明，确实有可能利用英语危机事件的数据来对其他语言（例如西班牙语和意大利语）（80.0％的F1得分）对相同类型的事件进行分类。此外，我们在跨语言环境中为跨域任务（80.0％F1得分）取得了良好的性能。总体而言，我们的工作有助于改善数据稀缺问题，这对于多语言危机分类非常重要。特别是，当时间是本质的时候，可以减轻紧急事件中的冷启动情况。