Prior work on ideology prediction has largely focused on single modalities, i.e., text or images. In this work, we introduce the task of multimodal ideology prediction, where a model predicts binary or five-point scale ideological leanings, given a text-image pair with political content. We first collect five new large-scale datasets with English documents and images along with their ideological leanings, covering news articles from a wide range of US mainstream media and social media posts from Reddit and Twitter. We conduct in-depth analyses of news articles and reveal differences in image content and usage across the political spectrum. Furthermore, we perform extensive experiments and ablation studies, demonstrating the effectiveness of targeted pretraining objectives on different model components. Our best-performing model, a late-fusion architecture pretrained with a triplet objective over multimodal content, outperforms the state-of-the-art text-only model by almost 4% and a strong multimodal baseline with no pretraining by over 3%.

随着社交媒体平台从基于文本的论坛发展为多模式环境，社交媒体中错误信息的性质也正在发生相应的变化。利用这样一个事实，即图像和视频等视觉方式对用户更有利和吸引力，并且有时会毫不粗糙地浏览文本内容，否则传播器最近针对模式之间的上下文相关性，例如文本和图像。因此，许多研究工作已经发展为自动技术，用于检测基于Web的媒体中可能的跨模式不一致。在这项工作中，我们旨在分析，分类和确定现有方法，除了面临的挑战和缺点外，还要在多模式错误信息检测领域中发掘新的机会。

近年来，在网上见证了令人反感的内容的泛滥，例如假新闻，宣传，错误信息和虚假信息。虽然最初这主要是关于文本内容，但随着时间的流逝，图像和视频越来越受欢迎，因为它们更容易消费，吸引更多的关注并比文本更广泛地传播。结果，研究人员开始利用不同的方式及其组合来解决在线多模式进攻内容。在这项研究中，我们提供了有关最新的多模式虚假信息检测的调查，该检测涵盖了各种模式组合：文本，图像，语音，视频，社交媒体网络结构和时间信息。此外，尽管有些研究集中于事实，但其他研究调查了内容的有害性。尽管虚假信息定义中的这两个组成部分（i）事实和（ii）有害性同样重要，但通常会孤立地研究它们。因此，我们主张在同一框架中考虑多种方式以及事实和有害性来解决虚假信息检测。最后，我们讨论当前的挑战和未来的研究方向

对发展有说服力的文本的兴趣日益兴趣促进了自动化系统中的应用，例如辩论和论文评分系统；但是，从争论的角度来看，先前的工作挖掘图像说服力几乎没有。为了将说服力开采扩展到多模式领域，我们提出了一个多模式数据集，ImageArg，由推文中图像说服力的注释组成。注释是基于我们开发的说服分类法来探索图像功能和说服力的手段。我们使用广泛使用的多模式学习方法在Imakearg上基于图像说服力。实验结果表明，我们的数据集为这个丰富而充满挑战的主题提供了有用的资源，并且有足够的空间来建模改进。

我们提出了视觉和启发性语言变压器（Vault）。 Vault是流行的视觉和语言变压器（VILT）的扩展，并提高了视觉和语言任务的性能，这些任务涉及比图像字幕更复杂的文本输入，同时对训练和推理效率的影响最小。重要的是，Vilt通过使用浅图像编码器实现了有效的培训和视觉和语言任务的推断。但是，它是在字幕和类似的数据集上鉴定的，在该数据集中，语言输入简单，文字和描述性，因此缺乏语言多样性。因此，当使用野外多媒体数据（例如多模式社交媒体数据（在我们的工作，Twitter）中）时，从字幕语言数据以及任务多样性都有显着转变，我们确实找到了证据表明该语言vilt的能力是缺乏的。保险库的关键见解是将大型语言模型（例如Bert）的输出表示传播到Vilt的语言输入。我们表明，这种策略在涉及更丰富的语言输入和情感构造的视觉和语言任务上大大改善了毒品，例如Twitter-2015，Twitter-2015，Twitter-2017，MVSA-Single和MVSA-Multiple，但落后于纯粹的推理任务之后作为彭博Twitter文本图像关系数据集。我们已经在https://github.com/gchochla/vault上发布了所有实验的代码。

了解文本中表达的态度，也称为姿态检测，在旨在在线检测虚假信息的系统中起重要作用，无论是错误信息（无意的假）或虚假信息（故意错误地蔓延，恶意意图）。姿态检测已经以不同的方式在文献中框架，包括（a）作为事实检查，谣言检测和检测先前的事实检查的权利要求，或（b）作为其自己的任务的组件;在这里，我们看看两者。虽然已经进行了与其他相关任务的突出姿态检测，但诸如论证挖掘和情绪分析之类的其他相关任务，但没有调查姿态检测和错误和缺陷检测之间的关系。在这里，我们的目标是弥合这个差距。特别是，我们在焦点中审查和分析了该领域的现有工作，焦点中的错误和不忠实，然后我们讨论了汲取的经验教训和未来的挑战。

社交媒体网络已成为人们生活的重要方面，它是其思想，观点和情感的平台。因此，自动化情绪分析（SA）对于以其他信息来源无法识别人们的感受至关重要。对这些感觉的分析揭示了各种应用，包括品牌评估，YouTube电影评论和医疗保健应用。随着社交媒体的不断发展，人们以不同形式发布大量信息，包括文本，照片，音频和视频。因此，传统的SA算法已变得有限，因为它们不考虑其他方式的表现力。通过包括来自各种物质来源的此类特征，这些多模式数据流提供了新的机会，以优化基于文本的SA之外的预期结果。我们的研究重点是多模式SA的最前沿领域，该领域研究了社交媒体网络上发布的视觉和文本数据。许多人更有可能利用这些信息在这些平台上表达自己。为了作为这个快速增长的领域的学者资源，我们介绍了文本和视觉SA的全面概述，包括数据预处理，功能提取技术，情感基准数据集以及适合每个字段的多重分类方法的疗效。我们还简要介绍了最常用的数据融合策略，并提供了有关Visual Textual SA的现有研究的摘要。最后，我们重点介绍了最重大的挑战，并调查了一些重要的情感应用程序。

社交媒体在时装行业中的作用在较少年的情况下一直在盛开。在这项工作中，我们调查了社交媒体平台中时尚相关员额的情绪分析。这项任务有两个主要挑战。首先，必须共同考虑不同方式的信息以进行最终预测。在第二个地方，应考虑一些独特的时尚相关的属性。虽然大多数现有的作品侧重于传统的多模式情绪分析，但它们始终未能利用此任务中的时尚相关的属性。我们提出了一种新颖的框架，共同利用图像视觉，文本，文本以及时尚属性模态来确定情绪类别。我们的模型的一个特征是它提取了时尚属性并将它们与图像视觉信息集成了有效表示。此外，它通过相互关注机制利用时尚属性和邮政文本之间的相互关系。由于没有适合此任务的现有数据集，因此我们准备了超过12K时尚相关的社交媒体帖子的大规模情感分析数据集。进行广泛的实验以证明我们模型的有效性。

本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片（Sota）。它填补了空白，因为现有的调查文章在其范围内或被约会。我们包括两个重要方面，目前正在挖掘和建模社交媒体的重要性：动态和网络。社会动态对于了解影响影响或疾病的传播，友谊的形成，友谊的形成等，另一方面，可以捕获各种复杂关系，提供额外的洞察力和识别否则将不会被注意的重要模式。

媒体报道对公众对事件的看法具有重大影响。尽管如此，媒体媒体经常有偏见。偏见新闻文章的一种方法是改变选择一词。通过单词选择对偏见的自动识别是具有挑战性的，这主要是由于缺乏黄金标准数据集和高环境依赖性。本文介绍了Babe，这是由训练有素的专家创建的强大而多样化的数据集，用于媒体偏见研究。我们还分析了为什么专家标签在该域中至关重要。与现有工作相比，我们的数据集提供了更好的注释质量和更高的通知者协议。它由主题和插座之间平衡的3,700个句子组成，其中包含单词和句子级别上的媒体偏见标签。基于我们的数据，我们还引入了一种自动检测新闻文章中偏见的句子的方法。我们最佳性能基于BERT的模型是在由遥远标签组成的较大语料库中进行预训练的。对我们提出的监督数据集进行微调和评估模型，我们达到了0.804的宏F1得分，表现优于现有方法。

情感是引人入胜的叙事的关键部分：文学向我们讲述了有目标，欲望，激情和意图的人。情绪分析是情感分析更广泛，更大的领域的一部分，并且在文学研究中受到越来越多的关注。过去，文学的情感维度主要在文学诠释学的背景下进行了研究。但是，随着被称为数字人文科学（DH）的研究领域的出现，在文学背景下对情绪的一些研究已经发生了计算转折。鉴于DH仍被形成为一个领域的事实，这一研究方向可以相对较新。在这项调查中，我们概述了现有的情感分析研究机构，以适用于文献。所评论的研究涉及各种主题，包括跟踪情节发展的巨大变化，对文学文本的网络分析以及了解文本的情感以及其他主题。

在过去几年中，社交媒体上传播的错误消息激增，并导致了现实世界中的多种威胁。尽管有关于特定领域的虚假新闻（例如政治或医疗保健）的研究，但比较跨领域的虚假新闻几乎没有工作。在本文中，我们调查了2009年至2019年中国最大的Twitter式社交媒体平台的微博上的九个领域的虚假新闻。新收集的数据包含44,728个帖子，由40,215个用户发布，并重新发布了。 340万次。基于多域数据集的分布和传播，我们观察到，在诸如健康和医学之类的日常生活的领域中，虚假的消息比政治等其他领域的帖子更有效，但有效地传播的帖子较少，而政治虚假新闻具有最有效的扩散能力。关于微博上广泛散布的虚假新闻帖子与某些类型的用户（按性别，年龄等。此外，这些帖子都引起了重新播放的强烈情绪，并随着False-News启动器的积极参与而进一步扩散。我们的发现有可能在可疑新闻发现，真实性预测以及显示和解释中帮助设计错误的新闻检测系统。微博上的发现与现有作品的发现表明了细微的模式，这表明需要对来自不同平台，国家或语言的数据进行更多研究，以解决全球错误新闻。代码和新的匿名数据集可在https://github.com/ictmcg/characterizing-weibo-multi-domain-false-news上找到。

讽刺可以被定义为说或写讽刺与一个人真正想表达的相反，通常是为了侮辱，刺激或娱乐某人。由于文本数据中讽刺性的性质晦涩难懂，因此检测到情感分析研究社区的困难和非常感兴趣。尽管讽刺检测的研究跨越了十多年，但最近已经取得了一些重大进步，包括在多模式环境中采用了无监督的预训练的预训练的变压器，并整合了环境以识别讽刺。在这项研究中，我们旨在简要概述英语计算讽刺研究的最新进步和趋势。我们描述了与讽刺有关的相关数据集，方法，趋势，问题，挑战和任务，这些数据集，趋势，问题，挑战和任务是无法检测到的。我们的研究提供了讽刺数据集，讽刺特征及其提取方法以及各种方法的性能分析，这些表可以帮助相关领域的研究人员了解当前的讽刺检测中最新实践。

道德框架和情感会影响各种在线和离线行为，包括捐赠，亲环境行动，政治参与，甚至参与暴力抗议活动。自然语言处理中的各种计算方法（NLP）已被用来从文本数据中检测道德情绪，但是为了在此类主观任务中取得更好的性能，需要大量的手工注销训练数据。事实证明，以前对道德情绪注释的语料库已被证明是有价值的，并且在NLP和整个社会科学中都产生了新的见解，但仅限于Twitter。为了促进我们对道德修辞的作用的理解，我们介绍了道德基础Reddit语料库，收集了16,123个reddit评论，这些评论已从12个不同的子雷迪维特策划，由至少三个训练有素的注释者手工注释，用于8种道德情绪（即护理，相称性，平等，纯洁，权威，忠诚，瘦道，隐含/明确的道德）基于更新的道德基础理论（MFT）框架。我们使用一系列方法来为这种新的语料库（例如跨域分类和知识转移）提供基线道德句子分类结果。

情绪分析中最突出的任务是为文本分配情绪，并了解情绪如何在语言中表现出来。自然语言处理的一个重要观察结果是，即使没有明确提及情感名称，也可以通过单独参考事件来隐式传达情绪。在心理学中，被称为评估理论的情感理论类别旨在解释事件与情感之间的联系。评估可以被形式化为变量，通过他们认为相关的事件的人们的认知评估来衡量认知评估。其中包括评估事件是否是新颖的，如果该人认为自己负责，是否与自己的目标以及许多其他人保持一致。这样的评估解释了哪些情绪是基于事件开发的，例如，新颖的情况会引起惊喜或不确定后果的人可能引起恐惧。我们在文本中分析了评估理论对情绪分析的适用性，目的是理解注释者是否可以可靠地重建评估概念，如果可以通过文本分类器预测，以及评估概念是否有助于识别情感类别。为了实现这一目标，我们通过要求人们发短信描述触发特定情绪并披露其评估的事件来编译语料库。然后，我们要求读者重建文本中的情感和评估。这种设置使我们能够衡量是否可以纯粹从文本中恢复情绪和评估，并为判断模型的绩效指标提供人体基准。我们将文本分类方法与人类注释者的比较表明，两者都可以可靠地检测出具有相似性能的情绪和评估。我们进一步表明，评估概念改善了文本中情绪的分类。

最近的自我监督方法使用了大规模的图像文本数据集来学习强大的表示，这些表示无需填补即可将其转移到许多任务。这些方法通常假定其图像与其（简短）字幕之间存在一对一的对应关系。但是，许多任务需要有关多个图像和长文本叙述的推理，例如描述带有视觉摘要的新闻文章。因此，我们探索了一个新颖的环境，其目标是学习一个自我监督的视觉语言表示，该表示对改变文本长度和图像数量是可靠的。此外，与假设字幕的先前工作不同，我们假设图像仅包含与文本的宽松说明对应关系。为了探索这个问题，我们介绍了一个大规模的多模式数据集，其中包含31m文章，22m图像和1M视频。我们表明，对具有多个图像的更长叙述，最新的图像文本对齐方法并不强大。最后，我们介绍了一个直观的基线，该基线在GoodNews数据集上在零摄像集检索上胜过10％。

成对图像和文本的大型数据集越来越受到愿景和愿景和语言任务的通用表示。此类数据集已通过查询搜索引擎或收集HTML Alt-Text构建 - 由于Web数据是嘈杂的，因此它们需要复杂的过滤管道来维护质量。我们探索备用数据源以收集具有最小滤波的高质量数据。我们介绍Redcaps - 从Reddit收集的12M图像文本对的大规模数据集。来自Reddit的图像和标题描绘并描述了各种各样的物体和场景。我们从手动策划的FuSoddits集中收集数据，这为粗略图像标签提供给粗略图像标签，并允许我们转向数据集组合而不标记单个实例。我们展示Redcaps培训的标题模型产生了人类优选的丰富和各种标题，并学习转移到许多下游任务的视觉表现。

The dissemination of hateful memes online has adverse effects on social media platforms and the real world. Detecting hateful memes is challenging, one of the reasons being the evolutionary nature of memes; new hateful memes can emerge by fusing hateful connotations with other cultural ideas or symbols. In this paper, we propose a framework that leverages multimodal contrastive learning models, in particular OpenAI's CLIP, to identify targets of hateful content and systematically investigate the evolution of hateful memes. We find that semantic regularities exist in CLIP-generated embeddings that describe semantic relationships within the same modality (images) or across modalities (images and text). Leveraging this property, we study how hateful memes are created by combining visual elements from multiple images or fusing textual information with a hateful image. We demonstrate the capabilities of our framework for analyzing the evolution of hateful memes by focusing on antisemitic memes, particularly the Happy Merchant meme. Using our framework on a dataset extracted from 4chan, we find 3.3K variants of the Happy Merchant meme, with some linked to specific countries, persons, or organizations. We envision that our framework can be used to aid human moderators by flagging new variants of hateful memes so that moderators can manually verify them and mitigate the problem of hateful content online.

多模型对现实世界应用的承诺激发了可视化和理解其内部力学的研究，其最终目标是使利益相关者能够可视化模型行为，执行模型调试并促进对机器学习模型的信任。但是，现代的多模型模型通常是黑盒神经网络，这使得了解其内部力学变得具有挑战性。我们如何能在这些模型中可视化多模式相互作用的内部建模？我们的论文旨在通过提出Multiviz来填补这一空白，这是一种通过将可解释性问题分为4个阶段来分析多模型模型行为的方法：（1）单峰的重要性：每种模式如何有助于下游建模和预测，（2）交叉交叉。 - 模式相互作用：不同模态如何相互关系，（3）多模式表示：如何在决策级特征中表示单峰和跨模式的交互作用，以及（4）多模式预测：决策级特征如何组成以制造一个预言。 Multiviz旨在在不同的模式，模型，任务和研究领域进行操作。通过对6个现实世界任务的8个训练模型的实验，我们表明，Multiviz中的互补阶段共同使用户能够（1）模拟模型预测，（2）将可解释的概念分配给功能，（3）对模型错误分析执行错误分析，（4）使用错误分析到调试模型的见解。 Multiviz公开可用，将定期使用新的解释工具和指标进行更新，并欢迎社区的意见。

假新闻的迅速增加，这对社会造成重大损害，触发了许多假新闻相关研究，包括开发假新闻检测和事实验证技术。这些研究的资源主要是从Web数据中获取的公共数据集。我们通过三个观点调查了与假新闻研究相关的118个数据集：（1）假新闻检测，（2）事实验证，（3）其他任务;例如，假新闻和讽刺检测分析。我们还详细描述了他们的利用任务及其特征。最后，我们突出了假新闻数据集建设中的挑战以及解决这些挑战的一些研究机会。我们的调查通过帮助研究人员找到合适的数据集来促进假新闻研究，而无需重新发明轮子，从而提高了深度的假新闻研究。