互联网技术的发展不断增强谣言和虚假新闻的传播和破坏力。先前关于多媒体假新闻检测的研究包括一系列复杂的功能提取和融合网络，以实现图像和文本之间的特征对齐。但是，多模式功能由什么组成，以及来自不同模式的特征如何影响决策过程仍然是开放的问题。我们介绍了Aura，这是一个具有自适应单峰表示聚合的多模式假新闻检测网络。我们首先从图像模式，图像语义和文本中分别提取表示形式，并通过将语义和语言表示形式发送到专家网络来生成多模式表示。然后，我们根据单峰和多模式表示，进行粗级的虚假新闻检测和跨模式宇宙性学习。分类和一致性得分被映射到模态感知的注意分数，以重新调整功能。最后，我们汇总并将加权功能分类用于精制的假新闻检测。关于微博和八卦的综合实验证明，Aura可以成功击败几个最先进的FND方案，在该方案中，整体预测准确性和对假新闻的回忆得到稳步改善。

假新闻的广泛传播越来越威胁到个人和社会。在单个领域（例如政治）上自动假新闻发现已做出了巨大的努力。但是，相关性通常存在于多个新闻领域，因此有望同时检测多个域的假新闻。基于我们的分析，我们在多域假新闻检测中提出了两个挑战：1）域转移，是由域，情感，样式等领域之间的差异引起的。世界分类仅输出一个单个领域标签，而不管新闻文章的主题多样性如何。在本文中，我们提出了一个记忆引导的多视图多域假新闻检测框架（M $^3 $ fend），以应对这两个挑战。我们从多视图的角度对新闻作品进行建模，包括语义，情感和风格。具体而言，我们建议一个域存储库来丰富域信息，该信息可以根据可见的新闻和模型域特征来发现潜在的域标签。然后，以丰富的域信息为输入，域适配器可以从各个域中的新闻的多个视图中适应汇总歧视性信息。对英语和中文数据集进行的大量离线实验证明了M $^3 $ fend的有效性，在线测试在实践中验证了其优势。我们的代码可在https://github.com/ictmcg/m3fend上找到。

随着社交媒体平台从基于文本的论坛发展为多模式环境，社交媒体中错误信息的性质也正在发生相应的变化。利用这样一个事实，即图像和视频等视觉方式对用户更有利和吸引力，并且有时会毫不粗糙地浏览文本内容，否则传播器最近针对模式之间的上下文相关性，例如文本和图像。因此，许多研究工作已经发展为自动技术，用于检测基于Web的媒体中可能的跨模式不一致。在这项工作中，我们旨在分析，分类和确定现有方法，除了面临的挑战和缺点外，还要在多模式错误信息检测领域中发掘新的机会。

社交媒体的可用性和互动性使它们成为全球各地的主要新闻来源。社交媒体的普及诱惑犯罪分子通过使用诱人文本和误导性图像制作和传播假新闻来追求不道德的意图。因此，验证社交媒体新闻和发现假期至关重要。这项工作旨在分析社交媒体中文本和图像的多模态特征，以检测假新闻。我们提出了一个假新闻透露者（FNR）方法，利用转换学习，提取上下文和语义特征和对比丢失，以确定图像和文本之间的相似性。我们在两个真正的社交媒体数据集上申请了FNR。结果表明，与以前的作品相比，该方法达到了检测假新闻的更高准确性。

图像文本聚类（ITC）的目标是通过整合这些异质样品的多模式的互补和一致信息来找到正确的簇。但是，目前的大多数研究都根据理想的前提分析了ITC，即每种模式中的样本都是完整的。但是，在现实情况下，这种推定并不总是有效的。缺少的数据问题使图像文本特征学习性能退化，并最终会影响ITC任务中的概括能力。尽管已经提出了一系列方法来解决此不完整的图像文本群集问题（IITC），但仍然存在以下问题：1）大多数现有方法几乎不考虑异质特征域之间的明显差距。 2）对于缺少数据，很少保证由现有方法生成的表示形式适合聚类任务。 3）现有方法不利用内部和内部模式的潜在连接。在本文中，我们提出了一个聚类引起的生成不完整的图像文本聚类（CIGIT-C）网络，以应对上述挑战。更具体地说，我们首先使用特定于模态的编码器将原始功能映射到更独特的子空间。通过使用对抗生成网络在另一种模态上产生一种方式，可以彻底探索内部内部和模式之间的潜在连接。最后，我们使用两个KL DiverGence损失更新相应的模态特异性编码器。公共图像文本数据集的实验结果表明，建议的方法优于IITC作业更有效。

假新闻在各个领域的社交媒体上广泛传播，这导致了政治，灾害和金融等许多方面的现实世界威胁。大多数现有方法专注于单域假新闻检测（SFND），当这些方法应用于多域假新闻检测时，导致不满意的性能。作为新兴领域，多域假新闻检测（MFND）越来越受到关注。但是，数据分布，例如词频率和传播模式，从域变化，即域移位。面对严重领域转变的挑战，现有的假新闻检测技术对于多域场景表现不佳。因此，要求为MFND设计专业型号。在本文中，我们首先为MFND设计了一个带有域名标签的假新闻数据集的基准，即Weibo21，由4,488个假新闻和来自9个不同领域的4,640个真实新闻组成。我们进一步提出了一种通过利用域门来聚合由专家混合提取的多个表示来聚合的多域假新闻检测模型（MDFend）。实验表明，MDFEND可以显着提高多域假新闻检测的性能。我们的数据集和代码可在https://github.com/kennqiang/mdfend-weibo21获得。

从文档数据中进行的多模式学习最近取得了巨大的成功，因为它允许将语义有意义的特征预先作为先验的特征，成为可学习的下游方法。在本文中，我们通过使用语言和视觉线索来学习跨模式的表示，考虑了内模式和模式间关系，我们解决了文档分类问题。该方法没有将不同模态的特征合并为一个共同表示空间，而是利用高级相互作用，并从跨模态内外的有效注意流中学习相关的语义信息。提出的学习目标是在内部和模式间比对任务之间设计的，其中每个任务的相似性分布是通过收缩阳性样品对计算的，同时在共同特征表示空间中同时对比}。公共文档分类数据集的广泛实验证明了我们模型对低规模和大规模数据集的有效性和概括能力。

现有的自我监督学习策略被限制在有限的目标或主要针对单峰应用程序的通用下游任务。对于复杂性和域亲和力（例如模因分析）而言，这对命令性的多模式应用有了孤立的进展。在这里，我们介绍了两种自我监督的预训练方法，即ext-pie-net和mm-simclr（i）在预训练期间使用现成的多模式仇恨语音数据，并且（ii）执行自我 - 通过合并多个专业借口任务，有效地迎合模因分析所需的复杂多模式表示学习，从而有效地迎合了学习。我们实验不同的自我实验策略，包括可以帮助学习丰富的跨模式表示并使用流行的线性探测来评估可恨模因任务的潜在变体。拟议的解决方案通过标签有效的培训与完全监督的基线竞争，同时在梅诺特挑战的所有三个任务上明显优于他们，分别为0.18％，23.64％和0.93％的绩效增长。此外，我们通过在Harmeme任务上报告竞争性能来证明所提出的解决方案的普遍性。最后，我们通过分析特定于任务的学习，使用更少的标记培训样本来建立学习表现的质量，并争辩说，自主策略和手头下游任务的复杂性是相关的。我们的努力强调了更好的多模式自学方法的要求，涉及有效的微调和可推广性能的专业借口任务。

我们在这项研究中的目标是研究一个更现实的环境，在这种环境中，我们可以为细粒度的产品类别进行弱监督的多模式实例级产品检索。我们首先贡献了product1m数据集，并定义了两个实际实例级检索任务，以实现价格比较和个性化建议的评估。对于两个实例级任务，如何准确地指出视觉语言数据中提到的产品目标并有效地降低了无关紧要的内容的影响非常具有挑战性。为了解决这个问题，我们利用训练一个更有效的跨模式与模型，该模型能够自适应地能够通过使用一个实体图，其节点和边缘分别表示实体和相似性，从而可以从多模式数据中合并来自多模式数据的关键概念信息。实体。具体而言，为实例级别的商品检索提出了一种新型的实体图增强的跨模式预处理（EGE-CMP）模型，该模型明确地将基于节点的基于节点的基于节点和子图的方式显式地注入实体知识。自我监管的混合流变压器可以减少不同对象内容之间的混淆，从而有效地指导网络专注于具有真实语义的实体。实验结果很好地验证了我们的EGE-CMP的功效和概括性，表现优于几个SOTA跨模式基线，例如夹子，Uniter和Capture。

视觉问题应答（VQA）任务利用视觉图像和语言分析来回回答图像的文本问题。它是一个流行的研究课题，在过去十年中越来越多的现实应用。本文介绍了我们最近对AliceMind-MMU的研究（阿里巴巴的编码器 - 解码器来自Damo Academy - 多媒体理解的机器智能实验室），其比人类在VQA上获得相似甚至略微更好的结果。这是通过系统地改善VQA流水线来实现的，包括：（1）具有全面的视觉和文本特征表示的预培训; （2）与学习参加的有效跨模型互动; （3）一个新颖的知识挖掘框架，具有专门的专业专家模块，适用于复杂的VQA任务。处理不同类型的视觉问题，需要具有相应的专业知识在提高我们的VQA架构的表现方面发挥着重要作用，这取决于人力水平。进行了广泛的实验和分析，以证明新的研究工作的有效性。

本文介绍了我们在Aaai 2022的多模态事实验证（Factifify）挑战的参与者系统。尽管最近基于文本的验证技术和大型预训练的多模式模型的跨视野和语言，但在申请方面取得了非常有限的工作自动化事实检查过程的多模式技术，特别考虑到社交媒体上的图像和视频的索赔和假新闻的普遍存在。在我们的工作中，挑战被视为多式联版征报任务并被诬陷为多级分类。提出并探索了两个基线方法，包括集合模型（组合两个Uni-Modal模型）和多模态注意力网络（在索赔和证据文件中建模图像和文本对之间的交互）。我们在这项工作中进行了调查和基准测试和基准测试的几个实验和基准测试。我们的最佳型号在排行榜中排名第一，在验证和测试集中获得0.77的加权平均f测量值。对DataSet的探索性分析也在辅助数据集上进行，并揭示了激励我们假设的突出模式和问题（例如，单词重叠，视觉着色相关性，来源偏见）。最后，我们突出了未来研究的任务和多模式数据集的挑战。

事实证明，大规模的视觉和语言（V+L）预训练已被证明有效地增强了下游V+L任务。但是，当涉及时尚域时，现有的V+L方法是不足的，因为它们忽略了时尚V+L数据和下游任务的独特特征。在这项工作中，我们提出了一个以时尚为中心的新型V+L表示框架，被称为Fashionvil。它包含两个新型时尚特定的预训练任务，旨在使用时尚V+L数据利用两个内在属性。首先，与其他域仅包含单个图像文本对的其他域相比，时尚域中可能有多个图像。因此，我们提出了一项多视图对比学习任务，以将一个图像的可视化表示为另一个图像+文本的组成多模式表示。其次，时尚文本（例如，产品描述）通常包含丰富的细粒概念（属性/名词短语）。为了利用这一点，引入了伪归因于分类任务，以鼓励同一概念的学习的单峰（视觉/文本）表示。此外，时尚V+L任务唯一包含不符合常见的一流或两流体系结构的任务（例如，文本引导的图像检索）。因此，我们提出了一个灵活的，多功能的V+L模型体系结构，该体系结构由模态 - 静态变压器组成，以便可以灵活地适应任何下游任务。广泛的实验表明，我们的FashionVil在五个下游任务中实现了新的最新技术。代码可从https://github.com/brandonhanx/mmf获得。

放射学报告产生（RRG）旨在用类似人类的语言描述自动放射学图像，并有可能支持放射科医生的工作，从而减轻手动报告的负担。先前的方法通常采用编码器架构，并专注于单模式特征学习，而很少的研究探索了跨模式特征交互。在这里，我们提出了一个跨模式原型驱动网络（XPRONET），以促进跨模式模式学习并利用它以改善放射学报告生成的任务。这是通过三个精心设计，完全可区分和互补的模块来实现的：共享的跨模式原型矩阵来记录跨模式原型；一个跨模式原型网络，可学习跨模式原型，并将交叉模式信息嵌入视觉和文本特征中；以及改进的多标签对比度损失，以实现和增强多标签原型学习。 Xpronet在IU-XRAR和MIMIC-CXR基准方面取得了重大改进，其性能超过了最新的最新方法，从IU-XRAY上的差距很大，并且在Mimic-CXR上的性能可比性。

跨模式的人重新识别（RE-ID）对于现代视频监视系统至关重要。关键的挑战是与一个人提供的语义信息引起的跨模式表示，并忽略背景信息。这项工作介绍了一种新型的基于卷积神经网络（CNN）的体系结构，旨在学习语义上的跨模式视觉和文本表示。基础构建块，名为Axm-block，是一个统一的多层网络，该网络会动态利用多尺度知识，并根据共享语义重新校准每种模式。为了补充卷积设计，在文本分支中应用上下文注意力以操纵长期依赖性。此外，我们提出了一种独特的设计，以增强基于视觉零件的功能连贯性和局部性信息。我们的框架具有新颖的能力，可以在功能学习阶段隐式学习模式之间的一致语义。统一的特征学习有效地利用文本数据作为视觉表示学习的超级注释信号，并自动拒绝无关的信息。整个AXM-NET经过Cuhk-Pedes数据的端到端训练。我们报告了两个任务的结果，即人搜索和跨模式重新ID。 AXM-NET优于当前最新方法（SOTA）方法，并在Cuhk-Pedes测试集上获得64.44 \％等级@1。在Crossre-ID和Cuhk-Sysu数据集中，它还胜过竞争对手的竞争对手$> $ 10 \％。

随着变压器的发展，近年来预先训练的模型已经以突破性的步伐发展。他们在自然语言处理（NLP）和计算机视觉（CV）中主导了主流技术。如何将预训练适应视觉和语言（V-L）学习和改善下游任务绩效成为多模式学习的重点。在本文中，我们回顾了视力语言预训练模型（VL-PTMS）的最新进展。作为核心内容，我们首先简要介绍了几种方法，将原始图像和文本编码为单模式嵌入在预训练之前。然后，我们在建模文本和图像表示之间的相互作用时深入研究VL-PTM的主流体系结构。我们进一步提出了广泛使用的预训练任务，然后我们介绍了一些常见的下游任务。我们终于结束了本文，并提出了一些有前途的研究方向。我们的调查旨在为研究人员提供合成和指向相关研究的指针。

目前的新闻数据集仅关注新闻中的文本功能，很少利用图像的特征，不包括新闻分类的许多基本功能。在本文中，我们提出了一个新的数据集N15News，其中来自纽约时报，其中15个类别，并包含每个新闻中的文本和图像信息。我们设计具有不同融合方法的新型多址多模式网络，实验显示多模式新闻分类表现优于仅限文本新闻分类。根据文本的长度，分类准确度可以增加高达5.8％。我们的研究揭示了多模式分类器及其子分类器的性能之间的关系，以及在新闻分类中应用多模式时可能的改进。N15News被证明具有促使多模式新闻研究的潜力。

The remarkable success of deep learning in various domains relies on the availability of large-scale annotated datasets. However, obtaining annotations is expensive and requires great effort, which is especially challenging for videos. Moreover, the use of human-generated annotations leads to models with biased learning and poor domain generalization and robustness. As an alternative, self-supervised learning provides a way for representation learning which does not require annotations and has shown promise in both image and video domains. Different from the image domain, learning video representations are more challenging due to the temporal dimension, bringing in motion and other environmental dynamics. This also provides opportunities for video-exclusive ideas that advance self-supervised learning in the video and multimodal domain. In this survey, we provide a review of existing approaches on self-supervised learning focusing on the video domain. We summarize these methods into four different categories based on their learning objectives: 1) pretext tasks, 2) generative learning, 3) contrastive learning, and 4) cross-modal agreement. We further introduce the commonly used datasets, downstream evaluation tasks, insights into the limitations of existing works, and the potential future directions in this area.

最近，跨模式的预训练任务一直是一个热点，因为它在各种下文研究中广泛应用，包括检索，字幕，问题答案等。然而，退出的方法采用单媒体预训练模型来探索进行跨模式检索的联合视觉表示，这很容易遭受计算爆炸的影响。此外，尽管常规的双流结构非常有效，但它们仍然缺乏重要的跨模式相互作用，导致性能低。在这些挑战的激励下，我们提出了一个对比的跨模式知识共享预训练（Cookie），以掌握联合文本图像表示。从结构上讲，Cookie由于可接受的时间消耗而采用了传统的双流结构。为了克服上述双流结构的固有缺陷，我们精心设计了两个有效的模块。具体而言，第一个模块是一个体重共享的变压器，它构建在视觉和文本编码器的头上，旨在将语义对齐文本和图像对齐。该设计使视觉和文本路径集中在相同的语义上。另一个是三个专门设计的对比学习，旨在分享不同模型之间的知识。共享的跨模式知识大大发展了单峰表示的研究，从而促进了单模式检索任务。对多模式匹配研究的广泛实验结果，包括跨模式检索，文本匹配和图像检索揭示了我们的计算效率和我们预训练模型的统计指标的上级。

Image-text retrieval (ITR) is a challenging task in the field of multimodal information processing due to the semantic gap between different modalities. In recent years, researchers have made great progress in exploring the accurate alignment between image and text. However, existing works mainly focus on the fine-grained alignment between image regions and sentence fragments, which ignores the guiding significance of context background information. Actually, integrating the local fine-grained information and global context background information can provide more semantic clues for retrieval. In this paper, we propose a novel Hierarchical Graph Alignment Network (HGAN) for image-text retrieval. First, to capture the comprehensive multimodal features, we construct the feature graphs for the image and text modality respectively. Then, a multi-granularity shared space is established with a designed Multi-granularity Feature Aggregation and Rearrangement (MFAR) module, which enhances the semantic corresponding relations between the local and global information, and obtains more accurate feature representations for the image and text modalities. Finally, the ultimate image and text features are further refined through three-level similarity functions to achieve the hierarchical alignment. To justify the proposed model, we perform extensive experiments on MS-COCO and Flickr30K datasets. Experimental results show that the proposed HGAN outperforms the state-of-the-art methods on both datasets, which demonstrates the effectiveness and superiority of our model.

Existing Cross Modal Hashing (CMH) methods are mainly designed for balanced data, while imbalanced data with long-tail distribution is more general in real-world. Several long-tail hashing methods have been proposed but they can not adapt for multi-modal data, due to the complex interplay between labels and individuality and commonality information of multi-modal data. Furthermore, CMH methods mostly mine the commonality of multi-modal data to learn hash codes, which may override tail labels encoded by the individuality of respective modalities. In this paper, we propose LtCMH (Long-tail CMH) to handle imbalanced multi-modal data. LtCMH firstly adopts auto-encoders to mine the individuality and commonality of different modalities by minimizing the dependency between the individuality of respective modalities and by enhancing the commonality of these modalities. Then it dynamically combines the individuality and commonality with direct features extracted from respective modalities to create meta features that enrich the representation of tail labels, and binaries meta features to generate hash codes. LtCMH significantly outperforms state-of-the-art baselines on long-tail datasets and holds a better (or comparable) performance on datasets with balanced labels.