现代数字世界越来越多地成为多式联运。虽然多式化学习最近革命了多模式任务的最先进的性能，但对普发的环境中多式化学习的稳健性具有相对较小的。在本文中，通过专注于多峰模型中的输入方式的融合，介绍了多式化学习的对抗鲁棒性的全面测量，通过称为Muroan（多模式鲁棒性分析仪）。我们首先在穆拉南举行统一的多模式模型的统一视图，并确定多式联运模型的融合机制作为关键漏洞。然后，我们介绍了一种新型的多模式对抗攻击，称为穆罗的解耦攻击，旨在通过解耦它们的融合方式来损害多模型模型。我们利用Muroan的解耦攻击来测量几种最先进的多模型模型，并发现所有这些模型中的多模式融合机制都容易攻击攻击。我们特别证明，在最坏的情况下，Muroan的去耦攻击通过解耦仅为1.16％的输入空间来实现100％的攻击成功率。最后，我们表明，传统的对抗性培训不足以改善多式联模型相对于解耦攻击的鲁棒性。我们希望我们的调查结果鼓励研究人员追求改善多式化学习的稳健性。

尽管视觉语言预训练模型（VLP）显示了各种视觉语言（V+L）任务的革命性改进，但有关其对抗性鲁棒性的研究仍未得到探索。本文研究了对流行VLP模型和V+L任务的对抗性攻击。首先，我们分析了不同设置下对抗性攻击的性能。通过检查不同扰动对象和攻击目标的影响，我们得出了一些关键观察，作为设计强大的多模式对抗攻击和构建强大的VLP模型的指导。其次，我们对称为协作多模式对抗攻击（共攻击）的VLP模型提出了一种新颖的多模式攻击方法，该模型集体对图像模式和文本模式进行了攻击。实验结果表明，所提出的方法可以改善对不同V+L下游任务和VLP模型的攻击性能。分析观察和新颖的攻击方法有望为VLP模型的对抗性鲁棒性提供新的理解，从而在更真实的情况下为他们的安全和可靠的部署做出贡献。

We present VILLA, the first known effort on large-scale adversarial training for vision-and-language (V+L) representation learning. VILLA consists of two training stages: (i) task-agnostic adversarial pre-training; followed by (ii) task-specific adversarial finetuning. Instead of adding adversarial perturbations on image pixels and textual tokens, we propose to perform adversarial training in the embedding space of each modality. To enable large-scale training, we adopt the "free" adversarial training strategy, and combine it with KL-divergence-based regularization to promote higher invariance in the embedding space. We apply VILLA to current best-performing V+L models, and achieve new state of the art on a wide range of tasks, including Visual Question Answering, Visual Commonsense Reasoning, Image-Text Retrieval, Referring Expression Comprehension, Visual Entailment, and NLVR 2 . 1

随着变压器的发展，近年来预先训练的模型已经以突破性的步伐发展。他们在自然语言处理（NLP）和计算机视觉（CV）中主导了主流技术。如何将预训练适应视觉和语言（V-L）学习和改善下游任务绩效成为多模式学习的重点。在本文中，我们回顾了视力语言预训练模型（VL-PTMS）的最新进展。作为核心内容，我们首先简要介绍了几种方法，将原始图像和文本编码为单模式嵌入在预训练之前。然后，我们在建模文本和图像表示之间的相互作用时深入研究VL-PTM的主流体系结构。我们进一步提出了广泛使用的预训练任务，然后我们介绍了一些常见的下游任务。我们终于结束了本文，并提出了一些有前途的研究方向。我们的调查旨在为研究人员提供合成和指向相关研究的指针。

最近的自然语言处理（NLP）技术在基准数据集中实现了高性能，主要原因是由于深度学习性能的显着改善。研究界的进步导致了最先进的NLP任务的生产系统的巨大增强，例如虚拟助理，语音识别和情感分析。然而，随着对抗性攻击测试时，这种NLP系统仍然仍然失败。初始缺乏稳健性暴露于当前模型的语言理解能力中的令人不安的差距，当NLP系统部署在现实生活中时，会产生问题。在本文中，我们通过以各种维度的系统方式概述文献来展示了NLP稳健性研究的结构化概述。然后，我们深入了解稳健性的各种维度，跨技术，指标，嵌入和基准。最后，我们认为，鲁棒性应该是多维的，提供对当前研究的见解，确定文学中的差距，以建议值得追求这些差距的方向。

We present an effective method for fusing visual-and-language representations for several question answering tasks including visual question answering and visual entailment. In contrast to prior works that concatenate unimodal representations or use only cross-attention, we compose multimodal representations via channel fusion. By fusing on the channels, the model is able to more effectively align the tokens compared to standard methods. These multimodal representations, which we call compound tokens are generated with cross-attention transformer layers. First, vision tokens are used as queries to retrieve compatible text tokens through cross-attention. We then chain the vision tokens and the queried text tokens along the channel dimension. We call the resulting representations compound tokens. A second group of compound tokens are generated using an analogous process where the text tokens serve as queries to the cross-attention layer. We concatenate all the compound tokens for further processing with multimodal encoder. We demonstrate the effectiveness of compound tokens using an encoder-decoder vision-language model trained end-to-end in the open-vocabulary setting. Compound Tokens achieve highly competitive performance across a range of question answering tasks including GQA, VQA2.0, and SNLI-VE.

The authors thank Nicholas Carlini (UC Berkeley) and Dimitris Tsipras (MIT) for feedback to improve the survey quality. We also acknowledge X. Huang (Uni. Liverpool), K. R. Reddy (IISC), E. Valle (UNICAMP), Y. Yoo (CLAIR) and others for providing pointers to make the survey more comprehensive.

深度学习的成功使得能够在需要多模式任务中的进步，这些任务需要非普通融合多个输入域。尽管多式联运模型在许多问题中表现出潜力，但它们的复杂性增加使它们更容易攻击。后门（或特洛伊木马）攻击是一类安全漏洞，其中攻击者将恶意秘密行为嵌入到网络（例如目标错误分类）中，当攻击者指定的触发添加到输入时被激活。在这项工作中，我们表明多模态网络容易受到我们称之为双关键多模式后域的新型攻击。该攻击利用最先进的网络使用的复杂融合机制来嵌入有效和隐秘的后门。该建议的攻击而不是使用单个触发器，而不是使用单个触发器在每个输入模件中嵌入触发器，并仅在存在两种触发时激活恶意行为。我们对具有多个体系结构和视觉功能底座的视觉问题应答（VQA）任务进行了广泛的研究。在VQA模型中嵌入后门的一项重大挑战是，大多数模型都使用从固定的预磨削物体检测器中提取的可视化特征。这对攻击者有挑战性，因为探测器完全扭曲或忽略视觉触发，这导致了后域在语言触发上过于依赖的模型。我们通过提出为预磨料对象探测器设计的可视触发优化策略来解决这个问题。通过这种方法，我们创建双关键的返回室，超过98％的攻击成功率，同时只毒害了1％的培训数据。最后，我们发布了Trojvqa，大量的干净和特洛伊木马VQA模型，以实现对多模式后域的捍卫的研究。

随着图像文本对的大量数据以及视觉和语言（V＆L）任务的多样性，学者在该研究领域引入了大量的深度学习模型。此外，近年来，转移学习还显示出在计算机愿景中的巨大成功，例如图像分类，对象检测等以及在自然语言处理中以进行问答，机器翻译等的自然语言处理。继承转移学习的精神， V＆L的研究工作已经在大规模数据集上设计了多种预训练技术，以增强下游任务的性能。本文的目的是提供当代V＆L预审前模型的全面修订。特别是，我们对预处理的方法进行了分类和描述，以及最先进的视觉和语言预训练模型的摘要。此外，还提供了培训数据集和下游任务的列表，以进一步提高V＆L预处理的观点。最后，我们决定采取进一步的一步，讨论众多未来研究的方向。

尽管在许多机器学习任务方面取得了巨大成功，但深度神经网络仍然易于对抗对抗样本。虽然基于梯度的对抗攻击方法在计算机视野领域探索，但由于文本的离散性质，直接应用于自然语言处理中，这是不切实际的。为了弥合这一差距，我们提出了一般框架，以适应现有的基于梯度的方法来制作文本对抗性样本。在该框架中，将基于梯度的连续扰动添加到嵌入层中，并在前向传播过程中被放大。然后用掩模语言模型头解码最终的扰动潜在表示以获得潜在的对抗性样本。在本文中，我们将我们的框架与\ textbf {t} Extual \ TextBF {P} ROJECTED \ TextBF {G} Radient \ TextBF {D} excent（\ TextBF {TPGD}）进行ronject \ textbf {p}。我们通过在三个基准数据集上执行转移黑匣子攻击来评估我们的框架来评估我们的框架。实验结果表明，与强基线方法相比，我们的方法达到了更好的性能，并产生更精细和语法的对抗性样本。所有代码和数据都将公开。

Robustness evaluation against adversarial examples has become increasingly important to unveil the trustworthiness of the prevailing deep models in natural language processing (NLP). However, in contrast to the computer vision domain where the first-order projected gradient descent (PGD) is used as the benchmark approach to generate adversarial examples for robustness evaluation, there lacks a principled first-order gradient-based robustness evaluation framework in NLP. The emerging optimization challenges lie in 1) the discrete nature of textual inputs together with the strong coupling between the perturbation location and the actual content, and 2) the additional constraint that the perturbed text should be fluent and achieve a low perplexity under a language model. These challenges make the development of PGD-like NLP attacks difficult. To bridge the gap, we propose TextGrad, a new attack generator using gradient-driven optimization, supporting high-accuracy and high-quality assessment of adversarial robustness in NLP. Specifically, we address the aforementioned challenges in a unified optimization framework. And we develop an effective convex relaxation method to co-optimize the continuously-relaxed site selection and perturbation variables and leverage an effective sampling method to establish an accurate mapping from the continuous optimization variables to the discrete textual perturbations. Moreover, as a first-order attack generation method, TextGrad can be baked into adversarial training to further improve the robustness of NLP models. Extensive experiments are provided to demonstrate the effectiveness of TextGrad not only in attack generation for robustness evaluation but also in adversarial defense.

基于深度学习的系统容易受到对抗性攻击的影响，在该系统中，输入的小小的，不可察觉的变化改变了模型的预测。但是，迄今为止，大多数检测这些攻击的方法都是为图像处理系统设计的。许多流行的图像对抗检测方法能够从嵌入特征空间中识别对抗性示例，而在NLP域中，现有最先进的检测方法仅关注输入文本特征，而无需考虑模型嵌入空间。这项工作研究了将这些图像移植到自然语言处理（NLP）任务时，将产生什么差异 - 发现这些检测器的端口不能很好地端口。这是可以预期的，因为NLP系统具有非常不同的输入形式：本质上的离散和顺序，而不是图像的连续和固定尺寸输入。作为等效的以模型为重点的NLP检测方法，这项工作提出了一个简单的基于“残基”检测器的句子，以识别对抗性示例。在许多任务上，它超过表现的移植图像域检测器和最新的NLP特定探测器的状态。

Adversarial training is widely acknowledged as the most effective defense against adversarial attacks. However, it is also well established that achieving both robustness and generalization in adversarially trained models involves a trade-off. The goal of this work is to provide an in depth comparison of different approaches for adversarial training in language models. Specifically, we study the effect of pre-training data augmentation as well as training time input perturbations vs. embedding space perturbations on the robustness and generalization of BERT-like language models. Our findings suggest that better robustness can be achieved by pre-training data augmentation or by training with input space perturbation. However, training with embedding space perturbation significantly improves generalization. A linguistic correlation analysis of neurons of the learned models reveal that the improved generalization is due to `more specialized' neurons. To the best of our knowledge, this is the first work to carry out a deep qualitative analysis of different methods of generating adversarial examples in adversarial training of language models.

变压器架构已经带来了计算语言领域的根本变化，这已经由经常性神经网络主导多年。它的成功还意味着具有语言和愿景的跨模型任务的大幅度变化，许多研究人员已经解决了这个问题。在本文中，我们审查了该领域中的一些最关键的里程碑，以及变压器架构如何纳入Visuol语言跨模型任务的整体趋势。此外，我们讨论了当前的局限性，并推测了我们发现迫在眉睫的一些前景。

除了在许多视觉任务中实现高性能外，由于模式之间的冗余信息的可用性，多模式模型对单源故障有预期。在本文中，我们研究了多模式神经网络对单个模态上最坏情况（即对抗性）扰动的鲁棒性。我们首先表明，标准的多模式融合模型容易受到单源对手的影响：对任何单个模式的攻击都可以从多个不受干扰的方式中克服正确的信息，并导致模型失败。这种令人惊讶的脆弱性构成了各种多模式任务，因此需要解决方案。在这一发现的激励下，我们提出了一种对抗性强大的融合策略，该策略训练模型以比较来自所有输入源的信息，检测与其他模式相比，在扰动模式中的不一致之处，并且仅允许来自不受干扰的方式的信息通过。我们的方法在单源鲁棒性方面的最先进方法显着提高，在行动识别方面获得了7.8-25.2％的收益，对象检测的19.7-48.2％和1.6-6.7％的情感分析，而没有降低绩效绩效，在不受干扰的（即清洁）数据上。

本文介绍了我们在Aaai 2022的多模态事实验证（Factifify）挑战的参与者系统。尽管最近基于文本的验证技术和大型预训练的多模式模型的跨视野和语言，但在申请方面取得了非常有限的工作自动化事实检查过程的多模式技术，特别考虑到社交媒体上的图像和视频的索赔和假新闻的普遍存在。在我们的工作中，挑战被视为多式联版征报任务并被诬陷为多级分类。提出并探索了两个基线方法，包括集合模型（组合两个Uni-Modal模型）和多模态注意力网络（在索赔和证据文件中建模图像和文本对之间的交互）。我们在这项工作中进行了调查和基准测试和基准测试的几个实验和基准测试。我们的最佳型号在排行榜中排名第一，在验证和测试集中获得0.77的加权平均f测量值。对DataSet的探索性分析也在辅助数据集上进行，并揭示了激励我们假设的突出模式和问题（例如，单词重叠，视觉着色相关性，来源偏见）。最后，我们突出了未来研究的任务和多模式数据集的挑战。

视觉问题应答（VQA）任务利用视觉图像和语言分析来回回答图像的文本问题。它是一个流行的研究课题，在过去十年中越来越多的现实应用。本文介绍了我们最近对AliceMind-MMU的研究（阿里巴巴的编码器 - 解码器来自Damo Academy - 多媒体理解的机器智能实验室），其比人类在VQA上获得相似甚至略微更好的结果。这是通过系统地改善VQA流水线来实现的，包括：（1）具有全面的视觉和文本特征表示的预培训; （2）与学习参加的有效跨模型互动; （3）一个新颖的知识挖掘框架，具有专门的专业专家模块，适用于复杂的VQA任务。处理不同类型的视觉问题，需要具有相应的专业知识在提高我们的VQA架构的表现方面发挥着重要作用，这取决于人力水平。进行了广泛的实验和分析，以证明新的研究工作的有效性。

Adversarial attacks in NLP challenge the way we look at language models. The goal of this kind of adversarial attack is to modify the input text to fool a classifier while maintaining the original meaning of the text. Although most existing adversarial attacks claim to fulfill the constraint of semantics preservation, careful scrutiny shows otherwise. We show that the problem lies in the text encoders used to determine the similarity of adversarial examples, specifically in the way they are trained. Unsupervised training methods make these encoders more susceptible to problems with antonym recognition. To overcome this, we introduce a simple, fully supervised sentence embedding technique called Semantics-Preserving-Encoder (SPE). The results show that our solution minimizes the variation in the meaning of the adversarial examples generated. It also significantly improves the overall quality of adversarial examples, as confirmed by human evaluators. Furthermore, it can be used as a component in any existing attack to speed up its execution while maintaining similar attack success.

及时的调整已成为模型调整的新范式，它在自然语言预处理甚至预处理方面都取得了成功。在这项工作中，我们探讨了迅速调整到多模式预处理的转移，重点是生成的多模式预审预周化模型，而不是对比度。具体而言，我们实施了迅速调整统一的序列到序列预测模型适应理解和生成任务。实验结果表明，轻重量提示调整可以通过填充并超过其他轻量调整方法来实现可比的性能。此外，与固定模型相比，迅速调整的模型表明了针对对抗性攻击的鲁棒性。我们进一步确定，实验因素，包括及时长度，及时的深度和重新聚集化，对模型性能产生了很大的影响，因此我们从经验上为迅速调整的设置提供了建议。尽管有观察到的优势，但我们仍然在迅速调整中发现了一些局限性，我们相应地指出了未来研究的方向。代码可在\ url {https://github.com/ofa-sys/ofa}中获得

现有的研究表明，对抗性示例可以直接归因于具有高度预测性的非稳态特征的存在，但很容易被对手对愚弄NLP模型进行操纵。在这项研究中，我们探讨了捕获特定于任务的鲁棒特征的可行性，同时使用信息瓶颈理论消除了非舒适的特征。通过广泛的实验，我们表明，通过我们的信息基于瓶颈的方法训练的模型能够在稳健的精度上取得显着提高，超过了所有先前报道的防御方法的性能，而在SST-2上几乎没有遭受清洁准确性的表现下降，Agnews和IMDB数据集。