视觉问题回答（VQA）利用多模式数据引起了人们对现实生活应用的密集兴趣，例如家庭机器人和诊所诊断。然而，挑战之一是为不同的客户任务设计强大的学习。这项工作旨在弥合大规模培训数据的先决条件与客户数据共享的限制，主要是由于机密性。我们建议使用对比度损失（UNICON）进行单向分裂学习，以解决分布式数据孤岛的VQA任务培训。特别是，Unicon通过对比度学习对不同客户的整个数据分配进行了全球模型。从不同的本地任务中汇总的全球模型的学会表示。此外，我们设计了一个单向分裂学习框架，以实现更有效的知识共享。 VQA-V2数据集上使用五个最先进的VQA模型进行的综合实验证明了Unicon的功效，在VQA-V2的验证集中获得了49.89％的精度。这项工作是使用自我监督的分裂学习在数据机密性的约束下对VQA进行的首次研究。
translated by 谷歌翻译
物联网中的智能汽车，智能手机和其他设备（物联网）通常具有多个传感器，会产生多模式数据。联合学习支持从不同设备收集大量多模式数据，而无需共享原始数据。转移学习方法有助于将知识从某些设备传输到其他设备。联合转移学习方法受益于联合学习和转移学习。这个新提出的联合转移学习框架旨在将数据岛与隐私保护联系起来。我们的构建基于联合学习和转移学习。与以前的联合转移学习相比，每个用户应具有相同模式的数据（所有单峰或全模式），我们的新框架更为通用，它允许使用用户数据的混合分布。核心策略是为我们的两种用户使用两种不同但固有连接的培训方法。仅对单峰数据（类型1）的用户采用监督学习，而自我监督的学习则用于使用多模式数据（类型2）的用户，以适用于每种模式的功能及其之间的连接。类型2的这种联系知识将在培训的后期阶段有助于1键入1。新框架中的培训可以分为三个步骤。在第一步中，将具有相同模式的数据的用户分组在一起。例如，仅具有声音信号的用户在第一组中，只有图像的用户在第二组中，并且具有多模式数据的用户在第三组中，依此类推。在第二步中，在小组内执行联合学习，在该小组中，根据小组的性质，使用监督的学习和自学学习。大多数转移学习发生在第三步中，从前步骤获得的网络中的相关部分是汇总的（联合）。
translated by 谷歌翻译
视觉问题应答（VQA）任务利用视觉图像和语言分析来回回答图像的文本问题。它是一个流行的研究课题，在过去十年中越来越多的现实应用。本文介绍了我们最近对AliceMind-MMU的研究（阿里巴巴的编码器 - 解码器来自Damo Academy - 多媒体理解的机器智能实验室），其比人类在VQA上获得相似甚至略微更好的结果。这是通过系统地改善VQA流水线来实现的，包括：（1）具有全面的视觉和文本特征表示的预培训; （2）与学习参加的有效跨模型互动; （3）一个新颖的知识挖掘框架，具有专门的专业专家模块，适用于复杂的VQA任务。处理不同类型的视觉问题，需要具有相应的专业知识在提高我们的VQA架构的表现方面发挥着重要作用，这取决于人力水平。进行了广泛的实验和分析，以证明新的研究工作的有效性。
translated by 谷歌翻译
自动视觉解对我们多样化和开放的世界需要计算机视觉模型，以概括为特定任务的最小定制，类似于人类视力。计算机视觉基础型号培训，培训多样化，大型数据集，可以适应各种下游任务，对该任务来解决现实世界计算机视觉应用而言至关重要。虽然现有的视觉基础模型如剪辑，对齐和吴道2.0主要集中在映射图像和文本表示到跨模型共享表示，我们介绍了一台新的计算机视觉基础模型，佛罗伦萨，扩大粗糙的表示（现场）到精细（对象），从静态（图像）到动态（视频），以及从RGB到多个模态（标题，深度）。通过从Web级图像文本数据中纳入通用视觉语言表示，我们的佛罗伦萨模型可以很容易地适应各种计算机视觉任务，例如分类，检索，对象检测，VQA，图像标题，视频检索和动作识别。此外，佛罗伦萨在许多类型的转移学习中表现出出色的表现：全面采样的微调，线性探测，几次射击传输和用于新颖图像和物体的零拍摄传输。所有这些属性对于我们的视觉基础模型至关重要，以提供通用视觉任务。佛罗伦萨实现了新的最先进的导致44个代表性基准，例如Imagenet-1K零射击分类，最高1精度为83.74，最高5个精度为97.18，62.4地图上的Coco微调， 80.36在VQA上，动力学-600上的87.8。
translated by 谷歌翻译
多源域的适应性已深入研究。特定域固有的特征的分布变化会导致负转移降低模型的一般性，从而看不见任务。在联合学习（FL）中，为了利用来自不同领域的知识，共享学习的模型参数以训练全球模型。但是，FL的数据机密性阻碍了需要先验了解不同域数据的传统领域适应方法的有效性。为此，我们提出了一种称为联合知识一致性（FEDKA）的新联合领域生成方法。 FEDKA利用全局工作区中的特征分布匹配，以便全局模型可以在未知域数据的约束下学习域不变的客户端功能。设计了一种联合投票机制，以基于促进全球模型微调的客户的共识来生成目标域伪标签。我们进行了广泛的实验，包括消融研究，以评估拟议方法在图像分类任务和基于具有不同复杂性的模型体系结构的文本分类任务中的有效性。经验结果表明，FEDKA可以分别在数字五和办公室-Caltech10中实现8.8％和3.5％的绩效增长，并且在亚马逊审查中获得了0.7％的增长，并且培训数据极为有限。
translated by 谷歌翻译
随着变压器的发展，近年来预先训练的模型已经以突破性的步伐发展。他们在自然语言处理（NLP）和计算机视觉（CV）中主导了主流技术。如何将预训练适应视觉和语言（V-L）学习和改善下游任务绩效成为多模式学习的重点。在本文中，我们回顾了视力语言预训练模型（VL-PTMS）的最新进展。作为核心内容，我们首先简要介绍了几种方法，将原始图像和文本编码为单模式嵌入在预训练之前。然后，我们在建模文本和图像表示之间的相互作用时深入研究VL-PTM的主流体系结构。我们进一步提出了广泛使用的预训练任务，然后我们介绍了一些常见的下游任务。我们终于结束了本文，并提出了一些有前途的研究方向。我们的调查旨在为研究人员提供合成和指向相关研究的指针。
translated by 谷歌翻译
图像和语言建模对于视觉前训练（VLP）至关重要，该培训旨在从大规模配对的图像文本数据中学习多模式表示。但是，我们观察到，大多数现有的VLP方法着重于建模图像和文本特征之间的相互作用，同时忽略图像和文本之间的信息差异，从而遭受焦点偏见。为了解决这个问题，我们提出了一个视觉语言掩盖自动编码器框架（VLMAE）。VLMAE采用视觉生成学习，促进该模型获得细粒度和公正的特征。与以前的作品不同，Vlmae注意图像中几乎所有关键的补丁，提供了更全面的理解。广泛的实验表明，VLMAE在各种视觉语言下游任务中取得更好的性能，包括视觉问答，即使有20％的预训练速度，图像文本检索和视觉接地也是如此。
translated by 谷歌翻译
Visual Question Answering (VQA) requires a finegrained and simultaneous understanding of both the visual content of images and the textual content of questions. Therefore, designing an effective 'co-attention' model to associate key words in questions with key objects in images is central to VQA performance. So far, most successful attempts at co-attention learning have been achieved by using shallow models, and deep co-attention models show little improvement over their shallow counterparts. In this paper, we propose a deep Modular Co-Attention Network (MCAN) that consists of Modular Co-Attention (MCA) layers cascaded in depth. Each MCA layer models the self-attention of questions and images, as well as the guided-attention of images jointly using a modular composition of two basic attention units. We quantitatively and qualitatively evaluate MCAN on the benchmark VQA-v2 dataset and conduct extensive ablation studies to explore the reasons behind MCAN's effectiveness.Experimental results demonstrate that MCAN significantly outperforms the previous state-ofthe-art. Our best single model delivers 70.63% overall accuracy on the test-dev set.Code is available at https://github.com/MILVLG/mcan-vqa.
translated by 谷歌翻译
最近的几项研究指出，现有的视觉问题回答（VQA）模型严重遭受了先前的问题的困扰，这是指捕获问题类型和答案之间的表面统计相关性，而忽略了图像内容。通过创建精致的模型或引入额外的视觉注释，已经致力于加强图像依赖性。但是，这些方法无法充分探索视觉提示如何显式影响学习的答案表示，这对于减轻语言的依赖至关重要。此外，他们通常强调对学习的答案表示形式的班级歧视，这忽略了更精细的实例级别模式，并要求进一步优化。在本文中，我们从视觉扰动校准的角度提出了一种新颖的协作学习方案，该方案可以更好地研究细粒度的视觉效果，并通过学习实例级别的特征来减轻语言的先验问题。具体而言，我们设计了一个视觉控制器来构建具有不同扰动范围的两种策划图像，基于该图像的协作学习内置不变性和实体歧视的协作学习由两个精心设计的歧视者实现。此外，我们在潜在空间上实施信息瓶颈调制器，以进一步减轻偏见和表示校准。我们将视觉扰动感知框架强加于三个正统基准，并将实验结果对两个诊断性VQA-CP基准数据集进行了实验结果，显然表明了其有效性。此外，我们还证明了它在平衡的VQA基准上的鲁棒性是合理的。
translated by 谷歌翻译
视觉问题应答（VQA）是一个具有挑战性的任务，在计算机视觉和自然语言处理领域中引起了越来越多的关注。然而，目前的视觉问题回答具有语言偏差问题，这减少了模型的稳健性，对视觉问题的实际应用产生了不利影响。在本文中，我们首次对该领域进行了全面的审查和分析，并根据三个类别对现有方法进行分类，包括增强视觉信息，弱化语言前瞻，数据增强和培训策略。与此同时，依次介绍相关的代表方法，依次汇总和分析。揭示和分类语言偏见的原因。其次，本文介绍了主要用于测试的数据集，并报告各种现有方法的实验结果。最后，我们讨论了该领域的可能的未来研究方向。
translated by 谷歌翻译
有效分布式参数的快速全局聚合对于联邦学习（FL）至关重要，这需要足够的带宽来进行参数通信和足够的用户数据以进行本地培训。否则，FL可能会花费过多的训练时间来收敛并产生不准确的模型。在本文中，我们提出了一个全新的FL框架，即Pressfl，该框架将联合模型培训取代联合的及时培训，即让联邦参与者培训提示而不是共享模型，以同时实现有效的全球聚合和本地培训通过以分布式方式利用基础模型（FM）的功率来利用数据不足。 ProSTERFL将现成的FM（即剪辑）运送到分布式客户端，这些客户将根据很少的本地数据进行合作培训共享的软提示。由于提示fl只需要更新提示而不是整个模型，因此本地培训和全局聚合都可以大大加速。经过大规模数据训练的FM可以通过训练有素的软提示为分布式用户任务提供强大的适应能力。我们通过广泛的实验对提示进行了经验分析，并在系统的可行性，用户隐私和性能方面表现出了优势。
translated by 谷歌翻译
联合学习（FL）是一种机器学习范式，允许分散的客户在不共享其私人数据的情况下进行协作学习。但是，过度的计算和沟通要求对当前的FL框架构成挑战，尤其是在训练大型模型时。为了防止这些问题阻碍FL系统的部署，我们提出了一个轻巧的框架，客户共同学习融合由多个固定预训练的模型生成的表示形式，而不是从SCRATCH培训大型模型。这通过考虑如何从预先训练的模型中捕获更多特定于客户的信息，并共同提高每个客户利用这些现成模型的能力，从而导致我们解决了一个更实用的FL问题。在这项工作中，我们设计了一种联合原型对比度学习（FEDPCL）方法，该方法通过其类原型共享客户的知识，并以原型对比度方式构建特定于客户的表示。共享原型而不是可学习的模型参数可以使每个客户以个性化的方式融合表示表示，同时以紧凑的形式保持共享知识以进行有效的通信。我们在轻量级框架中对拟议的FEDPCL进行了彻底的评估，以测量和可视化其在流行的FL数据集上融合各种预训练模型的能力。
translated by 谷歌翻译
Artificial Intelligence (AI) and its applications have sparked extraordinary interest in recent years. This achievement can be ascribed in part to advances in AI subfields including Machine Learning (ML), Computer Vision (CV), and Natural Language Processing (NLP). Deep learning, a sub-field of machine learning that employs artificial neural network concepts, has enabled the most rapid growth in these domains. The integration of vision and language has sparked a lot of attention as a result of this. The tasks have been created in such a way that they properly exemplify the concepts of deep learning. In this review paper, we provide a thorough and an extensive review of the state of the arts approaches, key models design principles and discuss existing datasets, methods, their problem formulation and evaluation measures for VQA and Visual reasoning tasks to understand vision and language representation learning. We also present some potential future paths in this field of research, with the hope that our study may generate new ideas and novel approaches to handle existing difficulties and develop new applications.
translated by 谷歌翻译
联合学习（FL）使分布式客户端能够学习共享模型以进行预测，同时保留每个客户端的培训数据本地。然而，现有的FL需要完全标记的培训数据，这是由于高标签成本和专业要求的要求而不方便或有时不可行。在许多现实设置中，缺乏标签会使流行不切实际。自我监督学习可以通过从未标记的数据学习来解决这一挑战，从而可以广泛使用FL。对比学习（CL）是一种自我监督的学习方法，可以有效地学习来自未标记数据的数据表示。然而，Clipers上收集的分布式数据通常在客户端之间通常不是独立和相同分布（非IID），并且每个客户端只有很少的数据类，这会降低CL和学习的表示的性能。为了解决这个问题，我们提出了由两种方法组成的联邦对比学习框架：特征融合和邻居匹配，通过该邻居匹配，以便获得更好的数据表示来实现客户端之间的统一特征空间。特征融合提供远程功能，作为每个客户端的准确对比信息，以获得更好的本地学习。邻域匹配进一步将每个客户端的本地功能对齐至远程功能，从而可以了解客户端之间的群集功能。广泛的实验表明了拟议框架的有效性。它在IID数据上以11 \％的方式表达了其他方法，并匹配集中学习的性能。
translated by 谷歌翻译
随着图像文本对的大量数据以及视觉和语言（V＆L）任务的多样性，学者在该研究领域引入了大量的深度学习模型。此外，近年来，转移学习还显示出在计算机愿景中的巨大成功，例如图像分类，对象检测等以及在自然语言处理中以进行问答，机器翻译等的自然语言处理。继承转移学习的精神， V＆L的研究工作已经在大规模数据集上设计了多种预训练技术，以增强下游任务的性能。本文的目的是提供当代V＆L预审前模型的全面修订。特别是，我们对预处理的方法进行了分类和描述，以及最先进的视觉和语言预训练模型的摘要。此外，还提供了培训数据集和下游任务的列表，以进一步提高V＆L预处理的观点。最后，我们决定采取进一步的一步，讨论众多未来研究的方向。
translated by 谷歌翻译
变压器架构已经带来了计算语言领域的根本变化，这已经由经常性神经网络主导多年。它的成功还意味着具有语言和愿景的跨模型任务的大幅度变化，许多研究人员已经解决了这个问题。在本文中，我们审查了该领域中的一些最关键的里程碑，以及变压器架构如何纳入Visuol语言跨模型任务的整体趋势。此外，我们讨论了当前的局限性，并推测了我们发现迫在眉睫的一些前景。
translated by 谷歌翻译
联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。
translated by 谷歌翻译
最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点
translated by 谷歌翻译
从文档数据中进行的多模式学习最近取得了巨大的成功，因为它允许将语义有意义的特征预先作为先验的特征，成为可学习的下游方法。在本文中，我们通过使用语言和视觉线索来学习跨模式的表示，考虑了内模式和模式间关系，我们解决了文档分类问题。该方法没有将不同模态的特征合并为一个共同表示空间，而是利用高级相互作用，并从跨模态内外的有效注意流中学习相关的语义信息。提出的学习目标是在内部和模式间比对任务之间设计的，其中每个任务的相似性分布是通过收缩阳性样品对计算的，同时在共同特征表示空间中同时对比}。公共文档分类数据集的广泛实验证明了我们模型对低规模和大规模数据集的有效性和概括能力。
translated by 谷歌翻译
最近的研究表明，许多发达的视觉问题的答案（VQA）模型受到先前问题的严重影响，这是指基于文本问题和答案之间的共同发生模式来提出预测而不是推理视觉内容。为了解决它，大多数现有方法都侧重于增强视觉特征学习，以减少对VQA模型决策的这种肤浅的快捷方式影响。然而，有限的努力已经致力于为其固有原因提供明确的解释。因此，缺乏以有目的的方式向前迈出前进的良好指导，导致模型构建困惑在克服这种非琐碎问题时。在本文中，我们建议从类 - 不平衡视图中解释VQA中的语言。具体地，我们设计了一种新颖的解释方案，从而在晚期训练阶段明显展出了误差频繁和稀疏答案的丢失。它明确揭示了为什么VQA模型倾向于产生频繁但是明显的错误答案，给出的给定问题，其正确答案在训练集中稀疏。基于此观察，我们进一步开发了一种新的损失重新缩放方法，以基于计算最终损失的训练数据统计来为每个答案分配不同权重。我们将我们的方法应用于三个基线，两个VQA-CP基准数据集的实验结果明显证明了其有效性。此外，我们还可以证明在其他计算机视觉任务上的类别不平衡解释方案的有效性，例如面部识别和图像分类。
translated by 谷歌翻译