自我关注已成为最近网络架构的一个组成部分，例如，统治主要图像和视频基准的变压器。这是因为自我关注可以灵活地模拟远程信息。出于同样的原因，研究人员最近使尝试恢复多层Perceptron（MLP）并提出一些类似MLP的架构，显示出极大的潜力。然而，当前的MLP样架构不擅长捕获本地细节并缺乏对图像和/或视频中的核心细节的逐步了解。为了克服这个问题，我们提出了一种新颖的Morphmlp架构，该架构专注于在低级层处捕获本地细节，同时逐渐改变，以专注于高级层的长期建模。具体地，我们设计一个完全连接的层，称为Morphfc，两个可变过滤器，其沿着高度和宽度尺寸逐渐地发展其接收领域。更有趣的是，我们建议灵活地调整视频域中的Morphfc层。为了我们最好的知识，我们是第一个创建类似MLP骨干的用于学习视频表示的骨干。最后，我们对图像分类，语义分割和视频分类进行了广泛的实验。我们的Morphmlp，如此自我关注的自由骨干，可以与基于自我关注的型号一样强大。
translated by 谷歌翻译
虽然变形金机对视频识别任务的巨大潜力具有较强的捕获远程依赖性的强大能力，但它们经常遭受通过对视频中大量3D令牌的自我关注操作引起的高计算成本。在本文中，我们提出了一种新的变压器架构，称为双重格式，可以有效且有效地对视频识别进行时空关注。具体而言，我们的Dualformer将完全时空注意力分层到双级级联级别，即首先在附近的3D令牌之间学习细粒度的本地时空交互，然后捕获查询令牌之间的粗粒度全局依赖关系。粗粒度全球金字塔背景。不同于在本地窗口内应用时空分解或限制关注计算以提高效率的现有方法，我们本地 - 全球分层策略可以很好地捕获短期和远程时空依赖项，同时大大减少了钥匙和值的数量在注意计算提高效率。实验结果表明，对抗现有方法的五个视频基准的经济优势。特别是，Dualformer在动态-400/600上设置了新的最先进的82.9％/ 85.2％，大约1000g推理拖鞋，比具有相似性能的现有方法至少3.2倍。
translated by 谷歌翻译
用于深度卷积神经网络的视频插值的现有方法，因此遭受其内在限制，例如内部局限性核心权重和受限制的接收领域。为了解决这些问题，我们提出了一种基于变换器的视频插值框架，允许内容感知聚合权重，并考虑具有自我关注操作的远程依赖性。为避免全球自我关注的高计算成本，我们将当地注意的概念引入视频插值并将其扩展到空间域。此外，我们提出了一个节省时间的分离策略，以节省内存使用，这也提高了性能。此外，我们开发了一种多尺度帧合成方案，以充分实现变压器的潜力。广泛的实验证明了所提出的模型对最先进的方法来说，定量和定性地在各种基准数据集上进行定量和定性。
translated by 谷歌翻译
视觉变压器由于能够捕获图像中的长期依赖性的能力而成功地应用于图像识别任务。但是，变压器与现有卷积神经网络（CNN）之间的性能和计算成本仍然存在差距。在本文中，我们旨在解决此问题，并开发一个网络，该网络不仅可以超越规范变压器，而且可以超越高性能卷积模型。我们通过利用变压器来捕获长期依赖性和CNN来建模本地特征，从而提出了一个新的基于变压器的混合网络。此外，我们将其扩展为获得一个称为CMT的模型家族，比以前的基于卷积和基于变压器的模型获得了更好的准确性和效率。特别是，我们的CMT-S在ImageNet上获得了83.5％的TOP-1精度，而在拖鞋上的拖曳率分别比现有的DEIT和EficitiveNet小14倍和2倍。拟议的CMT-S还可以很好地概括CIFAR10（99.2％），CIFAR100（91.7％），花（98.7％）以及其他具有挑战性的视觉数据集，例如可可（44.3％地图），计算成本较小。
translated by 谷歌翻译
卷积神经网络（CNN）被认为是视觉识别的首选模型。最近，基于多头自我注意力（MSA）或多层感知器（MLP）的无卷积网络变得越来越流行。然而，由于视频数据的差异和复杂性，利用这些新染色的网络进行视频识别并不是微不足道的。在本文中，我们提出了MLP-3D Networks，这是一种新颖的MLP型3D体系结构，用于视频识别。具体而言，该体系结构由MLP-3D块组成，其中每个块包含一个跨令牌施加的一个MLP（即令牌混合MLP），一个MLP独立地应用于每个令牌（即通道MLP）。通过得出新型的分组时间混合（GTM）操作，我们将基本令牌混合MLP配备了时间建模的能力。 GTM将输入令牌分为几个时间组，并用共享投影矩阵线性地映射每个组中的令牌。此外，我们通过不同的分组策略设计了几种GTM的变体，并通过贪婪的体系结构搜索在MLP-3D网络的不同块中组成每个变体。在不依赖卷积或注意机制的情况下，我们的MLP-3D网络分别获得68.5 \％/81.4 \％\％TOP-1的准确性，分别在某些V2和Kinetics-400数据集上。尽管计算较少，但结果与最新通用的3D CNN和视频变压器相当。源代码可从https://github.com/zhaofanqiu/mlp-3d获得。
translated by 谷歌翻译
视觉变压器（VITS）已成为各种视觉任务的流行结构和优于卷积神经网络（CNNS）。然而，这种强大的变形金机带来了巨大的计算负担。而这背后的基本障碍是排气的令牌到令牌比较。为了缓解这一点，我们深入研究Vit的模型属性，观察到VITS表现出稀疏关注，具有高令牌相似性。这直观地向我们介绍了可行的结构不可知的尺寸，令牌编号，以降低计算成本。基于这一探索，我们为香草vits提出了一种通用的自我切片学习方法，即坐下。具体而言，我们首先设计一种新颖的令牌减肥模块（TSM），可以通过动态令牌聚集来提高VIT的推理效率。不同于令牌硬滴，我们的TSM轻轻地集成了冗余令牌变成了更少的信息，可以在不切断图像中的鉴别性令牌关系的情况下动态缩放视觉注意。此外，我们介绍了一种简洁的密集知识蒸馏（DKD）框架，其密集地以柔性自动编码器方式传送无组织的令牌信息。由于教师和学生之间的结构类似，我们的框架可以有效地利用结构知识以获得更好的收敛性。最后，我们进行了广泛的实验来评估我们的坐姿。它展示了我们的方法可以通过1.7倍加速VITS，其精度下降可忽略不计，甚至在3.6倍上加速VITS，同时保持其性能的97％。令人惊讶的是，通过简单地武装LV-VIT与我们的坐线，我们在想象中实现了新的最先进的表现，超过了最近文学中的所有CNN和VITS。
translated by 谷歌翻译
变压器是一种基于关注的编码器解码器架构，彻底改变了自然语言处理领域。灵感来自这一重大成就，最近在将变形式架构调整到计算机视觉（CV）领域的一些开创性作品，这已经证明了他们对各种简历任务的有效性。依靠竞争力的建模能力，与现代卷积神经网络相比在本文中，我们已经为三百不同的视觉变压器进行了全面的审查，用于三个基本的CV任务（分类，检测和分割），提出了根据其动机，结构和使用情况组织这些方法的分类。 。由于培训设置和面向任务的差异，我们还在不同的配置上进行了评估了这些方法，以便于易于和直观的比较而不是各种基准。此外，我们已经揭示了一系列必不可少的，但可能使变压器能够从众多架构中脱颖而出，例如松弛的高级语义嵌入，以弥合视觉和顺序变压器之间的差距。最后，提出了三个未来的未来研究方向进行进一步投资。
translated by 谷歌翻译
视频变压器在主要视频识别基准上取得了令人印象深刻的结果，但它们遭受了高计算成本。在本文中，我们呈现Stts，一个令牌选择框架，动态地在输入视频样本上调节的时间和空间尺寸的几个信息令牌。具体而言，我们将令牌选择作为一个排名问题，估计每个令牌通过轻量级选择网络的重要性，并且只有顶级分数的人将用于下游评估。在时间维度中，我们将最相关的帧保持对识别作用类别的帧，而在空间维度中，我们确定特征映射中最辨别的区域，而不会影响大多数视频变换器中以分层方式使用的空间上下文。由于令牌选择的决定是不可差异的，因此我们采用了一个扰动最大的可分辨率Top-K运算符，用于最终培训。我们对动力学-400进行广泛的实验，最近推出的视频变压器骨架MVIT。我们的框架实现了类似的结果，同时需要计算20％。我们还表明我们的方法与其他变压器架构兼容。
translated by 谷歌翻译
本文研究了视频变压器的BERT预借鉴。考虑到近期图像变形金刚的伯爵预借鉴成功，这是一个简单但值得学习的延伸。我们介绍了Decouples将视频表示学习学习的BEVT进入空间代表学习和时间动态学习。特别地，BEVT首先在图像数据上执行屏蔽图像建模，然后在视频数据上与屏蔽视频建模联合进行屏蔽图像建模。这种设计具有两个观察的动机：1）在图像数据集上学习的变压器提供了体面的空间前沿，可以缓解视频变压器的学习，这通常是从划痕训练的计算密集型的时间。 2）鉴别的线索，即空间和时间信息，需要在不同的视频中进行正确的预测，由于阶级的阶级和阶级际变化而不同。我们对三个具有挑战性的视频基准进行了广泛的实验，其中BEVT达到了非常有前途的结果。在动力学400上，哪些识别主要依赖于歧视性空间表示，BEVT达到了强大的监督基线的可比结果。在某种东西 - V2和潜水48上，其中包含依靠时间动态的视频，BEVT优于所有替代基准，分别实现了70.6％和86.7％的最新性能。
translated by 谷歌翻译
我们呈现了基于纯变压器的视频分类模型，在图像分类中最近的近期成功进行了借鉴。我们的模型从输入视频中提取了时空令牌，然后由一系列变压器层编码。为了处理视频中遇到的令牌的长序列，我们提出了我们模型的几种有效的变体，它们将输入的空间和时间维构建。虽然已知基于变换器的模型只有在可用的大型训练数据集时才有效，但我们展示了我们如何在训练期间有效地规范模型，并利用预先训练的图像模型能够在相对小的数据集上训练。我们进行彻底的消融研究，并在包括动力学400和600，史诗厨房，东西的多个视频分类基准上实现最先进的结果，其中 - 基于深度3D卷积网络的现有方法表现出优先的方法。为了促进进一步的研究，我们在https://github.com/google-research/scenic/tree/main/scenic/projects/vivit发布代码
translated by 谷歌翻译
视觉变压器（VIV）及其变体（例如，Swin，PVT）在各种计算机视觉任务中取得了巨大的成功，这是由于他们学习远程语境信息的能力。层标准化（LN）是这些模型中的必要成分。然而，我们发现普通LN在不同位置处的令牌幅度，因为它标准化每个令牌内的嵌入物。变压器难以捕获诱导偏压，例如用LN的图像中的位置上下文。我们通过提出新的标准化器，称为动态令牌归一化（DTN）来解决这个问题，其中归一化在每个令牌（令牌）和跨不同的标记（令牌互补）中执行归一化。 DTN有几个优点。首先，它基于统一的制定，因此可以代表各种现有的归一化方法。其次，DTN学习在令牌内部和令牌间的互联网上标准化令牌，使变换器能够捕获全局上下文信息和本地位置上下文。 {第三，通过简单地更换LN层，DTN可以容易地插入各种视觉变压器，例如VIT，SWIN，PVT，Levit，T2T-VIT，BIGBIRD和REPLERER。广泛的实验表明，配备DTN的变压器始终如一地优于基线模型，具有最小的额外参数和计算开销。例如，DTN优于0.5 \％$ 0.5 \％$ - $ 1.2 \％$ 1.2 \％$ top-1在Imagenet上的准确性，超过1.2 $ - $ 1.4 $ box ap在Coco基准测试的对象检测中，达到2.3 \％$ - $ 3.9 \％$ mce在ImageNet-C上的鲁棒性实验，在远程竞技场上长浪列表中的0.5 \％$ 0.8 \％$ 0.8 \％。}代码将在\ url {https://github.com/wqshao126/dtn}公开。
translated by 谷歌翻译
在本文中，我们将多尺度视觉变压器（MVIT）作为图像和视频分类的统一架构，以及对象检测。我们提出了一种改进的MVIT版本，它包含分解的相对位置嵌入和残余汇集连接。我们以五种尺寸实例化此架构，并评估Imagenet分类，COCO检测和动力学视频识别，在此优先效果。我们进一步比较了MVITS的汇集注意力来窗口注意力机制，其中它在准确性/计算中优于后者。如果没有钟声，MVIT在3个域中具有最先进的性能：ImageNet分类的准确性为88.8％，Coco对象检测的56.1盒AP和动力学-400视频分类的86.1％。代码和模型将公开可用。
translated by 谷歌翻译
由于长距离依赖性建模的能力，变压器在各种自然语言处理和计算机视觉任务中表现出令人印象深刻的性能。最近的进展证明，将这种变压器与基于CNN的语义图像分割模型相结合非常有前途。然而，目前还没有很好地研究了纯变压器的方法如何实现图像分割。在这项工作中，我们探索了语义图像分割的新框架，它是基于编码器 - 解码器的完全变压器网络（FTN）。具体地，我们首先提出金字塔组变压器（PGT）作为逐步学习分层特征的编码器，同时降低标准视觉变压器（VIT）的计算复杂性。然后，我们将特征金字塔变换器（FPT）提出了来自PGT编码器的多电平进行语义图像分割的多级别的语义级别和空间级信息。令人惊讶的是，这种简单的基线可以在多个具有挑战性的语义细分和面部解析基准上实现更好的结果，包括帕斯卡背景，ADE20K，Cocostuff和Celebamask-HQ。源代码将在https://github.com/br -dl/paddlevit上发布。
translated by 谷歌翻译
卷积是现代神经网络最重要的特征变革，导致深度学习的进步。最近的变压器网络的出现，取代具有自我关注块的卷积层，揭示了静止卷积粒的限制，并将门打开到动态特征变换的时代。然而，现有的动态变换包括自我关注，全部限制了视频理解，其中空间和时间的对应关系，即运动信息，对于有效表示至关重要。在这项工作中，我们引入了一个关系功能转换，称为关系自我关注（RSA），通过动态生成关系内核和聚合关系上下文来利用视频中丰富的时空关系结构。我们的实验和消融研究表明，RSA网络基本上表现出卷积和自我关注的同行，在标准的运动中心基准上实现了用于视频动作识别的标准主导的基准，例如用于V1＆V2，潜水48和Filegym。
translated by 谷歌翻译
本文介绍了一个简单的MLP架构，CycleMLP，这是一种多功能骨干，用于视觉识别和密集的预测。与现代MLP架构相比，例如MLP混合器，RESMLP和GMLP，其架构与图像尺寸相关，因此在物体检测和分割中不可行，与现代方法相比具有两个优点。 （1）它可以应对各种图像尺寸。 （2）通过使用本地窗口，它可以实现对图像大小的线性计算复杂性。相比之下，由于完全空间连接，以前的MLP具有$ O（n ^ 2）$计算。我们构建一系列模型，超越现有的MLP，甚至最先进的基于变压器的模型，例如，使用较少的参数和拖鞋。我们扩展了类似MLP的模型的适用性，使它们成为密集预测任务的多功能骨干。 CycleMLP在对象检测，实例分割和语义细分上实现了竞争结果。特别是，Cyclemlp-tiny优于3.3％Miou在Ade20K数据集中的速度较少，具有较少的拖鞋。此外，CycleMLP还在Imagenet-C数据集上显示出优异的零射鲁布利。代码可以在https://github.com/shoufachen/cyclemlp获得。
translated by 谷歌翻译
最近，视觉变压器（VIT），具有自我关注（SA）作为事实上的成分，在计算机视觉社区中表现出很大的潜力。为了在效率和性能之间进行权衡，一组作品仅仅在本地补丁中执行SA操作，而全局上下文信息被放弃，这对于可视识别任务是不可或缺的。为了解决这个问题，随后的全球本地VITS在模型中以并行或替代方式将本地SA与全球范围内纳入本地SA。然而，令人遗憾地组合的局部和全局上下文可能存在各种视觉数据的冗余，并且每个层内的接收场是固定的。或者，更优雅的方式是全局和本地上下文可以自适应地贡献本身以适应不同的视觉数据。为实现这一目标，我们本文提出了一种新的Vit架构，称为NOMMER，可以动态提名视觉变压器中的协同全球本地背景。通过调查我们提出的NOMMER的工作模式，我们进一步探讨了哪些上下文信息。有益于这种“动态提名”机制，没有钟声和吹口哨，不仅可以在Imagenet上达到84.5％的前1个分类准确性，只有73米的参数，也显示了对致密预测任务的有希望的性能，即对象检测和语义分割。代码和模型将在〜\ url {https://github.com/nommer1125/nommer中公开可用。
translated by 谷歌翻译
由于它们使用自我关注机制建模的远程依赖性的强大能力，变压器在各种计算机视觉任务中表现出很大的潜力。然而，视觉变压器将图像视为1D视觉令牌的序列，缺乏本地视觉结构的内在电感偏差（IB），并处理比例方差。或者，它们需要大规模的培训数据和更长的培训计划来隐含地学习IB。在本文中，我们提出了一种新颖的视觉变压器，通过探索来自卷积的内在IB，即简化。从技术上讲，vitae有几个空间金字塔减少模块，通过使用具有不同扩张速率的多个卷积来将输入图像与丰富的多尺寸上下文嵌入到令牌中。以这种方式，它获取内在规模的不变性IB，并且能够在各种尺度处学习对象的强大特征表示。此外，在每个变压器层中，vitae具有与多头自我关注模块平行的卷积块，其特征融合并馈入前馈网络。因此，它具有内在的位置IB，并且能够协同学习本地特征和全局依赖关系。在想象中的实验以及下游任务证明了基础变压器和并发作品的知识的优越性。源代码和预用型号将在GitHub上获得。
translated by 谷歌翻译
本文解决了由多头自我注意力（MHSA）中高计算/空间复杂性引起的视觉变压器的低效率缺陷。为此，我们提出了层次MHSA（H-MHSA），其表示以层次方式计算。具体而言，我们首先将输入图像分为通常完成的补丁，每个补丁都被视为令牌。然后，拟议的H-MHSA学习本地贴片中的令牌关系，作为局部关系建模。然后，将小贴片合并为较大的贴片，H-MHSA对少量合并令牌的全局依赖性建模。最后，汇总了本地和全球专注的功能，以获得具有强大表示能力的功能。由于我们仅在每个步骤中计算有限数量的令牌的注意力，因此大大减少了计算负载。因此，H-MHSA可以在不牺牲细粒度信息的情况下有效地模拟令牌之间的全局关系。使用H-MHSA模块合并，我们建立了一个基于层次的变压器网络的家族，即HAT-NET。为了证明在场景理解中HAT-NET的优越性，我们就基本视觉任务进行了广泛的实验，包括图像分类，语义分割，对象检测和实例细分。因此，HAT-NET为视觉变压器提供了新的视角。可以在https://github.com/yun-liu/hat-net上获得代码和预估计的模型。
translated by 谷歌翻译
我们介绍克斯内变压器，一种高效且有效的变压器的骨干，用于通用视觉任务。变压器设计的具有挑战性的问题是，全球自我关注来计算成本昂贵，而局部自我关注经常限制每个令牌的相互作用。为了解决这个问题，我们开发了以平行的横向和垂直条纹在水平和垂直条纹中计算自我关注的交叉形窗口自我关注机制，通过将输入特征分成相等的条纹而获得的每个条纹宽度。我们提供了条纹宽度效果的数学分析，并改变变压器网络的不同层的条纹宽度，这在限制计算成本时实现了强大的建模能力。我们还介绍了本地增强的位置编码（LEPE），比现有的编码方案更好地处理本地位置信息。 LEPE自然支持任意输入分辨率，因此对下游任务特别有效和友好。 CSWIN变压器并入其具有这些设计和分层结构，展示了普通愿景任务的竞争性能。具体来说，它在ImageNet-1K上实现了85.4 \％Top-1精度，而无需任何额外的培训数据或标签，53.9盒AP和46.4掩模AP，ADE20K语义分割任务上的52.2 Miou，超过以前的状态 - 在类似的拖鞋设置下，艺术品+1.2，+2.0，+1.4和+2.0分别为+1.2，+2.0，+1.4和+2.0。通过在较大的数据集Imagenet-21k上进行前预先预订，我们在Ave20K上实现了87.5％的成像-1K和高分性能，55.7 miou。代码和模型可在https://github.com/microsoft/cswin-transformer中找到。
translated by 谷歌翻译
作为视频的独特性，运动对于开发视频理解模型至关重要。现代深度学习模型通过执行时空3D卷积来利用运动，将3D卷积分别分为空间和时间卷积，或者沿时间维度计算自我注意力。这种成功背后的隐含假设是，可以很好地汇总连续帧的特征图。然而，该假设可能并不总是对具有较大变形的地区特别存在。在本文中，我们提出了一个新的框架间注意区块的食谱，即独立框架间注意力（SIFA），它在新颖的情况下深入研究了整个框架的变形，以估计每个空间位置上的局部自我注意力。从技术上讲，SIFA通过通过两个帧之间的差来重新缩放偏移预测来重新缩放可变形设计。将每个空间位置在当前帧中作为查询，下一帧中的本地可变形邻居被视为键/值。然后，SIFA衡量查询和键之间的相似性是对加权平均时间聚集值的独立关注。我们进一步将SIFA块分别插入Convnet和Vision Transformer，以设计SIFA-NET和SIFA-TransFormer。在四个视频数据集上进行的广泛实验表明，SIFA-NET和SIFA转换器的优越性是更强的骨架。更值得注意的是，SIFA转换器在动力学400数据集上的精度为83.1％。源代码可在\ url {https://github.com/fuchenustc/sifa}中获得。
translated by 谷歌翻译