VITS通常太昂贵昂贵，无法安装在现实世界资源受限的设备上，因为（1）它们与输入令牌的数量和（2）其过度分开的自我关注头和模型深度相反的复杂性。并行地，不同的图像具有变化性变化，并且它们的不同区域可以包含各种级别的视觉信息，表明在模型复杂性方面同样地处理所有区域/令牌是不必要的，而这些机会尚未完全探索修剪vits的复杂性的机会。为此，我们提出了一种多粒子的输入 - 自适应视觉变压器框架被称为MIA-Fight，可以在三个粗粒细粒粒度（即，模型深度和模型数量的数量头/令牌）。特别是，我们的MIA-Agent采用具有混合监督和加固训练方法的低成本网络，以跳过不必要的层，头部和令牌以输入的自适应方式，降低整体计算成本。此外，我们的mia-ideor的有趣副作用是它的由此产生的vits自然地配备了对他们静态同行的对抗对抗攻击的改善的鲁棒性，因为米娅 - 以前的多粒度动态控制改善了模型多样性，类似于集合的效果因此，增加对抗所有子模型的对抗性攻击的难度。广泛的实验和消融研究验证了所提出的MIA - 前框架可以有效地分配适应性的计算预算与输入图像的难度增加，同时增加稳健性，实现最先进的（SOTA）精度效率权衡，例如20与SOTA动态变压器模型相比，％计算节省相同甚至更高的准确性。

最近，视觉变压器（VIT）在计算机视野中连续建立了新的里程碑，而高计算和内存成本使其在工业生产中的传播困难。修剪是一种用于硬件效率的传统模型压缩范例，已广泛应用于各种DNN结构。尽管如此，它含糊不清，如何在vit结构上进行独家修剪。考虑三个关键点：结构特征，VITS的内部数据模式和相关边缘设备部署，我们利用输入令牌稀疏性并提出了一种计算感知软修剪框架，可以在扁平的vanilla变压器上设置。和CNN型结构，例如基于池的Vit（坑）。更具体地说，我们设计了一种基于动态关注的多头令牌选择器，它是一个轻量级模块，用于自适应实例 - 明智令牌选择。我们进一步引入了一种软修剪技术，它将选择器模块生成的较少的信息令牌集成到将参与后续计算的包令牌，而不是完全丢弃。我们的框架通过我们所提出的计算感知培训策略，我们通过特定边缘设备的准确性和计算限制之间的权衡。实验结果表明，我们的框架显着降低了VIT的计算成本，同时在图像分类上保持了可比性。此外，我们的框架可以保证所识别的模型，以满足移动设备和FPGA的资源规范，甚至在移动平台上实现DEIT-T的实时执行。例如，我们的方法在移动设备上减少了DEIT-T至26毫秒的延迟（26％$ \ SIM 41％的41％），在移动设备上，在0.25％$ \ sim $ 4％的ImageNet上的前1个精度高出4％。我们的代码即将发布。

基于自我关注机制的顶部，视觉变压器最近在各种视觉任务上表现出显着的性能。虽然实现出色的性能，但它们仍然需要相对密集的计算成本，随着斑块的数量，自我关注头和变压器块增加而剧烈缩放。在本文中，我们争辩说，由于图像的变化大，因此它们对贴片之间的长距离依赖性建模的需要不同。为此，我们介绍了一个Adavit，一个自适应计算框架，学习在每次输入的基础上派生在整个骨干内的修补程序，自我注意力头和变压器块的使用策略，旨在提高视觉变压器的推理效率图像识别的最小精度降低。以端到端的方式与变压器骨架一起优化，轻量级决策网络连接到骨架上，以便在飞行中产生决定。关于ImageNet的广泛实验表明，与最先进的视觉变压器相比，我们的方法对效率的提高超过了2倍的效率，只有0.8％的准确性，实现了在不同的计算预算上的良好效率/准确性权衡权衡。我们进一步对学习使用政策进行了定量和定性分析，并对视觉变压器的冗余提供了更多的见解。

视觉变压器（VIT）是卷积神经网络（CNN）的强大替代方案，引起了很多关注。最近的工作表明，VIT也容易受到CNN等对抗性例子的影响。为了建立强大的VIT，一种直观的方法是应用对抗训练，因为它已被证明是完成强大CNN的最有效方法之一。但是，对抗性培训的一个主要局限性是其沉重的计算成本。 VIT所采用的自我注意力的机制是计算强度的操作，其费用随输入贴片的数量四次增加，从而使VIT上的对抗性训练更加耗时。在这项工作中，我们首先全面研究了有关各种视觉变压器的快速对抗训练，并说明了效率和鲁棒性之间的关系。然后，为了加快对VIT的对抗训练，我们提出了一种有效的注意力引导的对抗训练机制。具体而言，依靠自我注意的专长，我们在对抗训练过程中以注意引导策略的掉落策略积极地嵌入了每一层的某些斑块嵌入。纤细的自我发场模块大大加速了对VIT的对抗训练。只有65％的快速对抗训练时间，我们与具有挑战性的成像网基准相匹配。

在本文中，我们通过利用视觉数据中的空间稀疏性提出了一种新的模型加速方法。我们观察到，视觉变压器中的最终预测仅基于最有用的令牌的子集，这足以使图像识别。基于此观察，我们提出了一个动态的令牌稀疏框架，以根据加速视觉变压器的输入逐渐和动态地修剪冗余令牌。具体而言，我们设计了一个轻量级预测模块，以估计给定当前功能的每个令牌的重要性得分。该模块被添加到不同的层中以层次修剪冗余令牌。尽管该框架的启发是我们观察到视觉变压器中稀疏注意力的启发，但我们发现自适应和不对称计算的想法可能是加速各种体系结构的一般解决方案。我们将我们的方法扩展到包括CNN和分层视觉变压器在内的层次模型，以及更复杂的密集预测任务，这些任务需要通过制定更通用的动态空间稀疏框架，并具有渐进性的稀疏性和非对称性计算，用于不同空间位置。通过将轻质快速路径应用于少量的特征，并使用更具表现力的慢速路径到更重要的位置，我们可以维护特征地图的结构，同时大大减少整体计算。广泛的实验证明了我们框架对各种现代体系结构和不同视觉识别任务的有效性。我们的结果清楚地表明，动态空间稀疏为模型加速提供了一个新的，更有效的维度。代码可从https://github.com/raoyongming/dynamicvit获得

本文探讨了从视觉变压器查找最佳子模型的可行性，并引入了纯Vision变压器减肥（VIT-SLIM）框架，可以在跨多个维度从原始模型的端到端搜索这样的子结构，包括输入令牌，MHSA和MLP模块，具有最先进的性能。我们的方法基于学习和统一的L1稀疏限制，具有预定的因素，以反映不同维度的连续搜索空间中的全局重要性。通过单次训练方案，搜索过程非常有效。例如，在DeIT-S中，VIT-SLIM仅需要〜43 GPU小时进行搜索过程，并且搜索结构具有灵活的不同模块中的多维尺寸。然后，根据运行设备上的精度折叠折衷的要求采用预算阈值，并执行重新训练过程以获得最终模型。广泛的实验表明，我们的耐比可以压缩高达40％的参数和40％的视觉变压器上的40％拖鞋，同时在Imagenet上提高了〜0.6％的精度。我们还展示了我们搜索模型在几个下游数据集中的优势。我们的源代码将公开提供。

视觉变压器（VITS）在各种计算机视觉任务方面取得了令人印象深刻的性能。然而，与多头自我关注（MSA）层建模的全局相关性导致两个广泛认可的问题：大规模计算资源消耗和用于建模局部视觉模式的内在电感偏差。一个统一的解决方案是搜索是否用基于神经架构搜索（NAS）的修剪方法来替换具有卷积相对的电感偏差的一些MSA层。然而，将MSA和不同的候选卷积作业保持为单独的可训练路径，这导致昂贵的搜索成本和具有挑战性的优化。相反，我们提出了一种新的MSA和卷积操作之间的重量共享方案，并将搜索问题投射为查找在每个MSA层中使用的参数子集。重量分享方案还允许我们设计自动单路径视觉变压器修剪方法（SPVIT），以便将预先训练的VIS，精简和紧凑的混合模型中快速修剪，以显着降低的搜索成本，给定目标效率约束。我们对两个代表性毒性模型进行了广泛的实验，显示了我们的方法实现了有利的准确性效率折衷。代码可在https://github.com/zhuang-group/spvit使用。

Vision Transformer已成为计算机视觉中的新范式，表现出出色的性能，同时还具有昂贵的计算成本。图像令牌修剪是VIT压缩的主要方法之一，这是因为相对于令牌数的复杂性是二次的，而许多仅包含背景区域的令牌并不能真正促进最终预测。现有作品要么依赖其他模块来评分单个令牌的重要性，要么为不同的输入实例实施固定比率修剪策略。在这项工作中，我们提出了一个自适应的稀疏令牌修剪框架，成本最低。我们的方法是基于可学习的阈值，并利用多头自我注意力来评估令牌信息，但几乎没有其他操作。具体而言，我们首先提出了廉价的注意力重点加权阶级注意力评分机制。然后，将可学习的参数插入VIT作为阈值，以区分信息令牌和不重要的令牌。通过比较令牌注意分数和阈值，我们可以从层次上丢弃无用的令牌，从而加速推理。可学习的阈值在预算感知培训中进行了优化，以平衡准确性和复杂性，并为不同的输入实例执行相应的修剪配置。广泛的实验证明了我们方法的有效性。例如，我们的方法将DEIT-S的吞吐量提高了50％，并且TOP-1的准确性仅下降了0.2％，这比以前的方法在准确性和延迟之间取得了更好的权衡。

在本文中，我们询问视觉变形金刚（VIT）是否可以作为改善机器学习模型对抗逃避攻击的对抗性鲁棒性的基础结构。尽管较早的作品集中在改善卷积神经网络上，但我们表明VIT也非常适合对抗训练以实现竞争性能。我们使用自定义的对抗训练配方实现了这一目标，该配方是在Imagenet数据集的一部分上使用严格的消融研究发现的。与卷积相比，VIT的规范培训配方建议强大的数据增强，部分是为了补偿注意力模块的视力归纳偏置。我们表明，该食谱在用于对抗训练时可实现次优性能。相比之下，我们发现省略所有重型数据增强，并添加一些额外的零件（$ \ varepsilon $ -Warmup和更大的重量衰减），从而大大提高了健壮的Vits的性能。我们表明，我们的配方在完整的Imagenet-1k上概括了不同类别的VIT体系结构和大规模模型。此外，调查了模型鲁棒性的原因，我们表明，在使用我们的食谱时，在训练过程中产生强烈的攻击更加容易，这会在测试时提高鲁棒性。最后，我们通过提出一种量化对抗性扰动的语义性质并强调其与模型的鲁棒性的相关性来进一步研究对抗训练的结果。总体而言，我们建议社区应避免将VIT的规范培训食谱转换为在对抗培训的背景下进行强大的培训和重新思考常见的培训选择。

最近，视觉变压器变得非常流行。但是，将它们部署在许多应用程序中的计算昂贵部分是由于注意力块中的软磁层。我们引入了一个简单但有效的，无软的注意力块Sima，它使用简单的$ \ ell_1 $ -norm而不是使用SoftMax层，将查询和密钥矩阵归一化。然后，SIMA中的注意力块是三个矩阵的简单乘法，因此SIMA可以在测试时间动态更改计算的顺序，以在令牌数量或通道数量上实现线性计算。我们从经验上表明，SIMA应用于变形金刚，DEIT，XCIT和CVT的三种SOTA变体，与SOTA模型相比，SIMA可在不需要SoftMax层的情况下达到PAR准确性。有趣的是，将SIMA从多头更改为单头只会对精度产生很小的影响，这进一步简化了注意力障碍。该代码可在此处找到：$ \ href {https://github.com/ucdvision/sima} {\ text {this https url}} $

视觉变压器（VIT）在计算机视觉任务中取得了许多突破。但是，输入图像的空间维度出现了相当大的冗余，导致了巨大的计算成本。因此，我们提出了一个粗糙的视觉变压器（CF-VIT），以减轻计算负担，同时在本文中保持绩效。我们提出的CF-VIT是由现代VIT模型中的两个重要观察结果激励的：（1）粗粒斑分裂可以找到输入图像的信息区域。 （2）大多数图像可以通过小型令牌序列中的VIT模型很好地识别。因此，我们的CF-Vit以两阶段的方式实现网络推断。在粗糙的推理阶段，输入图像分为一个小长度贴片序列，以进行计算经济分类。如果不公认的话，请确定信息斑块，并在细粒度的细粒度中进一步重新分解。广泛的实验证明了我们CF-VIT的功效。例如，在不妥协性能的情况下，CF-VIT可以减少53％的LV-VIT拖鞋，还可以达到2.01倍的吞吐量。

动态神经网络是深度学习中的新兴的研究课题。与具有推断阶段的固定计算图和参数的静态模型相比，动态网络可以使其结构或参数适应不同的输入，从而在本调查中的准确性，计算效率，适应性等方面的显着优势。我们全面地通过将动态网络分为三个主要类别：1）使用数据相关的架构或参数进行处理的实例 - Wise-Wise DiveS动态模型的速度开发区域2）关于图像数据的不同空间位置和3）沿着诸如视频和文本的顺序数据的时间维度执行自适应推断的时间明智的动态模型进行自适应计算的空间 - 方向动态网络。系统地审查了动态网络的重要研究问题，例如架构设计，决策方案，优化技术和应用。最后，我们与有趣的未来研究方向讨论了该领域的开放问题。

虽然最先进的视觉变压器模型实现了图像分类的有希望的结果，但它们是非常昂贵的并且需要许多GFLOPS。尽管可以通过减少网络中的令牌数量来降低视觉变压器的GFLOPS，但是没有对所有输入图像的最佳设置。因此，在这项工作中，我们引入了可分辨率的无参数自适应令牌采样（ATS）模块，可以插入任何现有的视觉变压器架构。通过评分和自适应采样重要令牌，在视觉变压器上实现视觉变压器。结果，令牌的数量不再静态，但是每个输入图像都变化。通过将ATS集成为当前变压器块内的附加层，我们可以将它们转换为具有自适应令牌的更高效的视觉变压器。由于ATS是一种无参数模块，因此它可以作为即插即用模块添加到从货架上的预制视觉变压器中，从而在没有任何额外训练的情况下减少他们的GFLOP。但是，由于其可分辨动的设计，人们还可以培训配有ATS的视觉变压器。通过将其添加到多个最先进的视觉变压器，我们在想象成数据集上进行评估。我们的评估表明，通过将计算成本（GFLOPS）降低37％，在保留准确性时，该模块通过降低了37％，提高了最先进的模块。

探讨了语言建模流行的变形金刚，用于近期解决视觉任务，例如，用于图像分类的视觉变压器（VIT）。 VIT模型将每个图像分成具有固定长度的令牌序列，然后应用多个变压器层以模拟它们的全局关系以进行分类。然而，当从像想象中的中型数据集上从头开始训练时，VIT对CNNS达到较差的性能。我们发现它是因为：1）输入图像的简单标记未能模拟相邻像素之间的重要局部结构，例如边缘和线路，导致训练采样效率低。 2）冗余注意骨干骨干设计对固定计算预算和有限的训练样本有限的具有限制性。为了克服这些限制，我们提出了一种新的令牌到令牌视觉变压器（T2T-VIT），它包含1）层 - 明智的代币（T2T）转换，通过递归聚合相邻来逐步地结构于令牌到令牌。代币进入一个令牌（令牌到令牌），这样可以建模由周围令牌所代表的本地结构，并且可以减少令牌长度; 2）一种高效的骨干，具有深度狭窄的结构，用于在实证研究后CNN建筑设计的激励变压器结构。值得注意的是，T2T-VIT将Vanilla Vit的参数计数和Mac减少了一半，同时从想象中从头开始训练时，改善了超过3.0 \％。它还优于Endnets并通过直接培训Imagenet训练来实现与MobileNets相当的性能。例如，T2T-VTO与Reset50（21.5M参数）的可比大小（21.5M参数）可以在图像分辨率384 $ \ Times 384上实现83.3 \％TOP1精度。 （代码：https://github.com/yitu-opensource/t2t-vit）

在本文中，我们提出了一种称为Q-Vit的视觉变压器（VIT）的完全可区分的量化方法，其中两个量化标度和位宽度都是可学习的参数。具体而言，根据我们的观察，即VIT显示出不同的量化鲁棒性，我们利用头部宽度的位宽度来挤压Q-Vit的大小，同时保持性能。此外，我们提出了一种名为“可切换量表”的新技术，以解决量级和位宽度的联合训练中的收敛问题。这样，Q-Vit将VIT量化的限制推向了3位，而不会降低性能。此外，我们分析了VIT的每个体系结构成分的量化鲁棒性，并表明多头自我注意力（MSA）和高斯误差线性单元（GELU）是VIT量化的关键方面。这项研究提供了一些有关VIT量化的进一步研究的见解。在不同的VIT模型（例如DEIT和SWIN Transformer）上进行的广泛实验显示了我们量化方法的有效性。特别是，我们的方法优于最先进的统一量化方法，而Deit微型的量化方法则优于1.5％。

具有密集乘法的神经网络（NNS）（例如，卷积和变形金刚）具有饥饿的能力，阻碍了它们更广泛的部署到资源受限的设备中。因此，遵循节能硬件实施的共同实践的无乘法网络，以更有效的运算符（例如，位移位和加法）参数化NN，并引起了人们的关注。但是，从实现的准确性方面，无乘法网络的表现不足。为此，这项工作倡导混合NN，包括强大但昂贵的乘法和有效而强大的运营商来嫁给两全其美的运营商，并提出了ShiftAddnas，它们可以自动寻找更准确，更有效的NN。我们的ShiftAddnas突出了两个推动者。具体而言，它集成了（1）第一个混合搜索空间，该空间同时结合了基于乘法的和无乘法的运算符，以促进精确和有效的混合NNS的开发； （2）一种新型的重量共享策略，可以在遵循异质分布的不同操作员之间有效分享（例如，用于卷积的高斯与添加操作员的拉普拉斯人），并同时导致超级降低的超网尺寸和更好的搜索网络。对各种模型，数据集和任务的广泛实验和消融研究始终如一地验证了ShiftAddnas的功效，例如，与最先进的NN相比，获得的精度高达 +4.7％，或者+4.9更好的BLEU得分，而BLEU得分更好最多可提供93％或69％的能源和延迟节省。可以在https://github.com/rice-eic/shiftaddnas上获得代码和预估计的模型。

Transformer is a new kind of neural architecture which encodes the input data as powerful features via the attention mechanism. Basically, the visual transformers first divide the input images into several local patches and then calculate both representations and their relationship. Since natural images are of high complexity with abundant detail and color information, the granularity of the patch dividing is not fine enough for excavating features of objects in different scales and locations. In this paper, we point out that the attention inside these local patches are also essential for building visual transformers with high performance and we explore a new architecture, namely, Transformer iN Transformer (TNT). Specifically, we regard the local patches (e.g., 16×16) as "visual sentences" and present to further divide them into smaller patches (e.g., 4×4) as "visual words". The attention of each word will be calculated with other words in the given visual sentence with negligible computational costs. Features of both words and sentences will be aggregated to enhance the representation ability. Experiments on several benchmarks demonstrate the effectiveness of the proposed TNT architecture, e.g., we achieve an 81.5% top-1 accuracy on the ImageNet, which is about 1.7% higher than that of the state-of-the-art visual transformer with similar computational cost.

Vision Transformers (ViTs) have achieved state-of-the-art performance on various vision tasks. However, ViTs' self-attention module is still arguably a major bottleneck, limiting their achievable hardware efficiency. Meanwhile, existing accelerators dedicated to NLP Transformers are not optimal for ViTs. This is because there is a large difference between ViTs and NLP Transformers: ViTs have a relatively fixed number of input tokens, whose attention maps can be pruned by up to 90% even with fixed sparse patterns; while NLP Transformers need to handle input sequences of varying numbers of tokens and rely on on-the-fly predictions of dynamic sparse attention patterns for each input to achieve a decent sparsity (e.g., >=50%). To this end, we propose a dedicated algorithm and accelerator co-design framework dubbed ViTCoD for accelerating ViTs. Specifically, on the algorithm level, ViTCoD prunes and polarizes the attention maps to have either denser or sparser fixed patterns for regularizing two levels of workloads without hurting the accuracy, largely reducing the attention computations while leaving room for alleviating the remaining dominant data movements; on top of that, we further integrate a lightweight and learnable auto-encoder module to enable trading the dominant high-cost data movements for lower-cost computations. On the hardware level, we develop a dedicated accelerator to simultaneously coordinate the enforced denser/sparser workloads and encoder/decoder engines for boosted hardware utilization. Extensive experiments and ablation studies validate that ViTCoD largely reduces the dominant data movement costs, achieving speedups of up to 235.3x, 142.9x, 86.0x, 10.1x, and 6.8x over general computing platforms CPUs, EdgeGPUs, GPUs, and prior-art Transformer accelerators SpAtten and Sanger under an attention sparsity of 90%, respectively.

视觉变形金刚（VITS）处理将图像输入图像作为通过自我关注的斑块;比卷积神经网络（CNNS）彻底不同的结构。这使得研究Vit模型的对抗特征空间及其可转移性有趣。特别是，我们观察到通过常规逆势攻击发现的对抗性模式，即使对于大型Vit模型，也表现出非常低的黑箱可转移性。但是，我们表明这种现象仅是由于不利用VITS的真实表示潜力的次优攻击程序。深紫色由多个块组成，具有一致的架构，包括自我关注和前馈层，其中每个块能够独立地产生类令牌。仅使用最后一类令牌（传统方法）制定攻击并不直接利用存储在早期令牌中的辨别信息，从而导致VITS的逆势转移性差。使用Vit模型的组成性质，我们通过引入特定于Vit模型结构的两种新策略来增强现有攻击的可转移性。 （i）自我合奏：我们提出了一种通过将单vit模型解剖到网络的集合来找到多种判别途径的方法。这允许在每个VIT块处明确地利用特定于类信息。 （ii）令牌改进：我们建议改进令牌，以进一步增强每种Vit障碍的歧视能力。我们的令牌细化系统地将类令牌系统组合在补丁令牌中保留的结构信息。在一个视觉变压器中发现的分类器的集合中应用于此类精炼令牌时，对抗攻击具有明显更高的可转移性。

尽管图像变形金刚与计算机视觉任务中的卷积神经网络显示出竞争性结果，但缺乏诸如区域的电感偏见仍然在模型效率方面构成问题，尤其是对于嵌入式应用程序而言。在这项工作中，我们通过引入注意力面具以将空间位置纳入自我发挥作用来解决这个问题。局部依赖性有效地捕获了掩盖的注意力头，以及由未掩盖的注意力头部捕获的全球依赖性。随着蒙版注意力图像变压器 - MAIT，与CAIT相比，TOP -1的准确性提高了1.7％，与SWIN相比，吞吐量更少，吞吐量提高了1.5倍。使用注意力面罩编码局部性是模型的不可知论，因此它适用于整体，分层或其他新型变压器体系结构。