我们提出了一种与变压器的端到端图像压缩和分析模型，针对基于云的图像分类应用程序。代替将现有的变换器的图像分类模型直接放置在图像编解码器之后，我们的目的是重新设计视觉变换器（VIV）模型，以从压缩特征执行图像分类，并促进来自变压器的长期信息的图像压缩。具体而言，我们首先用由卷积神经网络建模的轻量级图像编码器更换vit模型的涂抹杆（即图像分裂和嵌入）。由图像编码器产生的压缩特征被注入卷积电感偏压，并被馈送到变压器，用于绕过图像重建。同时，我们提出了一种特征聚合模块，使压缩特征熔断具有变压器的所选中间特征，并将聚合特征馈送到用于图像重建的解卷积神经网络。聚合特征可以从变压器的自我关注机构获得长期信息，并提高压缩性能。速率 - 失真准确度优化问题最终通过两步培训策略解决。实验结果证明了所提出的模型在图像压缩和分类任务中的有效性。

对于许多技术领域的专业用户，例如医学，遥感，精密工程和科学研究，无损和近乎无情的图像压缩至关重要。但是，尽管在基于学习的图像压缩方面的研究兴趣迅速增长，但没有发表的方法提供无损和近乎无情的模式。在本文中，我们提出了一个统一而强大的深层损失加上残留（DLPR）编码框架，以实现无损和近乎无情的图像压缩。在无损模式下，DLPR编码系统首先执行有损压缩，然后执行残差的无损编码。我们在VAE的方法中解决了关节损失和残留压缩问题，并添加残差的自回归上下文模型以增强无损压缩性能。在近乎荒谬的模式下，我们量化了原始残差以满足给定的$ \ ell_ \ infty $错误绑定，并提出了可扩展的近乎无情的压缩方案，该方案适用于可变$ \ ell_ \ infty $ bunds而不是训练多个网络。为了加快DLPR编码，我们通过新颖的编码环境设计提高了算法并行化的程度，并以自适应残留间隔加速熵编码。实验结果表明，DLPR编码系统以竞争性的编码速度实现了最先进的无损和近乎无效的图像压缩性能。

开发了一种基于变换器的图像压缩（TIC）方法，其重用了具有配对主和超编码器解码器的规范变形AutoEncoder（VAE）架构。主要和超编码器包括一系列神经转换单元（NTU），以分析和聚合重要信息以进行更紧凑的输入图像表示，而解码器镜像编码器侧操作以生成从压缩的像素域图像重建。比特流。每个NTU由Swin变压器块（STB）和卷积层（CONV）组成，以最佳地嵌入远程和短程信息;同时，设计了一种休闲的注意模块（CAM），用于潜在特征的自适应上下文建模，以利用超自行性前提。具有最先进的方法的TIC竞争对手，包括基于深度卷积神经网络（CNNS）的学习图像编码（LIC）方法以及最近批准的多功能视频编码（VVC）标准的基于规则的基于规则的简介，并且需要很多较少的模型参数，例如，降低前导性能LIC减少45％。

视觉变压器由于能够捕获图像中的长期依赖性的能力而成功地应用于图像识别任务。但是，变压器与现有卷积神经网络（CNN）之间的性能和计算成本仍然存在差距。在本文中，我们旨在解决此问题，并开发一个网络，该网络不仅可以超越规范变压器，而且可以超越高性能卷积模型。我们通过利用变压器来捕获长期依赖性和CNN来建模本地特征，从而提出了一个新的基于变压器的混合网络。此外，我们将其扩展为获得一个称为CMT的模型家族，比以前的基于卷积和基于变压器的模型获得了更好的准确性和效率。特别是，我们的CMT-S在ImageNet上获得了83.5％的TOP-1精度，而在拖鞋上的拖曳率分别比现有的DEIT和EficitiveNet小14倍和2倍。拟议的CMT-S还可以很好地概括CIFAR10（99.2％），CIFAR100（91.7％），花（98.7％）以及其他具有挑战性的视觉数据集，例如可可（44.3％地图），计算成本较小。

最近的工作表明，学习的图像压缩策略可以倾销标准的手工制作压缩算法，这些压缩算法已经开发了几十年的速率 - 失真折衷的研究。随着计算机视觉的不断增长的应用，来自可压缩表示的高质量图像重建通常是次要目标。压缩，可确保计算机视觉任务等高精度，例如图像分割，分类和检测，因此具有跨各种设置的显着影响的可能性。在这项工作中，我们开发了一个框架，它产生适合人类感知和机器感知的压缩格式。我们表明可以了解到表示，同时优化核心视觉任务的压缩和性能。我们的方法允许直接从压缩表示培训模型，并且这种方法会产生新任务和低拍学习设置的性能。我们呈现出与标准高质量JPG相比细分和检测性能提高的结果，但是在每像素的比特方面，表示表示的表示性比率为4至10倍。此外，与天真的压缩方法不同，在比标准JEPG的十倍小的级别，我们格式培训的分段和检测模型仅在性能下遭受轻微的降级。

上下文自适应熵模型的应用显着提高了速率 - 渗透率（R-D）的性能，在该表现中，超级培训和自回归模型被共同利用来有效捕获潜在表示的空间冗余。但是，潜在表示仍然包含一些空间相关性。此外，这些基于上下文自适应熵模型的方法在解码过程中无法通过并行计算设备，例如FPGA或GPU。为了减轻这些局限性，我们提出了一个学识渊博的多分辨率图像压缩框架，该框架利用了最近开发的八度卷积，以将潜在表示形式分配到高分辨率（HR）和低分辨率（LR）部分，类似于小波变换，这进一步改善了R-D性能。为了加快解码的速度，我们的方案不使用上下文自适应熵模型。取而代之的是，我们利用一个额外的超层，包括超级编码器和超级解码器，以进一步删除潜在表示的空间冗余。此外，将跨分辨率参数估计（CRPE）引入提出的框架中，以增强信息流并进一步改善速率延伸性能。提出了对总损耗函数提出的其他信息损失，以调整LR部分对最终位流的贡献。实验结果表明，与最先进的学术图像压缩方法相比，我们的方法分别将解码时间减少了约73.35％和93.44％，R-D性能仍然优于H.266/VVC（4：4：：4：： 2：0）以及对PSNR和MS-SSIM指标的一些基于学习的方法。

In recent years, neural image compression (NIC) algorithms have shown powerful coding performance. However, most of them are not adaptive to the image content. Although several content adaptive methods have been proposed by updating the encoder-side components, the adaptability of both latents and the decoder is not well exploited. In this work, we propose a new NIC framework that improves the content adaptability on both latents and the decoder. Specifically, to remove redundancy in the latents, our content adaptive channel dropping (CACD) method automatically selects the optimal quality levels for the latents spatially and drops the redundant channels. Additionally, we propose the content adaptive feature transformation (CAFT) method to improve decoder-side content adaptability by extracting the characteristic information of the image content, which is then used to transform the features in the decoder side. Experimental results demonstrate that our proposed methods with the encoder-side updating algorithm achieve the state-of-the-art performance.

Recent studies show that Vision Transformers(ViTs) exhibit strong robustness against various corruptions. Although this property is partly attributed to the self-attention mechanism, there is still a lack of systematic understanding. In this paper, we examine the role of self-attention in learning robust representations. Our study is motivated by the intriguing properties of the emerging visual grouping in Vision Transformers, which indicates that self-attention may promote robustness through improved mid-level representations. We further propose a family of fully attentional networks (FANs) that strengthen this capability by incorporating an attentional channel processing design. We validate the design comprehensively on various hierarchical backbones. Our model achieves a state-of-the-art 87.1% accuracy and 35.8% mCE on ImageNet-1k and ImageNet-C with 76.8M parameters. We also demonstrate state-of-the-art accuracy and robustness in two downstream tasks: semantic segmentation and object detection. Code is available at: https://github.com/NVlabs/FAN.

最近，越来越多的图像被压缩并发送到用于机器分析任务的后端设备〜（\ textIt {e.g。，}对象检测），而不是纯粹由人类观察。但是，大多数传统图像编解码器旨在最大程度地减少人类视觉系统的失真，而无需考虑机器视觉系统的需求增加。在这项工作中，我们为机器视觉任务提出了一种预处理增强的图像压缩方法，以应对这一挑战。我们的框架不是依靠学习的图像编解码器进行端到端优化，而是基于传统的非差异编解码器，这意味着它是标准兼容的，并且可以轻松地部署在实际应用中。具体而言，我们在编码器之前提出了一个神经预处理模块，以维护下游任务的有用语义信息，并抑制无关信息以节省比特率。此外，我们的神经预处理模块是量化自适应的，可用于不同的压缩比。更重要的是，要通过下游机器视觉任务共同优化预处理模块，我们在后传播阶段介绍了传统非差异编解码器的代理网络。我们通过评估具有不同骨干网络的两个代表性下游任务的压缩方法来提供广泛的实验。实验结果表明，我们的方法通过节省约20％的比特率来实现编码比特率和下游机器视觉任务的性能之间的更好权衡。

最近，一些研究在图像压缩感测（CS）任务中应用了深层卷积神经网络（CNN），以提高重建质量。但是，卷积层通常具有一个小的接受场。因此，使用CNN捕获远程像素相关性是具有挑战性的，这限制了其在Image CS任务中的重建性能。考虑到这一限制，我们为图像CS任务（称为uformer-ics）提出了一个U形变压器。我们通过将CS的先验投影知识集成到原始变压器块中，然后使用基于投影基于投影的变压器块和残留卷积块构建对称重建模型来开发一个基于投影的变压器块。与以前的基于CNN的CS方法相比，只能利用本地图像特征，建议的重建模型可以同时利用图像的局部特征和远程依赖性，以及CS理论的先前投影知识。此外，我们设计了一个自适应采样模型，该模型可以基于块稀疏性自适应采样图像块，这可以确保压缩结果保留在固定采样比下原始图像的最大可能信息。提出的UFORFORFOR-ICS是一个端到端框架，同时学习采样和重建过程。实验结果表明，与现有的基于深度学习的CS方法相比，它的重建性能明显优于重建性能。

在本文中，我们提出了一类新的高效的深源通道编码方法，可以在非线性变换下的源分布下，可以在名称非线性变换源通道编码（NTSCC）下收集。在所考虑的模型中，发射器首先了解非线性分析变换以将源数据映射到潜伏空间中，然后通过深关节源通道编码将潜在的表示发送到接收器。我们的模型在有效提取源语义特征并提供源通道编码的侧面信息之前，我们的模型包括强度。与现有的传统深度联合源通道编码方法不同，所提出的NTSCC基本上学习源潜像和熵模型，作为先前的潜在表示。因此，开发了新的自适应速率传输和高辅助辅助编解码器改进机制以升级深关节源通道编码。整个系统设计被制定为优化问题，其目标是最小化建立感知质量指标下的端到端传输率失真性能。在简单的示例源和测试图像源上，我们发现所提出的NTSCC传输方法通常优于使用标准的深关节源通道编码和基于经典分离的数字传输的模拟传输。值得注意的是，由于其剧烈的内容感知能力，所提出的NTSCC方法可能会支持未来的语义通信。

Conventional video compression approaches use the predictive coding architecture and encode the corresponding motion information and residual information. In this paper, taking advantage of both classical architecture in the conventional video compression method and the powerful nonlinear representation ability of neural networks, we propose the first end-to-end video compression deep model that jointly optimizes all the components for video compression. Specifically, learning based optical flow estimation is utilized to obtain the motion information and reconstruct the current frames. Then we employ two auto-encoder style neural networks to compress the corresponding motion and residual information. All the modules are jointly learned through a single loss function, in which they collaborate with each other by considering the trade-off between reducing the number of compression bits and improving quality of the decoded video. Experimental results show that the proposed approach can outperform the widely used video coding standard H.264 in terms of PSNR and be even on par with the latest standard H.265 in terms of MS-SSIM. Code is released at https://github.com/GuoLusjtu/DVC. * Corresponding author (a) Original frame (Bpp/MS-SSIM) (b) H.264 (0.0540Bpp/0.945) (c) H.265 (0.082Bpp/0.960) (d) Ours ( 0.0529Bpp/ 0.961

现实世界图像Denoising是一个实用的图像恢复问题，旨在从野外嘈杂的输入中获取干净的图像。最近，Vision Transformer（VIT）表现出强大的捕获远程依赖性的能力，许多研究人员试图将VIT应用于图像DeNosing任务。但是，现实世界的图像是一个孤立的框架，它使VIT构建了内部贴片的远程依赖性，该依赖性将图像分为贴片并混乱噪声模式和梯度连续性。在本文中，我们建议通过使用连续的小波滑动转换器来解决此问题，该小波滑动转换器在现实世界中构建频率对应关系，称为dnswin。具体而言，我们首先使用CNN编码器从嘈杂的输入图像中提取底部功能。 DNSWIN的关键是将高频和低频信息与功能和构建频率依赖性分开。为此，我们提出了小波滑动窗口变压器，该变压器利用离散的小波变换，自我注意力和逆离散小波变换来提取深度特征。最后，我们使用CNN解码器将深度特征重建为DeNo的图像。对现实世界的基准测试的定量和定性评估都表明，拟议的DNSWIN对最新方法的表现良好。

最近的工作表明，变异自动编码器（VAE）与速率失真理论之间有着密切的理论联系。由此激发，我们从生成建模的角度考虑了有损图像压缩的问题。从最初是为数据（图像）分布建模设计的Resnet VAE开始，我们使用量化意识的后验和先验重新设计其潜在变量模型，从而实现易于量化和熵编码的图像压缩。除了改进的神经网络块外，我们还提出了一类强大而有效的有损图像编码器类别，超过了自然图像（有损）压缩的先前方法。我们的模型以粗略的方式压缩图像，并支持并行编码和解码，从而在GPU上快速执行。

最近，学到的图像压缩方法优于传统手工制作的方法，包括BPG。该成功的关键之一是学习的熵模型，该模型估计了量化潜在表示的概率分布。与其他视觉任务一样，最近学习的熵模型基于卷积神经网络（CNN）。但是，CNN由于局部连接性的性质而在建模长期依赖性方面有限制，这在图像压缩中可能是一个重要的瓶颈，其中降低空间冗余是一个关键点。为了克服这个问题，我们提出了一个名为Informand Transformer（Informer）的新型熵模型，该模型使用注意机制以内容依赖性方式利用全球和局部信息。我们的实验表明，告密者可以提高利率 - 对柯达和Tecnick数据集的最先进方法的延伸性能，而没有二次计算复杂性问题。我们的源代码可在https://github.com/naver-ai/informer上获得。

Recent neural compression methods have been based on the popular hyperprior framework. It relies on Scalar Quantization and offers a very strong compression performance. This contrasts from recent advances in image generation and representation learning, where Vector Quantization is more commonly employed. In this work, we attempt to bring these lines of research closer by revisiting vector quantization for image compression. We build upon the VQ-VAE framework and introduce several modifications. First, we replace the vanilla vector quantizer by a product quantizer. This intermediate solution between vector and scalar quantization allows for a much wider set of rate-distortion points: It implicitly defines high-quality quantizers that would otherwise require intractably large codebooks. Second, inspired by the success of Masked Image Modeling (MIM) in the context of self-supervised learning and generative image models, we propose a novel conditional entropy model which improves entropy coding by modelling the co-dependencies of the quantized latent codes. The resulting PQ-MIM model is surprisingly effective: its compression performance on par with recent hyperprior methods. It also outperforms HiFiC in terms of FID and KID metrics when optimized with perceptual losses (e.g. adversarial). Finally, since PQ-MIM is compatible with image generation frameworks, we show qualitatively that it can operate under a hybrid mode between compression and generation, with no further training or finetuning. As a result, we explore the extreme compression regime where an image is compressed into 200 bytes, i.e., less than a tweet.

本文探讨了贝尔视觉变压器预训练的更好的码本。最近的工作成功地转移了从NLP到视野领域的BERT预训练。它直接采用一个简单的离散VAE作为视觉销售器，但尚未考虑由此产生的视觉令牌的语义水平。相比之下，NLP字段中的离散令牌是自然的高度语义。这种差异激励我们学习一个感知码本。我们惊奇地找到了一个简单而有效的想法：在DVAE训练期间强制执行感知相似性。我们证明，所提出的感知码本生成的视觉令牌确实表现出更好的语义含义，随后有助于预训练在各种下游任务中实现卓越的转移性能。例如，我们在Imagenet-1K上实现了84.5前1个精度，vit-B骨干，优于竞争方法Beit +1.3，具有相同的训练纪元。它还可以通过+1.3框AP和+1.0掩模AP，在ADE20K上的语义细分，在ADE20K上提高对象检测和分割任务的性能，+1.0 miou，代码和型号将在\ url {https：// github.com/microsoft/peco}。

视觉变压器（VIV）被涌现为图像识别的最先进的架构。虽然最近的研究表明，VITS比卷积对应物更强大，但我们的实验发现，VITS过度依赖于局部特征（例如，滋扰和质地），并且不能充分使用全局背景（例如，形状和结构）。因此，VIT不能概括到分销，现实世界数据。为了解决这一缺陷，我们通过添加由矢量量化编码器产生的离散令牌来向Vit的输入层提出简单有效的架构修改。与标准的连续像素令牌不同，离散令牌在小扰动下不变，并且单独包含较少的信息，这促进了VITS学习不变的全局信息。实验结果表明，在七种想象中的鲁棒性基准中增加了四个架构变体上的离散表示，在七个想象中心坚固的基准中加强了高达12％的鲁棒性，同时保持了在想象成上的性能。

学习的视频压缩最近成为开发高级视频压缩技术的重要研究主题，其中运动补偿被认为是最具挑战性的问题之一。在本文中，我们通过异质变形补偿策略（HDCVC）提出了一个学识渊博的视频压缩框架，以解决由单尺度可变形的特征域中单尺可变形核引起的不稳定压缩性能的问题。更具体地说，所提出的算法提取物从两个相邻框架中提取的算法提取物特征来估算估计内容自适应的异质变形（Hetdeform）内核偏移量，而不是利用光流或单尺内核变形对齐。然后，我们将参考特征转换为HetDeform卷积以完成运动补偿。此外，我们设计了一个空间 - 邻化的分裂归一化（SNCDN），以实现更有效的数据高斯化结合了广义分裂的归一化。此外，我们提出了一个多框架增强的重建模块，用于利用上下文和时间信息以提高质量。实验结果表明，HDCVC比最近最新学习的视频压缩方法取得了优越的性能。

在本文中，我们提出了一种称为Q-Vit的视觉变压器（VIT）的完全可区分的量化方法，其中两个量化标度和位宽度都是可学习的参数。具体而言，根据我们的观察，即VIT显示出不同的量化鲁棒性，我们利用头部宽度的位宽度来挤压Q-Vit的大小，同时保持性能。此外，我们提出了一种名为“可切换量表”的新技术，以解决量级和位宽度的联合训练中的收敛问题。这样，Q-Vit将VIT量化的限制推向了3位，而不会降低性能。此外，我们分析了VIT的每个体系结构成分的量化鲁棒性，并表明多头自我注意力（MSA）和高斯误差线性单元（GELU）是VIT量化的关键方面。这项研究提供了一些有关VIT量化的进一步研究的见解。在不同的VIT模型（例如DEIT和SWIN Transformer）上进行的广泛实验显示了我们量化方法的有效性。特别是，我们的方法优于最先进的统一量化方法，而Deit微型的量化方法则优于1.5％。