最近提出的基于局部自回旋模型的神经局部无损压缩（NELLOC）已在图像压缩任务中实现了最新的（SOTA）过度分布（OOD）概括性能。除了鼓励OOD泛化外，局部模型还允许在解码阶段并行推断。在本文中，我们提出了两种平行化方案，用于本地自回归模型。我们讨论实施方案的实用性，并提供了与以前的非平行实施相比，压缩运行时获得显着增长的实验证据。

分发（OOD）检测和无损压缩构成了两个问题，可以通过对第一个数据集的概率模型进行训练来解决，其中在第二数据集上的后续似然评估，其中数据分布不同。通过在可能性方面定义概率模型的概括，我们表明，在图像模型的情况下，泛展能力通过本地特征主导。这激励了我们对本地自回归模型的提议，该模型专门为局部图像特征而达到改善的性能。我们将拟议的模型应用于检测任务，并在未引入其他数据的情况下实现最先进的无监督的检测性能。此外，我们使用我们的模型来构建新的无损图像压缩机：Nelloc（神经本地无损压缩机）和报告最先进的压缩率和模型大小。

基于生成模型的图像无损压缩算法在改善压缩比方面取得了巨大的成功。但是，即使使用最先进的AI加速芯片，它们中大多数的吞吐量也小于1 Mb/s，从而阻止了它们的大多数现实应用应用，通常需要100 MB/s。在本文中，我们提出了PILC，这是一种端到端图像无损压缩框架，使用单个NVIDIA TESLA V100 GPU实现200 Mb/s的压缩和减压，比以前最有效的速度快10倍。为了获得此结果，我们首先开发了一个AI编解码器，该AI编解码器结合了自动回归模型和VQ-VAE，在轻质设置中性能很好，然后我们设计了一个低复杂性熵编码器，可与我们的编解码器配合使用。实验表明，在多个数据集中，我们的框架压缩比PNG高30％。我们认为，这是将AI压缩推向商业用途的重要步骤。

最近的工作表明，变异自动编码器（VAE）与速率失真理论之间有着密切的理论联系。由此激发，我们从生成建模的角度考虑了有损图像压缩的问题。从最初是为数据（图像）分布建模设计的Resnet VAE开始，我们使用量化意识的后验和先验重新设计其潜在变量模型，从而实现易于量化和熵编码的图像压缩。除了改进的神经网络块外，我们还提出了一类强大而有效的有损图像编码器类别，超过了自然图像（有损）压缩的先前方法。我们的模型以粗略的方式压缩图像，并支持并行编码和解码，从而在GPU上快速执行。

对于许多技术领域的专业用户，例如医学，遥感，精密工程和科学研究，无损和近乎无情的图像压缩至关重要。但是，尽管在基于学习的图像压缩方面的研究兴趣迅速增长，但没有发表的方法提供无损和近乎无情的模式。在本文中，我们提出了一个统一而强大的深层损失加上残留（DLPR）编码框架，以实现无损和近乎无情的图像压缩。在无损模式下，DLPR编码系统首先执行有损压缩，然后执行残差的无损编码。我们在VAE的方法中解决了关节损失和残留压缩问题，并添加残差的自回归上下文模型以增强无损压缩性能。在近乎荒谬的模式下，我们量化了原始残差以满足给定的$ \ ell_ \ infty $错误绑定，并提出了可扩展的近乎无情的压缩方案，该方案适用于可变$ \ ell_ \ infty $ bunds而不是训练多个网络。为了加快DLPR编码，我们通过新颖的编码环境设计提高了算法并行化的程度，并以自适应残留间隔加速熵编码。实验结果表明，DLPR编码系统以竞争性的编码速度实现了最先进的无损和近乎无效的图像压缩性能。

明确的深度生成模型（DGMS），例如VAES和归一化流量，已经显示出有效的数据建模替代因素，以获得无损压缩。然而，DGMS本身通常需要大的存储空间，从而污染通过精确的数据密度估计所带来的优点。为了消除对不同目标数据集的保存单独模型的要求，我们提出了一种从预磨削的深生成模型开始的新颖设置，并将数据批量压缩，同时使用动态系统仅为一个时代调整模型。我们将此设置形式形式为DGMS的单次在线适配（OSOA），无损压缩，并在此设置下提出香草算法。实验结果表明，Vanilla OsoA可以使用一个型号为所有目标节省大量时间与训练定制模型和空间与空间。具有相同的适应步骤数或适应时间，显示Vanilla OsoA可以表现出更好的空间效率，例如47美元的空间，而不是微调预先调整预制模型并保存微调模型。此外，我们展示了OSOA的潜力，并通过显示每个批次和早期停止的多个更新的进一步空间或时间效率来激励更复杂的OSOA算法。

Recent neural compression methods have been based on the popular hyperprior framework. It relies on Scalar Quantization and offers a very strong compression performance. This contrasts from recent advances in image generation and representation learning, where Vector Quantization is more commonly employed. In this work, we attempt to bring these lines of research closer by revisiting vector quantization for image compression. We build upon the VQ-VAE framework and introduce several modifications. First, we replace the vanilla vector quantizer by a product quantizer. This intermediate solution between vector and scalar quantization allows for a much wider set of rate-distortion points: It implicitly defines high-quality quantizers that would otherwise require intractably large codebooks. Second, inspired by the success of Masked Image Modeling (MIM) in the context of self-supervised learning and generative image models, we propose a novel conditional entropy model which improves entropy coding by modelling the co-dependencies of the quantized latent codes. The resulting PQ-MIM model is surprisingly effective: its compression performance on par with recent hyperprior methods. It also outperforms HiFiC in terms of FID and KID metrics when optimized with perceptual losses (e.g. adversarial). Finally, since PQ-MIM is compatible with image generation frameworks, we show qualitatively that it can operate under a hybrid mode between compression and generation, with no further training or finetuning. As a result, we explore the extreme compression regime where an image is compressed into 200 bytes, i.e., less than a tweet.

基于密度的分布（OOD）检测最近显示了检测OOD图像的任务不可靠。基于各种密度比的方法实现了良好的经验性能，但是方法通常缺乏原则性的概率建模解释。在这项工作中，我们建议在建立基于能量的模型并采用不同基础分布的新框架下统一基于密度比的方法。在我们的框架下，密度比可以看作是隐式语义分布的非均衡密度。此外，我们建议通过类比率估计直接估计数据样本的密度比。与最近的工作相比，我们报告了有关OOD图像问题的竞争结果，这些工作需要对任务进行深层生成模型的培训。我们的方法使一个简单而有效的途径可以解决OOD检测问题。

现代的深层生成模型可以为从训练分布外部提取的输入分配很高的可能性，从而对开放世界部署中的模型构成威胁。尽管已经对定义新的OOD不确定性测试时间度量的研究进行了很多关注，但这些方法并没有从根本上改变生成模型在训练中的正则和优化。特别是，生成模型被证明过于依赖背景信息来估计可能性。为了解决这个问题，我们提出了一个新颖的OOD检测频率调查学习FRL框架，该框架将高频信息纳入培训中，并指导模型专注于语义相关的功能。 FRL有效地提高了广泛的生成架构的性能，包括变异自动编码器，Glow和PixelCNN ++。在一项新的大规模评估任务中，FRL实现了最先进的表现，表现优于强大的基线可能性遗憾，同时达到了147 $ \ times $ $ $ $ $ \ times $ a的推理速度。广泛的消融表明，FRL在保留图像生成质量的同时改善了OOD检测性能。代码可在https://github.com/mu-cai/frl上找到。

Modeling the distribution of natural images is a landmark problem in unsupervised learning. This task requires an image model that is at once expressive, tractable and scalable. We present a deep neural network that sequentially predicts the pixels in an image along the two spatial dimensions. Our method models the discrete probability of the raw pixel values and encodes the complete set of dependencies in the image. Architectural novelties include fast twodimensional recurrent layers and an effective use of residual connections in deep recurrent networks. We achieve log-likelihood scores on natural images that are considerably better than the previous state of the art. Our main results also provide benchmarks on the diverse ImageNet dataset. Samples generated from the model appear crisp, varied and globally coherent.

熵编码是骨干数据压缩。新的机器学习基于的压缩方法通常使用名为非对称数字系统（ANS）的新的熵编码器[Duda等人，2015]，它提供非常接近最佳比特率并简化[Townsend等，2019]高级压缩技术作为位编码。然而，在机器学习中的研究人员往往很难了解ANS的工作原理，这可以防止它们利用其完全多功能性。本文作为教育资源，通过从潜在变量模型和所谓的位诀窍的新视角呈现它，使其更加接近。我们将读者逐步引导到Python编程语言中的完整实现，然后我们将概括为更高级的用例。我们还展示并经验评估了为研究和生产而设计的各种熵编码器的开源库。相关教学视频和问题集可在线获取。

无损图像压缩是图像压缩中必不可少的研究领域。最近，与传统的无损方法（例如WebP，JPEG2000和FLIF）相比，基于学习的图像压缩方法具有令人印象深刻的性能。但是，仍然有许多令人印象深刻的有损压缩方法可应用于无损压缩。因此，在本文中，我们探讨了广泛用于有损压缩的方法，并将其应用于无损压缩。受损失压缩显示的高斯混合模型（GMM）的令人印象深刻的性能的启发，我们与GMM生成了无损网络体系结构。除了注意到注意模块和自回归模型的成功成就外，我们建议利用注意模块，并为我们的网络体系结构中的原始图像添加额外的自动回归模型，以提高性能。实验结果表明，我们的方法优于大多数经典的无损压缩方法和现有基于学习的方法。

Designed to learn long-range interactions on sequential data, transformers continue to show state-of-the-art results on a wide variety of tasks. In contrast to CNNs, they contain no inductive bias that prioritizes local interactions. This makes them expressive, but also computationally infeasible for long sequences, such as high-resolution images. We demonstrate how combining the effectiveness of the inductive bias of CNNs with the expressivity of transformers enables them to model and thereby synthesize high-resolution images. We show how to (i) use CNNs to learn a contextrich vocabulary of image constituents, and in turn (ii) utilize transformers to efficiently model their composition within high-resolution images. Our approach is readily applied to conditional synthesis tasks, where both non-spatial information, such as object classes, and spatial information, such as segmentations, can control the generated image. In particular, we present the first results on semanticallyguided synthesis of megapixel images with transformers and obtain the state of the art among autoregressive models on class-conditional ImageNet. Code and pretrained models can be found at https://git.io/JnyvK.

据估计，2020年世界生产了59美元（5.9美元×13} GB $），导致数据存储和传输的巨大成本。幸运的是，深度生成模型的最近进步已经刺激了一类新的所谓的“神经压缩”算法，这在压缩比方面显着优于传统的编解码器。不幸的是，由于其带宽有限，神经压缩加法器的应用很少的商业利益;因此，开发高效框架具有重要的重要性。在本文中，我们讨论了使用正常化流动的无损压缩，这已经表现出了实现高压缩比的很大容量。因此，我们介绍了iflow，一种实现有效的无损压缩的新方法。我们首先提出模块化尺度变换（MST）和基于MST的数值可逆的流动变换的新颖家族。然后我们介绍统一的基础转换系统（UBC），将快速均匀分布编解码器结合到IFLow中，从而实现有效的压缩。 IFLow实现最先进的压缩比率，比其他高性能方案更快5倍。此外，本文提出的技术可用于加速广泛的基于流的算法的编码时间。

熵建模是高性能图像压缩算法的关键组件。自回旋上下文建模的最新发展有助于基于学习的方法超越了经典的方法。但是，由于潜在空间中的空间通道依赖性以及上下文适应性的次优实现，这些模型的性能可以进一步提高。受到变压器的自适应特性的启发，我们提出了一个基于变压器的上下文模型，名为ContextFormer，该模型将事实上的标准注意机制推广到时空通道的注意力。我们用上下文形式替换了现代压缩框架的上下文模型，并在广泛使用的柯达，Clic2020和Tecnick Image数据集上进行测试。我们的实验结果表明，与标准多功能视频编码（VVC）测试模型（VTM）16.2相比，提出的模型可节省多达11％的利率，并且在PSNR和MS-SSIM方面优于各种基于学习的模型。

最近，基于深度学习的图像压缩已取得了显着的进步，并且在主观度量和更具挑战性的客观指标中，与最新的传统方法H.266/vvc相比，取得了更好的评分（R-D）性能。但是，一个主要问题是，许多领先的学识渊博的方案无法保持绩效和复杂性之间的良好权衡。在本文中，我们提出了一个效率和有效的图像编码框架，该框架的复杂性比最高的状态具有相似的R-D性能。首先，我们开发了改进的多尺度残差块（MSRB），该块可以扩展容纳长石，并且更容易获得全球信息。它可以进一步捕获和减少潜在表示的空间相关性。其次，引入了更高级的重要性图网络，以自适应地分配位置到图像的不同区域。第三，我们应用2D定量后flter（PQF）来减少视频编码中样本自适应偏移量（SAO）flter的动机。此外，我们认为编码器和解码器的复杂性对图像压缩性能有不同的影响。基于这一观察结果，我们设计了一个不对称范式，其中编码器采用三个阶段的MSRB来提高学习能力，而解码器只需要一个srb的一个阶段就可以产生令人满意的重建，从而在不牺牲性能的情况下降低了解码的复杂性。实验结果表明，与最先进的方法相比，所提出方法的编码和解码时间速度约为17倍，而R-D性能仅在Kodak和Tecnick数据集中降低了1％，而R-D性能仅少于1％。它仍然比H.266/VVC（4：4：4）和其他基于学习的方法更好。我们的源代码可在https://github.com/fengyurenpingsheng上公开获得。

Unsupervised learning of probabilistic models is a central yet challenging problem in machine learning. Specifically, designing models with tractable learning, sampling, inference and evaluation is crucial in solving this task. We extend the space of such models using real-valued non-volume preserving (real NVP) transformations, a set of powerful, stably invertible, and learnable transformations, resulting in an unsupervised learning algorithm with exact log-likelihood computation, exact and efficient sampling, exact and efficient inference of latent variables, and an interpretable latent space. We demonstrate its ability to model natural images on four datasets through sampling, log-likelihood evaluation, and latent variable manipulations.

矢量量化变量自动编码器（VQ-VAE）是基于数据的离散潜在表示的生成模型，其中输入映射到有限的学习嵌入式集合。要生成新样品，必须对离散状态进行自动介绍的先验分布。分别地。这一先验通常非常复杂，并导致生成缓慢。在这项工作中，我们提出了一个新模型，以同时训练先验和编码器/解码器网络。我们在连续编码的向量和非信息性先验分布之间建立扩散桥。然后将潜在离散状态作为这些连续向量的随机函数。我们表明，我们的模型与迷你imagenet和Cifar数据集的自动回归先验具有竞争力，并且在优化和采样方面都有效。我们的框架还扩展了标准VQ-VAE，并可以启用端到端培训。

Recent models for learned image compression are based on autoencoders, learning approximately invertible mappings from pixels to a quantized latent representation. These are combined with an entropy model, a prior on the latent representation that can be used with standard arithmetic coding algorithms to yield a compressed bitstream. Recently, hierarchical entropy models have been introduced as a way to exploit more structure in the latents than simple fully factorized priors, improving compression performance while maintaining end-to-end optimization. Inspired by the success of autoregressive priors in probabilistic generative models, we examine autoregressive, hierarchical, as well as combined priors as alternatives, weighing their costs and benefits in the context of image compression. While it is well known that autoregressive models come with a significant computational penalty, we find that in terms of compression performance, autoregressive and hierarchical priors are complementary and, together, exploit the probabilistic structure in the latents better than all previous learned models. The combined model yields state-of-the-art rate-distortion performance, providing a 15.8% average reduction in file size over the previous state-of-the-art method based on deep learning, which corresponds to a 59.8% size reduction over JPEG, more than 35% reduction compared to WebP and JPEG2000, and bitstreams 8.4% smaller than BPG, the current state-of-the-art image codec. To the best of our knowledge, our model is the first learning-based method to outperform BPG on both PSNR and MS-SSIM distortion metrics.32nd Conference on Neural Information Processing Systems (NIPS 2018),

Self-attention has the promise of improving computer vision systems due to parameter-independent scaling of receptive fields and content-dependent interactions, in contrast to parameter-dependent scaling and content-independent interactions of convolutions. Self-attention models have recently been shown to have encouraging improvements on accuracy-parameter trade-offs compared to baseline convolutional models such as ResNet-50. In this work, we aim to develop self-attention models that can outperform not just the canonical baseline models, but even the high-performing convolutional models. We propose two extensions to selfattention that, in conjunction with a more efficient implementation of self-attention, improve the speed, memory usage, and accuracy of these models. We leverage these improvements to develop a new self-attention model family, HaloNets, which reach state-of-the-art accuracies on the parameterlimited setting of the ImageNet classification benchmark. In preliminary transfer learning experiments, we find that HaloNet models outperform much larger models and have better inference performance. On harder tasks such as object detection and instance segmentation, our simple local self-attention and convolutional hybrids show improvements over very strong baselines. These results mark another step in demonstrating the efficacy of self-attention models on settings traditionally dominated by convolutional models.