我们使用氚（DPICT）算法提出了深度渐进的图像压缩，该算法是支持细粒度可扩展性（FGS）的第一学习的编解码器。首先，我们使用分析网络将图像转换为潜在的张量。然后，我们代表三元数字中的潜在张量（氚），并通过氚平面将其以减少的意义顺序编码为压缩比特流慢平面。此外，在每个氚平面内，我们根据其速率失真优先级对速度进行排序，并首先传输更重要的信息。由于压缩网络对使用更少的氚平面的情况较少优化，因此我们开发了用于以低速率精炼重建图像的后处理网络。实验结果表明，DPICT显着优于传统的渐进式编解码器，同时实现FGS传输。

Image compression is a fundamental research field and many well-known compression standards have been developed for many decades. Recently, learned compression methods exhibit a fast development trend with promising results. However, there is still a performance gap between learned compression algorithms and reigning compression standards, especially in terms of widely used PSNR metric. In this paper, we explore the remaining redundancy of recent learned compression algorithms. We have found accurate entropy models for rate estimation largely affect the optimization of network parameters and thus affect the rate-distortion performance. Therefore, in this paper, we propose to use discretized Gaussian Mixture Likelihoods to parameterize the distributions of latent codes, which can achieve a more accurate and flexible entropy model. Besides, we take advantage of recent attention modules and incorporate them into network architecture to enhance the performance. Experimental results demonstrate our proposed method achieves a state-of-the-art performance compared to existing learned compression methods on both Kodak and high-resolution datasets. To our knowledge our approach is the first work to achieve comparable performance with latest compression standard Versatile Video Coding (VVC) regarding PSNR. More importantly, our approach generates more visually pleasant results when optimized by MS-SSIM. The project page is at https://github.com/ZhengxueCheng/ Learned-Image-Compression-with-GMM-and-Attention.

可扩展的编码，可以适应通道带宽变化，在当今复杂的网络环境中表现良好。然而，现有的可扩展压缩方法面临两个挑战：降低压缩性能和可扩展性不足。在本文中，我们提出了第一所学习的细粒度可扩展图像压缩模型（DeepFGS）来克服上述两个缺点。具体地，我们介绍一个特征分离骨干，将图像信息划分为基本和可伸缩的功能，然后通过信息重新排列策略通过通道重新分配特征通道。以这种方式，我们可以通过一次通过编码来生成连续可扩展的比特流。此外，我们重复使用解码器以降低DeepFGS的参数和计算复杂性。实验表明，我们的DeePFGS优于PSNR和MS-SSIM度量中的所有基于学习的可伸缩图像压缩模型和传统可伸缩图像编解码器。据我们所知，我们的DeePFGS是对学习的细粒度可扩展编码的首次探索，与基于学习的方法相比，实现了最优质的可扩展性。

上下文自适应熵模型的应用显着提高了速率 - 渗透率（R-D）的性能，在该表现中，超级培训和自回归模型被共同利用来有效捕获潜在表示的空间冗余。但是，潜在表示仍然包含一些空间相关性。此外，这些基于上下文自适应熵模型的方法在解码过程中无法通过并行计算设备，例如FPGA或GPU。为了减轻这些局限性，我们提出了一个学识渊博的多分辨率图像压缩框架，该框架利用了最近开发的八度卷积，以将潜在表示形式分配到高分辨率（HR）和低分辨率（LR）部分，类似于小波变换，这进一步改善了R-D性能。为了加快解码的速度，我们的方案不使用上下文自适应熵模型。取而代之的是，我们利用一个额外的超层，包括超级编码器和超级解码器，以进一步删除潜在表示的空间冗余。此外，将跨分辨率参数估计（CRPE）引入提出的框架中，以增强信息流并进一步改善速率延伸性能。提出了对总损耗函数提出的其他信息损失，以调整LR部分对最终位流的贡献。实验结果表明，与最先进的学术图像压缩方法相比，我们的方法分别将解码时间减少了约73.35％和93.44％，R-D性能仍然优于H.266/VVC（4：4：：4：： 2：0）以及对PSNR和MS-SSIM指标的一些基于学习的方法。

In recent years, neural image compression (NIC) algorithms have shown powerful coding performance. However, most of them are not adaptive to the image content. Although several content adaptive methods have been proposed by updating the encoder-side components, the adaptability of both latents and the decoder is not well exploited. In this work, we propose a new NIC framework that improves the content adaptability on both latents and the decoder. Specifically, to remove redundancy in the latents, our content adaptive channel dropping (CACD) method automatically selects the optimal quality levels for the latents spatially and drops the redundant channels. Additionally, we propose the content adaptive feature transformation (CAFT) method to improve decoder-side content adaptability by extracting the characteristic information of the image content, which is then used to transform the features in the decoder side. Experimental results demonstrate that our proposed methods with the encoder-side updating algorithm achieve the state-of-the-art performance.

Recent models for learned image compression are based on autoencoders, learning approximately invertible mappings from pixels to a quantized latent representation. These are combined with an entropy model, a prior on the latent representation that can be used with standard arithmetic coding algorithms to yield a compressed bitstream. Recently, hierarchical entropy models have been introduced as a way to exploit more structure in the latents than simple fully factorized priors, improving compression performance while maintaining end-to-end optimization. Inspired by the success of autoregressive priors in probabilistic generative models, we examine autoregressive, hierarchical, as well as combined priors as alternatives, weighing their costs and benefits in the context of image compression. While it is well known that autoregressive models come with a significant computational penalty, we find that in terms of compression performance, autoregressive and hierarchical priors are complementary and, together, exploit the probabilistic structure in the latents better than all previous learned models. The combined model yields state-of-the-art rate-distortion performance, providing a 15.8% average reduction in file size over the previous state-of-the-art method based on deep learning, which corresponds to a 59.8% size reduction over JPEG, more than 35% reduction compared to WebP and JPEG2000, and bitstreams 8.4% smaller than BPG, the current state-of-the-art image codec. To the best of our knowledge, our model is the first learning-based method to outperform BPG on both PSNR and MS-SSIM distortion metrics.32nd Conference on Neural Information Processing Systems (NIPS 2018),

在近期深度图像压缩神经网络中，熵模型在估计深度图像编码的先前分配时起着重要作用。现有方法将HydupRior与熵估计功能中的本地上下文组合。由于没有全球愿景，这大大限制了他们的表现。在这项工作中，我们提出了一种新的全局参考模型，用于图像压缩，以有效地利用本地和全局上下文信息，导致增强的压缩率。所提出的方法扫描解码的潜伏，然后找到最相关的潜伏，以帮助分布估计当前潜伏。这项工作的副产品是一种平均转换GDN模块的创新，进一步提高了性能。实验结果表明，所提出的模型优于行业中大多数最先进方法的速率变形性能。

最近，基于深度学习的图像压缩已取得了显着的进步，并且在主观度量和更具挑战性的客观指标中，与最新的传统方法H.266/vvc相比，取得了更好的评分（R-D）性能。但是，一个主要问题是，许多领先的学识渊博的方案无法保持绩效和复杂性之间的良好权衡。在本文中，我们提出了一个效率和有效的图像编码框架，该框架的复杂性比最高的状态具有相似的R-D性能。首先，我们开发了改进的多尺度残差块（MSRB），该块可以扩展容纳长石，并且更容易获得全球信息。它可以进一步捕获和减少潜在表示的空间相关性。其次，引入了更高级的重要性图网络，以自适应地分配位置到图像的不同区域。第三，我们应用2D定量后flter（PQF）来减少视频编码中样本自适应偏移量（SAO）flter的动机。此外，我们认为编码器和解码器的复杂性对图像压缩性能有不同的影响。基于这一观察结果，我们设计了一个不对称范式，其中编码器采用三个阶段的MSRB来提高学习能力，而解码器只需要一个srb的一个阶段就可以产生令人满意的重建，从而在不牺牲性能的情况下降低了解码的复杂性。实验结果表明，与最先进的方法相比，所提出方法的编码和解码时间速度约为17倍，而R-D性能仅在Kodak和Tecnick数据集中降低了1％，而R-D性能仅少于1％。它仍然比H.266/VVC（4：4：4）和其他基于学习的方法更好。我们的源代码可在https://github.com/fengyurenpingsheng上公开获得。

We describe an end-to-end trainable model for image compression based on variational autoencoders. The model incorporates a hyperprior to effectively capture spatial dependencies in the latent representation. This hyperprior relates to side information, a concept universal to virtually all modern image codecs, but largely unexplored in image compression using artificial neural networks (ANNs). Unlike existing autoencoder compression methods, our model trains a complex prior jointly with the underlying autoencoder. We demonstrate that this model leads to state-of-the-art image compression when measuring visual quality using the popular MS-SSIM index, and yields rate-distortion performance surpassing published ANN-based methods when evaluated using a more traditional metric based on squared error (PSNR). Furthermore, we provide a qualitative comparison of models trained for different distortion metrics.

随着深度学习技术的发展，深度学习与图像压缩的结合引起了很多关注。最近，学到的图像压缩方法在速率绩效方面超出了其经典对应物。但是，连续的速率适应仍然是一个悬而未决的问题。一些学到的图像压缩方法将多个网络用于多个速率，而另一些则使用一个模型，而牺牲了计算复杂性的增加和性能降解。在本文中，我们提出了一个不断的可调节率的学术图像压缩框架，不对称获得了变异自动编码器（AG-VAE）。 AG-VAE利用一对增益单元在一个单个模型中实现离散率适应，并具有可忽略的附加计算。然后，通过使用指数插值，可以在不损害性能的情况下实现连续速率适应。此外，我们提出了不对称的高斯熵模型，以进行更准确的熵估计。详尽的实验表明，与经典图像编解码器相比，我们的方法通过SOTA学习的图像压缩方法获得了可比的定量性能，并且定性性能更好。在消融研究中，我们证实了增益单元和不对称高斯熵模型的有用性和优势。

基于学习的方法有效地促进了图像压缩社区。同时，基于变异的自动编码器（VAE）的可变速率方法最近引起了很多关注，以避免使用一组不同的网络来用于各种压缩率。尽管已经取得了显着的性能，但一旦执行了多个压缩/减压操作，这些方法将很容易损坏，从而导致图像质量将被大幅下降并且会出现强大的伪像。因此，我们试图解决高保真的细度可变速率图像压缩的问题，并提出可逆激活变换（IAT）模块。我们以单个速率可逆神经网络（INN）模型（Qlevel）以数学可逆的方式实施IAT，并将质量级别（QLevel）送入IAT，以产生缩放和偏置张量。 IAT和QLEVEL一起为图像压缩模型提供了罚款可变速率控制的能力，同时更好地保持图像保真度。广泛的实验表明，配备了我们IAT模块的单率图像压缩模型具有实现可变速率控制而无需任何妥协的能力。并且我们的IAT包裹模型通过最新的基于学习的图像压缩方法获得了可比的利率延伸性能。此外，我们的方法的表现优于最新的可变速率图像压缩方法，尤其是在多次重新编码之后。

Recently, many neural network-based image compression methods have shown promising results superior to the existing tool-based conventional codecs. However, most of them are often trained as separate models for different target bit rates, thus increasing the model complexity. Therefore, several studies have been conducted for learned compression that supports variable rates with single models, but they require additional network modules, layers, or inputs that often lead to complexity overhead, or do not provide sufficient coding efficiency. In this paper, we firstly propose a selective compression method that partially encodes the latent representations in a fully generalized manner for deep learning-based variable-rate image compression. The proposed method adaptively determines essential representation elements for compression of different target quality levels. For this, we first generate a 3D importance map as the nature of input content to represent the underlying importance of the representation elements. The 3D importance map is then adjusted for different target quality levels using importance adjustment curves. The adjusted 3D importance map is finally converted into a 3D binary mask to determine the essential representation elements for compression. The proposed method can be easily integrated with the existing compression models with a negligible amount of overhead increase. Our method can also enable continuously variable-rate compression via simple interpolation of the importance adjustment curves among different quality levels. The extensive experimental results show that the proposed method can achieve comparable compression efficiency as those of the separately trained reference compression models and can reduce decoding time owing to the selective compression. The sample codes are publicly available at https://github.com/JooyoungLeeETRI/SCR.

我们提出了一种用于在仅在解码器处作为侧面信息可用时压缩图像的新型神经网络（DNN）架构。该问题在信息理论中称为分布式源编码（DSC）。特别地，我们考虑一对立体图像，其由于视野的重叠场而通常彼此具有高相关，并且假设要压缩和发送该对的一个图像，而另一个图像仅在解码器。在所提出的架构中，编码器将输入图像映射到潜像，量化潜在表示，并使用熵编码压缩它。训练解码器以仅使用后者使用后者提取输入图像和相关图像之间的公共信息。接收的潜在表示和本地生成的公共信息通过解码器网络来获得增强的输入图像的增强重建。公共信息提供了ReceIver上相关信息的简洁表示。我们训练并展示所提出的方法对立体声图像对的拟议方法的有效性。我们的结果表明，该建筑的架构能够利用仅解码器的侧面信息，并且在使用解码器侧信息的情况下优于立体图像压缩的先前工作。

在本文中，我们提出了一类新的高效的深源通道编码方法，可以在非线性变换下的源分布下，可以在名称非线性变换源通道编码（NTSCC）下收集。在所考虑的模型中，发射器首先了解非线性分析变换以将源数据映射到潜伏空间中，然后通过深关节源通道编码将潜在的表示发送到接收器。我们的模型在有效提取源语义特征并提供源通道编码的侧面信息之前，我们的模型包括强度。与现有的传统深度联合源通道编码方法不同，所提出的NTSCC基本上学习源潜像和熵模型，作为先前的潜在表示。因此，开发了新的自适应速率传输和高辅助辅助编解码器改进机制以升级深关节源通道编码。整个系统设计被制定为优化问题，其目标是最小化建立感知质量指标下的端到端传输率失真性能。在简单的示例源和测试图像源上，我们发现所提出的NTSCC传输方法通常优于使用标准的深关节源通道编码和基于经典分离的数字传输的模拟传输。值得注意的是，由于其剧烈的内容感知能力，所提出的NTSCC方法可能会支持未来的语义通信。

Conventional video compression approaches use the predictive coding architecture and encode the corresponding motion information and residual information. In this paper, taking advantage of both classical architecture in the conventional video compression method and the powerful nonlinear representation ability of neural networks, we propose the first end-to-end video compression deep model that jointly optimizes all the components for video compression. Specifically, learning based optical flow estimation is utilized to obtain the motion information and reconstruct the current frames. Then we employ two auto-encoder style neural networks to compress the corresponding motion and residual information. All the modules are jointly learned through a single loss function, in which they collaborate with each other by considering the trade-off between reducing the number of compression bits and improving quality of the decoded video. Experimental results show that the proposed approach can outperform the widely used video coding standard H.264 in terms of PSNR and be even on par with the latest standard H.265 in terms of MS-SSIM. Code is released at https://github.com/GuoLusjtu/DVC. * Corresponding author (a) Original frame (Bpp/MS-SSIM) (b) H.264 (0.0540Bpp/0.945) (c) H.265 (0.082Bpp/0.960) (d) Ours ( 0.0529Bpp/ 0.961

学习的视频压缩最近成为开发高级视频压缩技术的重要研究主题，其中运动补偿被认为是最具挑战性的问题之一。在本文中，我们通过异质变形补偿策略（HDCVC）提出了一个学识渊博的视频压缩框架，以解决由单尺度可变形的特征域中单尺可变形核引起的不稳定压缩性能的问题。更具体地说，所提出的算法提取物从两个相邻框架中提取的算法提取物特征来估算估计内容自适应的异质变形（Hetdeform）内核偏移量，而不是利用光流或单尺内核变形对齐。然后，我们将参考特征转换为HetDeform卷积以完成运动补偿。此外，我们设计了一个空间 - 邻化的分裂归一化（SNCDN），以实现更有效的数据高斯化结合了广义分裂的归一化。此外，我们提出了一个多框架增强的重建模块，用于利用上下文和时间信息以提高质量。实验结果表明，HDCVC比最近最新学习的视频压缩方法取得了优越的性能。

对于许多技术领域的专业用户，例如医学，遥感，精密工程和科学研究，无损和近乎无情的图像压缩至关重要。但是，尽管在基于学习的图像压缩方面的研究兴趣迅速增长，但没有发表的方法提供无损和近乎无情的模式。在本文中，我们提出了一个统一而强大的深层损失加上残留（DLPR）编码框架，以实现无损和近乎无情的图像压缩。在无损模式下，DLPR编码系统首先执行有损压缩，然后执行残差的无损编码。我们在VAE的方法中解决了关节损失和残留压缩问题，并添加残差的自回归上下文模型以增强无损压缩性能。在近乎荒谬的模式下，我们量化了原始残差以满足给定的$ \ ell_ \ infty $错误绑定，并提出了可扩展的近乎无情的压缩方案，该方案适用于可变$ \ ell_ \ infty $ bunds而不是训练多个网络。为了加快DLPR编码，我们通过新颖的编码环境设计提高了算法并行化的程度，并以自适应残留间隔加速熵编码。实验结果表明，DLPR编码系统以竞争性的编码速度实现了最先进的无损和近乎无效的图像压缩性能。

我们呈现深度，第一端到端联合源通道编码（JSCC）视频传输方案，其利用深神经网络（DNN）的力量直接将视频信号映射到信道符号，组合视频压缩，信道编码并且调制步骤进入单个神经变换。我们的DNN解码器预测无失真反馈的残差，这通过占闭塞/脱离和相机运动来提高视频质量。我们同时培训不同的带宽分配网络，以允许变量带宽传输。然后，我们使用强化学习（RL）训练带宽分配网络，该钢筋学习（RL）优化视频帧之间的有限可用信道带宽的分配，以最大限度地提高整体视觉质量。我们的研究结果表明，深度可以克服悬崖效应，这在传统的分离的数字通信方案中普遍存在，并在估计和实际信道质量之间取得不匹配来实现优雅的降级。 DeepWive优于H.264视频压缩，然后在所有信道条件下的低密度奇偶校验（LDPC）代码在多尺度结构相似性指数（MS-SSIM）方面平均达到0.0462，同时跳动H.265 + LDPC平均高达0.0058。我们还说明了通过显示我们的最佳带宽分配策略优于NA \“IVE统一分配来优化JSCC视频传输中的带宽分配的重要性。我们相信这是实现端到端潜力的重要一步优化的JSCC无线视频传输系统优于当前的基于分离的设计。

最近，学习的视频压缩引起了很多关注，并显示出令人鼓舞的结果的快速发展趋势。但是，先前的作品仍然存在一些批评问题，并且在广泛使用的PSNR度量方面，具有传统压缩标准的性​​能差距。在本文中，我们提出了几种技术来有效提高性能。首先，为了解决累积错误的问题，我们将有条件的I框架作为GOP中的第一帧，该框架稳定了重建的质量并节省了比特率。其次，为了有效地提高相互预测的准确性而不增加解码器的复杂性，我们提出了一种像素到功能的运动预测方法，可以帮助我们获得高质量的运动信息。第三，我们提出了一种基于概率的熵跳过方法，该方法不仅带来了性能增长，而且大大降低了熵编码的运行时。借助这些强大的技术，本文提出了Alphavc，这是一种高性能且高效的学习视频压缩方案。据我们所知，Alphavc是第一个E2E AI编解码器，它超过了PSNR的所有常见测试数据集上最新的压缩标准VVC（-28.2％BD率节省）和MSSSSIM（-52.2％BD-rate节省），并且具有非常快速的编码（0.001x VVC）和解码（1.69x VVC）速度。

对于神经视频编解码器，设计有效的熵模型至关重要但又具有挑战性，该模型可以准确预测量化潜在表示的概率分布。但是，大多数现有的视频编解码器直接使用图像编解码器的现成的熵模型来编码残差或运动，并且不会完全利用视频中的时空特性。为此，本文提出了一个强大的熵模型，该模型有效地捕获了空间和时间依赖性。特别是，我们介绍了潜在的先验，这些先验利用了潜在表示之间的相关性来挤压时间冗余。同时，提出了双重空间先验，以平行友好的方式降低空间冗余。此外，我们的熵模型也是通用的。除了估计概率分布外，我们的熵模型还在空间通道上生成量化步骤。这种内容自适应的量化机制不仅有助于我们的编解码器在单个模型中实现平滑的速率调整，而且还通过动态位分配来改善最终速率延伸性能。实验结果表明，与H.266（VTM）相比，使用最高的压缩率配置，我们的神经编解码器在提出的熵模型中，我们的神经编解码器可以在UVG数据集上节省18.2％的比特率。它在神经视频编解码器的开发中是一个新的里程碑。这些代码在https://github.com/microsoft/dcvc上。