神经图像压缩（NIC）的表现优于传统图像编解码器（R-D）性能。但是，它通常需要R-D曲线上每个点的专用编码器对，这极大地阻碍了其实际部署。尽管最近的一些作品通过有条件的编码实现了比特率控制，但它们在训练过程中施加了强大的先验，并提供了有限的灵活性。在本文中，我们提出了代码编辑，这是一种基于半损坏的推理和自适应量化的NIC的高度灵活的编码方法。我们的工作是可变比特率NIC的新范式。此外，实验结果表明，我们的方法超过了现有的可变速率方法，并通过单个解码器实现了ROI编码和多功能权衡。

本文考虑了有损神经图像压缩（NIC）的问题。当前的最新方法（SOTA）方法采用近似量化噪声的后部均匀的后方，单样本估计量近似于证据下限（ELBO）的梯度。在本文中，我们建议用多个样本重要性加权自动编码器（IWAE）目标训练NIC，该目标比Elbo更紧，并随着样本量的增加而收敛至对数的可能性。首先，我们确定NIC的均匀后验具有特殊的特性，这会影响IWAE目标的Pathiswise和得分函数估计器的方差和偏差。此外，从梯度差异的角度来看，我们提供了有关NIC中通常采用的技巧的见解。基于这些分析，我们进一步提出了多样本NIC（MS-NIC），这是NIC的IWAE靶标。实验结果表明，它改善了SOTA NIC方法。我们的MS-NIC是插件，可以轻松扩展到其他神经压缩任务。

在本文中，我们考虑了神经视频压缩（NVC）中位分配的问题。由于帧参考结构，使用相同的R-D（速率）权衡参数$ \ lambda $的当前NVC方法是次优的，这带来了位分配的需求。与以前基于启发式和经验R-D模型的方法不同，我们建议通过基于梯度的优化解决此问题。具体而言，我们首先提出了一种基于半损坏的变异推理（SAVI）的连续位实现方法。然后，我们通过更改SAVI目标，使用迭代优化提出了一个像素级隐式分配方法。此外，我们基于NVC的可区分特征得出了精确的R-D模型。我们通过使用精确的R-D模型证明其等效性与位分配的等效性来展示我们的方法的最佳性。实验结果表明，我们的方法显着改善了NVC方法，并且胜过现有的位分配方法。我们的方法是所有可区分NVC方法的插件，并且可以直接在现有的预训练模型上采用。

在本文中，我们研究了神经视频压缩（NVC）中位分配的问题。首先，我们揭示了最近声称是最佳的位分配方法实际上是由于其实施而是最佳的。具体而言，我们发现其亚典型性在于半损坏的变异推理（SAVI）对潜在的不正确的应用，具有非物质变异后验。然后，我们表明，在非因素潜伏期上校正的SAVI校正版本需要递归地通过梯度上升应用后传播，这是我们得出校正后的最佳位分配算法的。由于校正位分配的计算不可行性，我们设计了有效的近似值以使其实用。经验结果表明，我们提出的校正显着改善了R-D性能和比特率误差的错误分配，并且比所有其他位分配方法都大大提高了。源代码在补充材料中提供。

最近的工作表明，变异自动编码器（VAE）与速率失真理论之间有着密切的理论联系。由此激发，我们从生成建模的角度考虑了有损图像压缩的问题。从最初是为数据（图像）分布建模设计的Resnet VAE开始，我们使用量化意识的后验和先验重新设计其潜在变量模型，从而实现易于量化和熵编码的图像压缩。除了改进的神经网络块外，我们还提出了一类强大而有效的有损图像编码器类别，超过了自然图像（有损）压缩的先前方法。我们的模型以粗略的方式压缩图像，并支持并行编码和解码，从而在GPU上快速执行。

扩散模型是一类新的生成模型，在依靠固体概率原理的同时，标志着高质量图像生成中的里程碑。这使他们成为神经图像压缩的有前途的候选模型。本文概述了基于有条件扩散模型的端到端优化框架。除了扩散过程固有的潜在变量外，该模型还引入了额外的“ content”潜在变量，以调节降解过程。解码后，扩散过程有条件地生成/重建祖先采样。我们的实验表明，这种方法的表现优于表现最佳的传统图像编解码器之一（BPG）和一个在两个压缩基准上的神经编解码器，我们将重点放在速率感知权衡方面。定性地，我们的方法显示出比经典方法更少的减压工件。

在本文中，我们提出了一类新的高效的深源通道编码方法，可以在非线性变换下的源分布下，可以在名称非线性变换源通道编码（NTSCC）下收集。在所考虑的模型中，发射器首先了解非线性分析变换以将源数据映射到潜伏空间中，然后通过深关节源通道编码将潜在的表示发送到接收器。我们的模型在有效提取源语义特征并提供源通道编码的侧面信息之前，我们的模型包括强度。与现有的传统深度联合源通道编码方法不同，所提出的NTSCC基本上学习源潜像和熵模型，作为先前的潜在表示。因此，开发了新的自适应速率传输和高辅助辅助编解码器改进机制以升级深关节源通道编码。整个系统设计被制定为优化问题，其目标是最小化建立感知质量指标下的端到端传输率失真性能。在简单的示例源和测试图像源上，我们发现所提出的NTSCC传输方法通常优于使用标准的深关节源通道编码和基于经典分离的数字传输的模拟传输。值得注意的是，由于其剧烈的内容感知能力，所提出的NTSCC方法可能会支持未来的语义通信。

We describe an end-to-end trainable model for image compression based on variational autoencoders. The model incorporates a hyperprior to effectively capture spatial dependencies in the latent representation. This hyperprior relates to side information, a concept universal to virtually all modern image codecs, but largely unexplored in image compression using artificial neural networks (ANNs). Unlike existing autoencoder compression methods, our model trains a complex prior jointly with the underlying autoencoder. We demonstrate that this model leads to state-of-the-art image compression when measuring visual quality using the popular MS-SSIM index, and yields rate-distortion performance surpassing published ANN-based methods when evaluated using a more traditional metric based on squared error (PSNR). Furthermore, we provide a qualitative comparison of models trained for different distortion metrics.

In recent years, neural image compression (NIC) algorithms have shown powerful coding performance. However, most of them are not adaptive to the image content. Although several content adaptive methods have been proposed by updating the encoder-side components, the adaptability of both latents and the decoder is not well exploited. In this work, we propose a new NIC framework that improves the content adaptability on both latents and the decoder. Specifically, to remove redundancy in the latents, our content adaptive channel dropping (CACD) method automatically selects the optimal quality levels for the latents spatially and drops the redundant channels. Additionally, we propose the content adaptive feature transformation (CAFT) method to improve decoder-side content adaptability by extracting the characteristic information of the image content, which is then used to transform the features in the decoder side. Experimental results demonstrate that our proposed methods with the encoder-side updating algorithm achieve the state-of-the-art performance.

Recent neural compression methods have been based on the popular hyperprior framework. It relies on Scalar Quantization and offers a very strong compression performance. This contrasts from recent advances in image generation and representation learning, where Vector Quantization is more commonly employed. In this work, we attempt to bring these lines of research closer by revisiting vector quantization for image compression. We build upon the VQ-VAE framework and introduce several modifications. First, we replace the vanilla vector quantizer by a product quantizer. This intermediate solution between vector and scalar quantization allows for a much wider set of rate-distortion points: It implicitly defines high-quality quantizers that would otherwise require intractably large codebooks. Second, inspired by the success of Masked Image Modeling (MIM) in the context of self-supervised learning and generative image models, we propose a novel conditional entropy model which improves entropy coding by modelling the co-dependencies of the quantized latent codes. The resulting PQ-MIM model is surprisingly effective: its compression performance on par with recent hyperprior methods. It also outperforms HiFiC in terms of FID and KID metrics when optimized with perceptual losses (e.g. adversarial). Finally, since PQ-MIM is compatible with image generation frameworks, we show qualitatively that it can operate under a hybrid mode between compression and generation, with no further training or finetuning. As a result, we explore the extreme compression regime where an image is compressed into 200 bytes, i.e., less than a tweet.

最近，越来越多的图像被压缩并发送到用于机器分析任务的后端设备〜（\ textIt {e.g。，}对象检测），而不是纯粹由人类观察。但是，大多数传统图像编解码器旨在最大程度地减少人类视觉系统的失真，而无需考虑机器视觉系统的需求增加。在这项工作中，我们为机器视觉任务提出了一种预处理增强的图像压缩方法，以应对这一挑战。我们的框架不是依靠学习的图像编解码器进行端到端优化，而是基于传统的非差异编解码器，这意味着它是标准兼容的，并且可以轻松地部署在实际应用中。具体而言，我们在编码器之前提出了一个神经预处理模块，以维护下游任务的有用语义信息，并抑制无关信息以节省比特率。此外，我们的神经预处理模块是量化自适应的，可用于不同的压缩比。更重要的是，要通过下游机器视觉任务共同优化预处理模块，我们在后传播阶段介绍了传统非差异编解码器的代理网络。我们通过评估具有不同骨干网络的两个代表性下游任务的压缩方法来提供广泛的实验。实验结果表明，我们的方法通过节省约20％的比特率来实现编码比特率和下游机器视觉任务的性能之间的更好权衡。

Recently, many neural network-based image compression methods have shown promising results superior to the existing tool-based conventional codecs. However, most of them are often trained as separate models for different target bit rates, thus increasing the model complexity. Therefore, several studies have been conducted for learned compression that supports variable rates with single models, but they require additional network modules, layers, or inputs that often lead to complexity overhead, or do not provide sufficient coding efficiency. In this paper, we firstly propose a selective compression method that partially encodes the latent representations in a fully generalized manner for deep learning-based variable-rate image compression. The proposed method adaptively determines essential representation elements for compression of different target quality levels. For this, we first generate a 3D importance map as the nature of input content to represent the underlying importance of the representation elements. The 3D importance map is then adjusted for different target quality levels using importance adjustment curves. The adjusted 3D importance map is finally converted into a 3D binary mask to determine the essential representation elements for compression. The proposed method can be easily integrated with the existing compression models with a negligible amount of overhead increase. Our method can also enable continuously variable-rate compression via simple interpolation of the importance adjustment curves among different quality levels. The extensive experimental results show that the proposed method can achieve comparable compression efficiency as those of the separately trained reference compression models and can reduce decoding time owing to the selective compression. The sample codes are publicly available at https://github.com/JooyoungLeeETRI/SCR.

Most semantic communication systems leverage deep learning models to provide end-to-end transmission performance surpassing the established source and channel coding approaches. While, so far, research has mainly focused on architecture and model improvements, but such a model trained over a full dataset and ergodic channel responses is unlikely to be optimal for every test instance. Due to limitations on the model capacity and imperfect optimization and generalization, such learned models will be suboptimal especially when the testing data distribution or channel response is different from that in the training phase, as is likely to be the case in practice. To tackle this, in this paper, we propose a novel semantic communication paradigm by leveraging the deep learning model's overfitting property. Our model can for instance be updated after deployment, which can further lead to substantial gains in terms of the transmission rate-distortion (RD) performance. This new system is named adaptive semantic communication (ASC). In our ASC system, the ingredients of wireless transmitted stream include both the semantic representations of source data and the adapted decoder model parameters. Specifically, we take the overfitting concept to the extreme, proposing a series of ingenious methods to adapt the semantic codec or representations to an individual data or channel state instance. The whole ASC system design is formulated as an optimization problem whose goal is to minimize the loss function that is a tripartite tradeoff among the data rate, model rate, and distortion terms. The experiments (including user study) verify the effectiveness and efficiency of our ASC system. Notably, the substantial gain of our overfitted coding paradigm can catalyze semantic communication upgrading to a new era.

我们引入基于实例自适应学习的视频压缩算法。在要传输的每个视频序列上，我们介绍了预训练的压缩模型。最佳参数与潜在代码一起发送到接收器。通过熵编码在合适的混合模型下的参数更新，我们确保可以有效地编码网络参数。该实例自适应压缩算法对于基础模型的选择是不可知的，并且具有改进任何神经视频编解码器的可能性。在UVG，HEVC和XIPH数据集上，我们的CODEC通过21％至26％的BD速率节省，提高了低延迟尺度空间流量模型的性能，以及最先进的B帧模型17至20％的BD速率储蓄。我们还证明了实例 - 自适应FineTuning改善了域移位的鲁棒性。最后，我们的方法降低了压缩模型的容量要求。我们表明它即使在将网络大小减少72％之后也能实现最先进的性能。

可扩展的编码，可以适应通道带宽变化，在当今复杂的网络环境中表现良好。然而，现有的可扩展压缩方法面临两个挑战：降低压缩性能和可扩展性不足。在本文中，我们提出了第一所学习的细粒度可扩展图像压缩模型（DeepFGS）来克服上述两个缺点。具体地，我们介绍一个特征分离骨干，将图像信息划分为基本和可伸缩的功能，然后通过信息重新排列策略通过通道重新分配特征通道。以这种方式，我们可以通过一次通过编码来生成连续可扩展的比特流。此外，我们重复使用解码器以降低DeepFGS的参数和计算复杂性。实验表明，我们的DeePFGS优于PSNR和MS-SSIM度量中的所有基于学习的可伸缩图像压缩模型和传统可伸缩图像编解码器。据我们所知，我们的DeePFGS是对学习的细粒度可扩展编码的首次探索，与基于学习的方法相比，实现了最优质的可扩展性。

速率 - 失真（R-D）函数，信息理论中的关键数量，其特征在于，通过任何压缩算法，通过任何压缩算法将数据源可以压缩到保真标准的基本限制。随着研究人员推动了不断提高的压缩性能，建立给定数据源的R-D功能不仅具有科学的兴趣，而且还在可能的空间上揭示了改善压缩算法的可能性。以前的解决此问题依赖于数据源上的分布假设（Gibson，2017）或仅应用于离散数据。相比之下，本文使得第一次尝试播放常规（不一定是离散的）源仅需要i.i.d的算法的算法。数据样本。我们估计高斯和高尺寸香蕉形源的R-D三明治界，以及GaN生成的图像。我们在自然图像上的R-D上限表示在各种比特率的PSNR中提高最先进的图像压缩方法的性能的空间。

By optimizing the rate-distortion-realism trade-off, generative compression approaches produce detailed, realistic images, even at low bit rates, instead of the blurry reconstructions produced by rate-distortion optimized models. However, previous methods do not explicitly control how much detail is synthesized, which results in a common criticism of these methods: users might be worried that a misleading reconstruction far from the input image is generated. In this work, we alleviate these concerns by training a decoder that can bridge the two regimes and navigate the distortion-realism trade-off. From a single compressed representation, the receiver can decide to either reconstruct a low mean squared error reconstruction that is close to the input, a realistic reconstruction with high perceptual quality, or anything in between. With our method, we set a new state-of-the-art in distortion-realism, pushing the frontier of achievable distortion-realism pairs, i.e., our method achieves better distortions at high realism and better realism at low distortion than ever before.

基于学习的方法有效地促进了图像压缩社区。同时，基于变异的自动编码器（VAE）的可变速率方法最近引起了很多关注，以避免使用一组不同的网络来用于各种压缩率。尽管已经取得了显着的性能，但一旦执行了多个压缩/减压操作，这些方法将很容易损坏，从而导致图像质量将被大幅下降并且会出现强大的伪像。因此，我们试图解决高保真的细度可变速率图像压缩的问题，并提出可逆激活变换（IAT）模块。我们以单个速率可逆神经网络（INN）模型（Qlevel）以数学可逆的方式实施IAT，并将质量级别（QLevel）送入IAT，以产生缩放和偏置张量。 IAT和QLEVEL一起为图像压缩模型提供了罚款可变速率控制的能力，同时更好地保持图像保真度。广泛的实验表明，配备了我们IAT模块的单率图像压缩模型具有实现可变速率控制而无需任何妥协的能力。并且我们的IAT包裹模型通过最新的基于学习的图像压缩方法获得了可比的利率延伸性能。此外，我们的方法的表现优于最新的可变速率图像压缩方法，尤其是在多次重新编码之后。

随着深度学习技术的发展，深度学习与图像压缩的结合引起了很多关注。最近，学到的图像压缩方法在速率绩效方面超出了其经典对应物。但是，连续的速率适应仍然是一个悬而未决的问题。一些学到的图像压缩方法将多个网络用于多个速率，而另一些则使用一个模型，而牺牲了计算复杂性的增加和性能降解。在本文中，我们提出了一个不断的可调节率的学术图像压缩框架，不对称获得了变异自动编码器（AG-VAE）。 AG-VAE利用一对增益单元在一个单个模型中实现离散率适应，并具有可忽略的附加计算。然后，通过使用指数插值，可以在不损害性能的情况下实现连续速率适应。此外，我们提出了不对称的高斯熵模型，以进行更准确的熵估计。详尽的实验表明，与经典图像编解码器相比，我们的方法通过SOTA学习的图像压缩方法获得了可比的定量性能，并且定性性能更好。在消融研究中，我们证实了增益单元和不对称高斯熵模型的有用性和优势。

对于许多技术领域的专业用户，例如医学，遥感，精密工程和科学研究，无损和近乎无情的图像压缩至关重要。但是，尽管在基于学习的图像压缩方面的研究兴趣迅速增长，但没有发表的方法提供无损和近乎无情的模式。在本文中，我们提出了一个统一而强大的深层损失加上残留（DLPR）编码框架，以实现无损和近乎无情的图像压缩。在无损模式下，DLPR编码系统首先执行有损压缩，然后执行残差的无损编码。我们在VAE的方法中解决了关节损失和残留压缩问题，并添加残差的自回归上下文模型以增强无损压缩性能。在近乎荒谬的模式下，我们量化了原始残差以满足给定的$ \ ell_ \ infty $错误绑定，并提出了可扩展的近乎无情的压缩方案，该方案适用于可变$ \ ell_ \ infty $ bunds而不是训练多个网络。为了加快DLPR编码，我们通过新颖的编码环境设计提高了算法并行化的程度，并以自适应残留间隔加速熵编码。实验结果表明，DLPR编码系统以竞争性的编码速度实现了最先进的无损和近乎无效的图像压缩性能。