遇到错误的损耗压缩正成为必不可少的技术，即当今科学项目的成功，并在模拟或仪器数据获取过程中产生了大量数据。它不仅可以显着减少数据大小，而且还可以基于用户指定的错误界限控制压缩错误。自动编码器（AE）模型已被广泛用于图像压缩中，但是很少有基于AE的压缩方法支持遇到错误的功能，这是科学应用所要求的。为了解决这个问题，我们使用卷积自动编码器探索以改善科学数据的错误损失压缩，并提供以下三个关键贡献。 （1）我们对各种自动编码器模型的特性进行了深入的研究，并根据SZ模型开发了基于错误的自动编码器的框架。 （2）我们在设计的基于AE的错误压缩框架中优化了主要阶段的压缩质量，并微调块大小和潜在尺寸，并优化了潜在向量的压缩效率。 （3）我们使用五个现实世界的科学数据集评估了我们提出的解决方案，并将其与其他六项相关作品进行了比较。实验表明，我们的解决方案在测试中的所有压缩机中表现出非常具有竞争性的压缩质量。从绝对的角度来看，与SZ2.1和ZFP相比，在高压比的情况下，它可以获得更好的压缩质量（压缩率和相同数据失真的100％〜800％提高）。

Data compression is becoming critical for storing scientific data because many scientific applications need to store large amounts of data and post process this data for scientific discovery. Unlike image and video compression algorithms that limit errors to primary data, scientists require compression techniques that accurately preserve derived quantities of interest (QoIs). This paper presents a physics-informed compression technique implemented as an end-to-end, scalable, GPU-based pipeline for data compression that addresses this requirement. Our hybrid compression technique combines machine learning techniques and standard compression methods. Specifically, we combine an autoencoder, an error-bounded lossy compressor to provide guarantees on raw data error, and a constraint satisfaction post-processing step to preserve the QoIs within a minimal error (generally less than floating point error). The effectiveness of the data compression pipeline is demonstrated by compressing nuclear fusion simulation data generated by a large-scale fusion code, XGC, which produces hundreds of terabytes of data in a single day. Our approach works within the ADIOS framework and results in compression by a factor of more than 150 while requiring only a few percent of the computational resources necessary for generating the data, making the overall approach highly effective for practical scenarios.

培训广泛和深度神经网络（DNN）需要大量的存储资源，例如内存，因为在转发传播期间必须在存储器中保存中间激活数据，然后恢复以便向后传播。然而，由于硬件设计约束，诸如GPU之类的最先进的加速器（例如GPU）仅配备了非常有限的存储容量，这显着限制了在训练大规模DNN时的最大批量大小和性能加速。传统的记忆保存技术均受性能开销或受限互连带宽或特定互连技术的约束。在本文中，我们提出了一种新颖的记忆高效的CNN训练框架（称为Comet），利用错误界限的损耗压缩来显着降低训练的内存要求，以允许培训更大的模型或加速培训。不同于采用基于图像的有损压缩机（例如JPEG）的最先进的解决方案来压缩激活数据，我们的框架故意采用严格的错误控制机制来采用错误界限的损耗压缩。具体而言，我们对从改变的激活数据传播到梯度的压缩误差传播的理论分析，并经验探讨改变梯度对训练过程的影响。基于这些分析，我们优化了误报的损耗压缩，并提出了一种用于激活数据压缩的自适应误差控制方案。我们评估我们对最先进的解决方案的设计，其中包含五个广泛采用的CNN和Imagenet DataSet。实验表明，我们所提出的框架可以在基线训练中显着降低13.5倍，并分别在另一个最先进的基于压缩框架上的1.8倍，几乎没有准确性损失。

基于深度学习的潜在表示已被广泛用于众多科学可视化应用，例如等法相似性分析，音量渲染，流场合成和数据减少，仅举几例。但是，现有的潜在表示主要以无监督的方式从原始数据生成，这使得很难合并域兴趣以控制潜在表示的大小和重建数据的质量。在本文中，我们提出了一种新颖的重要性驱动的潜在表示，以促进领域利益引导的科学数据可视化和分析。我们利用空间重要性图来代表各种科学利益，并将它们作为特征转化网络的输入来指导潜在的生成。我们通过与自动编码器一起训练的无损熵编码算法，进一步降低了潜在尺寸，从而提高了存储和存储效率。我们通过多个科学可视化应用程序的数据进行定性和定量评估我们方法产生的潜图的有效性和效率。

上下文自适应熵模型的应用显着提高了速率 - 渗透率（R-D）的性能，在该表现中，超级培训和自回归模型被共同利用来有效捕获潜在表示的空间冗余。但是，潜在表示仍然包含一些空间相关性。此外，这些基于上下文自适应熵模型的方法在解码过程中无法通过并行计算设备，例如FPGA或GPU。为了减轻这些局限性，我们提出了一个学识渊博的多分辨率图像压缩框架，该框架利用了最近开发的八度卷积，以将潜在表示形式分配到高分辨率（HR）和低分辨率（LR）部分，类似于小波变换，这进一步改善了R-D性能。为了加快解码的速度，我们的方案不使用上下文自适应熵模型。取而代之的是，我们利用一个额外的超层，包括超级编码器和超级解码器，以进一步删除潜在表示的空间冗余。此外，将跨分辨率参数估计（CRPE）引入提出的框架中，以增强信息流并进一步改善速率延伸性能。提出了对总损耗函数提出的其他信息损失，以调整LR部分对最终位流的贡献。实验结果表明，与最先进的学术图像压缩方法相比，我们的方法分别将解码时间减少了约73.35％和93.44％，R-D性能仍然优于H.266/VVC（4：4：：4：： 2：0）以及对PSNR和MS-SSIM指标的一些基于学习的方法。

Recent models for learned image compression are based on autoencoders, learning approximately invertible mappings from pixels to a quantized latent representation. These are combined with an entropy model, a prior on the latent representation that can be used with standard arithmetic coding algorithms to yield a compressed bitstream. Recently, hierarchical entropy models have been introduced as a way to exploit more structure in the latents than simple fully factorized priors, improving compression performance while maintaining end-to-end optimization. Inspired by the success of autoregressive priors in probabilistic generative models, we examine autoregressive, hierarchical, as well as combined priors as alternatives, weighing their costs and benefits in the context of image compression. While it is well known that autoregressive models come with a significant computational penalty, we find that in terms of compression performance, autoregressive and hierarchical priors are complementary and, together, exploit the probabilistic structure in the latents better than all previous learned models. The combined model yields state-of-the-art rate-distortion performance, providing a 15.8% average reduction in file size over the previous state-of-the-art method based on deep learning, which corresponds to a 59.8% size reduction over JPEG, more than 35% reduction compared to WebP and JPEG2000, and bitstreams 8.4% smaller than BPG, the current state-of-the-art image codec. To the best of our knowledge, our model is the first learning-based method to outperform BPG on both PSNR and MS-SSIM distortion metrics.32nd Conference on Neural Information Processing Systems (NIPS 2018),

最近的工作表明，变异自动编码器（VAE）与速率失真理论之间有着密切的理论联系。由此激发，我们从生成建模的角度考虑了有损图像压缩的问题。从最初是为数据（图像）分布建模设计的Resnet VAE开始，我们使用量化意识的后验和先验重新设计其潜在变量模型，从而实现易于量化和熵编码的图像压缩。除了改进的神经网络块外，我们还提出了一类强大而有效的有损图像编码器类别，超过了自然图像（有损）压缩的先前方法。我们的模型以粗略的方式压缩图像，并支持并行编码和解码，从而在GPU上快速执行。

最近，基于深度学习的图像压缩已取得了显着的进步，并且在主观度量和更具挑战性的客观指标中，与最新的传统方法H.266/vvc相比，取得了更好的评分（R-D）性能。但是，一个主要问题是，许多领先的学识渊博的方案无法保持绩效和复杂性之间的良好权衡。在本文中，我们提出了一个效率和有效的图像编码框架，该框架的复杂性比最高的状态具有相似的R-D性能。首先，我们开发了改进的多尺度残差块（MSRB），该块可以扩展容纳长石，并且更容易获得全球信息。它可以进一步捕获和减少潜在表示的空间相关性。其次，引入了更高级的重要性图网络，以自适应地分配位置到图像的不同区域。第三，我们应用2D定量后flter（PQF）来减少视频编码中样本自适应偏移量（SAO）flter的动机。此外，我们认为编码器和解码器的复杂性对图像压缩性能有不同的影响。基于这一观察结果，我们设计了一个不对称范式，其中编码器采用三个阶段的MSRB来提高学习能力，而解码器只需要一个srb的一个阶段就可以产生令人满意的重建，从而在不牺牲性能的情况下降低了解码的复杂性。实验结果表明，与最先进的方法相比，所提出方法的编码和解码时间速度约为17倍，而R-D性能仅在Kodak和Tecnick数据集中降低了1％，而R-D性能仅少于1％。它仍然比H.266/VVC（4：4：4）和其他基于学习的方法更好。我们的源代码可在https://github.com/fengyurenpingsheng上公开获得。

基于生成模型的图像无损压缩算法在改善压缩比方面取得了巨大的成功。但是，即使使用最先进的AI加速芯片，它们中大多数的吞吐量也小于1 Mb/s，从而阻止了它们的大多数现实应用应用，通常需要100 MB/s。在本文中，我们提出了PILC，这是一种端到端图像无损压缩框架，使用单个NVIDIA TESLA V100 GPU实现200 Mb/s的压缩和减压，比以前最有效的速度快10倍。为了获得此结果，我们首先开发了一个AI编解码器，该AI编解码器结合了自动回归模型和VQ-VAE，在轻质设置中性能很好，然后我们设计了一个低复杂性熵编码器，可与我们的编解码器配合使用。实验表明，在多个数据集中，我们的框架压缩比PNG高30％。我们认为，这是将AI压缩推向商业用途的重要步骤。

最近隐含的神经表示（INRS）作为各种数据类型的新颖且有效的表现。到目前为止，事先工作主要集中在优化其重建性能。这项工作从新颖的角度来调查INRS，即作为图像压缩的工具。为此，我们提出了基于INR的第一综合压缩管线，包括量化，量化感知再培训和熵编码。使用INRS进行编码，即对数据示例的过度装备，通常是较慢的秩序。为缓解此缺点，我们基于MAML利用META学习初始化，以便在较少的渐变更新中达到编码，这也通常提高INR的速率失真性能。我们发现，我们对INR的源压缩方法非常优于类似的事先工作，具有专门针对图像专门设计的常见压缩算法，并将基于速率 - 失真自动分析器的差距缩小到最先进的学习方法。此外，我们提供了对我们希望促进这种新颖方法对图像压缩的未来研究的重要性的广泛消融研究。

对于许多技术领域的专业用户，例如医学，遥感，精密工程和科学研究，无损和近乎无情的图像压缩至关重要。但是，尽管在基于学习的图像压缩方面的研究兴趣迅速增长，但没有发表的方法提供无损和近乎无情的模式。在本文中，我们提出了一个统一而强大的深层损失加上残留（DLPR）编码框架，以实现无损和近乎无情的图像压缩。在无损模式下，DLPR编码系统首先执行有损压缩，然后执行残差的无损编码。我们在VAE的方法中解决了关节损失和残留压缩问题，并添加残差的自回归上下文模型以增强无损压缩性能。在近乎荒谬的模式下，我们量化了原始残差以满足给定的$ \ ell_ \ infty $错误绑定，并提出了可扩展的近乎无情的压缩方案，该方案适用于可变$ \ ell_ \ infty $ bunds而不是训练多个网络。为了加快DLPR编码，我们通过新颖的编码环境设计提高了算法并行化的程度，并以自适应残留间隔加速熵编码。实验结果表明，DLPR编码系统以竞争性的编码速度实现了最先进的无损和近乎无效的图像压缩性能。

通过大量多输入和多重输出实现的许多性能增长取决于发射机（基站）下链路通道状态信息（CSI）的准确性，这通常是通过在接收器（用户终端）估算并馈入的。到发射器。 CSI反馈的开销占据了大量的上行链路带宽资源，尤其是当传输天线数量较大时。基于深度学习（DL）的CSI反馈是指基于DL的自动编码器的CSI压缩和重建，并且可以大大减少反馈开销。在本文中，提供了有关该主题的最新研究的全面概述，首先是在CSI反馈中广泛使用的基本DL概念，然后对一些现有的基于DL的反馈作品进行分类和描述。重点是新型的神经网络体系结构和沟通专家知识的利用来提高CSI反馈准确性。还介绍了有关CSI反馈和CSI反馈与其他通信模块的联合设计的作品，并讨论了一些实际问题，包括培训数据集收集，在线培训，复杂性，概括和标准化效果。在本文的最后，确定了与未来无线通信系统中基于DL的CSI反馈相关的一些挑战和潜在的研究方向。

学习的视频压缩最近成为开发高级视频压缩技术的重要研究主题，其中运动补偿被认为是最具挑战性的问题之一。在本文中，我们通过异质变形补偿策略（HDCVC）提出了一个学识渊博的视频压缩框架，以解决由单尺度可变形的特征域中单尺可变形核引起的不稳定压缩性能的问题。更具体地说，所提出的算法提取物从两个相邻框架中提取的算法提取物特征来估算估计内容自适应的异质变形（Hetdeform）内核偏移量，而不是利用光流或单尺内核变形对齐。然后，我们将参考特征转换为HetDeform卷积以完成运动补偿。此外，我们设计了一个空间 - 邻化的分裂归一化（SNCDN），以实现更有效的数据高斯化结合了广义分裂的归一化。此外，我们提出了一个多框架增强的重建模块，用于利用上下文和时间信息以提高质量。实验结果表明，HDCVC比最近最新学习的视频压缩方法取得了优越的性能。

联合学习（FL）是一个新的人工智能概念，它使得互联网（IoT）设备能够学习协作模型，而无需将原始数据发送到集中的节点进行处理。尽管有许多优势，但在物联网设备上的计算资源较低，交换模型参数的高通信成本使得FL在大型物联网网络中的应用非常有限。在这项工作中，我们为非常大的物联网网络开发了一种新型的FL压缩方案，称为高压联合学习（HCFL）。 HCFL可以减少FL过程的数据负载，而无需更改其结构和超参数。通过这种方式，我们不仅可以显着降低沟通成本，而且使密集学习过程更适应低计算资源的物联网设备。此外，我们研究了IoT设备数量与FL模型的收敛水平之间的关系，从而更好地评估了FL过程的质量。我们在模拟和数学分析中演示了HCFL方案。我们提出的理论研究可以用作最低满意度的水平，证明在满足确定的配置时，FL过程可以实现良好的性能。因此，我们表明HCFL适用于具有许多物联网设备的任何FLENTECTED网络。

We describe an end-to-end trainable model for image compression based on variational autoencoders. The model incorporates a hyperprior to effectively capture spatial dependencies in the latent representation. This hyperprior relates to side information, a concept universal to virtually all modern image codecs, but largely unexplored in image compression using artificial neural networks (ANNs). Unlike existing autoencoder compression methods, our model trains a complex prior jointly with the underlying autoencoder. We demonstrate that this model leads to state-of-the-art image compression when measuring visual quality using the popular MS-SSIM index, and yields rate-distortion performance surpassing published ANN-based methods when evaluated using a more traditional metric based on squared error (PSNR). Furthermore, we provide a qualitative comparison of models trained for different distortion metrics.

可扩展的编码，可以适应通道带宽变化，在当今复杂的网络环境中表现良好。然而，现有的可扩展压缩方法面临两个挑战：降低压缩性能和可扩展性不足。在本文中，我们提出了第一所学习的细粒度可扩展图像压缩模型（DeepFGS）来克服上述两个缺点。具体地，我们介绍一个特征分离骨干，将图像信息划分为基本和可伸缩的功能，然后通过信息重新排列策略通过通道重新分配特征通道。以这种方式，我们可以通过一次通过编码来生成连续可扩展的比特流。此外，我们重复使用解码器以降低DeepFGS的参数和计算复杂性。实验表明，我们的DeePFGS优于PSNR和MS-SSIM度量中的所有基于学习的可伸缩图像压缩模型和传统可伸缩图像编解码器。据我们所知，我们的DeePFGS是对学习的细粒度可扩展编码的首次探索，与基于学习的方法相比，实现了最优质的可扩展性。

大型实验设施中的实时数据收集和分析在多个域中具有巨大的挑战，包括高能物理，核物理和宇宙学。为了解决此问题，机器学习（ML）为实时数据压缩的基础方法绘制了显着的关注。然而，与自然图像数据不同，例如具有相对较小的尺寸和连续的CiFar和Imagenet，科学数据通常以高稀疏度（许多零）和非高斯值分布的高速率作为三维数据量。这使得流行的ML压缩方法以及传统的数据压缩方法，次优。为了解决这些障碍，这项工作引入了双头AutoEncoder，以同时解析稀疏性和回归，称为\ Textit {双折叠卷积AutoEncoder}（BCAE）。该方法显示了与传统数据压缩方法相比的压缩保真度和比率，例如MGARD，SZ和ZFP。为了实现类似的保真度，传统方法中的最佳表现者只能达到BCAE的压缩比的一半。此外，BCAE方法的彻底消融研究表明，专用分段解码器改善了重建。

我们介绍了NeuralVDB，它通过利用机器学习的最新进步来提高现有的行业标准，以有效地存储稀疏体积数据，表示VDB。我们的新型混合数据结构可以通过数量级来减少VDB体积的内存足迹，同时保持其灵活性，并且只会产生一个小（用户控制的）压缩误差。具体而言，NeuralVDB用多个层次神经网络替换了浅和宽VDB树结构的下节点，这些神经网络分别通过神经分类器和回归器分别编码拓扑和价值信息。这种方法已证明可以最大化压缩比，同时保持高级VDB数据结构提供的空间适应性。对于稀疏的签名距离字段和密度量，我们已经观察到从已经压缩的VDB输入中的$ 10 \ times $ $ $ \ $ 100 \ $ 100 \ $ 100 \ $ 100 \ $ 100的压缩比，几乎没有可视化伪像。我们还展示了其在动画稀疏体积上的应用如何加速训练并产生时间连贯的神经网络。

Recent neural compression methods have been based on the popular hyperprior framework. It relies on Scalar Quantization and offers a very strong compression performance. This contrasts from recent advances in image generation and representation learning, where Vector Quantization is more commonly employed. In this work, we attempt to bring these lines of research closer by revisiting vector quantization for image compression. We build upon the VQ-VAE framework and introduce several modifications. First, we replace the vanilla vector quantizer by a product quantizer. This intermediate solution between vector and scalar quantization allows for a much wider set of rate-distortion points: It implicitly defines high-quality quantizers that would otherwise require intractably large codebooks. Second, inspired by the success of Masked Image Modeling (MIM) in the context of self-supervised learning and generative image models, we propose a novel conditional entropy model which improves entropy coding by modelling the co-dependencies of the quantized latent codes. The resulting PQ-MIM model is surprisingly effective: its compression performance on par with recent hyperprior methods. It also outperforms HiFiC in terms of FID and KID metrics when optimized with perceptual losses (e.g. adversarial). Finally, since PQ-MIM is compatible with image generation frameworks, we show qualitatively that it can operate under a hybrid mode between compression and generation, with no further training or finetuning. As a result, we explore the extreme compression regime where an image is compressed into 200 bytes, i.e., less than a tweet.

为了提高图像压缩性能，最近的基于神经网络的基于神经网络的研究可以分为三类：学习编解码器，后处理网络和紧凑型表示网络。学习编解码器专为超出传统压缩模块而设计的端到端学习。后处理网络使用基于示例的学习增加解码图像的质量。学习紧凑的表示网络，以降低输入图像的容量，以减少比特率的同时保持解码图像的质量。然而，这些方法与现有的编解码器不兼容，或者不会最佳地增加编码效率。具体地，由于编解码器的不准确性，难以在先前的研究中实现最佳学习。在本文中，我们提出了一种基于辅助编解码器网络（ACN）的新颖的标准兼容图像压缩框架。 ACNS旨在模仿现有编解码器的图像劣化操作，这为紧凑型表示网络提供了更准确的梯度。因此，可以有效地和最佳地学习紧凑的表示和后处理网络。我们证明，我们基于JPEG和高效视频编码（HEVC）标准的建议框架基本上以标准的兼容方式大致优于现有的图像压缩算法。