在视频压缩中，通过运动和剩余补偿从先前解码的帧重复使用像素来提高编码效率。我们在视频帧中定义了两个层次冗余的两个级别：1）一阶：像素空间中的冗余，即跨相邻帧的像素值的相似性，该框架的相似性是通过运动和残差补偿有效捕获的，2）二阶：二阶：冗余：自然视频中的平稳运动引起的运动和残留地图。尽管大多数现有的神经视频编码文献都涉及一阶冗余，但我们解决了通过预测变量在神经视频编解码器中捕获二阶冗余的问题。我们引入了通用运动和残留预测因子，这些预测因素学会从先前解码的数据中推断出来。这些预测因子是轻量级的，可以使用大多数神经视频编解码器来提高其率延伸性能。此外，虽然RGB是神经视频编码文献中的主导色彩空间，但我们引入了神经视频编解码器的一般修改，以包含YUV420 Colorspace并报告YUV420的结果。我们的实验表明，使用众所周知的神经视频编解码器使用我们的预测因子可在UVG数据集中测得的RGB和YUV420 Colorspace中节省38％和34％的比特率。

我们提出了一种压缩具有隐式神经表示的全分辨率视频序列的方法。每个帧表示为映射坐标位置到像素值的神经网络。我们使用单独的隐式网络来调制坐标输入，从而实现帧之间的有效运动补偿。与一个小的残余网络一起，这允许我们有效地相对于前一帧压缩p帧。通过使用学习的整数量化存储网络权重，我们进一步降低了比特率。我们呼叫隐式像素流（IPF）的方法，提供了几种超简化的既定神经视频编解码器：它不需要接收器可以访问预先磨普的神经网络，不使用昂贵的内插基翘曲操作，而不是需要单独的培训数据集。我们展示了神经隐式压缩对图像和视频数据的可行性。

我们引入基于实例自适应学习的视频压缩算法。在要传输的每个视频序列上，我们介绍了预训练的压缩模型。最佳参数与潜在代码一起发送到接收器。通过熵编码在合适的混合模型下的参数更新，我们确保可以有效地编码网络参数。该实例自适应压缩算法对于基础模型的选择是不可知的，并且具有改进任何神经视频编解码器的可能性。在UVG，HEVC和XIPH数据集上，我们的CODEC通过21％至26％的BD速率节省，提高了低延迟尺度空间流量模型的性能，以及最先进的B帧模型17至20％的BD速率储蓄。我们还证明了实例 - 自适应FineTuning改善了域移位的鲁棒性。最后，我们的方法降低了压缩模型的容量要求。我们表明它即使在将网络大小减少72％之后也能实现最先进的性能。

我们展示了如何使用变压器来大大简化神经视频压缩。以前的方法一直依赖越来越多的建筑偏见和先进的方法，包括运动预测和翘曲操作，从而产生复杂的模型。取而代之的是，我们独立地将输入帧映射到表示形式，并使用变压器对其依赖性进行建模，让它预测给定过去的未来表示的分布。最终的视频压缩变压器优于标准视频压缩数据集上的先前方法。合成数据的实验表明，我们的模型学会了处理复杂的运动模式，例如纯粹从数据中模糊和褪色。我们的方法易于实施，我们发布代码以促进未来的研究。

由于深层网络的计算复杂性和功率约束的移动硬件的计算复杂性，因此在移动设备上实现神经视频编解码器的潜力是一项巨大的技术挑战。我们通过利用高通公司的技术和创新来证明可行性，从而弥合了从基于神经网络的编解码器模拟在壁式工作站运行的差距，再到由Snapdragon技术供电的移动设备上的实时操作。我们显示有史以来第一个在商用手机上运行的框架间神经视频解码器，实时解码高清视频，同时保持低比特率和高视觉质量。

这项工作介绍了称为B-CANF的B帧编码框架，该框架利用有条件的增强标准化流量来进行B框架编码。学到的B框架编码的探索较少，更具挑战性。B-CANF是由有条件的P框架编码的最新进展的动机，是将基于流的模型应用于条件运动和框架间编码的首次尝试。B-CANF功能帧型自适应编码，该编码可以学习层次B框架编码更好的位分配。B-Canf还引入了一种特殊类型的B帧，称为B*-Frame，以模拟P框架编码。在常用数据集上，B-CANF达到了最新的压缩性能，在随机访问配置下显示了与HM-16.23相当的BD速率结果（在PSNR-RGB方面）。

学习的视频压缩方法在赶上其速率 - 失真（R-D）性能时，追赶传统视频编解码器的许多承诺。然而，现有的学习视频压缩方案受预测模式和固定网络框架的绑定限制。它们无法支持各种帧间预测模式，从而不适用于各种场景。在本文中，为了打破这种限制，我们提出了一种多功能学习的视频压缩（VLVC）框架，它使用一个模型来支持所有可能的预测模式。具体而言，为了实现多功能压缩，我们首先构建一个运动补偿模块，该模块应用用于在空间空间中的加权三线性翘曲的多个3D运动矢量字段（即，Voxel流量）。 Voxel流量传达了时间参考位置的信息，有助于与框架设计中的帧间预测模式分离。其次，在多参考帧预测的情况下，我们应用流预测模块以预测具有统一多项式函数的准确运动轨迹。我们表明流量预测模块可以大大降低体素流的传输成本。实验结果表明，我们提出的VLVC不仅支持各种设置中的多功能压缩，而且还通过MS-SSIM的最新VVC标准实现了可比的R-D性能。

传统的视频压缩（VC）方法基于运动补偿变换编码，并且由于端到端优化问题的组合性质，运动估计，模式和量化参数选择的步骤和熵编码是单独优化的。学习VC允许同时对端到端速率失真（R-D）优化非线性变换，运动和熵模型的优化训练。大多数工作都在学习VC基于R-D损耗对连续帧的对考虑连续视频编解码器的端到端优化。它在传统的VC中众所周知的是，双向编码优于顺序压缩，因为它能够使用过去和未来的参考帧。本文提出了一种学习的分层双向视频编解码器（LHBDC），其结合了分层运动补偿预测和端到端优化的益处。实验结果表明，我们达到了迄今为​​止在PSNR和MS-SSIM中的学习VC方案报告的最佳R-D结果。与传统的视频编解码器相比，我们的端到端优化编解码器的RD性能优于PSNR和MS-SSIM中的X265和SVT-HEVC编码器（“非常流”预设）以及MS-中的HM 16.23参考软件。 SSIM。我们提出了由于所提出的新颖工具，例如学习屏蔽，流场附带和时间流量矢量预测等新颖工具，展示了表现出性能提升。重现我们结果的模型和说明可以在https://github.com/makinyilmaz/lhbdc/中找到

学习的视频压缩最近成为开发高级视频压缩技术的重要研究主题，其中运动补偿被认为是最具挑战性的问题之一。在本文中，我们通过异质变形补偿策略（HDCVC）提出了一个学识渊博的视频压缩框架，以解决由单尺度可变形的特征域中单尺可变形核引起的不稳定压缩性能的问题。更具体地说，所提出的算法提取物从两个相邻框架中提取的算法提取物特征来估算估计内容自适应的异质变形（Hetdeform）内核偏移量，而不是利用光流或单尺内核变形对齐。然后，我们将参考特征转换为HetDeform卷积以完成运动补偿。此外，我们设计了一个空间 - 邻化的分裂归一化（SNCDN），以实现更有效的数据高斯化结合了广义分裂的归一化。此外，我们提出了一个多框架增强的重建模块，用于利用上下文和时间信息以提高质量。实验结果表明，HDCVC比最近最新学习的视频压缩方法取得了优越的性能。

我们呈现深度，第一端到端联合源通道编码（JSCC）视频传输方案，其利用深神经网络（DNN）的力量直接将视频信号映射到信道符号，组合视频压缩，信道编码并且调制步骤进入单个神经变换。我们的DNN解码器预测无失真反馈的残差，这通过占闭塞/脱离和相机运动来提高视频质量。我们同时培训不同的带宽分配网络，以允许变量带宽传输。然后，我们使用强化学习（RL）训练带宽分配网络，该钢筋学习（RL）优化视频帧之间的有限可用信道带宽的分配，以最大限度地提高整体视觉质量。我们的研究结果表明，深度可以克服悬崖效应，这在传统的分离的数字通信方案中普遍存在，并在估计和实际信道质量之间取得不匹配来实现优雅的降级。 DeepWive优于H.264视频压缩，然后在所有信道条件下的低密度奇偶校验（LDPC）代码在多尺度结构相似性指数（MS-SSIM）方面平均达到0.0462，同时跳动H.265 + LDPC平均高达0.0058。我们还说明了通过显示我们的最佳带宽分配策略优于NA \“IVE统一分配来优化JSCC视频传输中的带宽分配的重要性。我们相信这是实现端到端潜力的重要一步优化的JSCC无线视频传输系统优于当前的基于分离的设计。

本文基于条件增强归一化流（ANF），介绍了一种基于端到端的学习视频压缩系统，称为CANF-VC。大多数博学的视频压缩系统采用与传统编解码器相同的基于混合的编码体系结构。关于条件编码的最新研究表明，基于混合的编码的亚地区，并为深层生成模型打开了在创建新编码框架中发挥关键作用的机会。 CANF-VC代表了一种新的尝试，该尝试利用条件ANF学习有条件框架间编码的视频生成模型。我们之所以选择ANF，是因为它是一种特殊类型的生成模型，其中包括各种自动编码器作为一种特殊情况，并且能够获得更好的表现力。 CANF-VC还将条件编码的想法扩展到运动编码，形成纯粹的条件编码框架。对常用数据集的广泛实验结果证实了CANF-VC对最新方法的优越性。

在本文中，我们介绍了第一个神经视频编解码器，可以在用于低延迟模式的UVG数据集上的SRGB PSNR方面与最新编码标准H.266 / VVC竞争。现有的神经混合视频编码方法依赖于用于预测的光流或高斯尺度流，这不能支持对不同运动内容的细粒度适应性。为了更具内容 - 自适应预测，我们提出了一种新颖的跨尺度预测模块，实现更有效的运动补偿。具体地，一方面，我们生产参考特征金字塔作为预测源，然后传输利用特征尺度的横级流来控制预测的精度。另一方面，我们将加权预测的机制介绍到具有单个参考帧的预测场景的机制，其中发送交叉尺度权重映射以合成精细预测结果。除了串尺度预测模块之外，我们还提出了一种多级量化策略，这提高了在推理期间没有额外计算惩罚的速率失真性能。我们展示了我们有效的神经视频编解码器（ENVC）对几个常见的基准数据集的令人鼓舞的表现，并详细分析了每个重要组成部分的有效性。

Conventional video compression approaches use the predictive coding architecture and encode the corresponding motion information and residual information. In this paper, taking advantage of both classical architecture in the conventional video compression method and the powerful nonlinear representation ability of neural networks, we propose the first end-to-end video compression deep model that jointly optimizes all the components for video compression. Specifically, learning based optical flow estimation is utilized to obtain the motion information and reconstruct the current frames. Then we employ two auto-encoder style neural networks to compress the corresponding motion and residual information. All the modules are jointly learned through a single loss function, in which they collaborate with each other by considering the trade-off between reducing the number of compression bits and improving quality of the decoded video. Experimental results show that the proposed approach can outperform the widely used video coding standard H.264 in terms of PSNR and be even on par with the latest standard H.265 in terms of MS-SSIM. Code is released at https://github.com/GuoLusjtu/DVC. * Corresponding author (a) Original frame (Bpp/MS-SSIM) (b) H.264 (0.0540Bpp/0.945) (c) H.265 (0.082Bpp/0.960) (d) Ours ( 0.0529Bpp/ 0.961

本文为我们最近在端到端优化的层次阶段性视频压缩方面提供了改进和新颖的补充，以进一步推进学到的视频压缩中的最新时间。作为改进，我们将运动估计和预测模块结合在一起，并压缩精制的残留运动向量，以提高速率延伸性能。作为新颖的添加，我们将提出的图像压缩的增益单元改编为柔性率视频压缩以两种方式：首先，增益单元使单个编码器模型能够以多速度距离操作点运行；其次，我们利用增益单元来控制内部编码与双向编码框架之间的位分配，通过微调相应的模型，用于真正的灵活率学习的视频编码。实验结果表明，我们获得的最先进的利率延伸性能超过了学到的视频编码中所有先前艺术的效果。

我们地址结束学习视频压缩，特别关注更好地学习和利用时间上下文。对于时间上下文挖掘，我们建议不仅存储先前重建的帧，还可以存储到广义解码图像缓冲器中的传播功能。从存储的传播功能中，我们建议学习多尺度的时间上下文，并将学习的时间上下文重新填充到压缩方案的模块中，包括上下文编码器 - 解码器，帧生成器和时间上下文编码器。我们的计划丢弃了并行化 - 不友好的自动回归熵模型，以追求更实用的解码时间。我们将我们的计划与X264和X265（分别代表H.264和H.265的工业软件）以及H.264，H.265和H.266（JM，HM和VTM的官方参考软件（JM，HM和VTM）进行比较， 分别）。当周期为32次并定向为PSNR时，我们的方案优于H.265 - HM以14.4％的比特率储蓄;当取向MS-SSIM时，我们的方案优于21.1％比特率保存的H.266 - VTM。

大多数现有的神经视频压缩方法采用预测编码框架，该预测编码框架首先生成预测帧，然后用当前帧编码其残差。然而，对于压缩比，预测编码只是子最优解，因为它使用简单的减法操作来消除跨越帧的冗余。在本文中，我们提出了一种深度上下文视频压缩框架，以使从预测编码转换到条件编码。特别是，我们尝试回答以下问题：如何在深度视频压缩框架下定义，使用和学习条件。要点击条件编码的可能性，我们将使用要素域上下文提出为条件。这使我们能够利用高维上下文来对编码器和解码器携带丰富的信息，这有助于重建高频内容以获得更高的视频质量。我们的框架也是可扩展的，其中条件可以灵活设计。实验表明，我们的方法可以显着优于先前的最先进（SOTA）深度视频压缩方法。与使用SifeSlow预设相比，我们可以为1080p标准测试视频达到26.0％的比特率保存。

我们介绍了基于生成的对抗性网络（GANS）的第一神经视频压缩方法。我们的方法显着优于用户研究中的先前神经和非神经视频压缩方法，为神经方法的视觉质量设置新的最先进。我们表明GaN亏损至关重要，以获得这种高视觉质量。两个组件使GaN丢失有效：我们）通过调节从翘曲的先前的重建提取的潜伏的发电机来合成细节，然后II）以高质量的流传播该细节。我们发现，用户学习必须比较方法，即，我们的定量指标都无法预测所有研究。我们详细展示了网络设计选择，并通过用户研究消除了它们。

对于神经视频编解码器，设计有效的熵模型至关重要但又具有挑战性，该模型可以准确预测量化潜在表示的概率分布。但是，大多数现有的视频编解码器直接使用图像编解码器的现成的熵模型来编码残差或运动，并且不会完全利用视频中的时空特性。为此，本文提出了一个强大的熵模型，该模型有效地捕获了空间和时间依赖性。特别是，我们介绍了潜在的先验，这些先验利用了潜在表示之间的相关性来挤压时间冗余。同时，提出了双重空间先验，以平行友好的方式降低空间冗余。此外，我们的熵模型也是通用的。除了估计概率分布外，我们的熵模型还在空间通道上生成量化步骤。这种内容自适应的量化机制不仅有助于我们的编解码器在单个模型中实现平滑的速率调整，而且还通过动态位分配来改善最终速率延伸性能。实验结果表明，与H.266（VTM）相比，使用最高的压缩率配置，我们的神经编解码器在提出的熵模型中，我们的神经编解码器可以在UVG数据集上节省18.2％的比特率。它在神经视频编解码器的开发中是一个新的里程碑。这些代码在https://github.com/microsoft/dcvc上。

Recent models for learned image compression are based on autoencoders, learning approximately invertible mappings from pixels to a quantized latent representation. These are combined with an entropy model, a prior on the latent representation that can be used with standard arithmetic coding algorithms to yield a compressed bitstream. Recently, hierarchical entropy models have been introduced as a way to exploit more structure in the latents than simple fully factorized priors, improving compression performance while maintaining end-to-end optimization. Inspired by the success of autoregressive priors in probabilistic generative models, we examine autoregressive, hierarchical, as well as combined priors as alternatives, weighing their costs and benefits in the context of image compression. While it is well known that autoregressive models come with a significant computational penalty, we find that in terms of compression performance, autoregressive and hierarchical priors are complementary and, together, exploit the probabilistic structure in the latents better than all previous learned models. The combined model yields state-of-the-art rate-distortion performance, providing a 15.8% average reduction in file size over the previous state-of-the-art method based on deep learning, which corresponds to a 59.8% size reduction over JPEG, more than 35% reduction compared to WebP and JPEG2000, and bitstreams 8.4% smaller than BPG, the current state-of-the-art image codec. To the best of our knowledge, our model is the first learning-based method to outperform BPG on both PSNR and MS-SSIM distortion metrics.32nd Conference on Neural Information Processing Systems (NIPS 2018),

Block based motion estimation is integral to inter prediction processes performed in hybrid video codecs. Prevalent block matching based methods that are used to compute block motion vectors (MVs) rely on computationally intensive search procedures. They also suffer from the aperture problem, which can worsen as the block size is reduced. Moreover, the block matching criteria used in typical codecs do not account for the resulting levels of perceptual quality of the motion compensated pictures that are created upon decoding. Towards achieving the elusive goal of perceptually optimized motion estimation, we propose a search-free block motion estimation framework using a multi-stage convolutional neural network, which is able to conduct motion estimation on multiple block sizes simultaneously, using a triplet of frames as input. This composite block translation network (CBT-Net) is trained in a self-supervised manner on a large database that we created from publicly available uncompressed video content. We deploy the multi-scale structural similarity (MS-SSIM) loss function to optimize the perceptual quality of the motion compensated predicted frames. Our experimental results highlight the computational efficiency of our proposed model relative to conventional block matching based motion estimation algorithms, for comparable prediction errors. Further, when used to perform inter prediction in AV1, the MV predictions of the perceptually optimized model result in average Bjontegaard-delta rate (BD-rate) improvements of -1.70% and -1.52% with respect to the MS-SSIM and Video Multi-Method Assessment Fusion (VMAF) quality metrics, respectively as compared to the block matching based motion estimation system employed in the SVT-AV1 encoder.