提供质量恒定流可以同时保证用户体验并防止浪费位率。在本文中，我们提出了一种基于深度学习的新型两通编码器参数预测框架来决定速率因子（RF），编码器可以通过恒定质量输出流。对于视频中的每个单发段，提出的方法首先通过超快速预处理提取空间，时间和预编码功能。基于这些功能，深度神经网络预测了RF参数。视频编码器使用RF作为第一个编码通过来压缩段。然后测量第一个通过编码的VMAF质量。如果质量不符合目标，将执行第二通过的RF预测和编码。借助第一次通过预测的RF和相应的实际质量作为反馈，第二次通过预测将非常准确。实验表明，所提出的方法仅需要平均编码复杂性的1.55倍，同时准确性，压缩视频的实际VMAF在目标VMAF附近的$ \ pm1 $之内，达到98.88％。

Block based motion estimation is integral to inter prediction processes performed in hybrid video codecs. Prevalent block matching based methods that are used to compute block motion vectors (MVs) rely on computationally intensive search procedures. They also suffer from the aperture problem, which can worsen as the block size is reduced. Moreover, the block matching criteria used in typical codecs do not account for the resulting levels of perceptual quality of the motion compensated pictures that are created upon decoding. Towards achieving the elusive goal of perceptually optimized motion estimation, we propose a search-free block motion estimation framework using a multi-stage convolutional neural network, which is able to conduct motion estimation on multiple block sizes simultaneously, using a triplet of frames as input. This composite block translation network (CBT-Net) is trained in a self-supervised manner on a large database that we created from publicly available uncompressed video content. We deploy the multi-scale structural similarity (MS-SSIM) loss function to optimize the perceptual quality of the motion compensated predicted frames. Our experimental results highlight the computational efficiency of our proposed model relative to conventional block matching based motion estimation algorithms, for comparable prediction errors. Further, when used to perform inter prediction in AV1, the MV predictions of the perceptually optimized model result in average Bjontegaard-delta rate (BD-rate) improvements of -1.70% and -1.52% with respect to the MS-SSIM and Video Multi-Method Assessment Fusion (VMAF) quality metrics, respectively as compared to the block matching based motion estimation system employed in the SVT-AV1 encoder.

传统的视频压缩（VC）方法基于运动补偿变换编码，并且由于端到端优化问题的组合性质，运动估计，模式和量化参数选择的步骤和熵编码是单独优化的。学习VC允许同时对端到端速率失真（R-D）优化非线性变换，运动和熵模型的优化训练。大多数工作都在学习VC基于R-D损耗对连续帧的对考虑连续视频编解码器的端到端优化。它在传统的VC中众所周知的是，双向编码优于顺序压缩，因为它能够使用过去和未来的参考帧。本文提出了一种学习的分层双向视频编解码器（LHBDC），其结合了分层运动补偿预测和端到端优化的益处。实验结果表明，我们达到了迄今为​​止在PSNR和MS-SSIM中的学习VC方案报告的最佳R-D结果。与传统的视频编解码器相比，我们的端到端优化编解码器的RD性能优于PSNR和MS-SSIM中的X265和SVT-HEVC编码器（“非常流”预设）以及MS-中的HM 16.23参考软件。 SSIM。我们提出了由于所提出的新颖工具，例如学习屏蔽，流场附带和时间流量矢量预测等新颖工具，展示了表现出性能提升。重现我们结果的模型和说明可以在https://github.com/makinyilmaz/lhbdc/中找到

Conventional video compression approaches use the predictive coding architecture and encode the corresponding motion information and residual information. In this paper, taking advantage of both classical architecture in the conventional video compression method and the powerful nonlinear representation ability of neural networks, we propose the first end-to-end video compression deep model that jointly optimizes all the components for video compression. Specifically, learning based optical flow estimation is utilized to obtain the motion information and reconstruct the current frames. Then we employ two auto-encoder style neural networks to compress the corresponding motion and residual information. All the modules are jointly learned through a single loss function, in which they collaborate with each other by considering the trade-off between reducing the number of compression bits and improving quality of the decoded video. Experimental results show that the proposed approach can outperform the widely used video coding standard H.264 in terms of PSNR and be even on par with the latest standard H.265 in terms of MS-SSIM. Code is released at https://github.com/GuoLusjtu/DVC. * Corresponding author (a) Original frame (Bpp/MS-SSIM) (b) H.264 (0.0540Bpp/0.945) (c) H.265 (0.082Bpp/0.960) (d) Ours ( 0.0529Bpp/ 0.961

大多数现有的神经视频压缩方法采用预测编码框架，该预测编码框架首先生成预测帧，然后用当前帧编码其残差。然而，对于压缩比，预测编码只是子最优解，因为它使用简单的减法操作来消除跨越帧的冗余。在本文中，我们提出了一种深度上下文视频压缩框架，以使从预测编码转换到条件编码。特别是，我们尝试回答以下问题：如何在深度视频压缩框架下定义，使用和学习条件。要点击条件编码的可能性，我们将使用要素域上下文提出为条件。这使我们能够利用高维上下文来对编码器和解码器携带丰富的信息，这有助于重建高频内容以获得更高的视频质量。我们的框架也是可扩展的，其中条件可以灵活设计。实验表明，我们的方法可以显着优于先前的最先进（SOTA）深度视频压缩方法。与使用SifeSlow预设相比，我们可以为1080p标准测试视频达到26.0％的比特率保存。

先前的深视频压缩方法仅使用单一运动补偿策略，并且很少采用来自传统标准（例如H.264/h.265）的模式预测技术来进行运动和残留压缩。在这项工作中，我们首先提出了一个粗到精细的（C2F）深视频压缩框架，以进行更好的运动补偿，其中我们以粗到良好的方式进行了两次运动估计，压缩和补偿。我们的C2F框架可以实现更好的运动补偿结果，而不会显着增加位成本。观察高优势网络中的高优势信息（即平均值和方差值）包含不同斑块的判别统计信息，我们还提出了两种有效的超优先指导模式预测方法。具体而言，使用高优势信息作为输入，我们建议两个模式预测网络分别预测最佳块分辨率，以进行更好的运动编码，并决定是否从每个块中跳过剩余信息以进行更好的剩余编码，而无需引入额外的位置，同时带来可忽略的额外计算成本。全面的实验结果表明，配备了新的高位指导模式预测方法，我们提出的C2F视频压缩框架实现了HEVC，UVG和MCL-JCV数据集的最新性能。

具有基于块体系结构的运动建模已被广泛用于视频编码中，其中框架分为固定尺寸的块，这些块是独立补偿的。这通常会导致编码效率低下，因为固定尺寸的块几乎与对象边界不符。尽管已经引入了层次结构分区来解决这一问题，但运动矢量的增加限制了收益。最近，与立方体分配的图像的近似分割已经普及。可变大小的矩形片段（立方体）不仅容易适应基于块的图像/视频编码技术，而且还可以很好地与对象边界保持一致。这是因为立方分区基于同质性约束，从而最大程度地减少了平方误差的总和（SSE）。在本文中，我们研究了针对可扩展视频编码中使用的固定尺寸块的运动模型的潜力。具体而言，我们使用图片组（GOP）中的锚框的立方分区信息构建了运动补偿帧。然后，预测的当前帧已用作基础层，同时使用可扩展的HEVC编码器编码当前帧作为增强层。实验结果确认4K视频序列上节省了6.71％-10.90％的比特率。

视频编码技术已不断改进，以更高的分辨率以更高的压缩比。但是，最先进的视频编码标准（例如H.265/HEVC和多功能视频编码）仍在设计中，该假设将被人类观看。随着深度神经网络在解决计算机视觉任务方面的巨大进步和成熟，越来越多的视频通过无人参与的深度神经网络直接分析。当计算机视觉应用程序使用压缩视频时，这种传统的视频编码标准设计并不是最佳的。尽管人类视觉系统对具有高对比度的内容一直敏感，但像素对计算机视觉算法的影响是由特定的计算机视觉任务驱动的。在本文中，我们探索并总结了计算机视觉任务的视频编码和新兴视频编码标准，机器的视频编码。

自适应视频流依靠构建高效的比特梯梯子来在带宽约束下为观众提供最佳的视觉质量。与内容相关的比特阶梯选择的传统方法需要预先编码多个编码参数的视频镜头，以找到由结果质量曲线的凸壳给出的最佳操作点。但是，此预编码步骤等同于在可能的编码参数的空间上进行详尽的搜索过程，这在计算和时间支出方面都会引起大量开销。为了减少此开销，我们提出了一种基于深度学习的内容凸面预测的深度学习方法。我们采用经常​​性的卷积网络（RCN）来隐式分析视频拍摄的时空复杂性，以预测其凸壳。采用了两步转移学习方案来培训我们提出的RCN救主模型，该模型确保了足够的内容多样性来分析场景复杂性，同时也可以捕获原始源视频的场景统计信息。我们的实验结果表明，我们提出的模型可以更好地近似最佳凸壳，并与现有方法相比提供竞争性的时间。平均而言，我们的方法平均将预编码时间缩短了58.0％，而预测的凸壳相对于地面真理的平均Bjontegaard三角洲比特率（BD率）为0.08％，而BD率的平均绝对偏差为分布为0.44％

有效的点云压缩对于虚拟和混合现实，自动驾驶和文化遗产等应用至关重要。在本文中，我们为动态点云几何压缩提出了一个基于深度学习的框架间编码方案。我们提出了一种有损的几何压缩方案，该方案通过使用新的预测网络，使用先前的框架来预测当前帧的潜在表示。我们提出的网络利用稀疏的卷积使用层次多尺度3D功能学习来使用上一个帧编码当前帧。我们在目标坐标上采用卷积来将上一个帧的潜在表示为当前帧的降采样坐标，以预测当前帧的特征嵌入。我们的框架通过使用学习的概率分解熵模型来压缩预测功能的残差和实际特征。在接收器中，解码器层次结构通过逐步重新嵌入功能嵌入来重建当前框架。我们将我们的模型与基于最先进的视频点云压缩（V-PCC）和基于几何的点云压缩（G-PCC）方案进行了比较，该方案由Moving Picture Experts Group（MPEG）标准化。我们的方法实现了91％以上的BD率Bjontegaard三角洲率）降低了G-PCC，针对V-PCC框架内编码模式的BD率降低了62％以上，而对于V-PC。使用HEVC，基于PCC P框架的框架间编码模式。

为了利用同一场景的视频框架中的高时间相关性，使用基于块的运动估计和补偿技术从已经编码的参考帧中预测了当前帧。尽管这种方法可以有效利用移动对象的翻译运动，但它容易受到其他类型的仿射运动和对象遮挡/除含量的影响。最近，深度学习已被用来模拟人类姿势的高级结构，以从短视频中的特定动作中进行，然后通过使用生成的对抗网络（GAN）来预测姿势，从而在未来的时间内生成虚拟框架。因此，建模人姿势的高级结构能够通过预测人类的行为并确定其轨迹来利用语义相关性。视频监视应用程序将受益，因为可以通过估算人类姿势轨迹并通过语义相关性产生未来的框架来压缩存储的大监视数据。本文通过从已经编码的框架中对人姿势进行建模并在当前时间使用生成的框架来探讨一种新的视频编码方式。预计所提出的方法可以通过预测包含具有较低残差的移动对象的块来克服传统向后引用框架的局限性。实验结果表明，提出的方法平均可以实现高达2.83 dB PSNR增益和25.93 \％比特率的节省，用于高运动视频序列

由于深层网络的计算复杂性和功率约束的移动硬件的计算复杂性，因此在移动设备上实现神经视频编解码器的潜力是一项巨大的技术挑战。我们通过利用高通公司的技术和创新来证明可行性，从而弥合了从基于神经网络的编解码器模拟在壁式工作站运行的差距，再到由Snapdragon技术供电的移动设备上的实时操作。我们显示有史以来第一个在商用手机上运行的框架间神经视频解码器，实时解码高清视频，同时保持低比特率和高视觉质量。

对于神经视频编解码器，设计有效的熵模型至关重要但又具有挑战性，该模型可以准确预测量化潜在表示的概率分布。但是，大多数现有的视频编解码器直接使用图像编解码器的现成的熵模型来编码残差或运动，并且不会完全利用视频中的时空特性。为此，本文提出了一个强大的熵模型，该模型有效地捕获了空间和时间依赖性。特别是，我们介绍了潜在的先验，这些先验利用了潜在表示之间的相关性来挤压时间冗余。同时，提出了双重空间先验，以平行友好的方式降低空间冗余。此外，我们的熵模型也是通用的。除了估计概率分布外，我们的熵模型还在空间通道上生成量化步骤。这种内容自适应的量化机制不仅有助于我们的编解码器在单个模型中实现平滑的速率调整，而且还通过动态位分配来改善最终速率延伸性能。实验结果表明，与H.266（VTM）相比，使用最高的压缩率配置，我们的神经编解码器在提出的熵模型中，我们的神经编解码器可以在UVG数据集上节省18.2％的比特率。它在神经视频编解码器的开发中是一个新的里程碑。这些代码在https://github.com/microsoft/dcvc上。

360 {\ TextDegree}视频的盲目视觉质量评估（BVQA）在优化沉浸式多媒体系统中起着关键作用。在评估360 {\ TextDegree}视频的质量时，人类倾向于从每个球形帧的基于视口的空间失真来识别其在相邻帧中的运动伪影，以视频级质量分数为止，即渐进性质量评估范式。然而，现有的BVQA方法对于360 {\ TextDegree}视频忽略了这条范式。在本文中，我们考虑了人类对球面视频质量的逐步范例，因此提出了一种新颖的BVQA方法（即ProvQA），通过逐步学习从像素，帧和视频中逐步学习。对应于像素，帧和视频的渐进学习，三个子网被设计为我们的PROPQA方法，即球形感知感知质量预测（SPAQ），运动感知感知质量预测（MPAQ）和多帧时间非本地（MFTN）子网。 SPAQ子网首先模拟基于人的球面感知机制的空间质量下降。然后，通过跨越相邻帧的运动提示，MPAQ子网适当地结合了在360 {\ TextDegree}视频上的质量评估的运动上下文信息。最后，MFTN子网聚集多帧质量劣化，通过探索来自多个帧的长期质量相关性来产生最终质量分数。实验验证了我们的方法在两个数据集中的360 {\ TextDegree}视频上显着提高了最先进的BVQA性能，该代码是公共\ url {https://github.com/yanglixiaoshen/的代码Provqa。}

学习的视频压缩方法在赶上其速率 - 失真（R-D）性能时，追赶传统视频编解码器的许多承诺。然而，现有的学习视频压缩方案受预测模式和固定网络框架的绑定限制。它们无法支持各种帧间预测模式，从而不适用于各种场景。在本文中，为了打破这种限制，我们提出了一种多功能学习的视频压缩（VLVC）框架，它使用一个模型来支持所有可能的预测模式。具体而言，为了实现多功能压缩，我们首先构建一个运动补偿模块，该模块应用用于在空间空间中的加权三线性翘曲的多个3D运动矢量字段（即，Voxel流量）。 Voxel流量传达了时间参考位置的信息，有助于与框架设计中的帧间预测模式分离。其次，在多参考帧预测的情况下，我们应用流预测模块以预测具有统一多项式函数的准确运动轨迹。我们表明流量预测模块可以大大降低体素流的传输成本。实验结果表明，我们提出的VLVC不仅支持各种设置中的多功能压缩，而且还通过MS-SSIM的最新VVC标准实现了可比的R-D性能。

本文提出了解码器 - 侧交叉分辨率合成（CRS）模块，以追求更好的压缩效率超出最新的通用视频编码（VVC），在那里我们在原始高分辨率（HR）处编码帧内帧，以较低的分辨率压缩帧帧间（ LR），然后通过在先前的HR帧内和相邻的LR帧间帧内解解码LR帧间帧间帧帧。对于LR帧间帧，设计运动对准和聚合网络（MAN）以产生时间汇总的运动表示，以最佳保证时间平滑度;使用另一个纹理补偿网络（TCN）来生成从解码的HR帧内帧的纹理表示，以便更好地增强空间细节;最后，相似性驱动的融合引擎将运动和纹理表示合成为Upscale LR帧帧，以便去除压缩和分辨率重新采样噪声。我们使用所提出的CRS增强VVC，显示平均为8.76％和11.93％BJ {\ O} NTEGAARD Delta率（BD速率）分别在随机接入（RA）和低延延迟P（LDP）设置中的最新VVC锚点。此外，对基于最先进的超分辨率（SR）的VVC增强方法和消融研究的实验比较，进一步报告了所提出的算法的卓越效率和泛化。所有材料都将在HTTPS://njuvision.github.io /crs上公开进行可重复的研究。

学习的视频压缩最近成为开发高级视频压缩技术的重要研究主题，其中运动补偿被认为是最具挑战性的问题之一。在本文中，我们通过异质变形补偿策略（HDCVC）提出了一个学识渊博的视频压缩框架，以解决由单尺度可变形的特征域中单尺可变形核引起的不稳定压缩性能的问题。更具体地说，所提出的算法提取物从两个相邻框架中提取的算法提取物特征来估算估计内容自适应的异质变形（Hetdeform）内核偏移量，而不是利用光流或单尺内核变形对齐。然后，我们将参考特征转换为HetDeform卷积以完成运动补偿。此外，我们设计了一个空间 - 邻化的分裂归一化（SNCDN），以实现更有效的数据高斯化结合了广义分裂的归一化。此外，我们提出了一个多框架增强的重建模块，用于利用上下文和时间信息以提高质量。实验结果表明，HDCVC比最近最新学习的视频压缩方法取得了优越的性能。

我们地址结束学习视频压缩，特别关注更好地学习和利用时间上下文。对于时间上下文挖掘，我们建议不仅存储先前重建的帧，还可以存储到广义解码图像缓冲器中的传播功能。从存储的传播功能中，我们建议学习多尺度的时间上下文，并将学习的时间上下文重新填充到压缩方案的模块中，包括上下文编码器 - 解码器，帧生成器和时间上下文编码器。我们的计划丢弃了并行化 - 不友好的自动回归熵模型，以追求更实用的解码时间。我们将我们的计划与X264和X265（分别代表H.264和H.265的工业软件）以及H.264，H.265和H.266（JM，HM和VTM的官方参考软件（JM，HM和VTM）进行比较， 分别）。当周期为32次并定向为PSNR时，我们的方案优于H.265 - HM以14.4％的比特率储蓄;当取向MS-SSIM时，我们的方案优于21.1％比特率保存的H.266 - VTM。

在本文中，我们提出了一个生成的对抗网络（GAN）框架，以增强压缩视频的感知质量。我们的框架包括单个模型中对不同量化参数（QP）的注意和适应。注意模块利用了可以捕获和对齐连续框架之间的远程相关性的全球接收场，这可能有益于提高视频感知质量。要增强的框架与其相邻的框架一起馈入深网，并在第一阶段的特征中提取不同深度的特征。然后提取的特征被馈入注意力块以探索全局的时间相关性，然后进行一系列上采样和卷积层。最后，通过利用相应的QP信息的QP条件适应模块处理所得的功能。这样，单个模型可用于增强对各种QP的适应性，而无需针对每个QP值的多个模型，同时具有相似的性能。实验结果表明，与最先进的压缩视频质量增强算法相比，所提出的PEQUENET的表现出色。

为了提高图像压缩性能，最近的基于神经网络的基于神经网络的研究可以分为三类：学习编解码器，后处理网络和紧凑型表示网络。学习编解码器专为超出传统压缩模块而设计的端到端学习。后处理网络使用基于示例的学习增加解码图像的质量。学习紧凑的表示网络，以降低输入图像的容量，以减少比特率的同时保持解码图像的质量。然而，这些方法与现有的编解码器不兼容，或者不会最佳地增加编码效率。具体地，由于编解码器的不准确性，难以在先前的研究中实现最佳学习。在本文中，我们提出了一种基于辅助编解码器网络（ACN）的新颖的标准兼容图像压缩框架。 ACNS旨在模仿现有编解码器的图像劣化操作，这为紧凑型表示网络提供了更准确的梯度。因此，可以有效地和最佳地学习紧凑的表示和后处理网络。我们证明，我们基于JPEG和高效视频编码（HEVC）标准的建议框架基本上以标准的兼容方式大致优于现有的图像压缩算法。