图像质量评估（IQA）对基于图像的应用程序的重要性越来越重要。其目的是建立一种可以代替人类的模型，以准确评估图像质量。根据参考图像是否完整且可用，图像质量评估可分为三类：全引用（FR），减少参考（RR）和非参考（NR）图像质量评估。由于深度学习的蓬勃发展和研究人员的广泛关注，近年来提出了基于深度学习的几种非参考图像质量评估方法，其中一些已经超过了引人注目甚至全参考图像的性能质量评估模型。本文将审查图像质量评估的概念和指标以及视频质量评估，简要介绍了一些完整参考和半参考图像质量评估的方法，并专注于基于深度学习的非参考图像质量评估方法。然后介绍常用的合成数据库和现实世界数据库。最后，总结和呈现挑战。

由于存在于视觉信号采集，压缩，传输和显示的各个阶段的质量降级，图像质量评估（IQA）在基于图像的应用中起着重要作用。根据参考图像是否完整且可用，图像质量评估可分为三类：全引用（FR），减少参考（RR）和非引用（NR）。本文将审查最先进的图像质量评估算法。

数字图像包含大量冗余，因此，应用了压缩以减少图像尺寸而不会损失合理的图像质量。在包含图像序列的视频的情况下，在包含图像序列和更高的压缩比中，在低吞吐量网络中实现了相同的突出。评估这种情况下的图像质量变得特别兴趣。大多数情景中的主观评估变得不可行，因此客观评估是首选。在三种客观质量措施中，全文和减少参考方法需要某种形式的原始图像来计算在广播或IP视频等情景中不可行的质量分数。因此，提出了一种非参考质量度量来评估计算亮度和多尺度梯度统计的数字图像的质量，以及平均减去对比度标准化产品作为具有缩放共轭梯度的前馈神经网络的特征。训练有素的网络提供了良好的回归和R2测量，并进一步测试实时图像质量评估数据库第2版已显示有前途的结果。 Pearson，Kendall和Spearman的相关性是计算预测和实际质量评分之间的相关性，结果与最先进的系统相当。此外，所提出的指标的计算方式比其对应物更快，并且可以用于图像序列的质量评估。

在这项工作中，我们介绍了梯度暹罗网络（GSN）进行图像质量评估。所提出的方法熟练地捕获了全参考图像质量评估（IQA）任务中扭曲的图像和参考图像之间的梯度特征。我们利用中央微分卷积获得图像对中隐藏的语义特征和细节差异。此外，空间注意力指导网络专注于与图像细节相关的区域。对于网络提取的低级，中级和高级功能，我们创新设计了一种多级融合方法，以提高功能利用率的效率。除了常见的均方根错误监督外，我们还进一步考虑了批处理样本之间的相对距离，并成功地将KL差异丢失应用于图像质量评估任务。我们在几个公开可用的数据集上试验了提出的算法GSN，并证明了其出色的性能。我们的网络赢得了NTIRE 2022感知图像质量评估挑战赛1的第二名。

在本文中，我们提出了通过特征级伪参考（PR）幻觉提出的无引用（NR）图像质量评估（IQA）方法。提出的质量评估框架基于自然图像统计行为的先前模型，并植根于以下观点，即可以很好地利用具有感知意义的特征来表征视觉质量。本文中，通过以原始参考为监督的相互学习方案学习了扭曲的图像中的PR特征，并通过三重态约束进一步确保PR特征的区分特性。给定质量推断的扭曲图像，特征水平的分离是用可逆神经层进行最终质量预测的，导致PR和相应的失真特征以进行比较。在四个流行的IQA数据库中证明了我们提出的方法的有效性，跨数据库评估的卓越性能也揭示了我们方法的高概括能力。我们的方法的实现可在https://github.com/baoliang93/fpr上公开获得。

视频质量评估（VQA）仍然是一个重要而挑战性的问题，影响了最广泛的尺度的许多应用程序。移动设备和云计算技术的最新进展使得可以捕获，处理和共度高分辨率，高分辨率（HFR）视频几乎瞬间。能够监控和控制这些流式视频的质量可以使得能够提供更令人愉快的内容和感知的优化速率控制。因此，需要一种强迫需要开发可以在巨大尺度部署的VQA模型。虽然最近的一些效果已应用于可变帧速率和HFR视频质量的全参考（FR）分析，但是没有研究帧速率变化的无引用（NR）VQA算法的开发。在这里，我们提出了一种用于评估HFR视频的一级盲VQA模型，我们将其配给了帧群感知视频评估程序W / O参考（Faver）。 Faver使用扩展模型的空间自然场景统计数据，即包括节省空间小波分解的视频信号，进行有效的帧速率敏感质量预测。我们对几个HFR视频质量数据集的广泛实验表明，PEVER以合理的计算成本优于其他盲VQA算法。为了便于可重复的研究和公共评估，在线可以在线进行狂热的实施：\ url {https://github.com/uniqzheng/hfr-bvqa}。

在过去的几十年中，盲目的图像质量评估（BIQA）旨在准确地预测图像质量而无需任何原始参考信息，但一直在广泛关注。特别是，在深层神经网络的帮助下，取得了巨大进展。但是，对于夜间图像（NTI）的BIQA的研究仍然较少，通常患有复杂的真实扭曲，例如可见性降低，低对比度，添加噪声和颜色失真。这些多样化的真实降解特别挑战了有效的深神网络的设计，用于盲目NTI质量评估（NTIQE）。在本文中，我们提出了一个新颖的深层分解和双线性池网络（DDB-NET），以更好地解决此问题。 DDB-NET包含三个模块，即图像分解模块，一个特征编码模块和双线性池模块。图像分解模块的灵感来自Itinex理论，并涉及将输入NTI解耦到负责照明信息的照明层组件和负责内容信息的反射层组件。然后，编码模块的功能涉及分别植根于两个解耦组件的降解的特征表示。最后，通过将照明相关和与内容相关的降解作为两因素变化进行建模，将两个特征集组合在一起，将双线汇总在一起以形成统一的表示，以进行质量预测。在几个基准数据集上进行了广泛的实验，已对所提出的DDB-NET的优势得到了很好的验证。源代码将很快提供。

用户生成的内容（UGC）的盲或禁区视频质量评估已成为趋势，具有挑战性，迄今未解决的问题。因此，适用于该内容的准确和高效的视频质量预测因素都需要实现更智能的分析和处理UGC视频的需求。以前的研究表明，自然场景统计和深度学习特征既足以捕获空​​间扭曲，这有助于UGC视频质量问题的重要方面。然而，这些模型无法对实际应用中预测复杂和不同的UGC视频的质量无能为力或效率低。在这里，我们为UGC含量介绍了一种有效且高效的视频质量模型，我们将我们展示快速准确的视频质量评估员（Rapique），我们展示了与最先进的（SOTA）模型相对表现，而是具有订单-magnitude更快的运行时。 Rapique结合并利用了质量意识的现场统计特征和语义知识的深度卷积功能的优势，使我们能够设计用于视频质量建模的第一通用和有效的空间和时间（时空）带通统计模型。我们对最近的大型UGC视频质量数据库的实验结果表明，Rapique以相当更低的计算费用提供所有数据集的顶级表现。我们希望这项工作促进并激发进一步努力实现潜在的实时和低延迟应用程序的视频质量问题的实际建模。为促进公共用途，在线进行了求助的实施：\ url {https://github.com/vztu/rapique}。

随着非专家们拍摄的野外视频的快速增长，盲目视频质量评估（VQA）已成为一个具有挑战性且苛刻的问题。尽管已经做出了许多努力来解决这个问题，但尚不清楚人类视觉系统（HVS）与视频的时间质量有何关系。同时，最近的工作发现，自然视频的框架变成了HV的感知领域，往往会形成表示形式的直线轨迹。通过获得的洞察力，即失真会损害感知的视频质量并导致感知表示的弯曲轨迹，我们提出了一个时间感知质量指数（TPQI），以通过描述表示形式的图形形态来测量时间失真。具体而言，我们首先从HVS的横向基因核（LGN）和主要视觉区域（V1）中提取视频感知表示，然后测量其轨迹的直率和紧凑性，以量化视频的自然性和内容连续性的降解。实验表明，HVS中的感知表示是一种预测主观时间质量的有效方法，因此TPQI首次可以实现与空间质量度量的可比性能，并且在评估具有较大时间变化的视频方面更加有效。我们进一步证明，通过与NIQE（空间质量指标）结合使用，TPQI可以在流行的野外视频数据集中实现最佳性能。更重要的是，除了要评估的视频之外，TPQI不需要任何其他信息，因此可以将其应用于任何数据集，而无需参数调整。源代码可在https://github.com/uolmm/tpqi-vqa上找到。

图像质量评估（IQA）指标被广泛用于定量估计一些形成，恢复，转换或增强算法后图像降解的程度。我们提出了Pytorch图像质量（PIQ），这是一个以可用性为中心的库，其中包含最受欢迎的现代IQA算法，并保证根据其原始命题正确实现并进行了彻底验证。在本文中，我们详细介绍了图书馆基础背后的原则，描述了使其可靠的评估策略，提供了展示性能时间权衡的基准，并强调了GPU加速的好处Pytorch后端。Pytorch图像质量是一个开源软件：https：//github.com/photosynthesis-team/piq/。

We propose a natural scene statistic-based distortion-generic blind/no-reference (NR) image quality assessment (IQA) model that operates in the spatial domain. The new model, dubbed blind/referenceless image spatial quality evaluator (BRISQUE) does not compute distortion-specific features, such as ringing, blur, or blocking, but instead uses scene statistics of locally normalized luminance coefficients to quantify possible losses of "naturalness" in the image due to the presence of distortions, thereby leading to a holistic measure of quality. The underlying features used derive from the empirical distribution of locally normalized luminances and products of locally normalized luminances under a spatial natural scene statistic model. No transformation to another coordinate frame (DCT, wavelet, etc.) is required, distinguishing it from prior NR IQA approaches. Despite its simplicity, we are able to show that BRISQUE is statistically better than the full-reference peak signal-tonoise ratio and the structural similarity index, and is highly competitive with respect to all present-day distortion-generic NR IQA algorithms. BRISQUE has very low computational complexity, making it well suited for real time applications. BRISQUE features may be used for distortion-identification as well. To illustrate a new practical application of BRISQUE, we describe how a nonblind image denoising algorithm can be augmented with BRISQUE in order to perform blind image denoising. Results show that BRISQUE augmentation leads to performance improvements over state-of-the-art methods. A software release of BRISQUE is available online: http:// live.ece.utexas.edu/ research/ quality/ BRISQUE_release.zip for public use and evaluation.

视觉（图像，视频）质量评估可以通过不同域中的视觉特征来建模，例如空间，频率和时间域。人类视觉系统（HVS）中的感知机制在质量感知的产生中起着至关重要的作用。本文提出了使用有效的窗口变压器体系结构进行无引用视觉质量评估的一般框架。用于多阶段通道注意的轻量级模块集成到SWIN（移位窗口）变压器中。这样的模块可以在图像质量评估（IQA）中代表适当的感知机制，以构建准确的IQA模型。同时，在空间和频域中图像质量感知的代表性特征也可以从IQA模型中得出，然后将其馈入另一个窗户的变压器体系结构进行视频质量评估（VQA）。 VQA模型有效地重复了整个本地窗口的注意力信息，以解决原始变压器的昂贵时间和记忆复杂性的问题。大规模IQA和VQA数据库的实验结果表明，所提出的质量评估模型优于大幅度的其他最先进模型。完整的源代码将在GitHub上发布。

包括视频和音频内容在内的视频会议已导致互联网流量的急剧增加，因为COVID-19大流行迫使数百万人在家中工作和学习。由于这种情况，需要进行高效且准确的视频质量工具，以监视和感知优化通过Zoom，Webex，Meet等进行了优化的远程息息流量，因此，全球视频会议的全球互联网流量已大大增加，因此，现有模型在Multi上的预测能力受到限制。 - 模式，实时流媒体介绍内容。在这里，我们通过多种方式解决了远程敏感视频质量评估（TVQA）的重大挑战。首先，我们通过收集来自不同国家 /地区的〜2k触觉视频来减轻主观标记的数据的缺乏，我们挤在了〜80k的主观质量标签上。使用此新资源，我们使用带有单独途径的多模式学习框架创建了一个在线视频质量预测框架，用于实时流媒体，以计算视觉和音频质量预测。我们的多合一模型能够在贴片，框架，剪辑和视听水平上提供准确的质量预测。我们的模型在现有质量数据库和新的TVQA数据库上都达到了最新的性能，计算费用降低，使其成为移动和嵌入式系统的有吸引力的解决方案。

在这项工作中，我们为图像和视频的感知质量评估提供了一个简单而有效的统一模型。与通常由复杂的网络架构组成的现有模型或依赖于多个分支的串联，我们的模型通过仅介绍从骨干网的一个全局特征（即呈现的工作中的Resnet18）来实现相当的性能。结合一些培训技巧，所提出的模型超越了公共和私有数据集的SOTA模型的当前基线。基于建议的架构，我们释放了三个常见的真实情景训练硕士学位：UGC视频在野外，PGC视频中的压缩，带有压缩的游戏视频。这三种预先训练的型号可以直接申请质量评估，或者进一步微调以获取更多定制的用途。所有代码，SDK和所提出的模型的预先训练的权重在HTTPS://github.com/tencent/censeoqoe上公开使用。

Objective methods for assessing perceptual image quality have traditionally attempted to quantify the visibility of errors between a distorted image and a reference image using a variety of known properties of the human visual system. Under the assumption that human visual perception is highly adapted for extracting structural information from a scene, we introduce an alternative framework for quality assessment based on the degradation of structural information. As a specific example of this concept, we develop a Structural Similarity Index and demonstrate its promise through a set of intuitive examples, as well as comparison to both subjective ratings and state-of-the-art objective methods on a database of images compressed with JPEG and JPEG2000. 1

虚拟现实（VR）视频（通常以360美元$^\ Circ $视频形式）由于VR技术的快速开发以及消费级360 $^\ Circ $摄像机和显示器的显着普及而引起了人们的关注。因此，了解人们如何看待用户生成的VR视频，这些视频可能会受到混乱的真实扭曲，通常是在时空和时间上局部的。在本文中，我们建立了最大的360美元$^\ Circ $视频数据库之一，其中包含502个用户生成的视频，内容丰富和失真多样性。我们捕获了139位用户的观看行为（即扫描路径），并在四个不同的观看条件下（两个起点$ \ times $ $ $ $ $两个探索时间）收集了他们的意见分数。我们对记录的数据提供了详尽的统计分析，从而产生了一些有趣的观察结果，例如观看条件对观看行为和感知质量的重大影响。此外，我们还探讨了我们的数据和分析的其他用法，包括评估360 $^\ CIRC $视频的质量评估和显着性检测的计算模型。我们已经在https://github.com/yao-yiru/vr-video-database上提供了数据集和代码。

无参考图像质量评估（NR-IQA）的目标是根据主观评估来估计感知图像质量，由于不存在原始参考图像，它是复杂和未解决的问题。在本文中，我们提出了一种新颖的模型来解决NR-IQA任务，利用卷积神经网络（CNNS）和变压器中的自我关注机制来解决来自输入图像的本地和非局部特征的混合方法来解决NR-IQA任务。我们通过CNN捕获图像的局部结构信息，然后避免提取的CNNS特征之间的局部偏压并获得图像的非本地表示，我们利用所提取的特征上的变压器，其中我们将它们塑造为顺序输入变压器模型。此外，为了改善主观和目标分数之间的单调性相关性，我们利用每个批处理内图像之间的相对距离信息，并强制执行它们之间的相对排名。最后但并非最不重要的是，我们观察到NR-IQA模型的性能在我们应用于输入到输入时申请等级变换（例如水平翻转）。因此，我们提出了一种利用自我保持性作为自我监督来源的方法，以改善NRIQA模型的鲁棒性。具体而言，我们为每个图像的质量评估模型的输出和其转换（水平翻转）强制实施自我一致性，以利用丰富的自我监控信息，并降低模型的不确定性。为了展示我们工作的有效性，我们在七个标准IQA数据集（合成和真实）上评估它，并显示我们的模型在各种数据集上实现最先进的结果。

本文报告了NTIRE 2022关于感知图像质量评估（IQA）的挑战，并与CVPR 2022的图像恢复和增强研讨会（NTIRE）研讨会（NTIRE）讲习班的新趋势举行。感知图像处理算法。这些算法的输出图像与传统扭曲具有完全不同的特征，并包含在此挑战中使用的PIP数据集中。这个挑战分为两条曲目，一个类似于以前的NTIRE IQA挑战的全参考IQA轨道，以及一条侧重于No-Reference IQA方法的新曲目。挑战有192和179名注册参与者的两条曲目。在最后的测试阶段，有7和8个参与的团队提交了模型和事实表。几乎所有这些都比现有的IQA方法取得了更好的结果，并且获胜方法可以证明最先进的性能。

视频预测模型的研究被认为是对视频学习的基本方法。虽然存在用于预测过去几帧的未来帧像素值的多种生成模型，但已经发现预测帧的定量评估非常具有挑战性。在这种情况下，我们研究了预测视频的质量评估问题。我们创建了印度科学研究所预测视频质量评估（IISC PVQA）数据库，该数据库由300个视频组成，通过在不同的数据集上应用不同的预测模型，并伴随着人类观察分数。我们收集了这些视频的50名人类参与者的主观评级。我们的主观研究表明，人类观察者在预测视频的质量判断中非常一致。我们基准评估视频预测的几种普遍使用的措施，并表明它们与这些主观评分没有充分相关。我们介绍了两个新功能，以有效地捕获预测视频的质量，具有过去的帧的预测帧的深度特征的运动补偿余弦相似之处，以及从重新置于帧差异中提取的深度特征。我们表明，我们的特色设计导致了根据ISC PVQA数据库的人类判断的艺术质量预测的状态。数据库和代码在我们的项目网站上公开提供：https://nagabhushansn95.github.io/publications/2020/pvqa

基于深度学习的技术为自动图像质量评估（IQA）领域的显着进步做出了贡献。现有的IQA方法旨在根据图像级别（即整个图像）或贴片级（将图像分为多个单元和测量每个图像的质量在图像级别（即整个图像）处的平均意见分数（MOS）来衡量图像的质量修补）。某些应用可能需要评估像素级别（即每个像素的MOS值）处的质量，但是，由于其网络结构而丢失了空间信息，因此在现有技术的情况下不可能评估这是不可能的。本文提出了一种IQA算法，除图像级MOS外，还可以测量像素级的MOS。提出的算法由三个核心部分组成，即：i）本地IQA； ii）感兴趣的区域（ROI）预测； iii）高级功能嵌入。本地IQA部件在像素级或像素MOS上输出MOS - 我们称其为“ PMOS”。 ROI预测部分输出的权重来计算图像级IQA时区域的相对重要性。嵌入零件的高级特征提取高级图像特征，然后将其嵌入到本地IQA部分中。换句话说，提出的算法产生三个输出：代表每个像素的MOS的PMO，来自ROI的权重表示区域的相对重要性，最后是通过PMOS和ROI加权总和获得的图像级MOS值。与现有流行的IQA技术相比，通过使用PMO和ROI权重获得的图像级MOS表现出较高的性能。此外，可视化结果表明，预测的PMO和ROI输出与人类视觉系统（HVS）的一般原理相当一致。