Measurement of visual quality is of fundamental importance for numerous image and video processing applications, where the goal of quality assessment (QA) algorithms is to automatically assess the quality of images or videos in agreement with human quality judgments. Over the years, many researchers have taken different approaches to the problem and have contributed significant research in this area, and claim to have made progress in their respective domains. It is important to evaluate the performance of these algorithms in a comparative setting and analyze the strengths and weaknesses of these methods. In this paper, we present results of an extensive subjective quality assessment study in which a total of 779 distorted images were evaluated by about two dozen human subjects. The "ground truth" image quality data obtained from about 25,000 individual human quality judgments is used to evaluate the performance of several prominent full-reference (FR) image quality assessment algorithms.To the best of our knowledge, apart from video quality studies conducted by the Video Quality Experts Group (VQEG), the study presented in this paper is the largest subjective image quality study in the literature in terms of number of images, distortion types, and number of human judgments per image.

Objective methods for assessing perceptual image quality have traditionally attempted to quantify the visibility of errors between a distorted image and a reference image using a variety of known properties of the human visual system. Under the assumption that human visual perception is highly adapted for extracting structural information from a scene, we introduce an alternative framework for quality assessment based on the degradation of structural information. As a specific example of this concept, we develop a Structural Similarity Index and demonstrate its promise through a set of intuitive examples, as well as comparison to both subjective ratings and state-of-the-art objective methods on a database of images compressed with JPEG and JPEG2000. 1

We propose a natural scene statistic-based distortion-generic blind/no-reference (NR) image quality assessment (IQA) model that operates in the spatial domain. The new model, dubbed blind/referenceless image spatial quality evaluator (BRISQUE) does not compute distortion-specific features, such as ringing, blur, or blocking, but instead uses scene statistics of locally normalized luminance coefficients to quantify possible losses of "naturalness" in the image due to the presence of distortions, thereby leading to a holistic measure of quality. The underlying features used derive from the empirical distribution of locally normalized luminances and products of locally normalized luminances under a spatial natural scene statistic model. No transformation to another coordinate frame (DCT, wavelet, etc.) is required, distinguishing it from prior NR IQA approaches. Despite its simplicity, we are able to show that BRISQUE is statistically better than the full-reference peak signal-tonoise ratio and the structural similarity index, and is highly competitive with respect to all present-day distortion-generic NR IQA algorithms. BRISQUE has very low computational complexity, making it well suited for real time applications. BRISQUE features may be used for distortion-identification as well. To illustrate a new practical application of BRISQUE, we describe how a nonblind image denoising algorithm can be augmented with BRISQUE in order to perform blind image denoising. Results show that BRISQUE augmentation leads to performance improvements over state-of-the-art methods. A software release of BRISQUE is available online: http:// live.ece.utexas.edu/ research/ quality/ BRISQUE_release.zip for public use and evaluation.

The structural similarity image quality paradigm is based on the assumption that the human visual system is highly adapted for extracting structural information from the scene, and therefore a measure of structural similarity can provide a good approximation to perceived image quality. This paper proposes a multi-scale structural similarity method, which supplies more flexibility than previous single-scale methods in incorporating the variations of viewing conditions. We develop an image synthesis method to calibrate the parameters that define the relative importance of different scales. Experimental comparisons demonstrate the effectiveness of the proposed method.

视频预测模型的研究被认为是对视频学习的基本方法。虽然存在用于预测过去几帧的未来帧像素值的多种生成模型，但已经发现预测帧的定量评估非常具有挑战性。在这种情况下，我们研究了预测视频的质量评估问题。我们创建了印度科学研究所预测视频质量评估（IISC PVQA）数据库，该数据库由300个视频组成，通过在不同的数据集上应用不同的预测模型，并伴随着人类观察分数。我们收集了这些视频的50名人类参与者的主观评级。我们的主观研究表明，人类观察者在预测视频的质量判断中非常一致。我们基准评估视频预测的几种普遍使用的措施，并表明它们与这些主观评分没有充分相关。我们介绍了两个新功能，以有效地捕获预测视频的质量，具有过去的帧的预测帧的深度特征的运动补偿余弦相似之处，以及从重新置于帧差异中提取的深度特征。我们表明，我们的特色设计导致了根据ISC PVQA数据库的人类判断的艺术质量预测的状态。数据库和代码在我们的项目网站上公开提供：https://nagabhushansn95.github.io/publications/2020/pvqa

图像质量评估（IQA）对基于图像的应用程序的重要性越来越重要。其目的是建立一种可以代替人类的模型，以准确评估图像质量。根据参考图像是否完整且可用，图像质量评估可分为三类：全引用（FR），减少参考（RR）和非参考（NR）图像质量评估。由于深度学习的蓬勃发展和研究人员的广泛关注，近年来提出了基于深度学习的几种非参考图像质量评估方法，其中一些已经超过了引人注目甚至全参考图像的性能质量评估模型。本文将审查图像质量评估的概念和指标以及视频质量评估，简要介绍了一些完整参考和半参考图像质量评估的方法，并专注于基于深度学习的非参考图像质量评估方法。然后介绍常用的合成数据库和现实世界数据库。最后，总结和呈现挑战。

全向图像和视频可以在虚拟现实（VR）环境中提供真实世界场景的沉浸式体验。我们在本文中介绍了一项感知全向图像质量评估（IQA）研究，因为在VR环境下提供良好的经验非常重要。我们首先建立一个全向IQA（OIQA）数据库，其中包括16个源图像和320个失真的图像，这些图像被4种通常遇到的失真类型降解，即JPEG压缩，JPEG2000压缩，高斯模糊和高斯噪声。然后，在VR环境中的OIQA数据库上进行了主观质量评估研究。考虑到人类只能在VR环境中的一个运动中看到场景的一部分，因此视觉注意力变得极为重要。因此，我们还在质量评级实验过程中跟踪头部和眼动数据。原始和扭曲的全向图像，主观质量评级以及头部和眼动数据构成了OIQA数据库。在OIQA数据库上测试了最先进的全参考（FR）IQA测量，并进行了一些与传统IQA不同的新观察结果。

近年来，图像存储和传输系统的快速发展，其中图像压缩起着重要作用。一般而言，开发图像压缩算法是为了确保以有限的比特速率确保良好的视觉质量。但是，由于采用不同的压缩优化方法，压缩图像可能具有不同的质量水平，需要对其进行定量评估。如今，主流全参考度量（FR）指标可有效预测在粗粒水平下压缩图像的质量（压缩图像的比特速率差异很明显），但是，它们对于细粒度的压缩图像的性能可能很差比特率差异非常微妙。因此，为了更好地提高经验质量（QOE）并为压缩算法提供有用的指导，我们提出了一种全参考图像质量评估（FR-IQA）方法，以针对细粒度的压缩图像进行压缩图像。具体而言，首先将参考图像和压缩图像转换为$ ycbcr $颜色空间。梯度特征是从对压缩伪像敏感的区域中提取的。然后，我们采用对数 - 盖尔转换来进一步分析纹理差异。最后，将获得的功能融合为质量分数。提出的方法在细粒度的压缩图像质量评估（FGIQA）数据库中进行了验证，该数据库尤其是用于评估具有亲密比特率的压缩图像质量的构建。实验结果表明，我们的公制优于FGIQA数据库上的主流FR-IQA指标。我们还在其他常用的压缩IQA数据库上测试我们的方法，结果表明，我们的方法在粗粒度压缩IQA数据库上也获得了竞争性能。

In this paper, we analyse two well-known objective image quality metrics, the peak-signal-to-noise ratio (PSNR) as well as the structural similarity index measure (SSIM), and we derive a simple mathematical relationship between them which works for various kinds of image degradations such as Gaussian blur, additive Gaussian white noise, jpeg and jpeg2000 compression. A series of tests realized on images extracted from the Kodak database gives a better understanding of the similarity and difference between the SSIM and the PSNR.

图像质量评估（IQA）指标被广泛用于定量估计一些形成，恢复，转换或增强算法后图像降解的程度。我们提出了Pytorch图像质量（PIQ），这是一个以可用性为中心的库，其中包含最受欢迎的现代IQA算法，并保证根据其原始命题正确实现并进行了彻底验证。在本文中，我们详细介绍了图书馆基础背后的原则，描述了使其可靠的评估策略，提供了展示性能时间权衡的基准，并强调了GPU加速的好处Pytorch后端。Pytorch图像质量是一个开源软件：https：//github.com/photosynthesis-team/piq/。

视频框架插值（VFI）是许多视频处理应用程序的有用工具。最近，它也已应用于视频压缩域中，以增强常规视频编解码器和基于学习的压缩体系结构。尽管近年来，人们对增强框架插值算法的发展的重点越来越大，但插值内容的感知质量评估仍然是一个开放的研究领域。在本文中，我们为VFI（Flolpips）介绍了一个定制的完整参考视频质量指标，该指标基于流行的感知图像质量指标LPIP，该指标LPIPS捕获了提取的图像特征空间中的感知降解。为了提高LPIP的性能用于评估插值内容，我们通过使用时间失真（通过比较光流）来加重特征差图图，重新设计了其空间特征聚合步骤。在BVI-VFI数据库中进行了评估，该数据库包含180个带有各种框架插值伪像的测试序列，Flolpips显示出优异的相关性能（具有统计学意义），主观地面真相超过12位流行的质量评估者。为了促进VFI质量评估的进一步研究，我们的代码可在https://danielism97.github.io/flolpips上公开获得。

任意神经风格转移是一个重要的主题，具有研究价值和工业应用前景，该主题旨在使用另一个样式呈现一个图像的结构。最近的研究已致力于任意风格转移（AST）的任务，以提高风格化质量。但是，关于AST图像的质量评估的探索很少，即使它可以指导不同算法的设计。在本文中，我们首先构建了一个新的AST图像质量评估数据库（AST-IQAD），该数据库包括150个内容样式的图像对以及由八种典型AST算法产生的相应的1200个风格化图像。然后，在我们的AST-IQAD数据库上进行了一项主观研究，该研究获得了三种主观评估（即内容保存（CP），样式相似（SR）和整体视觉（OV），该数据库获得了所有风格化图像的主观评分评分。 。为了定量测量AST图像的质量，我们提出了一个新的基于稀疏表示的图像质量评估度量（SRQE），该指标（SRQE）使用稀疏特征相似性来计算质量。 AST-IQAD的实验结果证明了该方法的优越性。数据集和源代码将在https://github.com/hangwei-chen/ast-iqad-srqe上发布

3D点云的客观质量评估对于在现实世界应用中的沉浸式多媒体系统的开发至关重要。尽管对2D图像和视频的感知质量评估成功，但对于具有大规模不规则分布的3D点的3D点云仍然很少。因此，在本文中，我们提出了一个带有结构引导重采样（SGR）的客观点云质量指数，以自动评估3D密集点云的感知视觉质量。所提出的SGR是无需任何参考信息的通用盲质量评估方法。具体而言，考虑到人类视觉系统（HVS）对结构信息高度敏感，我们首先利用点云的唯一正常向量来执行区域预处理，其中包括按键重新采样和局部区域构建。然后，我们提取三组与质量相关的特征，包括：1）几何密度特征； 2）颜色自然特征； 3）角度一致性特征。人脑的认知特征和自然性的规律性都涉及设计的质量感知功能，这些特征可以捕获扭曲的3D点云的最重要方面。对几个公开可用的主点云质量数据库进行的广泛实验验证了我们提出的SGR可以与最新的全参考，减少引用和无参考质量评估算法竞争。

在过去的几十年中，盲目的图像质量评估（BIQA）旨在准确地预测图像质量而无需任何原始参考信息，但一直在广泛关注。特别是，在深层神经网络的帮助下，取得了巨大进展。但是，对于夜间图像（NTI）的BIQA的研究仍然较少，通常患有复杂的真实扭曲，例如可见性降低，低对比度，添加噪声和颜色失真。这些多样化的真实降解特别挑战了有效的深神网络的设计，用于盲目NTI质量评估（NTIQE）。在本文中，我们提出了一个新颖的深层分解和双线性池网络（DDB-NET），以更好地解决此问题。 DDB-NET包含三个模块，即图像分解模块，一个特征编码模块和双线性池模块。图像分解模块的灵感来自Itinex理论，并涉及将输入NTI解耦到负责照明信息的照明层组件和负责内容信息的反射层组件。然后，编码模块的功能涉及分别植根于两个解耦组件的降解的特征表示。最后，通过将照明相关和与内容相关的降解作为两因素变化进行建模，将两个特征集组合在一起，将双线汇总在一起以形成统一的表示，以进行质量预测。在几个基准数据集上进行了广泛的实验，已对所提出的DDB-NET的优势得到了很好的验证。源代码将很快提供。

视频质量评估（VQA）仍然是一个重要而挑战性的问题，影响了最广泛的尺度的许多应用程序。移动设备和云计算技术的最新进展使得可以捕获，处理和共度高分辨率，高分辨率（HFR）视频几乎瞬间。能够监控和控制这些流式视频的质量可以使得能够提供更令人愉快的内容和感知的优化速率控制。因此，需要一种强迫需要开发可以在巨大尺度部署的VQA模型。虽然最近的一些效果已应用于可变帧速率和HFR视频质量的全参考（FR）分析，但是没有研究帧速率变化的无引用（NR）VQA算法的开发。在这里，我们提出了一种用于评估HFR视频的一级盲VQA模型，我们将其配给了帧群感知视频评估程序W / O参考（Faver）。 Faver使用扩展模型的空间自然场景统计数据，即包括节省空间小波分解的视频信号，进行有效的帧速率敏感质量预测。我们对几个HFR视频质量数据集的广泛实验表明，PEVER以合理的计算成本优于其他盲VQA算法。为了便于可重复的研究和公共评估，在线可以在线进行狂热的实施：\ url {https://github.com/uniqzheng/hfr-bvqa}。

图像质量评估（IQA）算法旨在再现人类对图像质量的看法。图像增强，生成和恢复模型的日益普及促使开发了许多方法来评估其性能。但是，大多数IQA解决方案旨在预测通用域中的图像质量，并适用于特定区域，例如医学成像，保持可疑。此外，对于特定任务的这些IQA指标的选择通常涉及故意引起的扭曲，例如手动添加噪声或人工模糊。然而，随后选择的指标被用来判断现实生活中计算机视觉模型的输出。在这项工作中，我们渴望通过对迄今为止的磁共振成像（MRI）进行最广泛的IQA评估研究来填补这些空白（14,700个主观得分）。我们使用经过培训的神经网络模型的输出，以解决与MRI相关的问题，包括扫描加速度，运动校正和DENOSISING中的图像重建。我们的重点是反映放射科医生对重建图像的看法，评估了MRI扫描质量的最具诊断性影响的标准：信噪比，对比度与噪声比率和人工制品的存在。七位训练有素的放射科医生评估了这些扭曲的图像，其判决随后与35个不同的图像质量指标（考虑到全参考，无参考和基于分布的指标）相关。对于所有被认为是解剖学和目标任务的三个拟议质量标准，发现最高的表现者 - DIST，HAARPSI，VSI和FID-VGG16 - 在三个提出的质量标准中都是有效的。

We investigate a model for image/video quality assessment based on building a set of codevectors representing in a sense some basic properties of images, similar to well-known CORNIA model. We analyze the codebook building method and propose some modifications for it. Also the algorithm is investigated from the point of inference time reduction. Both natural and synthetic images are used for building codebooks and some analysis of synthetic images used for codebooks is provided. It is demonstrated the results on quality assessment may be improves with the use if synthetic images for codebook construction. We also demonstrate regimes of the algorithm in which real time execution on CPU is possible for sufficiently high correlations with mean opinion score (MOS). Various pooling strategies are considered as well as the problem of metric sensitivity to bitrate.

随着渲染技术的开发，计算机图形生成的图像（CGI）已被广泛用于实践应用程序，例如建筑设计，视频游戏，模拟器，电影等。与自然场景图像（NSIS）不同，CGIS的扭曲是通常是由于施用设置不良和计算资源有限而引起的。更重要的是，某些CGI也可能遭受云游戏和流媒体等传输系统中的压缩变形。但是，已经提出了有限的工作来解决计算机图形生成图像的质量评估（CG-IQA）的问题。因此，在本文中，我们建立了一个大规模的主观CG-IQA数据库，以应对CG-IQA任务的挑战。我们通过以前的数据库和个人收藏来收集25,454个野外CGI。清洁数据后，我们仔细选择1,200 CGI来进行主观实验。在我们的数据库中测试了几种流行的无参考图像质量评估（NR-IQA）方法。实验结果表明，基于手工制作的方法与主观判断和基于深度学习的方法实现了较低的相关性，获得了相对更好的性能，这表明当前的NR-IQA模型不适合CG-IQA任务，并且迫切需要更有效的模型。

One of the main challenges in deep learning-based underwater image enhancement is the limited availability of high-quality training data. Underwater images are difficult to capture and are often of poor quality due to the distortion and loss of colour and contrast in water. This makes it difficult to train supervised deep learning models on large and diverse datasets, which can limit the model's performance. In this paper, we explore an alternative approach to supervised underwater image enhancement. Specifically, we propose a novel unsupervised underwater image enhancement framework that employs a conditional variational autoencoder (cVAE) to train a deep learning model with probabilistic adaptive instance normalization (PAdaIN) and statistically guided multi-colour space stretch that produces realistic underwater images. The resulting framework is composed of a U-Net as a feature extractor and a PAdaIN to encode the uncertainty, which we call UDnet. To improve the visual quality of the images generated by UDnet, we use a statistically guided multi-colour space stretch module that ensures visual consistency with the input image and provides an alternative to training using a ground truth image. The proposed model does not need manual human annotation and can learn with a limited amount of data and achieves state-of-the-art results on underwater images. We evaluated our proposed framework on eight publicly-available datasets. The results show that our proposed framework yields competitive performance compared to other state-of-the-art approaches in quantitative as well as qualitative metrics. Code available at https://github.com/alzayats/UDnet .

In recent years, large amounts of effort have been put into pushing forward the real-world application of dynamic digital human (DDH). However, most current quality assessment research focuses on evaluating static 3D models and usually ignores motion distortions. Therefore, in this paper, we construct a large-scale dynamic digital human quality assessment (DDH-QA) database with diverse motion content as well as multiple distortions to comprehensively study the perceptual quality of DDHs. Both model-based distortion (noise, compression) and motion-based distortion (binding error, motion unnaturalness) are taken into consideration. Ten types of common motion are employed to drive the DDHs and a total of 800 DDHs are generated in the end. Afterward, we render the video sequences of the distorted DDHs as the evaluation media and carry out a well-controlled subjective experiment. Then a benchmark experiment is conducted with the state-of-the-art video quality assessment (VQA) methods and the experimental results show that existing VQA methods are limited in assessing the perceptual loss of DDHs. The database will be made publicly available to facilitate future research.