Objective methods for assessing perceptual image quality have traditionally attempted to quantify the visibility of errors between a distorted image and a reference image using a variety of known properties of the human visual system. Under the assumption that human visual perception is highly adapted for extracting structural information from a scene, we introduce an alternative framework for quality assessment based on the degradation of structural information. As a specific example of this concept, we develop a Structural Similarity Index and demonstrate its promise through a set of intuitive examples, as well as comparison to both subjective ratings and state-of-the-art objective methods on a database of images compressed with JPEG and JPEG2000. 1

The structural similarity image quality paradigm is based on the assumption that the human visual system is highly adapted for extracting structural information from the scene, and therefore a measure of structural similarity can provide a good approximation to perceived image quality. This paper proposes a multi-scale structural similarity method, which supplies more flexibility than previous single-scale methods in incorporating the variations of viewing conditions. We develop an image synthesis method to calibrate the parameters that define the relative importance of different scales. Experimental comparisons demonstrate the effectiveness of the proposed method.

图像质量评估（IQA）指标被广泛用于定量估计一些形成，恢复，转换或增强算法后图像降解的程度。我们提出了Pytorch图像质量（PIQ），这是一个以可用性为中心的库，其中包含最受欢迎的现代IQA算法，并保证根据其原始命题正确实现并进行了彻底验证。在本文中，我们详细介绍了图书馆基础背后的原则，描述了使其可靠的评估策略，提供了展示性能时间权衡的基准，并强调了GPU加速的好处Pytorch后端。Pytorch图像质量是一个开源软件：https：//github.com/photosynthesis-team/piq/。

We propose a natural scene statistic-based distortion-generic blind/no-reference (NR) image quality assessment (IQA) model that operates in the spatial domain. The new model, dubbed blind/referenceless image spatial quality evaluator (BRISQUE) does not compute distortion-specific features, such as ringing, blur, or blocking, but instead uses scene statistics of locally normalized luminance coefficients to quantify possible losses of "naturalness" in the image due to the presence of distortions, thereby leading to a holistic measure of quality. The underlying features used derive from the empirical distribution of locally normalized luminances and products of locally normalized luminances under a spatial natural scene statistic model. No transformation to another coordinate frame (DCT, wavelet, etc.) is required, distinguishing it from prior NR IQA approaches. Despite its simplicity, we are able to show that BRISQUE is statistically better than the full-reference peak signal-tonoise ratio and the structural similarity index, and is highly competitive with respect to all present-day distortion-generic NR IQA algorithms. BRISQUE has very low computational complexity, making it well suited for real time applications. BRISQUE features may be used for distortion-identification as well. To illustrate a new practical application of BRISQUE, we describe how a nonblind image denoising algorithm can be augmented with BRISQUE in order to perform blind image denoising. Results show that BRISQUE augmentation leads to performance improvements over state-of-the-art methods. A software release of BRISQUE is available online: http:// live.ece.utexas.edu/ research/ quality/ BRISQUE_release.zip for public use and evaluation.

Measurement of visual quality is of fundamental importance for numerous image and video processing applications, where the goal of quality assessment (QA) algorithms is to automatically assess the quality of images or videos in agreement with human quality judgments. Over the years, many researchers have taken different approaches to the problem and have contributed significant research in this area, and claim to have made progress in their respective domains. It is important to evaluate the performance of these algorithms in a comparative setting and analyze the strengths and weaknesses of these methods. In this paper, we present results of an extensive subjective quality assessment study in which a total of 779 distorted images were evaluated by about two dozen human subjects. The "ground truth" image quality data obtained from about 25,000 individual human quality judgments is used to evaluate the performance of several prominent full-reference (FR) image quality assessment algorithms.To the best of our knowledge, apart from video quality studies conducted by the Video Quality Experts Group (VQEG), the study presented in this paper is the largest subjective image quality study in the literature in terms of number of images, distortion types, and number of human judgments per image.

在过去的几十年中，盲目的图像质量评估（BIQA）旨在准确地预测图像质量而无需任何原始参考信息，但一直在广泛关注。特别是，在深层神经网络的帮助下，取得了巨大进展。但是，对于夜间图像（NTI）的BIQA的研究仍然较少，通常患有复杂的真实扭曲，例如可见性降低，低对比度，添加噪声和颜色失真。这些多样化的真实降解特别挑战了有效的深神网络的设计，用于盲目NTI质量评估（NTIQE）。在本文中，我们提出了一个新颖的深层分解和双线性池网络（DDB-NET），以更好地解决此问题。 DDB-NET包含三个模块，即图像分解模块，一个特征编码模块和双线性池模块。图像分解模块的灵感来自Itinex理论，并涉及将输入NTI解耦到负责照明信息的照明层组件和负责内容信息的反射层组件。然后，编码模块的功能涉及分别植根于两个解耦组件的降解的特征表示。最后，通过将照明相关和与内容相关的降解作为两因素变化进行建模，将两个特征集组合在一起，将双线汇总在一起以形成统一的表示，以进行质量预测。在几个基准数据集上进行了广泛的实验，已对所提出的DDB-NET的优势得到了很好的验证。源代码将很快提供。

在本文中，提出了一种基于高动态范围（HDR）图像的频率差异的新颖有效的图像质量评估（IQA）算法，称为基于局部全球频率特征模型（LGFM）。由假设人类视觉系统高度适应于在感知视觉场景时提取结构信息和部分频率的动机，Gabor和Butterworth滤镜分别用于HDR图像的亮度，分别提取本地和全局频率特征。相似性测量和特征池在频率特征上依次执行，以获得预测的质量评分。在四个广泛使用的基准上评估的实验表明，与最先进的HDR IQA方法相比，所提出的LGFM可以提供更高的主观感知一致性。我们的代码可在：\ url {https://github.com/eezkni/lgfm}中获得。

近年来，图像存储和传输系统的快速发展，其中图像压缩起着重要作用。一般而言，开发图像压缩算法是为了确保以有限的比特速率确保良好的视觉质量。但是，由于采用不同的压缩优化方法，压缩图像可能具有不同的质量水平，需要对其进行定量评估。如今，主流全参考度量（FR）指标可有效预测在粗粒水平下压缩图像的质量（压缩图像的比特速率差异很明显），但是，它们对于细粒度的压缩图像的性能可能很差比特率差异非常微妙。因此，为了更好地提高经验质量（QOE）并为压缩算法提供有用的指导，我们提出了一种全参考图像质量评估（FR-IQA）方法，以针对细粒度的压缩图像进行压缩图像。具体而言，首先将参考图像和压缩图像转换为$ ycbcr $颜色空间。梯度特征是从对压缩伪像敏感的区域中提取的。然后，我们采用对数 - 盖尔转换来进一步分析纹理差异。最后，将获得的功能融合为质量分数。提出的方法在细粒度的压缩图像质量评估（FGIQA）数据库中进行了验证，该数据库尤其是用于评估具有亲密比特率的压缩图像质量的构建。实验结果表明，我们的公制优于FGIQA数据库上的主流FR-IQA指标。我们还在其他常用的压缩IQA数据库上测试我们的方法，结果表明，我们的方法在粗粒度压缩IQA数据库上也获得了竞争性能。

3D点云的客观质量评估对于在现实世界应用中的沉浸式多媒体系统的开发至关重要。尽管对2D图像和视频的感知质量评估成功，但对于具有大规模不规则分布的3D点的3D点云仍然很少。因此，在本文中，我们提出了一个带有结构引导重采样（SGR）的客观点云质量指数，以自动评估3D密集点云的感知视觉质量。所提出的SGR是无需任何参考信息的通用盲质量评估方法。具体而言，考虑到人类视觉系统（HVS）对结构信息高度敏感，我们首先利用点云的唯一正常向量来执行区域预处理，其中包括按键重新采样和局部区域构建。然后，我们提取三组与质量相关的特征，包括：1）几何密度特征； 2）颜色自然特征； 3）角度一致性特征。人脑的认知特征和自然性的规律性都涉及设计的质量感知功能，这些特征可以捕获扭曲的3D点云的最重要方面。对几个公开可用的主点云质量数据库进行的广泛实验验证了我们提出的SGR可以与最新的全参考，减少引用和无参考质量评估算法竞争。

随着高动态范围（HDR）摄影的日益普及和可访问性，用于动态范围压缩和中等呈现的音调映射操作员（TMO）实际上是要求的。在本文中，我们开发了一种基于生物学的，计算效率和感知优化的两阶段神经网络图像TMO。在第一阶段，由人类视觉系统（HVS）早期阶段的生理学动机，我们首先将HDR图像分解为标准化的Laplacian金字塔。然后，我们使用两个轻巧的深神经网络（DNN），将这种归一化表示作为输入并估计相应LDR图像的拉普拉斯金字塔。我们通过最小化标准化的拉普拉斯金字塔距离（NLPD）来优化音调映射网络，这是一种对人类对音调映射图像质量判断的校准的感知度量。在第二阶段中，我们通过输入HDR图像``校准''，生成具有不同颜色饱和度和细节可见性的伪型曝光图像堆栈。然后，我们通过最大化MEF-SSIM的变体，这是另一个具有感知校准的度量以进行图像融合，将另一个轻巧的DNN训练将LDR图像堆叠融合到所需的LDR图像中。通过这样做，提出的TMO是完全自动的，以映射未校准的HDR图像。在一组独立的HDR图像中，我们发现我们的方法生成具有更好的视觉质量的图像，并且是本地最快的TMO之一。

虚拟现实（VR）视频（通常以360美元$^\ Circ $视频形式）由于VR技术的快速开发以及消费级360 $^\ Circ $摄像机和显示器的显着普及而引起了人们的关注。因此，了解人们如何看待用户生成的VR视频，这些视频可能会受到混乱的真实扭曲，通常是在时空和时间上局部的。在本文中，我们建立了最大的360美元$^\ Circ $视频数据库之一，其中包含502个用户生成的视频，内容丰富和失真多样性。我们捕获了139位用户的观看行为（即扫描路径），并在四个不同的观看条件下（两个起点$ \ times $ $ $ $ $两个探索时间）收集了他们的意见分数。我们对记录的数据提供了详尽的统计分析，从而产生了一些有趣的观察结果，例如观看条件对观看行为和感知质量的重大影响。此外，我们还探讨了我们的数据和分析的其他用法，包括评估360 $^\ CIRC $视频的质量评估和显着性检测的计算模型。我们已经在https://github.com/yao-yiru/vr-video-database上提供了数据集和代码。

数字图像包含大量冗余，因此，应用了压缩以减少图像尺寸而不会损失合理的图像质量。在包含图像序列的视频的情况下，在包含图像序列和更高的压缩比中，在低吞吐量网络中实现了相同的突出。评估这种情况下的图像质量变得特别兴趣。大多数情景中的主观评估变得不可行，因此客观评估是首选。在三种客观质量措施中，全文和减少参考方法需要某种形式的原始图像来计算在广播或IP视频等情景中不可行的质量分数。因此，提出了一种非参考质量度量来评估计算亮度和多尺度梯度统计的数字图像的质量，以及平均减去对比度标准化产品作为具有缩放共轭梯度的前馈神经网络的特征。训练有素的网络提供了良好的回归和R2测量，并进一步测试实时图像质量评估数据库第2版已显示有前途的结果。 Pearson，Kendall和Spearman的相关性是计算预测和实际质量评分之间的相关性，结果与最先进的系统相当。此外，所提出的指标的计算方式比其对应物更快，并且可以用于图像序列的质量评估。

视频质量评估（VQA）仍然是一个重要而挑战性的问题，影响了最广泛的尺度的许多应用程序。移动设备和云计算技术的最新进展使得可以捕获，处理和共度高分辨率，高分辨率（HFR）视频几乎瞬间。能够监控和控制这些流式视频的质量可以使得能够提供更令人愉快的内容和感知的优化速率控制。因此，需要一种强迫需要开发可以在巨大尺度部署的VQA模型。虽然最近的一些效果已应用于可变帧速率和HFR视频质量的全参考（FR）分析，但是没有研究帧速率变化的无引用（NR）VQA算法的开发。在这里，我们提出了一种用于评估HFR视频的一级盲VQA模型，我们将其配给了帧群感知视频评估程序W / O参考（Faver）。 Faver使用扩展模型的空间自然场景统计数据，即包括节省空间小波分解的视频信号，进行有效的帧速率敏感质量预测。我们对几个HFR视频质量数据集的广泛实验表明，PEVER以合理的计算成本优于其他盲VQA算法。为了便于可重复的研究和公共评估，在线可以在线进行狂热的实施：\ url {https://github.com/uniqzheng/hfr-bvqa}。

用户生成的内容（UGC）的盲或禁区视频质量评估已成为趋势，具有挑战性，迄今未解决的问题。因此，适用于该内容的准确和高效的视频质量预测因素都需要实现更智能的分析和处理UGC视频的需求。以前的研究表明，自然场景统计和深度学习特征既足以捕获空​​间扭曲，这有助于UGC视频质量问题的重要方面。然而，这些模型无法对实际应用中预测复杂和不同的UGC视频的质量无能为力或效率低。在这里，我们为UGC含量介绍了一种有效且高效的视频质量模型，我们将我们展示快速准确的视频质量评估员（Rapique），我们展示了与最先进的（SOTA）模型相对表现，而是具有订单-magnitude更快的运行时。 Rapique结合并利用了质量意识的现场统计特征和语义知识的深度卷积功能的优势，使我们能够设计用于视频质量建模的第一通用和有效的空间和时间（时空）带通统计模型。我们对最近的大型UGC视频质量数据库的实验结果表明，Rapique以相当更低的计算费用提供所有数据集的顶级表现。我们希望这项工作促进并激发进一步努力实现潜在的实时和低延迟应用程序的视频质量问题的实际建模。为促进公共用途，在线进行了求助的实施：\ url {https://github.com/vztu/rapique}。

现有的基于深度学习的全参考IQA（FR-IQA）模型通常通过明确比较特征，以确定性的方式预测图像质量，从而衡量图像严重扭曲的图像是多远，相应的功能与参考的空间相对远。图片。本文中，我们从不同的角度看这个问题，并提议从统计分布的角度对知觉空间中的质量降解进行建模。因此，根据深度特征域中的Wasserstein距离来测量质量。更具体地说，根据执行最终质量评分，测量了预训练VGG网络的每个阶段的1Dwasserstein距离。 Deep Wasserstein距离（DEEPWSD）在神经网络的功能上执行的，可以更好地解释由各种扭曲引起的质量污染，并提出了高级质量预测能力。广泛的实验和理论分析表明，在质量预测和优化方面，提出的DEEPWSD的优越性。

视频预测模型的研究被认为是对视频学习的基本方法。虽然存在用于预测过去几帧的未来帧像素值的多种生成模型，但已经发现预测帧的定量评估非常具有挑战性。在这种情况下，我们研究了预测视频的质量评估问题。我们创建了印度科学研究所预测视频质量评估（IISC PVQA）数据库，该数据库由300个视频组成，通过在不同的数据集上应用不同的预测模型，并伴随着人类观察分数。我们收集了这些视频的50名人类参与者的主观评级。我们的主观研究表明，人类观察者在预测视频的质量判断中非常一致。我们基准评估视频预测的几种普遍使用的措施，并表明它们与这些主观评分没有充分相关。我们介绍了两个新功能，以有效地捕获预测视频的质量，具有过去的帧的预测帧的深度特征的运动补偿余弦相似之处，以及从重新置于帧差异中提取的深度特征。我们表明，我们的特色设计导致了根据ISC PVQA数据库的人类判断的艺术质量预测的状态。数据库和代码在我们的项目网站上公开提供：https://nagabhushansn95.github.io/publications/2020/pvqa

在水下活动期间获得的图像遭受了水的环境特性，例如浊度和衰减。这些现象会导致颜色失真，模糊和对比度减少。另外，不规则的环境光分布会导致色道不平衡和具有高强度像素的区域。最近的作品与水下图像增强有关，并基于深度学习方法，解决了缺乏生成合成基地真相的配对数据集。在本文中，我们提出了一种基于深度学习的水下图像增强的自我监督学习方法，不需要配对的数据集。提出的方法估计了水下图像中存在的降解。此外，自动编码器重建此图像，并使用估计的降解信息降解其输出图像。因此，该策略在训练阶段的损失函数中用降级版本代替了输出图像。此过程\ textIt {Misleads}学会补偿其他降解的神经网络。结果，重建的图像是输入图像的增强版本。此外，该算法还提出了一个注意模块，以减少通过颜色通道不平衡和异常区域在增强图像中产生的高强度区域。此外，提出的方法不需要基本真实。此外，仅使用真实的水下图像来训练神经网络，结果表明该方法在颜色保存，颜色铸造降低和对比度改进方面的有效性。

图像质量评估（IQA）对基于图像的应用程序的重要性越来越重要。其目的是建立一种可以代替人类的模型，以准确评估图像质量。根据参考图像是否完整且可用，图像质量评估可分为三类：全引用（FR），减少参考（RR）和非参考（NR）图像质量评估。由于深度学习的蓬勃发展和研究人员的广泛关注，近年来提出了基于深度学习的几种非参考图像质量评估方法，其中一些已经超过了引人注目甚至全参考图像的性能质量评估模型。本文将审查图像质量评估的概念和指标以及视频质量评估，简要介绍了一些完整参考和半参考图像质量评估的方法，并专注于基于深度学习的非参考图像质量评估方法。然后介绍常用的合成数据库和现实世界数据库。最后，总结和呈现挑战。

人们对开发图像超分辨率（SR）算法的兴趣越来越大，该算法将低分辨率（LR）转换为更高分辨率的图像，但是自动评估超级分辨图像的视觉质量仍然是一个具有挑战性的问题。在这里，我们在确定性保真度（DF）与统计保真度（SF）的二维（2D）空间中查看SR图像质量评估（SR IQA）的问题。这使我们能够更好地理解现有SR算法的优势和缺点，这些算法在（DF，SF）的2D空间中在不同簇中产生图像。具体而言，我们观察到更传统的SR算法的一种有趣趋势，这些算法通常倾向于在失去SF的同时优化DF，以及最新的基于生成的对抗网络（GAN）的方法，相比之下，这些方法在实现高SF方面具有很强的优势，但有时在高SF方面表现出很强的优势维护DF。此外，我们提出了一个基于内容依赖性的清晰度和纹理评估的不确定性加权方案，将两种保真度措施合并为名为“超级分辨率图像保真度（SRIF）指数的总体质量预测”，这表明了与最新的绩效相对的卓越性能ART IQA模型对主题评级数据集进行测试。

We describe an end-to-end trainable model for image compression based on variational autoencoders. The model incorporates a hyperprior to effectively capture spatial dependencies in the latent representation. This hyperprior relates to side information, a concept universal to virtually all modern image codecs, but largely unexplored in image compression using artificial neural networks (ANNs). Unlike existing autoencoder compression methods, our model trains a complex prior jointly with the underlying autoencoder. We demonstrate that this model leads to state-of-the-art image compression when measuring visual quality using the popular MS-SSIM index, and yields rate-distortion performance surpassing published ANN-based methods when evaluated using a more traditional metric based on squared error (PSNR). Furthermore, we provide a qualitative comparison of models trained for different distortion metrics.