与标准动态范围（SDR）视频相比，高动态范围（HDR）视频可以代表更大的亮度和色彩范围，并且正迅速成为行业标准。与传统SDR视频相比，HDR视频具有更具挑战性的捕获，传输和显示要求。凭借其更大的深度，高级的电流传输功能以及更广泛的颜色范围，因此需要专门设计用于预测HDR视频质量的视频质量算法。为此，我们介绍了HDR视频的首次公开发布的大规模主观研究。我们研究扭曲的影响，例如压缩和混叠对HDR视频质量的影响。我们还通过在黑暗实验室环境和更明亮的客厅环境中进行研究来研究环境照明对HDR视频感知质量的影响。总共有66名受试者参加了这项研究，并收集了20,000多个意见分数，这使得这成为有史以来最大的HDR视频质量研究。我们预计，该数据集将成为研究人员为HDR视频开发更好的感知质量模型的宝贵资源。

虚拟现实（VR）视频（通常以360美元$^\ Circ $视频形式）由于VR技术的快速开发以及消费级360 $^\ Circ $摄像机和显示器的显着普及而引起了人们的关注。因此，了解人们如何看待用户生成的VR视频，这些视频可能会受到混乱的真实扭曲，通常是在时空和时间上局部的。在本文中，我们建立了最大的360美元$^\ Circ $视频数据库之一，其中包含502个用户生成的视频，内容丰富和失真多样性。我们捕获了139位用户的观看行为（即扫描路径），并在四个不同的观看条件下（两个起点$ \ times $ $ $ $ $两个探索时间）收集了他们的意见分数。我们对记录的数据提供了详尽的统计分析，从而产生了一些有趣的观察结果，例如观看条件对观看行为和感知质量的重大影响。此外，我们还探讨了我们的数据和分析的其他用法，包括评估360 $^\ CIRC $视频的质量评估和显着性检测的计算模型。我们已经在https://github.com/yao-yiru/vr-video-database上提供了数据集和代码。

视频预测模型的研究被认为是对视频学习的基本方法。虽然存在用于预测过去几帧的未来帧像素值的多种生成模型，但已经发现预测帧的定量评估非常具有挑战性。在这种情况下，我们研究了预测视频的质量评估问题。我们创建了印度科学研究所预测视频质量评估（IISC PVQA）数据库，该数据库由300个视频组成，通过在不同的数据集上应用不同的预测模型，并伴随着人类观察分数。我们收集了这些视频的50名人类参与者的主观评级。我们的主观研究表明，人类观察者在预测视频的质量判断中非常一致。我们基准评估视频预测的几种普遍使用的措施，并表明它们与这些主观评分没有充分相关。我们介绍了两个新功能，以有效地捕获预测视频的质量，具有过去的帧的预测帧的深度特征的运动补偿余弦相似之处，以及从重新置于帧差异中提取的深度特征。我们表明，我们的特色设计导致了根据ISC PVQA数据库的人类判断的艺术质量预测的状态。数据库和代码在我们的项目网站上公开提供：https://nagabhushansn95.github.io/publications/2020/pvqa

视频质量评估（VQA）仍然是一个重要而挑战性的问题，影响了最广泛的尺度的许多应用程序。移动设备和云计算技术的最新进展使得可以捕获，处理和共度高分辨率，高分辨率（HFR）视频几乎瞬间。能够监控和控制这些流式视频的质量可以使得能够提供更令人愉快的内容和感知的优化速率控制。因此，需要一种强迫需要开发可以在巨大尺度部署的VQA模型。虽然最近的一些效果已应用于可变帧速率和HFR视频质量的全参考（FR）分析，但是没有研究帧速率变化的无引用（NR）VQA算法的开发。在这里，我们提出了一种用于评估HFR视频的一级盲VQA模型，我们将其配给了帧群感知视频评估程序W / O参考（Faver）。 Faver使用扩展模型的空间自然场景统计数据，即包括节省空间小波分解的视频信号，进行有效的帧速率敏感质量预测。我们对几个HFR视频质量数据集的广泛实验表明，PEVER以合理的计算成本优于其他盲VQA算法。为了便于可重复的研究和公共评估，在线可以在线进行狂热的实施：\ url {https://github.com/uniqzheng/hfr-bvqa}。

感知视频质量评估（VQA）是许多流和视频共享平台的组成部分。在这里，我们以自我监督的方式考虑学习具有感知相关的视频质量表示的问题。失真类型的识别和降解水平确定被用作辅助任务，以训练一个深度学习模型，该模型包含深度卷积神经网络（CNN），该模型提取了空间特征，以及捕获时间信息的复发单元。该模型是使用对比度损失训练的，因此我们将此训练框架和结果模型称为对比度质量估计器（Conviqt）。在测试过程中，训练有素的模型的权重被冷冻，并且线性回归器将学习的功能映射到No-Reference（NR）设置中的质量得分。我们通过分析模型预测与地面真相质量评级之间的相关性，并与最先进的NR-VQA模型相比，我们对多个VQA数据库进行了全面评估，并实现竞争性能在这些数据库上进行了培训。我们的消融实验表明，学到的表示形式非常强大，并且在合成和现实的扭曲中很好地概括了。我们的结果表明，可以使用自我监督的学习来获得具有感知轴承的引人注目的表示。这项工作中使用的实现已在https://github.com/pavancm/conviqt上提供。

包括视频和音频内容在内的视频会议已导致互联网流量的急剧增加，因为COVID-19大流行迫使数百万人在家中工作和学习。由于这种情况，需要进行高效且准确的视频质量工具，以监视和感知优化通过Zoom，Webex，Meet等进行了优化的远程息息流量，因此，全球视频会议的全球互联网流量已大大增加，因此，现有模型在Multi上的预测能力受到限制。 - 模式，实时流媒体介绍内容。在这里，我们通过多种方式解决了远程敏感视频质量评估（TVQA）的重大挑战。首先，我们通过收集来自不同国家 /地区的〜2k触觉视频来减轻主观标记的数据的缺乏，我们挤在了〜80k的主观质量标签上。使用此新资源，我们使用带有单独途径的多模式学习框架创建了一个在线视频质量预测框架，用于实时流媒体，以计算视觉和音频质量预测。我们的多合一模型能够在贴片，框架，剪辑和视听水平上提供准确的质量预测。我们的模型在现有质量数据库和新的TVQA数据库上都达到了最新的性能，计算费用降低，使其成为移动和嵌入式系统的有吸引力的解决方案。

全向图像和视频可以在虚拟现实（VR）环境中提供真实世界场景的沉浸式体验。我们在本文中介绍了一项感知全向图像质量评估（IQA）研究，因为在VR环境下提供良好的经验非常重要。我们首先建立一个全向IQA（OIQA）数据库，其中包括16个源图像和320个失真的图像，这些图像被4种通常遇到的失真类型降解，即JPEG压缩，JPEG2000压缩，高斯模糊和高斯噪声。然后，在VR环境中的OIQA数据库上进行了主观质量评估研究。考虑到人类只能在VR环境中的一个运动中看到场景的一部分，因此视觉注意力变得极为重要。因此，我们还在质量评级实验过程中跟踪头部和眼动数据。原始和扭曲的全向图像，主观质量评级以及头部和眼动数据构成了OIQA数据库。在OIQA数据库上测试了最先进的全参考（FR）IQA测量，并进行了一些与传统IQA不同的新观察结果。

图像质量评估（IQA）对基于图像的应用程序的重要性越来越重要。其目的是建立一种可以代替人类的模型，以准确评估图像质量。根据参考图像是否完整且可用，图像质量评估可分为三类：全引用（FR），减少参考（RR）和非参考（NR）图像质量评估。由于深度学习的蓬勃发展和研究人员的广泛关注，近年来提出了基于深度学习的几种非参考图像质量评估方法，其中一些已经超过了引人注目甚至全参考图像的性能质量评估模型。本文将审查图像质量评估的概念和指标以及视频质量评估，简要介绍了一些完整参考和半参考图像质量评估的方法，并专注于基于深度学习的非参考图像质量评估方法。然后介绍常用的合成数据库和现实世界数据库。最后，总结和呈现挑战。

In recent years, large amounts of effort have been put into pushing forward the real-world application of dynamic digital human (DDH). However, most current quality assessment research focuses on evaluating static 3D models and usually ignores motion distortions. Therefore, in this paper, we construct a large-scale dynamic digital human quality assessment (DDH-QA) database with diverse motion content as well as multiple distortions to comprehensively study the perceptual quality of DDHs. Both model-based distortion (noise, compression) and motion-based distortion (binding error, motion unnaturalness) are taken into consideration. Ten types of common motion are employed to drive the DDHs and a total of 800 DDHs are generated in the end. Afterward, we render the video sequences of the distorted DDHs as the evaluation media and carry out a well-controlled subjective experiment. Then a benchmark experiment is conducted with the state-of-the-art video quality assessment (VQA) methods and the experimental results show that existing VQA methods are limited in assessing the perceptual loss of DDHs. The database will be made publicly available to facilitate future research.

用户生成的内容（UGC）的盲或禁区视频质量评估已成为趋势，具有挑战性，迄今未解决的问题。因此，适用于该内容的准确和高效的视频质量预测因素都需要实现更智能的分析和处理UGC视频的需求。以前的研究表明，自然场景统计和深度学习特征既足以捕获空​​间扭曲，这有助于UGC视频质量问题的重要方面。然而，这些模型无法对实际应用中预测复杂和不同的UGC视频的质量无能为力或效率低。在这里，我们为UGC含量介绍了一种有效且高效的视频质量模型，我们将我们展示快速准确的视频质量评估员（Rapique），我们展示了与最先进的（SOTA）模型相对表现，而是具有订单-magnitude更快的运行时。 Rapique结合并利用了质量意识的现场统计特征和语义知识的深度卷积功能的优势，使我们能够设计用于视频质量建模的第一通用和有效的空间和时间（时空）带通统计模型。我们对最近的大型UGC视频质量数据库的实验结果表明，Rapique以相当更低的计算费用提供所有数据集的顶级表现。我们希望这项工作促进并激发进一步努力实现潜在的实时和低延迟应用程序的视频质量问题的实际建模。为促进公共用途，在线进行了求助的实施：\ url {https://github.com/vztu/rapique}。

Objective methods for assessing perceptual image quality have traditionally attempted to quantify the visibility of errors between a distorted image and a reference image using a variety of known properties of the human visual system. Under the assumption that human visual perception is highly adapted for extracting structural information from a scene, we introduce an alternative framework for quality assessment based on the degradation of structural information. As a specific example of this concept, we develop a Structural Similarity Index and demonstrate its promise through a set of intuitive examples, as well as comparison to both subjective ratings and state-of-the-art objective methods on a database of images compressed with JPEG and JPEG2000. 1

Measurement of visual quality is of fundamental importance for numerous image and video processing applications, where the goal of quality assessment (QA) algorithms is to automatically assess the quality of images or videos in agreement with human quality judgments. Over the years, many researchers have taken different approaches to the problem and have contributed significant research in this area, and claim to have made progress in their respective domains. It is important to evaluate the performance of these algorithms in a comparative setting and analyze the strengths and weaknesses of these methods. In this paper, we present results of an extensive subjective quality assessment study in which a total of 779 distorted images were evaluated by about two dozen human subjects. The "ground truth" image quality data obtained from about 25,000 individual human quality judgments is used to evaluate the performance of several prominent full-reference (FR) image quality assessment algorithms.To the best of our knowledge, apart from video quality studies conducted by the Video Quality Experts Group (VQEG), the study presented in this paper is the largest subjective image quality study in the literature in terms of number of images, distortion types, and number of human judgments per image.

随着渲染技术的开发，计算机图形生成的图像（CGI）已被广泛用于实践应用程序，例如建筑设计，视频游戏，模拟器，电影等。与自然场景图像（NSIS）不同，CGIS的扭曲是通常是由于施用设置不良和计算资源有限而引起的。更重要的是，某些CGI也可能遭受云游戏和流媒体等传输系统中的压缩变形。但是，已经提出了有限的工作来解决计算机图形生成图像的质量评估（CG-IQA）的问题。因此，在本文中，我们建立了一个大规模的主观CG-IQA数据库，以应对CG-IQA任务的挑战。我们通过以前的数据库和个人收藏来收集25,454个野外CGI。清洁数据后，我们仔细选择1,200 CGI来进行主观实验。在我们的数据库中测试了几种流行的无参考图像质量评估（NR-IQA）方法。实验结果表明，基于手工制作的方法与主观判断和基于深度学习的方法实现了较低的相关性，获得了相对更好的性能，这表明当前的NR-IQA模型不适合CG-IQA任务，并且迫切需要更有效的模型。

随着非专家们拍摄的野外视频的快速增长，盲目视频质量评估（VQA）已成为一个具有挑战性且苛刻的问题。尽管已经做出了许多努力来解决这个问题，但尚不清楚人类视觉系统（HVS）与视频的时间质量有何关系。同时，最近的工作发现，自然视频的框架变成了HV的感知领域，往往会形成表示形式的直线轨迹。通过获得的洞察力，即失真会损害感知的视频质量并导致感知表示的弯曲轨迹，我们提出了一个时间感知质量指数（TPQI），以通过描述表示形式的图形形态来测量时间失真。具体而言，我们首先从HVS的横向基因核（LGN）和主要视觉区域（V1）中提取视频感知表示，然后测量其轨迹的直率和紧凑性，以量化视频的自然性和内容连续性的降解。实验表明，HVS中的感知表示是一种预测主观时间质量的有效方法，因此TPQI首次可以实现与空间质量度量的可比性能，并且在评估具有较大时间变化的视频方面更加有效。我们进一步证明，通过与NIQE（空间质量指标）结合使用，TPQI可以在流行的野外视频数据集中实现最佳性能。更重要的是，除了要评估的视频之外，TPQI不需要任何其他信息，因此可以将其应用于任何数据集，而无需参数调整。源代码可在https://github.com/uolmm/tpqi-vqa上找到。

近年来，Imbersive显示器（例如VR耳机，AR眼镜，多视图显示器，自由点电视）已成为一种新的展示技术，与传统显示相比，提供了更好的视觉体验和观众的参与度。随着3D视频和展示技术的发展，高动态范围（HDR）摄像机和显示器的消费市场迅速增长。缺乏适当的实验数据是3D HDR视频技术领域的主要研究工作的关键障碍。同样，足够的现实世界多曝光实验数据集的不可用是用于HDR成像研究的主要瓶颈，从而限制了观众的体验质量（QOE）。在本文中，我们介绍了在印度理工学院马德拉斯校园内捕获的多元化立体曝光数据集，该数据集是多元化的动植物的所在地。该数据集使用ZED立体相机捕获，并提供户外位置的复杂场景，例如花园，路边景观，节日场地，建筑物和室内地区，例如学术和居住区。提出的数据集可容纳宽深度范围，复杂的深度结构，使物体运动复杂化，照明变化，丰富的色彩动态，纹理差异，除了通过移动摄像机和背景运动引入的显着随机性。拟议的数据集可公开向研究界公开使用。此外，详细描述了捕获，对齐和校准多曝光立体视频和图像的过程。最后，我们讨论了有关HDR成像，深度估计，一致的音调映射和3D HDR编码的进度，挑战，潜在用例和未来研究机会。

在这项工作中，我们为图像和视频的感知质量评估提供了一个简单而有效的统一模型。与通常由复杂的网络架构组成的现有模型或依赖于多个分支的串联，我们的模型通过仅介绍从骨干网的一个全局特征（即呈现的工作中的Resnet18）来实现相当的性能。结合一些培训技巧，所提出的模型超越了公共和私有数据集的SOTA模型的当前基线。基于建议的架构，我们释放了三个常见的真实情景训练硕士学位：UGC视频在野外，PGC视频中的压缩，带有压缩的游戏视频。这三种预先训练的型号可以直接申请质量评估，或者进一步微调以获取更多定制的用途。所有代码，SDK和所提出的模型的预先训练的权重在HTTPS://github.com/tencent/censeoqoe上公开使用。

Compressed videos often exhibit visually annoying artifacts, known as Perceivable Encoding Artifacts (PEAs), which dramatically degrade video visual quality. Subjective and objective measures capable of identifying and quantifying various types of PEAs are critical in improving visual quality. In this paper, we investigate the influence of four spatial PEAs (i.e. blurring, blocking, bleeding, and ringing) and two temporal PEAs (i.e. flickering and floating) on video quality. For spatial artifacts, we propose a visual saliency model with a low computational cost and higher consistency with human visual perception. In terms of temporal artifacts, self-attention based TimeSFormer is improved to detect temporal artifacts. Based on the six types of PEAs, a quality metric called Saliency-Aware Spatio-Temporal Artifacts Measurement (SSTAM) is proposed. Experimental results demonstrate that the proposed method outperforms state-of-the-art metrics. We believe that SSTAM will be beneficial for optimizing video coding techniques.

Scale-invariance is an open problem in many computer vision subfields. For example, object labels should remain constant across scales, yet model predictions diverge in many cases. This problem gets harder for tasks where the ground-truth labels change with the presentation scale. In image quality assessment (IQA), downsampling attenuates impairments, e.g., blurs or compression artifacts, which can positively affect the impression evoked in subjective studies. To accurately predict perceptual image quality, cross-resolution IQA methods must therefore account for resolution-dependent errors induced by model inadequacies as well as for the perceptual label shifts in the ground truth. We present the first study of its kind that disentangles and examines the two issues separately via KonX, a novel, carefully crafted cross-resolution IQA database. This paper contributes the following: 1. Through KonX, we provide empirical evidence of label shifts caused by changes in the presentation resolution. 2. We show that objective IQA methods have a scale bias, which reduces their predictive performance. 3. We propose a multi-scale and multi-column DNN architecture that improves performance over previous state-of-the-art IQA models for this task, including recent transformers. We thus both raise and address a novel research problem in image quality assessment.

The structural similarity image quality paradigm is based on the assumption that the human visual system is highly adapted for extracting structural information from the scene, and therefore a measure of structural similarity can provide a good approximation to perceived image quality. This paper proposes a multi-scale structural similarity method, which supplies more flexibility than previous single-scale methods in incorporating the variations of viewing conditions. We develop an image synthesis method to calibrate the parameters that define the relative importance of different scales. Experimental comparisons demonstrate the effectiveness of the proposed method.

In recent years, display intensity and contrast have increased considerably. Many displays support high dynamic range (HDR) and 10-bit color depth. Since high bit-depth is an emerging technology, video content is still largely shot and transmitted with a bit depth of 8 bits or less per color component. Insufficient bit-depths produce distortions called false contours or banding, and they are visible on high contrast screens. To deal with such distortions, researchers have proposed algorithms for bit-depth enhancement (dequantization). Such techniques convert videos with low bit-depth (LBD) to videos with high bit-depth (HBD). The quality of converted LBD video, however, is usually lower than that of the original HBD video, and many consumers prefer to keep the original HBD versions. In this paper, we propose an algorithm to determine whether a video has undergone conversion before compression. This problem is complex; it involves detecting outcomes of different dequantization algorithms in the presence of compression that strongly affects the least-significant bits (LSBs) in the video frames. Our algorithm can detect bit-depth enhancement and demonstrates good generalization capability, as it is able to determine whether a video has undergone processing by dequantization algorithms absent from the training dataset.