用户生成的内容(UGC)的盲或禁区视频质量评估已成为趋势,具有挑战性,迄今未解决的问题。因此,适用于该内容的准确和高效的视频质量预测因素都需要实现更智能的分析和处理UGC视频的需求。以前的研究表明,自然场景统计和深度学习特征既足以捕获空​​间扭曲,这有助于UGC视频质量问题的重要方面。然而,这些模型无法对实际应用中预测复杂和不同的UGC视频的质量无能为力或效率低。在这里,我们为UGC含量介绍了一种有效且高效的视频质量模型,我们将我们展示快速准确的视频质量评估员(Rapique),我们展示了与最先进的(SOTA)模型相对表现,而是具有订单-magnitude更快的运行时。 Rapique结合并利用了质量意识的现场统计特征和语义知识的深度卷积功能的优势,使我们能够设计用于视频质量建模的第一通用和有效的空间和时间(时空)带通统计模型。我们对最近的大型UGC视频质量数据库的实验结果表明,Rapique以相当更低的计算费用提供所有数据集的顶级表现。我们希望这项工作促进并激发进一步努力实现潜在的实时和低延迟应用程序的视频质量问题的实际建模。为促进公共用途,在线进行了求助的实施:\ url {https://github.com/vztu/rapique}。
translated by 谷歌翻译
视频质量评估(VQA)仍然是一个重要而挑战性的问题,影响了最广泛的尺度的许多应用程序。移动设备和云计算技术的最新进展使得可以捕获,处理和共度高分辨率,高分辨率(HFR)视频几乎瞬间。能够监控和控制这些流式视频的质量可以使得能够提供更令人愉快的内容和感知的优化速率控制。因此,需要一种强迫需要开发可以在巨大尺度部署的VQA模型。虽然最近的一些效果已应用于可变帧速率和HFR视频质量的全参考(FR)分析,但是没有研究帧速率变化的无引用(NR)VQA算法的开发。在这里,我们提出了一种用于评估HFR视频的一级盲VQA模型,我们将其配给了帧群感知视频评估程序W / O参考(Faver)。 Faver使用扩展模型的空间自然场景统计数据,即包括节省空间小波分解的视频信号,进行有效的帧速率敏感质量预测。我们对几个HFR视频质量数据集的广泛实验表明,PEVER以合理的计算成本优于其他盲VQA算法。为了便于可重复的研究和公共评估,在线可以在线进行狂热的实施:\ url {https://github.com/uniqzheng/hfr-bvqa}。
translated by 谷歌翻译
感知视频质量评估(VQA)是许多流和视频共享平台的组成部分。在这里,我们以自我监督的方式考虑学习具有感知相关的视频质量表示的问题。失真类型的识别和降解水平确定被用作辅助任务,以训练一个深度学习模型,该模型包含深度卷积神经网络(CNN),该模型提取了空间特征,以及捕获时间信息的复发单元。该模型是使用对比度损失训练的,因此我们将此训练框架和结果模型称为对比度质量估计器(Conviqt)。在测试过程中,训练有素的模型的权重被冷冻,并且线性回归器将学习的功能映射到No-Reference(NR)设置中的质量得分。我们通过分析模型预测与地面真相质量评级之间的相关性,并与最先进的NR-VQA模型相比,我们对多个VQA数据库进行了全面评估,并实现竞争性能在这些数据库上进行了培训。我们的消融实验表明,学到的表示形式非常强大,并且在合成和现实的扭曲中很好地概括了。我们的结果表明,可以使用自我监督的学习来获得具有感知轴承的引人注目的表示。这项工作中使用的实现已在https://github.com/pavancm/conviqt上提供。
translated by 谷歌翻译
随着非专家们拍摄的野外视频的快速增长,盲目视频质量评估(VQA)已成为一个具有挑战性且苛刻的问题。尽管已经做出了许多努力来解决这个问题,但尚不清楚人类视觉系统(HVS)与视频的时间质量有何关系。同时,最近的工作发现,自然视频的框架变成了HV的感知领域,往往会形成表示形式的直线轨迹。通过获得的洞察力,即失真会损害感知的视频质量并导致感知表示的弯曲轨迹,我们提出了一个时间感知质量指数(TPQI),以通过描述表示形式的图形形态来测量时间失真。具体而言,我们首先从HVS的横向基因核(LGN)和主要视觉区域(V1)中提取视频感知表示,然后测量其轨迹的直率和紧凑性,以量化视频的自然性和内容连续性的降解。实验表明,HVS中的感知表示是一种预测主观时间质量的有效方法,因此TPQI首次可以实现与空间质量度量的可比性能,并且在评估具有较大时间变化的视频方面更加有效。我们进一步证明,通过与NIQE(空间质量指标)结合使用,TPQI可以在流行的野外视频数据集中实现最佳性能。更重要的是,除了要评估的视频之外,TPQI不需要任何其他信息,因此可以将其应用于任何数据集,而无需参数调整。源代码可在https://github.com/uolmm/tpqi-vqa上找到。
translated by 谷歌翻译
We propose a natural scene statistic-based distortion-generic blind/no-reference (NR) image quality assessment (IQA) model that operates in the spatial domain. The new model, dubbed blind/referenceless image spatial quality evaluator (BRISQUE) does not compute distortion-specific features, such as ringing, blur, or blocking, but instead uses scene statistics of locally normalized luminance coefficients to quantify possible losses of "naturalness" in the image due to the presence of distortions, thereby leading to a holistic measure of quality. The underlying features used derive from the empirical distribution of locally normalized luminances and products of locally normalized luminances under a spatial natural scene statistic model. No transformation to another coordinate frame (DCT, wavelet, etc.) is required, distinguishing it from prior NR IQA approaches. Despite its simplicity, we are able to show that BRISQUE is statistically better than the full-reference peak signal-tonoise ratio and the structural similarity index, and is highly competitive with respect to all present-day distortion-generic NR IQA algorithms. BRISQUE has very low computational complexity, making it well suited for real time applications. BRISQUE features may be used for distortion-identification as well. To illustrate a new practical application of BRISQUE, we describe how a nonblind image denoising algorithm can be augmented with BRISQUE in order to perform blind image denoising. Results show that BRISQUE augmentation leads to performance improvements over state-of-the-art methods. A software release of BRISQUE is available online: http:// live.ece.utexas.edu/ research/ quality/ BRISQUE_release.zip for public use and evaluation.
translated by 谷歌翻译
由于空间分辨率的巨大改进,4K内容可以为消费者提供更严肃的视觉体验。但是,由于分辨率扩大和特定的扭曲,现有的盲图质量评估(BIQA)方法不适合原始和升级的4K内容物。在本文中,我们提出了一个针对4K内容的深度学习的BIQA模型,一方面可以识别True和pseudo 4K内容,另一方面可以评估其感知视觉质量。考虑到高空间分辨率可以代表更丰富的高频信息的特征,我们首先提出了基于灰色级别的共发生矩阵(GLCM)的纹理复杂度度量,以从4K图像中选择三个代表性图像贴片,这可以减少计算复杂性,被证明对通过实验的总体质量预测非常有效。然后,我们从卷积神经网络(CNN)的中间层中提取不同种类的视觉特征,并将它们集成到质量感知的特征表示中。最后,使用两个多层感知(MLP)网络用于将质量感知功能映射到类概率和每个贴片的质量分数中。总体质量指数是通过平均贴片结果汇总获得的。提出的模型通过多任务学习方式进行了训练,我们引入了不确定性原理,以平衡分类和回归任务的损失。实验结果表明,所提出的模型的表现均优于所有4K内容质量评估数据库中的BIQA指标。
translated by 谷歌翻译
视频预测模型的研究被认为是对视频学习的基本方法。虽然存在用于预测过去几帧的未来帧像素值的多种生成模型,但已经发现预测帧的定量评估非常具有挑战性。在这种情况下,我们研究了预测视频的质量评估问题。我们创建了印度科学研究所预测视频质量评估(IISC PVQA)数据库,该数据库由300个视频组成,通过在不同的数据集上应用不同的预测模型,并伴随着人类观察分数。我们收集了这些视频的50名人类参与者的主观评级。我们的主观研究表明,人类观察者在预测视频的质量判断中非常一致。我们基准评估视频预测的几种普遍使用的措施,并表明它们与这些主观评分没有充分相关。我们介绍了两个新功能,以有效地捕获预测视频的质量,具有过去的帧的预测帧的深度特征的运动补偿余弦相似之处,以及从重新置于帧差异中提取的深度特征。我们表明,我们的特色设计导致了根据ISC PVQA数据库的人类判断的艺术质量预测的状态。数据库和代码在我们的项目网站上公开提供:https://nagabhushansn95.github.io/publications/2020/pvqa
translated by 谷歌翻译
Point Cloud是3D内容使用最广泛使用的数字表示格式之一,其视觉质量可能会在生产过程中遇到噪声和几何变化,以及在传输过程中的压缩和压缩采样。为了应对点云质量评估(PCQA)的挑战,已经提出了许多PCQA方法来评估点云的视觉质量水平,以评估渲染的静态2D投影。尽管这种基于投影的PCQA方法在成熟图像质量评估(IQA)方法的帮助下实现了竞争性能,但它们忽略了动态质量感知信息,这与观察者倾向于通过两种静态感知点云的事实完全不符和动态视图。因此,在本文中,我们将点云视为移动相机视频,并通过使用视频质量评估(VQA)方法(NR)方式探索处理PCQA任务的方式。首先,我们通过四个圆形路径将相机围绕点云旋转来生成捕获的视频。然后,我们分别使用可训练的2D-CNN和预训练的3D-CNN模型从所选的关键帧和视频剪辑中提取空间和时间质量感知功能。最后,点云的视觉质量由回归的视频质量值表示。实验结果表明,所提出的方法可有效预测点云的视觉质量水平,甚至可以使用全参考(FR)PCQA方法竞争。消融研究进一步验证了提出的框架的合理性,并确认了从动态视图中提取的质量感知特征所做的贡献。
translated by 谷歌翻译
包括视频和音频内容在内的视频会议已导致互联网流量的急剧增加,因为COVID-19大流行迫使数百万人在家中工作和学习。由于这种情况,需要进行高效且准确的视频质量工具,以监视和感知优化通过Zoom,Webex,Meet等进行了优化的远程息息流量,因此,全球视频会议的全球互联网流量已大大增加,因此,现有模型在Multi上的预测能力受到限制。 - 模式,实时流媒体介绍内容。在这里,我们通过多种方式解决了远程敏感视频质量评估(TVQA)的重大挑战。首先,我们通过收集来自不同国家 /地区的〜2k触觉视频来减轻主观标记的数据的缺乏,我们挤在了〜80k的主观质量标签上。使用此新资源,我们使用带有单独途径的多模式学习框架创建了一个在线视频质量预测框架,用于实时流媒体,以计算视觉和音频质量预测。我们的多合一模型能够在贴片,框架,剪辑和视听水平上提供准确的质量预测。我们的模型在现有质量数据库和新的TVQA数据库上都达到了最新的性能,计算费用降低,使其成为移动和嵌入式系统的有吸引力的解决方案。
translated by 谷歌翻译
360 {\ TextDegree}视频的盲目视觉质量评估(BVQA)在优化沉浸式多媒体系统中起着关键作用。在评估360 {\ TextDegree}视频的质量时,人类倾向于从每个球形帧的基于视口的空间失真来识别其在相邻帧中的运动伪影,以视频级质量分数为止,即渐进性质量评估范式。然而,现有的BVQA方法对于360 {\ TextDegree}视频忽略了这条范式。在本文中,我们考虑了人类对球面视频质量的逐步范例,因此提出了一种新颖的BVQA方法(即ProvQA),通过逐步学习从像素,帧和视频中逐步学习。对应于像素,帧和视频的渐进学习,三个子网被设计为我们的PROPQA方法,即球形感知感知质量预测(SPAQ),运动感知感知质量预测(MPAQ)和多帧时间非本地(MFTN)子网。 SPAQ子网首先模拟基于人的球面感知机制的空间质量下降。然后,通过跨越相邻帧的运动提示,MPAQ子网适当地结合了在360 {\ TextDegree}视频上的质量评估的运动上下文信息。最后,MFTN子网聚集多帧质量劣化,通过探索来自多个帧的长期质量相关性来产生最终质量分数。实验验证了我们的方法在两个数据集中的360 {\ TextDegree}视频上显着提高了最先进的BVQA性能,该代码是公共\ url {https://github.com/yanglixiaoshen/的代码Provqa。}
translated by 谷歌翻译
数字图像包含大量冗余,因此,应用了压缩以减少图像尺寸而不会损失合理的图像质量。在包含图像序列的视频的情况下,在包含图像序列和更高的压缩比中,在低吞吐量网络中实现了相同的突出。评估这种情况下的图像质量变得特别兴趣。大多数情景中的主观评估变得不可行,因此客观评估是首选。在三种客观质量措施中,全文和减少参考方法需要某种形式的原始图像来计算在广播或IP视频等情景中不可行的质量分数。因此,提出了一种非参考质量度量来评估计算亮度和多尺度梯度统计的数字图像的质量,以及平均减去对比度标准化产品作为具有缩放共轭梯度的前馈神经网络的特征。训练有素的网络提供了良好的回归和R2测量,并进一步测试实时图像质量评估数据库第2版已显示有前途的结果。 Pearson,Kendall和Spearman的相关性是计算预测和实际质量评分之间的相关性,结果与最先进的系统相当。此外,所提出的指标的计算方式比其对应物更快,并且可以用于图像序列的质量评估。
translated by 谷歌翻译
在过去的几十年中,盲目的图像质量评估(BIQA)旨在准确地预测图像质量而无需任何原始参考信息,但一直在广泛关注。特别是,在深层神经网络的帮助下,取得了巨大进展。但是,对于夜间图像(NTI)的BIQA的研究仍然较少,通常患有复杂的真实扭曲,例如可见性降低,低对比度,添加噪声和颜色失真。这些多样化的真实降解特别挑战了有效的深神网络的设计,用于盲目NTI质量评估(NTIQE)。在本文中,我们提出了一个新颖的深层分解和双线性池网络(DDB-NET),以更好地解决此问题。 DDB-NET包含三个模块,即图像分解模块,一个特征编码模块和双线性池模块。图像分解模块的灵感来自Itinex理论,并涉及将输入NTI解耦到负责照明信息的照明层组件和负责内容信息的反射层组件。然后,编码模块的功能涉及分别植根于两个解耦组件的降解的特征表示。最后,通过将照明相关和与内容相关的降解作为两因素变化进行建模,将两个特征集组合在一起,将双线汇总在一起以形成统一的表示,以进行质量预测。在几个基准数据集上进行了广泛的实验,已对所提出的DDB-NET的优势得到了很好的验证。源代码将很快提供。
translated by 谷歌翻译
在这项工作中,我们为图像和视频的感知质量评估提供了一个简单而有效的统一模型。与通常由复杂的网络架构组成的现有模型或依赖于多个分支的串联,我们的模型通过仅介绍从骨干网的一个全局特征(即呈现的工作中的Resnet18)来实现相当的性能。结合一些培训技巧,所提出的模型超越了公共和私有数据集的SOTA模型的当前基线。基于建议的架构,我们释放了三个常见的真实情景训练硕士学位:UGC视频在野外,PGC视频中的压缩,带有压缩的游戏视频。这三种预先训练的型号可以直接申请质量评估,或者进一步微调以获取更多定制的用途。所有代码,SDK和所提出的模型的预先训练的权重在HTTPS://github.com/tencent/censeoqoe上公开使用。
translated by 谷歌翻译
视觉(图像,视频)质量评估可以通过不同域中的视觉特征来建模,例如空间,频率和时间域。人类视觉系统(HVS)中的感知机制在质量感知的产生中起着至关重要的作用。本文提出了使用有效的窗口变压器体系结构进行无引用视觉质量评估的一般框架。用于多阶段通道注意的轻量级模块集成到SWIN(移位窗口)变压器中。这样的模块可以在图像质量评估(IQA)中代表适当的感知机制,以构建准确的IQA模型。同时,在空间和频域中图像质量感知的代表性特征也可以从IQA模型中得出,然后将其馈入另一个窗户的变压器体系结构进行视频质量评估(VQA)。 VQA模型有效地重复了整个本地窗口的注意力信息,以解决原始变压器的昂贵时间和记忆复杂性的问题。大规模IQA和VQA数据库的实验结果表明,所提出的质量评估模型优于大幅度的其他最先进模型。完整的源代码将在GitHub上发布。
translated by 谷歌翻译
虚拟现实(VR)视频(通常以360美元$^\ Circ $视频形式)由于VR技术的快速开发以及消费级360 $^\ Circ $摄像机和显示器的显着普及而引起了人们的关注。因此,了解人们如何看待用户生成的VR视频,这些视频可能会受到混乱的真实扭曲,通常是在时空和时间上局部的。在本文中,我们建立了最大的360美元$^\ Circ $视频数据库之一,其中包含502个用户生成的视频,内容丰富和失真多样性。我们捕获了139位用户的观看行为(即扫描路径),并在四个不同的观看条件下(两个起点$ \ times $ $ $ $ $两个探索时间)收集了他们的意见分数。我们对记录的数据提供了详尽的统计分析,从而产生了一些有趣的观察结果,例如观看条件对观看行为和感知质量的重大影响。此外,我们还探讨了我们的数据和分析的其他用法,包括评估360 $^\ CIRC $视频的质量评估和显着性检测的计算模型。我们已经在https://github.com/yao-yiru/vr-video-database上提供了数据集和代码。
translated by 谷歌翻译
图像质量评估(IQA)对基于图像的应用程序的重要性越来越重要。其目的是建立一种可以代替人类的模型,以准确评估图像质量。根据参考图像是否完整且可用,图像质量评估可分为三类:全引用(FR),减少参考(RR)和非参考(NR)图像质量评估。由于深度学习的蓬勃发展和研究人员的广泛关注,近年来提出了基于深度学习的几种非参考图像质量评估方法,其中一些已经超过了引人注目甚至全参考图像的性能质量评估模型。本文将审查图像质量评估的概念和指标以及视频质量评估,简要介绍了一些完整参考和半参考图像质量评估的方法,并专注于基于深度学习的非参考图像质量评估方法。然后介绍常用的合成数据库和现实世界数据库。最后,总结和呈现挑战。
translated by 谷歌翻译
在现有作品中,框架及其对视频质量评估(VQA)的影响之间的时间关系仍然不足。这些关系导致视频质量的两种重要效果类型。首先,某些时间变化(例如摇动,闪烁和突然的场景过渡)会导致时间扭曲并导致额外的质量降解,而其他变化(例如,与有意义的事件相关的变化)却没有。其次,人类视觉系统通常对具有不同内容的框架有不同的关注,从而导致其对整体视频质量的重要性不同。基于变压器的突出时间序列建模能力,我们提出了一种新颖有效的基于变压器的VQA方法来解决这两个问题。为了更好地区分时间变化,从而捕获了时间变形,我们设计了一个基于变压器的时空扭曲提取(STDE)模块。为了解决时间质量的关注,我们提出了类似编码器的时间含量变压器(TCT)。我们还介绍了功能上的时间抽样,以减少TCT的输入长度,以提高该模块的学习效率和效率。由STDE和TCT组成,用于视频质量评估(DISCOVQA)的拟议的时间失真符合变压器(DISCOVQA)在几个VQA基准上达到了最新的性能,而无需任何额外的预训练数据集,多达10%的概括能力提高了10%比现有方法。我们还进行了广泛的消融实验,以证明我们提出的模型中每个部分的有效性,并提供可视化以证明所提出的模块实现了我们对这些时间问题进行建模的意图。我们将在以后发布我们的代码和预算权重。
translated by 谷歌翻译
图像质量评估(IQA)指标被广泛用于定量估计一些形成,恢复,转换或增强算法后图像降解的程度。我们提出了Pytorch图像质量(PIQ),这是一个以可用性为中心的库,其中包含最受欢迎的现代IQA算法,并保证根据其原始命题正确实现并进行了彻底验证。在本文中,我们详细介绍了图书馆基础背后的原则,描述了使其可靠的评估策略,提供了展示性能时间权衡的基准,并强调了GPU加速的好处Pytorch后端。Pytorch图像质量是一个开源软件:https://github.com/photosynthesis-team/piq/。
translated by 谷歌翻译
Objective methods for assessing perceptual image quality have traditionally attempted to quantify the visibility of errors between a distorted image and a reference image using a variety of known properties of the human visual system. Under the assumption that human visual perception is highly adapted for extracting structural information from a scene, we introduce an alternative framework for quality assessment based on the degradation of structural information. As a specific example of this concept, we develop a Structural Similarity Index and demonstrate its promise through a set of intuitive examples, as well as comparison to both subjective ratings and state-of-the-art objective methods on a database of images compressed with JPEG and JPEG2000. 1
translated by 谷歌翻译
Compressed videos often exhibit visually annoying artifacts, known as Perceivable Encoding Artifacts (PEAs), which dramatically degrade video visual quality. Subjective and objective measures capable of identifying and quantifying various types of PEAs are critical in improving visual quality. In this paper, we investigate the influence of four spatial PEAs (i.e. blurring, blocking, bleeding, and ringing) and two temporal PEAs (i.e. flickering and floating) on video quality. For spatial artifacts, we propose a visual saliency model with a low computational cost and higher consistency with human visual perception. In terms of temporal artifacts, self-attention based TimeSFormer is improved to detect temporal artifacts. Based on the six types of PEAs, a quality metric called Saliency-Aware Spatio-Temporal Artifacts Measurement (SSTAM) is proposed. Experimental results demonstrate that the proposed method outperforms state-of-the-art metrics. We believe that SSTAM will be beneficial for optimizing video coding techniques.
translated by 谷歌翻译