自然图像的统计规律(称为自然场景统计数据)在不引用图像质量评估中起重要作用。但是,人们普遍认为,通常是计算机生成的屏幕内容图像(SCI)不持有此类统计信息。在这里,我们首次尝试学习SCI的统计数据,基于可以有效确定SCI的质量。所提出的方法的基本机制是基于一个狂野的假设,即没有物理上获得的SCI仍然遵守某些可以以学习方式理解的统计数据。我们从经验上表明,在质量评估中可以有效利用统计偏差,并且在不同的环境中进行评估时,提出的方法优越。广泛的实验结果表明,与现有的NR-IQA模型相比,基于深度统计的SCI质量评估(DFSS-IQA)模型可提供有希望的性能,并在跨数据库设置中显示出很高的概括能力。我们的方法的实现可在https://github.com/baoliang93/dfss-iqa上公开获得。
translated by 谷歌翻译
在本文中,我们提出了通过特征级伪参考(PR)幻觉提出的无引用(NR)图像质量评估(IQA)方法。提出的质量评估框架基于自然图像统计行为的先前模型,并植根于以下观点,即可以很好地利用具有感知意义的特征来表征视觉质量。本文中,通过以原始参考为监督的相互学习方案学习了扭曲的图像中的PR特征,并通过三重态约束进一步确保PR特征的区分特性。给定质量推断的扭曲图像,特征水平的分离是用可逆神经层进行最终质量预测的,导致PR和相应的失真特征以进行比较。在四个流行的IQA数据库中证明了我们提出的方法的有效性,跨数据库评估的卓越性能也揭示了我们方法的高概括能力。我们的方法的实现可在https://github.com/baoliang93/fpr上公开获得。
translated by 谷歌翻译
基于深度学习的图像质量评估(IQA)模型通常会学会从单个数据集中预测图像质量,从而导致该模型过度适合特定的场景。为此,混合的数据集培训可以是增强模型概括能力的有效方法。但是,将不同的iQA数据集组合在一起是无聊的,因为它们的质量评估标准,评分范围,视图条件以及在图像质量注释期间通常不共享主题。在本文中,我们没有对注释对准注释,而是为IQA模型学习提供了一个单调的神经网络,其中包括不同的数据集。特别是,我们的模型由数据集共享的质量回归器和几个特定于数据集的质量变压器组成。质量回归器旨在获得每个数据集的感知质量,而每个质量变压器则将感知质量映射到相应的数据集注释及其单调性。实验结果验证了提出的学习策略的有效性,我们的代码可在https://github.com/fzp0424/monotoniciqa上获得。
translated by 谷歌翻译
由于空间分辨率的巨大改进,4K内容可以为消费者提供更严肃的视觉体验。但是,由于分辨率扩大和特定的扭曲,现有的盲图质量评估(BIQA)方法不适合原始和升级的4K内容物。在本文中,我们提出了一个针对4K内容的深度学习的BIQA模型,一方面可以识别True和pseudo 4K内容,另一方面可以评估其感知视觉质量。考虑到高空间分辨率可以代表更丰富的高频信息的特征,我们首先提出了基于灰色级别的共发生矩阵(GLCM)的纹理复杂度度量,以从4K图像中选择三个代表性图像贴片,这可以减少计算复杂性,被证明对通过实验的总体质量预测非常有效。然后,我们从卷积神经网络(CNN)的中间层中提取不同种类的视觉特征,并将它们集成到质量感知的特征表示中。最后,使用两个多层感知(MLP)网络用于将质量感知功能映射到类概率和每个贴片的质量分数中。总体质量指数是通过平均贴片结果汇总获得的。提出的模型通过多任务学习方式进行了训练,我们引入了不确定性原理,以平衡分类和回归任务的损失。实验结果表明,所提出的模型的表现均优于所有4K内容质量评估数据库中的BIQA指标。
translated by 谷歌翻译
在过去的几十年中,盲目的图像质量评估(BIQA)旨在准确地预测图像质量而无需任何原始参考信息,但一直在广泛关注。特别是,在深层神经网络的帮助下,取得了巨大进展。但是,对于夜间图像(NTI)的BIQA的研究仍然较少,通常患有复杂的真实扭曲,例如可见性降低,低对比度,添加噪声和颜色失真。这些多样化的真实降解特别挑战了有效的深神网络的设计,用于盲目NTI质量评估(NTIQE)。在本文中,我们提出了一个新颖的深层分解和双线性池网络(DDB-NET),以更好地解决此问题。 DDB-NET包含三个模块,即图像分解模块,一个特征编码模块和双线性池模块。图像分解模块的灵感来自Itinex理论,并涉及将输入NTI解耦到负责照明信息的照明层组件和负责内容信息的反射层组件。然后,编码模块的功能涉及分别植根于两个解耦组件的降解的特征表示。最后,通过将照明相关和与内容相关的降解作为两因素变化进行建模,将两个特征集组合在一起,将双线汇总在一起以形成统一的表示,以进行质量预测。在几个基准数据集上进行了广泛的实验,已对所提出的DDB-NET的优势得到了很好的验证。源代码将很快提供。
translated by 谷歌翻译
现有的基于深度学习的全参考IQA(FR-IQA)模型通常通过明确比较特征,以确定性的方式预测图像质量,从而衡量图像严重扭曲的图像是多远,相应的功能与参考的空间相对远。图片。本文中,我们从不同的角度看这个问题,并提议从统计分布的角度对知觉空间中的质量降解进行建模。因此,根据深度特征域中的Wasserstein距离来测量质量。更具体地说,根据执行最终质量评分,测量了预训练VGG网络的每个阶段的1Dwasserstein距离。 Deep Wasserstein距离(DEEPWSD)在神经网络的功能上执行的,可以更好地解释由各种扭曲引起的质量污染,并提出了高级质量预测能力。广泛的实验和理论分析表明,在质量预测和优化方面,提出的DEEPWSD的优越性。
translated by 谷歌翻译
由于存在于视觉信号采集,压缩,传输和显示的各个阶段的质量降级,图像质量评估(IQA)在基于图像的应用中起着重要作用。根据参考图像是否完整且可用,图像质量评估可分为三类:全引用(FR),减少参考(RR)和非引用(NR)。本文将审查最先进的图像质量评估算法。
translated by 谷歌翻译
在这项工作中,我们介绍了梯度暹罗网络(GSN)进行图像质量评估。所提出的方法熟练地捕获了全参考图像质量评估(IQA)任务中扭曲的图像和参考图像之间的梯度特征。我们利用中央微分卷积获得图像对中隐藏的语义特征和细节差异。此外,空间注意力指导网络专注于与图像细节相关的区域。对于网络提取的低级,中级和高级功能,我们创新设计了一种多级融合方法,以提高功能利用率的效率。除了常见的均方根错误监督外,我们还进一步考虑了批处理样本之间的相对距离,并成功地将KL差异丢失应用于图像质量评估任务。我们在几个公开可用的数据集上试验了提出的算法GSN,并证明了其出色的性能。我们的网络赢得了NTIRE 2022感知图像质量评估挑战赛1的第二名。
translated by 谷歌翻译
Deep learning-based full-reference image quality assessment (FR-IQA) models typically rely on the feature distance between the reference and distorted images. However, the underlying assumption of these models that the distance in the deep feature domain could quantify the quality degradation does not scientifically align with the invariant texture perception, especially when the images are generated artificially by neural networks. In this paper, we bring a radical shift in inferring the quality with learned features and propose the Deep Image Dependency (DID) based FR-IQA model. The feature dependency facilitates the comparisons of deep learning features in a high-order manner with Brownian distance covariance, which is characterized by the joint distribution of the features from reference and test images, as well as their marginal distributions. This enables the quantification of the feature dependency against nonlinear transformation, which is far beyond the computation of the numerical errors in the feature space. Experiments on image quality prediction, texture image similarity, and geometric invariance validate the superior performance of our proposed measure.
translated by 谷歌翻译
无参考图像质量评估(NR-IQA)的目标是根据主观评估来估计感知图像质量,由于不存在原始参考图像,它是复杂和未解决的问题。在本文中,我们提出了一种新颖的模型来解决NR-IQA任务,利用卷积神经网络(CNNS)和变压器中的自我关注机制来解决来自输入图像的本地和非局部特征的混合方法来解决NR-IQA任务。我们通过CNN捕获图像的局部结构信息,然后避免提取的CNNS特征之间的局部偏压并获得图像的非本地表示,我们利用所提取的特征上的变压器,其中我们将它们塑造为顺序输入变压器模型。此外,为了改善主观和目标分数之间的单调性相关性,我们利用每个批处理内图像之间的相对距离信息,并强制执行它们之间的相对排名。最后但并非最不重要的是,我们观察到NR-IQA模型的性能在我们应用于输入到输入时申请等级变换(例如水平翻转)。因此,我们提出了一种利用自我保持性作为自我监督来源的方法,以改善NRIQA模型的鲁棒性。具体而言,我们为每个图像的质量评估模型的输出和其转换(水平翻转)强制实施自我一致性,以利用丰富的自我监控信息,并降低模型的不确定性。为了展示我们工作的有效性,我们在七个标准IQA数据集(合成和真实)上评估它,并显示我们的模型在各种数据集上实现最先进的结果。
translated by 谷歌翻译
用户生成的内容(UGC)的盲图质量评估(BIQA)遭受范围效应,表明在整体质量范围,平均意见评分(MOS)和预测的MOS(PMO)(PMO)上有很好的相关性;关注特定范围,相关性较低。范围效应的原因是,在较大范围内和狭窄范围内的预测偏差破坏了MOS和PMO之间的均匀性。为了解决这个问题,提出了一种新的方法,从粗粒度度量到细粒度的预测。首先,我们为粗粒度度量设计了排名和梯度损失。损失保持了PMOS和MOS之间的顺序和毕业生一致性,从而在较大范围内减少了预测的偏差。其次,我们提出多级公差损失以进行细粒度的预测。损失受到减少阈值的限制,以限制较窄和较窄范围的预测偏差。最后,我们设计了一个反馈网络来进行粗到精细的评估。一方面,网络采用反馈块来处理多尺度的失真功能,另一方面,它将非本地上下文功能融合到每次迭代的输出中,以获取更多质量感知的功能表示。实验结果表明,与最先进的方法相比,提出的方法可以减轻范围效应。
translated by 谷歌翻译
基于深度学习的低光图像增强方法通常需要巨大的配对训练数据,这对于在现实世界的场景中捕获是不切实际的。最近,已经探索了无监督的方法来消除对成对训练数据的依赖。然而,由于没有前衣,它们在不同的现实情景中表现得不稳定。为了解决这个问题,我们提出了一种基于先前(HEP)的有效预期直方图均衡的无监督的低光图像增强方法。我们的作品受到了有趣的观察,即直方图均衡增强图像的特征图和地面真理是相似的。具体而言,我们制定了HEP,提供了丰富的纹理和亮度信息。嵌入一​​个亮度模块(LUM),它有助于将低光图像分解为照明和反射率图,并且反射率图可以被视为恢复的图像。然而,基于Retinex理论的推导揭示了反射率图被噪声污染。我们介绍了一个噪声解剖学模块(NDM),以解除反射率图中的噪声和内容,具有不配对清洁图像的可靠帮助。通过直方图均衡的先前和噪声解剖,我们的方法可以恢复更精细的细节,更有能力抑制现实世界低光场景中的噪声。广泛的实验表明,我们的方法对最先进的无监督的低光增强算法有利地表现出甚至与最先进的监督算法匹配。
translated by 谷歌翻译
目标图像质量评估是一个具有挑战性的任务,旨在自动测量给定图像的质量。根据参考图像的可用性,分别存在全引用和无引用IQA任务。大多数深度学习方法使用卷积神经网络提取的深度特征的回归。对于FR任务,另一种选择是对深度特征进行统计比较。对于所有这些方法,通常忽略非本地信息。此外,探索FR和NR任务之间的关系不太探索。通过最近的变压器成功在建模上下文信息中,我们提出了一个统一的IQA框架,它利用CNN骨干和变压器编码器提取特征。所提出的框架与FR和NR模式兼容,并允许联合训练方案。评估实验在三个标准IQA数据集,即LIVE,CSIQ和TID2013和KONIQ-10K上,显示我们所提出的模型可以实现最先进的FR性能。此外,在广泛的实验中实现了相当的NR性能,结果表明,联合训练方案可以利用NR性能。
translated by 谷歌翻译
用户生成的内容(UGC)的盲或禁区视频质量评估已成为趋势,具有挑战性,迄今未解决的问题。因此,适用于该内容的准确和高效的视频质量预测因素都需要实现更智能的分析和处理UGC视频的需求。以前的研究表明,自然场景统计和深度学习特征既足以捕获空​​间扭曲,这有助于UGC视频质量问题的重要方面。然而,这些模型无法对实际应用中预测复杂和不同的UGC视频的质量无能为力或效率低。在这里,我们为UGC含量介绍了一种有效且高效的视频质量模型,我们将我们展示快速准确的视频质量评估员(Rapique),我们展示了与最先进的(SOTA)模型相对表现,而是具有订单-magnitude更快的运行时。 Rapique结合并利用了质量意识的现场统计特征和语义知识的深度卷积功能的优势,使我们能够设计用于视频质量建模的第一通用和有效的空间和时间(时空)带通统计模型。我们对最近的大型UGC视频质量数据库的实验结果表明,Rapique以相当更低的计算费用提供所有数据集的顶级表现。我们希望这项工作促进并激发进一步努力实现潜在的实时和低延迟应用程序的视频质量问题的实际建模。为促进公共用途,在线进行了求助的实施:\ url {https://github.com/vztu/rapique}。
translated by 谷歌翻译
360 {\ TextDegree}视频的盲目视觉质量评估(BVQA)在优化沉浸式多媒体系统中起着关键作用。在评估360 {\ TextDegree}视频的质量时,人类倾向于从每个球形帧的基于视口的空间失真来识别其在相邻帧中的运动伪影,以视频级质量分数为止,即渐进性质量评估范式。然而,现有的BVQA方法对于360 {\ TextDegree}视频忽略了这条范式。在本文中,我们考虑了人类对球面视频质量的逐步范例,因此提出了一种新颖的BVQA方法(即ProvQA),通过逐步学习从像素,帧和视频中逐步学习。对应于像素,帧和视频的渐进学习,三个子网被设计为我们的PROPQA方法,即球形感知感知质量预测(SPAQ),运动感知感知质量预测(MPAQ)和多帧时间非本地(MFTN)子网。 SPAQ子网首先模拟基于人的球面感知机制的空间质量下降。然后,通过跨越相邻帧的运动提示,MPAQ子网适当地结合了在360 {\ TextDegree}视频上的质量评估的运动上下文信息。最后,MFTN子网聚集多帧质量劣化,通过探索来自多个帧的长期质量相关性来产生最终质量分数。实验验证了我们的方法在两个数据集中的360 {\ TextDegree}视频上显着提高了最先进的BVQA性能,该代码是公共\ url {https://github.com/yanglixiaoshen/的代码Provqa。}
translated by 谷歌翻译
深度神经网络(DNN)在非参考图像质量评估(NR-IQA)方面具有巨大潜力。但是,NR-IQA的注释是劳动密集型且耗时的,这严重限制了其对真实图像的应用。为了减轻对质量注释的依赖,一些作品已将无监督的域适应性(UDA)应用于NR-IQA。但是,上述方法忽略了分类中使用的对齐空间是最佳选择,因为该空间不是为了感知而精心设计的。为了解决这一挑战,我们提出了一个有效的面向感知的无监督域适应方法,用于NR-IQA,该方法通过富含标签的源域数据将足够的知识转移到通过样式的对齐和混合的标签目标域图像。具体而言,我们发现了一个更紧凑,更可靠的空间,即基于有趣/惊人的观察结果,以感知为导向的UDA的特征样式空间,即DNN中深层的功能样式(即平均和差异)与DNN中的深层层完全相关NR-IQA的质量得分。因此,我们建议在更面向感知的空间(即特征样式空间)中对齐源和目标域,以减少其他质量 - Irretrelevant特征因素的干预措施。此外,为了提高质量得分与其功能样式之间的一致性,我们还提出了一种新颖的功能增强策略样式混音,将DNN的最后一层之前将功能样式(即平均值和差异)混合在一起,并混合使用标签。对两个典型的跨域设置(即合成至真实性和多种变形)的广泛实验结果证明了我们提出的styleam对NR-IQA的有效性。
translated by 谷歌翻译
由于波长依赖性的光衰减,折射和散射,水下图像通常遭受颜色变形和模糊的细节。然而,由于具有未变形图像的数量有限数量的图像作为参考,培训用于各种降解类型的深度增强模型非常困难。为了提高数据驱动方法的性能,必须建立更有效的学习机制,使得富裕监督来自有限培训的示例资源的信息。在本文中,我们提出了一种新的水下图像增强网络,称为Sguie-net,其中我们将语义信息引入了共享常见语义区域的不同图像的高级指导。因此,我们提出了语义区域 - 明智的增强模块,以感知不同语义区域从多个尺度的劣化,并将其送回从其原始比例提取的全局注意功能。该策略有助于实现不同的语义对象的强大和视觉上令人愉快的增强功能,这应该由于对差异化增强的语义信息的指导应该。更重要的是,对于在训练样本分布中不常见的那些劣化类型,指导根据其语义相关性与已经良好的学习类型连接。对公共数据集的广泛实验和我们拟议的数据集展示了Sguie-Net的令人印象深刻的表现。代码和建议的数据集可用于:https://trentqq.github.io/sguie-net.html
translated by 谷歌翻译
需要高质量的面部图像来保证在监视和安全场景中自动识别系统(FR)系统的稳定性和可靠性。但是,由于传输或存储的限制,在分析之前,通常会压缩大量的面部数据。压缩图像可能会失去强大的身份信息,从而导致FR系统的性能降低。在此,我们首次尝试研究FR系统的明显差异(JND),可以将其定义为FR系统无法注意到的最大失真。更具体地说,我们建立了一个JND数据集,其中包括3530个原始图像和137,670个由高级参考编码/解码软件生成的压缩图像,该图像基于多功能视频编码(VVC)标准(VTM-15.0)。随后,我们开发了一种新型的JND预测模型,以直接推断FR系统的JND图像。特别是,为了最大程度地删除冗余性,在不损害鲁棒身份信息的情况下,我们将编码器应用于多个功能提取和基于注意力的特征分解模块,以将面部特征逐渐分解为两个不相关的组件,即身份和残差特征,通过自我 - 监督学习。然后,剩余特征被馈入解码器以生成残差图。最后,通过从原始图像中减去残差图来获得预测的JND映射。实验结果表明,与最先进的JND模型相比,所提出的模型可以实现JND MAP预测的更高准确性,并且能够在维持FR系统的性能的同时保存更多的位置,而与VTM-15.0相比。
translated by 谷歌翻译
现有的基于学习的盲图质量评估方法(BIQA)在很大程度上取决于大量注释的培训数据,并且在遇到域/分配转移问题时通常会遭受严重的性能降解。得益于无监督的域适应性(UDA)的开发,一些工作试图将知识从带有标签的源域转移到使用UDA域移动下的无标签目标域。但是,它需要源和目标数据共存,由于隐私或存储问题,这对于源数据可能是不切实际的。在本文中,我们以简单而有效的方式迈出了无源无监督的域适应(SFUDA),以使BIQA无需访问源数据即可解决域移动。具体而言,我们将质量评估任务作为评级分配预测问题。基于BIQA的内在特性,我们提出了一组精心设计的自我监督目标,以指导BN仿射参数对目标域的适应。其中,最大程度地减少了预测熵并最大化批次预测多样性的目的是鼓励更自信的结果,同时避免琐碎的解决方案。此外,基于这样的观察,即单个图像的IQA评级分布遵循高斯分布,我们将高斯正则化应用于预测的评级分布,以使其与人类评分的性质更加一致。在跨域情景下的广泛实验结果证明了我们提出的减轻域移位方法的有效性。
translated by 谷歌翻译
With the wide applications of colored point cloud in many fields, point cloud perceptual quality assessment plays a vital role in the visual communication systems owing to the existence of quality degradations introduced in various stages. However, the existing point cloud quality assessments ignore the mechanism of human visual system (HVS) which has an important impact on the accuracy of the perceptual quality assessment. In this paper, a progressive knowledge transfer based on human visual perception mechanism for perceptual quality assessment of point clouds (PKT-PCQA) is proposed. The PKT-PCQA merges local features from neighboring regions and global features extracted from graph spectrum. Taking into account the HVS properties, the spatial and channel attention mechanism is also considered in PKT-PCQA. Besides, inspired by the hierarchical perception system of human brains, PKT-PCQA adopts a progressive knowledge transfer to convert the coarse-grained quality classification knowledge to the fine-grained quality prediction task. Experiments on three large and independent point cloud assessment datasets show that the proposed no reference PKT-PCQA network achieves better of equivalent performance comparing with the state-of-the-art full reference quality assessment methods, outperforming the existed no reference quality assessment network.
translated by 谷歌翻译