为了支持迫切需要高分辨率（HR）图像的应用程序方案，开发了各种单个图像超分辨率（SISR）算法。但是，SISR是一个不良的逆问题，可能会将诸如纹理转移，模糊等的伪像到重建图像中，因此有必要评估超分辨率图像（SRIS）的质量。请注意，大多数现有的图像质量评估（IQA）方法都是用于合成扭曲的图像的，这可能对SRI不起作用，因为它们的扭曲更加多样化和复杂。因此，在本文中，我们提出了一种基于频率图的无参考图像质量评估方法，因为SISR算法引起的伪像对频率信息非常敏感。具体而言，我们首先通过使用SOBEL操作员和分段光滑的图像近似来获得SRI的高频图（HM）和低频图（LM）。然后，使用两个流网络来提取两个频率图的质量感知特征。最后，使用完全连接的图层将功能回归单个质量值。实验结果表明，我们的方法的表现均优于所有的三种超分辨率质量评估（SRQA）数据库中的IQA模型。
translated by 谷歌翻译
近年来，图像存储和传输系统的快速发展，其中图像压缩起着重要作用。一般而言，开发图像压缩算法是为了确保以有限的比特速率确保良好的视觉质量。但是，由于采用不同的压缩优化方法，压缩图像可能具有不同的质量水平，需要对其进行定量评估。如今，主流全参考度量（FR）指标可有效预测在粗粒水平下压缩图像的质量（压缩图像的比特速率差异很明显），但是，它们对于细粒度的压缩图像的性能可能很差比特率差异非常微妙。因此，为了更好地提高经验质量（QOE）并为压缩算法提供有用的指导，我们提出了一种全参考图像质量评估（FR-IQA）方法，以针对细粒度的压缩图像进行压缩图像。具体而言，首先将参考图像和压缩图像转换为$ ycbcr $颜色空间。梯度特征是从对压缩伪像敏感的区域中提取的。然后，我们采用对数 - 盖尔转换来进一步分析纹理差异。最后，将获得的功能融合为质量分数。提出的方法在细粒度的压缩图像质量评估（FGIQA）数据库中进行了验证，该数据库尤其是用于评估具有亲密比特率的压缩图像质量的构建。实验结果表明，我们的公制优于FGIQA数据库上的主流FR-IQA指标。我们还在其他常用的压缩IQA数据库上测试我们的方法，结果表明，我们的方法在粗粒度压缩IQA数据库上也获得了竞争性能。
translated by 谷歌翻译
由于空间分辨率的巨大改进，4K内容可以为消费者提供更严肃的视觉体验。但是，由于分辨率扩大和特定的扭曲，现有的盲图质量评估（BIQA）方法不适合原始和升级的4K内容物。在本文中，我们提出了一个针对4K内容的深度学习的BIQA模型，一方面可以识别True和pseudo 4K内容，另一方面可以评估其感知视觉质量。考虑到高空间分辨率可以代表更丰富的高频信息的特征，我们首先提出了基于灰色级别的共发生矩阵（GLCM）的纹理复杂度度量，以从4K图像中选择三个代表性图像贴片，这可以减少计算复杂性，被证明对通过实验的总体质量预测非常有效。然后，我们从卷积神经网络（CNN）的中间层中提取不同种类的视觉特征，并将它们集成到质量感知的特征表示中。最后，使用两个多层感知（MLP）网络用于将质量感知功能映射到类概率和每个贴片的质量分数中。总体质量指数是通过平均贴片结果汇总获得的。提出的模型通过多任务学习方式进行了训练，我们引入了不确定性原理，以平衡分类和回归任务的损失。实验结果表明，所提出的模型的表现均优于所有4K内容质量评估数据库中的BIQA指标。
translated by 谷歌翻译
基于深度学习的立体图像超分辨率（StereOSR）的最新研究促进了Stereosr的发展。但是，现有的立体声模型主要集中于改善定量评估指标，并忽略了超级分辨立体图像的视觉质量。为了提高感知性能，本文提出了第一个面向感知的立体图像超分辨率方法，通过利用反馈，这是对立体声结果的感知质量的评估提供的。为了为StereOSR模型提供准确的指导，我们开发了第一个特殊的立体图像超分辨率质量评估（StereOSRQA）模型，并进一步构建了StereOSRQA数据库。广泛的实验表明，我们的Stereosr方法显着提高了感知质量，并提高了立体声图像的可靠性以进行差异估计。
translated by 谷歌翻译
Point Cloud是3D内容使用最广泛使用的数字表示格式之一，其视觉质量可能会在生产过程中遇到噪声和几何变化，以及在传输过程中的压缩和压缩采样。为了应对点云质量评估（PCQA）的挑战，已经提出了许多PCQA方法来评估点云的视觉质量水平，以评估渲染的静态2D投影。尽管这种基于投影的PCQA方法在成熟图像质量评估（IQA）方法的帮助下实现了竞争性能，但它们忽略了动态质量感知信息，这与观察者倾向于通过两种静态感知点云的事实完全不符和动态视图。因此，在本文中，我们将点云视为移动相机视频，并通过使用视频质量评估（VQA）方法（NR）方式探索处理PCQA任务的方式。首先，我们通过四个圆形路径将相机围绕点云旋转来生成捕获的视频。然后，我们分别使用可训练的2D-CNN和预训练的3D-CNN模型从所选的关键帧和视频剪辑中提取空间和时间质量感知功能。最后，点云的视觉质量由回归的视频质量值表示。实验结果表明，所提出的方法可有效预测点云的视觉质量水平，甚至可以使用全参考（FR）PCQA方法竞争。消融研究进一步验证了提出的框架的合理性，并确认了从动态视图中提取的质量感知特征所做的贡献。
translated by 谷歌翻译
Point Cloud是3D模型使用最广泛的数字格式之一，其视觉质量对扭曲（例如下采样，噪声和压缩）非常敏感。为了在没有参考的情况下应对点云质量评估（PCQA）的挑战，我们建议基于捕获的视频序列对彩色点云进行无参考质量评估指标。具体而言，通过将摄像机围绕点云旋转三个特定轨道来获得三个视频序列。视频序列不仅包含静态视图，而且还包含多帧的时间信息，这极大地有助于了解人类对点云的感知。然后，我们将RESNET3D修改为特征提取模型，以了解捕获视频与相应的主观质量分数之间的相关性。实验结果表明，我们的方法的表现优于最先进的全参考和无参考PCQA指标，从而验证了所提出的方法的有效性。
translated by 谷歌翻译
单个图像超分辨率（SISR）是一个不良问题，旨在获得从低分辨率（LR）输入的高分辨率（HR）输出，在此期间应该添加额外的高频信息以改善感知质量。现有的SISR工作主要通过最小化平均平方重建误差来在空间域中运行。尽管高峰峰值信噪比（PSNR）结果，但难以确定模型是否正确地添加所需的高频细节。提出了一些基于基于残余的结构，以指导模型暗示高频率特征。然而，由于空间域度量的解释是有限的，如何验证这些人为细节的保真度仍然是一个问题。在本文中，我们提出了频率域视角来的直观管道，解决了这个问题。由现有频域的工作启发，我们将图像转换为离散余弦变换（DCT）块，然后改革它们以获取DCT功能映射，它用作我们模型的输入和目标。设计了专门的管道，我们进一步提出了符合频域任务的性质的频率损失功能。我们的SISR方法在频域中可以明确地学习高频信息，为SR图像提供保真度和良好的感知质量。我们进一步观察到我们的模型可以与其他空间超分辨率模型合并，以提高原始SR输出的质量。
translated by 谷歌翻译
本文报告了NTIRE 2022关于感知图像质量评估（IQA）的挑战，并与CVPR 2022的图像恢复和增强研讨会（NTIRE）研讨会（NTIRE）讲习班的新趋势举行。感知图像处理算法。这些算法的输出图像与传统扭曲具有完全不同的特征，并包含在此挑战中使用的PIP数据集中。这个挑战分为两条曲目，一个类似于以前的NTIRE IQA挑战的全参考IQA轨道，以及一条侧重于No-Reference IQA方法的新曲目。挑战有192和179名注册参与者的两条曲目。在最后的测试阶段，有7和8个参与的团队提交了模型和事实表。几乎所有这些都比现有的IQA方法取得了更好的结果，并且获胜方法可以证明最先进的性能。
translated by 谷歌翻译
在这项工作中，我们介绍了梯度暹罗网络（GSN）进行图像质量评估。所提出的方法熟练地捕获了全参考图像质量评估（IQA）任务中扭曲的图像和参考图像之间的梯度特征。我们利用中央微分卷积获得图像对中隐藏的语义特征和细节差异。此外，空间注意力指导网络专注于与图像细节相关的区域。对于网络提取的低级，中级和高级功能，我们创新设计了一种多级融合方法，以提高功能利用率的效率。除了常见的均方根错误监督外，我们还进一步考虑了批处理样本之间的相对距离，并成功地将KL差异丢失应用于图像质量评估任务。我们在几个公开可用的数据集上试验了提出的算法GSN，并证明了其出色的性能。我们的网络赢得了NTIRE 2022感知图像质量评估挑战赛1的第二名。
translated by 谷歌翻译
Convolutional neural network (CNN) depth is of crucial importance for image super-resolution (SR). However, we observe that deeper networks for image SR are more difficult to train. The lowresolution inputs and features contain abundant low-frequency information, which is treated equally across channels, hence hindering the representational ability of CNNs. To solve these problems, we propose the very deep residual channel attention networks (RCAN). Specifically, we propose a residual in residual (RIR) structure to form very deep network, which consists of several residual groups with long skip connections. Each residual group contains some residual blocks with short skip connections. Meanwhile, RIR allows abundant low-frequency information to be bypassed through multiple skip connections, making the main network focus on learning high-frequency information. Furthermore, we propose a channel attention mechanism to adaptively rescale channel-wise features by considering interdependencies among channels. Extensive experiments show that our RCAN achieves better accuracy and visual improvements against state-of-the-art methods.
translated by 谷歌翻译
智能视频监视系统（IVSS）可以自动分析监视图像（SI）的内容并减轻体力劳动的负担。但是，SIS在获取，压缩和传播过程中可能会遭受质量下降，这使得IVSS难以理解SIS的内容。在本文中，我们首先进行了一个示例实验（即面部检测任务），以证明SIS的质量对IVSS的性能具有至关重要的影响，然后提出一个基于显着的深神经网络，以实现盲目质量评估SIS，这有助于IVSS过滤低质量的SIS并改善检测和识别性能。具体而言，我们首先计算SI的显着性图以选择最突出的局部区域，因为显着区域通常包含丰富的语义信息，以实现机器视觉，因此对SIS的整体质量产生了很大的影响。接下来，采用卷积神经网络（CNN）来提取整个图像和局部区域的质量感知功能，然后分别通过完全连接的（FC）网络映射到全球和本地质量分数中。最后，将整体质量得分计算为全球和本地质量分数的加权总和。 SI质量数据库（SIQD）的实验结果表明，所提出的方法优于所有最新的BIQA方法。
translated by 谷歌翻译
在过去的十年中，数字人类吸引了越来越多的研究兴趣，而这些人的代表，渲染和动画已经付出了很大的努力。但是，数字人类的质量评估已落后。因此，为了应对数字人类质量评估问题的挑战，我们提出了第一个用于扫描数字人头（DHHS）的大规模质量评估数据库。构造的数据库由55个参考DHHS和1,540个扭曲的DHHS以及主观评分组成。然后，提出了一种简单而有效的全参考（FR）基于投影的方法。预处理的SWIN变压器微小用于分层提取，并将多头注意模块用于特征融合。实验结果表明，所提出的方法在主流FR指标中表现出最先进的表现。该工作中介绍的数据库和方法将公开可用。
translated by 谷歌翻译
最近，深度神经网络（DNNS）在现实世界图像超分辨率（SR）方面取得了重大成功。但是，具有准侵蚀噪声的对抗图像样本可能威胁到深度学习的SR模型。在本文中，我们为现实世界SR提出了一个强大的深度学习框架，该框架随机消除了输入图像或功能的频域中潜在的对抗噪声。理由是，在SR任务上，清洁图像或功能与频域中受攻击的图案不同。观察到现有的对抗攻击通常会为输入图像增加高频噪声，我们引入了一个新型的随机频率掩码模块，该模块可以以随机方式阻止可能包含有害扰动的高频组件。由于频率掩蔽不仅可能会破坏对抗性扰动，而且还会影响干净的图像中的尖锐细节，我们进一步基于图像的频域开发了对抗性样品分类器，以确定是否应用了提出的掩码模块。基于上述想法，我们设计了一个新颖的现实世界图像SR框架，该框架结合了建议的频率掩盖模块和所提出的对抗分类器与现有的超分辨率骨干网络。实验表明，我们所提出的方法对对抗性攻击更加不敏感，并且比现有模型和防御能力更稳定。
translated by 谷歌翻译
在本文中，我们提出了通过特征级伪参考（PR）幻觉提出的无引用（NR）图像质量评估（IQA）方法。提出的质量评估框架基于自然图像统计行为的先前模型，并植根于以下观点，即可以很好地利用具有感知意义的特征来表征视觉质量。本文中，通过以原始参考为监督的相互学习方案学习了扭曲的图像中的PR特征，并通过三重态约束进一步确保PR特征的区分特性。给定质量推断的扭曲图像，特征水平的分离是用可逆神经层进行最终质量预测的，导致PR和相应的失真特征以进行比较。在四个流行的IQA数据库中证明了我们提出的方法的有效性，跨数据库评估的卓越性能也揭示了我们方法的高概括能力。我们的方法的实现可在https://github.com/baoliang93/fpr上公开获得。
translated by 谷歌翻译
现有的基于深度学习的全参考IQA（FR-IQA）模型通常通过明确比较特征，以确定性的方式预测图像质量，从而衡量图像严重扭曲的图像是多远，相应的功能与参考的空间相对远。图片。本文中，我们从不同的角度看这个问题，并提议从统计分布的角度对知觉空间中的质量降解进行建模。因此，根据深度特征域中的Wasserstein距离来测量质量。更具体地说，根据执行最终质量评分，测量了预训练VGG网络的每个阶段的1Dwasserstein距离。 Deep Wasserstein距离（DEEPWSD）在神经网络的功能上执行的，可以更好地解释由各种扭曲引起的质量污染，并提出了高级质量预测能力。广泛的实验和理论分析表明，在质量预测和优化方面，提出的DEEPWSD的优越性。
translated by 谷歌翻译
图像超分辨率（SR）是重要的图像处理方法之一，可改善计算机视野领域的图像分辨率。在过去的二十年中，在超级分辨率领域取得了重大进展，尤其是通过使用深度学习方法。这项调查是为了在深度学习的角度进行详细的调查，对单像超分辨率的最新进展进行详细的调查，同时还将告知图像超分辨率的初始经典方法。该调查将图像SR方法分类为四个类别，即经典方法，基于学习的方法，无监督学习的方法和特定领域的SR方法。我们还介绍了SR的问题，以提供有关图像质量指标，可用参考数据集和SR挑战的直觉。使用参考数据集评估基于深度学习的方法。一些审查的最先进的图像SR方法包括增强的深SR网络（EDSR），周期循环gan（Cincgan），多尺度残留网络（MSRN），Meta残留密度网络（META-RDN） ，反复反射网络（RBPN），二阶注意网络（SAN），SR反馈网络（SRFBN）和基于小波的残留注意网络（WRAN）。最后，这项调查以研究人员将解决SR的未来方向和趋势和开放问题的未来方向和趋势。
translated by 谷歌翻译
人们对开发图像超分辨率（SR）算法的兴趣越来越大，该算法将低分辨率（LR）转换为更高分辨率的图像，但是自动评估超级分辨图像的视觉质量仍然是一个具有挑战性的问题。在这里，我们在确定性保真度（DF）与统计保真度（SF）的二维（2D）空间中查看SR图像质量评估（SR IQA）的问题。这使我们能够更好地理解现有SR算法的优势和缺点，这些算法在（DF，SF）的2D空间中在不同簇中产生图像。具体而言，我们观察到更传统的SR算法的一种有趣趋势，这些算法通常倾向于在失去SF的同时优化DF，以及最新的基于生成的对抗网络（GAN）的方法，相比之下，这些方法在实现高SF方面具有很强的优势，但有时在高SF方面表现出很强的优势维护DF。此外，我们提出了一个基于内容依赖性的清晰度和纹理评估的不确定性加权方案，将两种保真度措施合并为名为“超级分辨率图像保真度（SRIF）指数的总体质量预测”，这表明了与最新的绩效相对的卓越性能ART IQA模型对主题评级数据集进行测试。
translated by 谷歌翻译
基于深度学习的图像质量评估（IQA）模型通常会学会从单个数据集中预测图像质量，从而导致该模型过度适合特定的场景。为此，混合的数据集培训可以是增强模型概括能力的有效方法。但是，将不同的iQA数据集组合在一起是无聊的，因为它们的质量评估标准，评分范围，视图条件以及在图像质量注释期间通常不共享主题。在本文中，我们没有对注释对准注释，而是为IQA模型学习提供了一个单调的神经网络，其中包括不同的数据集。特别是，我们的模型由数据集共享的质量回归器和几个特定于数据集的质量变压器组成。质量回归器旨在获得每个数据集的感知质量，而每个质量变压器则将感知质量映射到相应的数据集注释及其单调性。实验结果验证了提出的学习策略的有效性，我们的代码可在https://github.com/fzp0424/monotoniciqa上获得。
translated by 谷歌翻译
由于预计不断增长的3D视觉应用程序将为用户提供具有成本效益和高质量的体验，因此人们非常强调点云的视觉质量。回顾点云质量评估（PCQA）方法的开发，通常通过使用单模式信息，即从2D投影或3D点云中提取的视觉质量进行评估。 2D投影包含丰富的纹理和语义信息，但高度依赖于观点，而3D点云对几何变形更敏感，并且对观点不变。因此，为了利用点云和投影图像模式的优势，我们提出了一种新型的无引用点云质量评估（NR-PCQA），以多模式方式进行。在具体上，我们将点云分为子模型，以表示局部几何变形，例如点移和下采样。然后，我们将点云渲染为2D图像投影，以进行纹理特征提取。为了实现目标，子模型和投影图像由基于点和基于图像的神经网络编码。最后，使用对称的跨模式注意来融合多模式质量意识的信息。实验结果表明，我们的方法的表现都优于所有最新方法，并且远远超过了先前的NR-PCQA方法，这突出了所提出方法的有效性。
translated by 谷歌翻译
Informative features play a crucial role in the single image super-resolution task. Channel attention has been demonstrated to be effective for preserving information-rich features in each layer. However, channel attention treats each convolution layer as a separate process that misses the correlation among different layers. To address this problem, we propose a new holistic attention network (HAN), which consists of a layer attention module (LAM) and a channel-spatial attention module (CSAM), to model the holistic interdependencies among layers, channels, and positions. Specifically, the proposed LAM adaptively emphasizes hierarchical features by considering correlations among layers. Meanwhile, CSAM learns the confidence at all the positions of each channel to selectively capture more informative features. Extensive experiments demonstrate that the proposed HAN performs favorably against the state-ofthe-art single image super-resolution approaches.
translated by 谷歌翻译