由于深度神经网络的开发,尤其是对于最近开发的无监督的JND代模型,对公正的显着差异(JND)建模做出了重大改进。但是,他们有一个主要的缺点,即在现实世界信号域而不是在人脑中的感知结构域中评估了生成的JND。当在这两个域中评估JND时,存在明显的差异,因为在现实世界中的视觉信号在通过人类视觉系统(HVS)传递到大脑之前已编码。因此,我们提出了一个受HVS启发的信号降解网络进行JND估计。为了实现这一目标,我们仔细分析了JND主观观察中的HVS感知过程,以获得相关的见解,然后设计受HVS启发的信号降解(HVS-SD)网络,以表示HVS中的信号降解。一方面,知识渊博的HVS-SD使我们能够评估感知域中的JND。另一方面,它提供了更准确的先验信息,以更好地指导JND生成。此外,考虑到合理的JND不应导致视觉注意力转移的要求,提出了视觉注意力丧失以控制JND的生成。实验结果表明,所提出的方法实现了SOTA性能,以准确估计HVS的冗余性。源代码将在https://github.com/jianjin008/hvs-sd-jnd上找到。
translated by 谷歌翻译
作为人类视觉系统(HVS)的重要感知特性,已经研究了几十年的图像和视频处理(例如,感知视觉信号压缩)已经研究了刚刚明显的差异(JND)。然而,对于深度机器视觉(DMV)的JND存在很少的探索,尽管DMV在许多机器视觉任务中取得了很大的进步。在本文中,我们进行了初步尝试,并证明DMV具有JND,称为DMV-JND。然后,我们为DMV中的图像分类任务提出了JND模型。已经发现DMV可以通过与所提出的DMV-JND-NET的无监督学习产生JND来容忍平均PSNR的扭曲图像,其平均PSNR仅为9.56dB(越来越越好)。特别是,设计语义引导的冗余评估策略旨在抑制DMV-JND的幅度和空间分布。图像分类的实验结果表明,我们成功找到了深度机视觉的JND。我们的DMV-JND有助于DMV导向图像和视频压缩,水印,质量评估,深度神经网络安全等方向的可能方向。
translated by 谷歌翻译
由于波长依赖性的光衰减,折射和散射,水下图像通常遭受颜色变形和模糊的细节。然而,由于具有未变形图像的数量有限数量的图像作为参考,培训用于各种降解类型的深度增强模型非常困难。为了提高数据驱动方法的性能,必须建立更有效的学习机制,使得富裕监督来自有限培训的示例资源的信息。在本文中,我们提出了一种新的水下图像增强网络,称为Sguie-net,其中我们将语义信息引入了共享常见语义区域的不同图像的高级指导。因此,我们提出了语义区域 - 明智的增强模块,以感知不同语义区域从多个尺度的劣化,并将其送回从其原始比例提取的全局注意功能。该策略有助于实现不同的语义对象的强大和视觉上令人愉快的增强功能,这应该由于对差异化增强的语义信息的指导应该。更重要的是,对于在训练样本分布中不常见的那些劣化类型,指导根据其语义相关性与已经良好的学习类型连接。对公共数据集的广泛实验和我们拟议的数据集展示了Sguie-Net的令人印象深刻的表现。代码和建议的数据集可用于:https://trentqq.github.io/sguie-net.html
translated by 谷歌翻译
One of the main challenges in deep learning-based underwater image enhancement is the limited availability of high-quality training data. Underwater images are difficult to capture and are often of poor quality due to the distortion and loss of colour and contrast in water. This makes it difficult to train supervised deep learning models on large and diverse datasets, which can limit the model's performance. In this paper, we explore an alternative approach to supervised underwater image enhancement. Specifically, we propose a novel unsupervised underwater image enhancement framework that employs a conditional variational autoencoder (cVAE) to train a deep learning model with probabilistic adaptive instance normalization (PAdaIN) and statistically guided multi-colour space stretch that produces realistic underwater images. The resulting framework is composed of a U-Net as a feature extractor and a PAdaIN to encode the uncertainty, which we call UDnet. To improve the visual quality of the images generated by UDnet, we use a statistically guided multi-colour space stretch module that ensures visual consistency with the input image and provides an alternative to training using a ground truth image. The proposed model does not need manual human annotation and can learn with a limited amount of data and achieves state-of-the-art results on underwater images. We evaluated our proposed framework on eight publicly-available datasets. The results show that our proposed framework yields competitive performance compared to other state-of-the-art approaches in quantitative as well as qualitative metrics. Code available at https://github.com/alzayats/UDnet .
translated by 谷歌翻译
需要高质量的面部图像来保证在监视和安全场景中自动识别系统(FR)系统的稳定性和可靠性。但是,由于传输或存储的限制,在分析之前,通常会压缩大量的面部数据。压缩图像可能会失去强大的身份信息,从而导致FR系统的性能降低。在此,我们首次尝试研究FR系统的明显差异(JND),可以将其定义为FR系统无法注意到的最大失真。更具体地说,我们建立了一个JND数据集,其中包括3530个原始图像和137,670个由高级参考编码/解码软件生成的压缩图像,该图像基于多功能视频编码(VVC)标准(VTM-15.0)。随后,我们开发了一种新型的JND预测模型,以直接推断FR系统的JND图像。特别是,为了最大程度地删除冗余性,在不损害鲁棒身份信息的情况下,我们将编码器应用于多个功能提取和基于注意力的特征分解模块,以将面部特征逐渐分解为两个不相关的组件,即身份和残差特征,通过自我 - 监督学习。然后,剩余特征被馈入解码器以生成残差图。最后,通过从原始图像中减去残差图来获得预测的JND映射。实验结果表明,与最先进的JND模型相比,所提出的模型可以实现JND MAP预测的更高准确性,并且能够在维持FR系统的性能的同时保存更多的位置,而与VTM-15.0相比。
translated by 谷歌翻译
Objective methods for assessing perceptual image quality have traditionally attempted to quantify the visibility of errors between a distorted image and a reference image using a variety of known properties of the human visual system. Under the assumption that human visual perception is highly adapted for extracting structural information from a scene, we introduce an alternative framework for quality assessment based on the degradation of structural information. As a specific example of this concept, we develop a Structural Similarity Index and demonstrate its promise through a set of intuitive examples, as well as comparison to both subjective ratings and state-of-the-art objective methods on a database of images compressed with JPEG and JPEG2000. 1
translated by 谷歌翻译
任意神经风格转移是一个重要的主题,具有研究价值和工业应用前景,该主题旨在使用另一个样式呈现一个图像的结构。最近的研究已致力于任意风格转移(AST)的任务,以提高风格化质量。但是,关于AST图像的质量评估的探索很少,即使它可以指导不同算法的设计。在本文中,我们首先构建了一个新的AST图像质量评估数据库(AST-IQAD),该数据库包括150个内容样式的图像对以及由八种典型AST算法产生的相应的1200个风格化图像。然后,在我们的AST-IQAD数据库上进行了一项主观研究,该研究获得了三种主观评估(即内容保存(CP),样式相似(SR)和整体视觉(OV),该数据库获得了所有风格化图像的主观评分评分。 。为了定量测量AST图像的质量,我们提出了一个新的基于稀疏表示的图像质量评估度量(SRQE),该指标(SRQE)使用稀疏特征相似性来计算质量。 AST-IQAD的实验结果证明了该方法的优越性。数据集和源代码将在https://github.com/hangwei-chen/ast-iqad-srqe上发布
translated by 谷歌翻译
发现深度学习模型很容易受到对抗性示例的影响,因为在深度学习模型的输入中,对扰动的扰动可能引起错误的预测。对抗图像生成的大多数现有作品都试图为大多数模型实现攻击,而其中很少有人努力确保对抗性示例的感知质量。高质量的对手示例对许多应用很重要,尤其是保留隐私。在这项工作中,我们基于最小明显差异(MND)概念开发了一个框架,以生成对对抗性隐私的保留图像,这些图像与干净的图像具有最小的感知差异,但能够攻击深度学习模型。为了实现这一目标,首先提出了对抗性损失,以使深度学习模型成功地被对抗性图像攻击。然后,通过考虑摄动和扰动引起的结构和梯度变化的大小来开发感知质量的损失,该损失旨在为对抗性图像生成保持高知觉质量。据我们所知,这是基于MND概念以保存隐私的概念来探索质量保护的对抗图像生成的第一项工作。为了评估其在感知质量方面的性能,在这项工作中,通过建议的方法和几种锚方法测试了有关图像分类和面部识别的深层模型。广泛的实验结果表明,所提出的MND框架能够生成具有明显改善的性能指标(例如PSNR,SSIM和MOS)的对抗图像,而不是用锚定方法生成的对抗性图像。
translated by 谷歌翻译
在过去的几十年中,盲目的图像质量评估(BIQA)旨在准确地预测图像质量而无需任何原始参考信息,但一直在广泛关注。特别是,在深层神经网络的帮助下,取得了巨大进展。但是,对于夜间图像(NTI)的BIQA的研究仍然较少,通常患有复杂的真实扭曲,例如可见性降低,低对比度,添加噪声和颜色失真。这些多样化的真实降解特别挑战了有效的深神网络的设计,用于盲目NTI质量评估(NTIQE)。在本文中,我们提出了一个新颖的深层分解和双线性池网络(DDB-NET),以更好地解决此问题。 DDB-NET包含三个模块,即图像分解模块,一个特征编码模块和双线性池模块。图像分解模块的灵感来自Itinex理论,并涉及将输入NTI解耦到负责照明信息的照明层组件和负责内容信息的反射层组件。然后,编码模块的功能涉及分别植根于两个解耦组件的降解的特征表示。最后,通过将照明相关和与内容相关的降解作为两因素变化进行建模,将两个特征集组合在一起,将双线汇总在一起以形成统一的表示,以进行质量预测。在几个基准数据集上进行了广泛的实验,已对所提出的DDB-NET的优势得到了很好的验证。源代码将很快提供。
translated by 谷歌翻译
随着事物(AIOT)的发展,在我们的日常工作和生活中产生了大量的视觉数据,例如图像和视频。这些视觉数据不仅用于人类观察或理解,而且用于机器分析或决策,例如智能监控,自动化车辆和许多其他智能城市应用。为此,在这项工作中提出了一种用于人机和机器使用的新图像编解码器范例。首先,利用神经网络提取高级实例分割图和低级信号特征。然后,实例分割图还被表示为具有所提出的16位灰度表示的简档。之后,两个16位灰度曲线和信号特征都以无损编解码器编码。同时,设计和培训图像预测器以实现具有16位灰度曲线简曲和信号特征的一般质量图像重建。最后,使用用于高质量图像重建的有损编解码器来压缩原始图像和预测的剩余地图。通过这种设计,一方面,我们可以实现可扩展的图像压缩,以满足不同人类消费的要求;另一方面,我们可以通过解码的16位灰度分布配置,例如对象分类,检测和分割,直接在解码器侧直接实现多个机器视觉任务。实验结果表明,该建议的编解码器在PSNR和MS-SSIM方面实现了基于大多数基于学习的编解码器,并且优于传统编解码器(例如,BPG和JPEG2000)以进行图像重建。同时,它在对象检测和分割的映射方面优于现有的编解码器。
translated by 谷歌翻译
图像质量评估(IQA)指标被广泛用于定量估计一些形成,恢复,转换或增强算法后图像降解的程度。我们提出了Pytorch图像质量(PIQ),这是一个以可用性为中心的库,其中包含最受欢迎的现代IQA算法,并保证根据其原始命题正确实现并进行了彻底验证。在本文中,我们详细介绍了图书馆基础背后的原则,描述了使其可靠的评估策略,提供了展示性能时间权衡的基准,并强调了GPU加速的好处Pytorch后端。Pytorch图像质量是一个开源软件:https://github.com/photosynthesis-team/piq/。
translated by 谷歌翻译
基于深度学习的彩色图像隐写术是彩色图像中隐藏信息的艺术。其中,近年来,图像隐藏的隐藏隐身(躲藏图像)近年来引起了很多关注,因为它的书签容量很大。然而,由图像隐藏的隐藏术产生的图像可以显示一些明显的颜色失真或人为纹理迹线。我们提出了一种基于频率子带选择的彩色图像隐写模型,以解决上述问题。首先,我们讨论了不同颜色空间/频率子带的特征与所生成的图像质量之间的关系。然后,我们选择RGB图像的B沟道作为嵌入信道和高频子频带作为嵌入域。 DWT(离散小波变换)将B信道信息和秘密灰度图像变换为频域信息,然后嵌入秘密图像并在频域中提取。综合实验表明,我们的模型产生的图像具有更好的图像质量,并且难以察觉率显着增加。
translated by 谷歌翻译
With the wide applications of colored point cloud in many fields, point cloud perceptual quality assessment plays a vital role in the visual communication systems owing to the existence of quality degradations introduced in various stages. However, the existing point cloud quality assessments ignore the mechanism of human visual system (HVS) which has an important impact on the accuracy of the perceptual quality assessment. In this paper, a progressive knowledge transfer based on human visual perception mechanism for perceptual quality assessment of point clouds (PKT-PCQA) is proposed. The PKT-PCQA merges local features from neighboring regions and global features extracted from graph spectrum. Taking into account the HVS properties, the spatial and channel attention mechanism is also considered in PKT-PCQA. Besides, inspired by the hierarchical perception system of human brains, PKT-PCQA adopts a progressive knowledge transfer to convert the coarse-grained quality classification knowledge to the fine-grained quality prediction task. Experiments on three large and independent point cloud assessment datasets show that the proposed no reference PKT-PCQA network achieves better of equivalent performance comparing with the state-of-the-art full reference quality assessment methods, outperforming the existed no reference quality assessment network.
translated by 谷歌翻译
最近,已经研究了各种视图合成失真估计模型以更好地为3-D视频编码服务。然而,它们可以在不同水平的深度变化,纹理变性和视图合成失真(VSD)中数量地定量地模拟关系,这对于速率失真优化和速率分配至关重要。在本文中,开发了一种基于自动加权层表示的视图合成失真估计模型。首先,根据深度变化和它们相关的纹理变性,定义子VSD(S-VSD)。之后,一组理论衍生证明VSD可以大致分解成乘以其相关权重的S-VSD。为了获得S-VSD,开发了一种基于层的S-VSD表示,其中具有相同深度变化级别的所有像素用层表示,以在层级别实现高效的S-VSD计算。同时,学习非线性映射函数以准确地表示VSD和S-VSD之间的关系,在VSD估计期间自动为S-VSD提供权重。要了解此类功能,构建了VSD的数据集及其关联的S-VSD。实验结果表明,在其相关的S-VSD可用后,可以通过由非线性映射函数的重量进行准确地估计VSD。所提出的方法以准确性和效率优于相关的最先进方法。该方法的数据集和源代码将在https://github.com/jianjin008/处提供。
translated by 谷歌翻译
3D点云的客观质量评估对于在现实世界应用中的沉浸式多媒体系统的开发至关重要。尽管对2D图像和视频的感知质量评估成功,但对于具有大规模不规则分布的3D点的3D点云仍然很少。因此,在本文中,我们提出了一个带有结构引导重采样(SGR)的客观点云质量指数,以自动评估3D密集点云的感知视觉质量。所提出的SGR是无需任何参考信息的通用盲质量评估方法。具体而言,考虑到人类视觉系统(HVS)对结构信息高度敏感,我们首先利用点云的唯一正常向量来执行区域预处理,其中包括按键重新采样和局部区域构建。然后,我们提取三组与质量相关的特征,包括:1)几何密度特征; 2)颜色自然特征; 3)角度一致性特征。人脑的认知特征和自然性的规律性都涉及设计的质量感知功能,这些特征可以捕获扭曲的3D点云的最重要方面。对几个公开可用的主点云质量数据库进行的广泛实验验证了我们提出的SGR可以与最新的全参考,减少引用和无参考质量评估算法竞争。
translated by 谷歌翻译
水下杂质的光吸收和散射导致水下较差的水下成像质量。现有的基于数据驱动的基于数据的水下图像增强(UIE)技术缺乏包含各种水下场景和高保真参考图像的大规模数据集。此外,不同颜色通道和空间区域的不一致衰减不完全考虑提升增强。在这项工作中,我们构建了一个大规模的水下图像(LSUI)数据集,包括5004个图像对,并报告了一个U形变压器网络,其中变压器模型首次引入UIE任务。 U形变压器与通道 - 方面的多尺度特征融合变压器(CMSFFT)模块和空间全局功能建模变压器(SGFMT)模块集成在一起,可使用更多地加强网络对色频道和空间区域的关注严重衰减。同时,为了进一步提高对比度和饱和度,在人类视觉原理之后,设计了组合RGB,实验室和LCH颜色空间的新型损失函数。可用数据集的广泛实验验证了报告的技术的最先进性能,具有超过2dB的优势。
translated by 谷歌翻译
近年来,图像存储和传输系统的快速发展,其中图像压缩起着重要作用。一般而言,开发图像压缩算法是为了确保以有限的比特速率确保良好的视觉质量。但是,由于采用不同的压缩优化方法,压缩图像可能具有不同的质量水平,需要对其进行定量评估。如今,主流全参考度量(FR)指标可有效预测在粗粒水平下压缩图像的质量(压缩图像的比特速率差异很明显),但是,它们对于细粒度的压缩图像的性能可能很差比特率差异非常微妙。因此,为了更好地提高经验质量(QOE)并为压缩算法提供有用的指导,我们提出了一种全参考图像质量评估(FR-IQA)方法,以针对细粒度的压缩图像进行压缩图像。具体而言,首先将参考图像和压缩图像转换为$ ycbcr $颜色空间。梯度特征是从对压缩伪像敏感的区域中提取的。然后,我们采用对数 - 盖尔转换来进一步分析纹理差异。最后,将获得的功能融合为质量分数。提出的方法在细粒度的压缩图像质量评估(FGIQA)数据库中进行了验证,该数据库尤其是用于评估具有亲密比特率的压缩图像质量的构建。实验结果表明,我们的公制优于FGIQA数据库上的主流FR-IQA指标。我们还在其他常用的压缩IQA数据库上测试我们的方法,结果表明,我们的方法在粗粒度压缩IQA数据库上也获得了竞争性能。
translated by 谷歌翻译
全向图像和视频可以在虚拟现实(VR)环境中提供真实世界场景的沉浸式体验。我们在本文中介绍了一项感知全向图像质量评估(IQA)研究,因为在VR环境下提供良好的经验非常重要。我们首先建立一个全向IQA(OIQA)数据库,其中包括16个源图像和320个失真的图像,这些图像被4种通常遇到的失真类型降解,即JPEG压缩,JPEG2000压缩,高斯模糊和高斯噪声。然后,在VR环境中的OIQA数据库上进行了主观质量评估研究。考虑到人类只能在VR环境中的一个运动中看到场景的一部分,因此视觉注意力变得极为重要。因此,我们还在质量评级实验过程中跟踪头部和眼动数据。原始和扭曲的全向图像,主观质量评级以及头部和眼动数据构成了OIQA数据库。在OIQA数据库上测试了最先进的全参考(FR)IQA测量,并进行了一些与传统IQA不同的新观察结果。
translated by 谷歌翻译
在本文中,我们提出了通过特征级伪参考(PR)幻觉提出的无引用(NR)图像质量评估(IQA)方法。提出的质量评估框架基于自然图像统计行为的先前模型,并植根于以下观点,即可以很好地利用具有感知意义的特征来表征视觉质量。本文中,通过以原始参考为监督的相互学习方案学习了扭曲的图像中的PR特征,并通过三重态约束进一步确保PR特征的区分特性。给定质量推断的扭曲图像,特征水平的分离是用可逆神经层进行最终质量预测的,导致PR和相应的失真特征以进行比较。在四个流行的IQA数据库中证明了我们提出的方法的有效性,跨数据库评估的卓越性能也揭示了我们方法的高概括能力。我们的方法的实现可在https://github.com/baoliang93/fpr上公开获得。
translated by 谷歌翻译
图像质量评估(IQA)对基于图像的应用程序的重要性越来越重要。其目的是建立一种可以代替人类的模型,以准确评估图像质量。根据参考图像是否完整且可用,图像质量评估可分为三类:全引用(FR),减少参考(RR)和非参考(NR)图像质量评估。由于深度学习的蓬勃发展和研究人员的广泛关注,近年来提出了基于深度学习的几种非参考图像质量评估方法,其中一些已经超过了引人注目甚至全参考图像的性能质量评估模型。本文将审查图像质量评估的概念和指标以及视频质量评估,简要介绍了一些完整参考和半参考图像质量评估的方法,并专注于基于深度学习的非参考图像质量评估方法。然后介绍常用的合成数据库和现实世界数据库。最后,总结和呈现挑战。
translated by 谷歌翻译