Point Cloud是3D模型使用最广泛的数字格式之一，其视觉质量对扭曲（例如下采样，噪声和压缩）非常敏感。为了在没有参考的情况下应对点云质量评估（PCQA）的挑战，我们建议基于捕获的视频序列对彩色点云进行无参考质量评估指标。具体而言，通过将摄像机围绕点云旋转三个特定轨道来获得三个视频序列。视频序列不仅包含静态视图，而且还包含多帧的时间信息，这极大地有助于了解人类对点云的感知。然后，我们将RESNET3D修改为特征提取模型，以了解捕获视频与相应的主观质量分数之间的相关性。实验结果表明，我们的方法的表现优于最先进的全参考和无参考PCQA指标，从而验证了所提出的方法的有效性。

Point Cloud是3D内容使用最广泛使用的数字表示格式之一，其视觉质量可能会在生产过程中遇到噪声和几何变化，以及在传输过程中的压缩和压缩采样。为了应对点云质量评估（PCQA）的挑战，已经提出了许多PCQA方法来评估点云的视觉质量水平，以评估渲染的静态2D投影。尽管这种基于投影的PCQA方法在成熟图像质量评估（IQA）方法的帮助下实现了竞争性能，但它们忽略了动态质量感知信息，这与观察者倾向于通过两种静态感知点云的事实完全不符和动态视图。因此，在本文中，我们将点云视为移动相机视频，并通过使用视频质量评估（VQA）方法（NR）方式探索处理PCQA任务的方式。首先，我们通过四个圆形路径将相机围绕点云旋转来生成捕获的视频。然后，我们分别使用可训练的2D-CNN和预训练的3D-CNN模型从所选的关键帧和视频剪辑中提取空间和时间质量感知功能。最后，点云的视觉质量由回归的视频质量值表示。实验结果表明，所提出的方法可有效预测点云的视觉质量水平，甚至可以使用全参考（FR）PCQA方法竞争。消融研究进一步验证了提出的框架的合理性，并确认了从动态视图中提取的质量感知特征所做的贡献。

由于预计不断增长的3D视觉应用程序将为用户提供具有成本效益和高质量的体验，因此人们非常强调点云的视觉质量。回顾点云质量评估（PCQA）方法的开发，通常通过使用单模式信息，即从2D投影或3D点云中提取的视觉质量进行评估。 2D投影包含丰富的纹理和语义信息，但高度依赖于观点，而3D点云对几何变形更敏感，并且对观点不变。因此，为了利用点云和投影图像模式的优势，我们提出了一种新型的无引用点云质量评估（NR-PCQA），以多模式方式进行。在具体上，我们将点云分为子模型，以表示局部几何变形，例如点移和下采样。然后，我们将点云渲染为2D图像投影，以进行纹理特征提取。为了实现目标，子模型和投影图像由基于点和基于图像的神经网络编码。最后，使用对称的跨模式注意来融合多模式质量意识的信息。实验结果表明，我们的方法的表现都优于所有最新方法，并且远远超过了先前的NR-PCQA方法，这突出了所提出方法的有效性。

3D点云的客观质量评估对于在现实世界应用中的沉浸式多媒体系统的开发至关重要。尽管对2D图像和视频的感知质量评估成功，但对于具有大规模不规则分布的3D点的3D点云仍然很少。因此，在本文中，我们提出了一个带有结构引导重采样（SGR）的客观点云质量指数，以自动评估3D密集点云的感知视觉质量。所提出的SGR是无需任何参考信息的通用盲质量评估方法。具体而言，考虑到人类视觉系统（HVS）对结构信息高度敏感，我们首先利用点云的唯一正常向量来执行区域预处理，其中包括按键重新采样和局部区域构建。然后，我们提取三组与质量相关的特征，包括：1）几何密度特征； 2）颜色自然特征； 3）角度一致性特征。人脑的认知特征和自然性的规律性都涉及设计的质量感知功能，这些特征可以捕获扭曲的3D点云的最重要方面。对几个公开可用的主点云质量数据库进行的广泛实验验证了我们提出的SGR可以与最新的全参考，减少引用和无参考质量评估算法竞争。

In recent years, large amounts of effort have been put into pushing forward the real-world application of dynamic digital human (DDH). However, most current quality assessment research focuses on evaluating static 3D models and usually ignores motion distortions. Therefore, in this paper, we construct a large-scale dynamic digital human quality assessment (DDH-QA) database with diverse motion content as well as multiple distortions to comprehensively study the perceptual quality of DDHs. Both model-based distortion (noise, compression) and motion-based distortion (binding error, motion unnaturalness) are taken into consideration. Ten types of common motion are employed to drive the DDHs and a total of 800 DDHs are generated in the end. Afterward, we render the video sequences of the distorted DDHs as the evaluation media and carry out a well-controlled subjective experiment. Then a benchmark experiment is conducted with the state-of-the-art video quality assessment (VQA) methods and the experimental results show that existing VQA methods are limited in assessing the perceptual loss of DDHs. The database will be made publicly available to facilitate future research.

在过去的十年中，数字人类吸引了越来越多的研究兴趣，而这些人的代表，渲染和动画已经付出了很大的努力。但是，数字人类的质量评估已落后。因此，为了应对数字人类质量评估问题的挑战，我们提出了第一个用于扫描数字人头（DHHS）的大规模质量评估数据库。构造的数据库由55个参考DHHS和1,540个扭曲的DHHS以及主观评分组成。然后，提出了一种简单而有效的全参考（FR）基于投影的方法。预处理的SWIN变压器微小用于分层提取，并将多头注意模块用于特征融合。实验结果表明，所提出的方法在主流FR指标中表现出最先进的表现。该工作中介绍的数据库和方法将公开可用。

With the wide applications of colored point cloud in many fields, point cloud perceptual quality assessment plays a vital role in the visual communication systems owing to the existence of quality degradations introduced in various stages. However, the existing point cloud quality assessments ignore the mechanism of human visual system (HVS) which has an important impact on the accuracy of the perceptual quality assessment. In this paper, a progressive knowledge transfer based on human visual perception mechanism for perceptual quality assessment of point clouds (PKT-PCQA) is proposed. The PKT-PCQA merges local features from neighboring regions and global features extracted from graph spectrum. Taking into account the HVS properties, the spatial and channel attention mechanism is also considered in PKT-PCQA. Besides, inspired by the hierarchical perception system of human brains, PKT-PCQA adopts a progressive knowledge transfer to convert the coarse-grained quality classification knowledge to the fine-grained quality prediction task. Experiments on three large and independent point cloud assessment datasets show that the proposed no reference PKT-PCQA network achieves better of equivalent performance comparing with the state-of-the-art full reference quality assessment methods, outperforming the existed no reference quality assessment network.

为了支持迫切需要高分辨率（HR）图像的应用程序方案，开发了各种单个图像超分辨率（SISR）算法。但是，SISR是一个不良的逆问题，可能会将诸如纹理转移，模糊等的伪像到重建图像中，因此有必要评估超分辨率图像（SRIS）的质量。请注意，大多数现有的图像质量评估（IQA）方法都是用于合成扭曲的图像的，这可能对SRI不起作用，因为它们的扭曲更加多样化和复杂。因此，在本文中，我们提出了一种基于频率图的无参考图像质量评估方法，因为SISR算法引起的伪像对频率信息非常敏感。具体而言，我们首先通过使用SOBEL操作员和分段光滑的图像近似来获得SRI的高频图（HM）和低频图（LM）。然后，使用两个流网络来提取两个频率图的质量感知特征。最后，使用完全连接的图层将功能回归单个质量值。实验结果表明，我们的方法的表现均优于所有的三种超分辨率质量评估（SRQA）数据库中的IQA模型。

我们提出了一种小说的无参考质量评估度量，图像转移点云质量评估（IT-PCQA），用于3D点云。对于质量评估，深度神经网络（DNN）在无参考度量设计上显示了令人信服的性能。但是，无引用PCQA最具挑战性的问题是我们缺乏大规模的主观数据库来驱动强大的网络。我们的动机是人类视觉系统（HVS）是决策者，无论质量评估的媒体类型如何。利用自然图像的丰富主观评分，我们可以通过DNN探讨人类感知的评估标准，并将预测的能力转移到3D点云。特别是，我们将自然图像视为源域和点云作为目标域，并通过无监督的对抗域适应推断云质量。为了提取有效的潜在特征并最小化域差异，我们提出了分层特征编码器和条件鉴别网络。考虑到最终目的是回归客观评分，我们在条件鉴别网络中引入了一种新的条件跨熵损失，以惩罚阻碍质量回归网络的收敛的负样本。实验结果表明，该方法可以实现比传统的无参考度量更高的性能，甚至与全引用度量的相当结果。该方法还表明，在没有昂贵和繁琐的主观评估的情况下评估特定媒体内容质量的可行性。

近年来，图像存储和传输系统的快速发展，其中图像压缩起着重要作用。一般而言，开发图像压缩算法是为了确保以有限的比特速率确保良好的视觉质量。但是，由于采用不同的压缩优化方法，压缩图像可能具有不同的质量水平，需要对其进行定量评估。如今，主流全参考度量（FR）指标可有效预测在粗粒水平下压缩图像的质量（压缩图像的比特速率差异很明显），但是，它们对于细粒度的压缩图像的性能可能很差比特率差异非常微妙。因此，为了更好地提高经验质量（QOE）并为压缩算法提供有用的指导，我们提出了一种全参考图像质量评估（FR-IQA）方法，以针对细粒度的压缩图像进行压缩图像。具体而言，首先将参考图像和压缩图像转换为$ ycbcr $颜色空间。梯度特征是从对压缩伪像敏感的区域中提取的。然后，我们采用对数 - 盖尔转换来进一步分析纹理差异。最后，将获得的功能融合为质量分数。提出的方法在细粒度的压缩图像质量评估（FGIQA）数据库中进行了验证，该数据库尤其是用于评估具有亲密比特率的压缩图像质量的构建。实验结果表明，我们的公制优于FGIQA数据库上的主流FR-IQA指标。我们还在其他常用的压缩IQA数据库上测试我们的方法，结果表明，我们的方法在粗粒度压缩IQA数据库上也获得了竞争性能。

由于空间分辨率的巨大改进，4K内容可以为消费者提供更严肃的视觉体验。但是，由于分辨率扩大和特定的扭曲，现有的盲图质量评估（BIQA）方法不适合原始和升级的4K内容物。在本文中，我们提出了一个针对4K内容的深度学习的BIQA模型，一方面可以识别True和pseudo 4K内容，另一方面可以评估其感知视觉质量。考虑到高空间分辨率可以代表更丰富的高频信息的特征，我们首先提出了基于灰色级别的共发生矩阵（GLCM）的纹理复杂度度量，以从4K图像中选择三个代表性图像贴片，这可以减少计算复杂性，被证明对通过实验的总体质量预测非常有效。然后，我们从卷积神经网络（CNN）的中间层中提取不同种类的视觉特征，并将它们集成到质量感知的特征表示中。最后，使用两个多层感知（MLP）网络用于将质量感知功能映射到类概率和每个贴片的质量分数中。总体质量指数是通过平均贴片结果汇总获得的。提出的模型通过多任务学习方式进行了训练，我们引入了不确定性原理，以平衡分类和回归任务的损失。实验结果表明，所提出的模型的表现均优于所有4K内容质量评估数据库中的BIQA指标。

有效的点云压缩对于虚拟和混合现实，自动驾驶和文化遗产等应用至关重要。在本文中，我们为动态点云几何压缩提出了一个基于深度学习的框架间编码方案。我们提出了一种有损的几何压缩方案，该方案通过使用新的预测网络，使用先前的框架来预测当前帧的潜在表示。我们提出的网络利用稀疏的卷积使用层次多尺度3D功能学习来使用上一个帧编码当前帧。我们在目标坐标上采用卷积来将上一个帧的潜在表示为当前帧的降采样坐标，以预测当前帧的特征嵌入。我们的框架通过使用学习的概率分解熵模型来压缩预测功能的残差和实际特征。在接收器中，解码器层次结构通过逐步重新嵌入功能嵌入来重建当前框架。我们将我们的模型与基于最先进的视频点云压缩（V-PCC）和基于几何的点云压缩（G-PCC）方案进行了比较，该方案由Moving Picture Experts Group（MPEG）标准化。我们的方法实现了91％以上的BD率Bjontegaard三角洲率）降低了G-PCC，针对V-PCC框架内编码模式的BD率降低了62％以上，而对于V-PC。使用HEVC，基于PCC P框架的框架间编码模式。

视频质量评估（VQA）仍然是一个重要而挑战性的问题，影响了最广泛的尺度的许多应用程序。移动设备和云计算技术的最新进展使得可以捕获，处理和共度高分辨率，高分辨率（HFR）视频几乎瞬间。能够监控和控制这些流式视频的质量可以使得能够提供更令人愉快的内容和感知的优化速率控制。因此，需要一种强迫需要开发可以在巨大尺度部署的VQA模型。虽然最近的一些效果已应用于可变帧速率和HFR视频质量的全参考（FR）分析，但是没有研究帧速率变化的无引用（NR）VQA算法的开发。在这里，我们提出了一种用于评估HFR视频的一级盲VQA模型，我们将其配给了帧群感知视频评估程序W / O参考（Faver）。 Faver使用扩展模型的空间自然场景统计数据，即包括节省空间小波分解的视频信号，进行有效的帧速率敏感质量预测。我们对几个HFR视频质量数据集的广泛实验表明，PEVER以合理的计算成本优于其他盲VQA算法。为了便于可重复的研究和公共评估，在线可以在线进行狂热的实施：\ url {https://github.com/uniqzheng/hfr-bvqa}。

360 {\ TextDegree}视频的盲目视觉质量评估（BVQA）在优化沉浸式多媒体系统中起着关键作用。在评估360 {\ TextDegree}视频的质量时，人类倾向于从每个球形帧的基于视口的空间失真来识别其在相邻帧中的运动伪影，以视频级质量分数为止，即渐进性质量评估范式。然而，现有的BVQA方法对于360 {\ TextDegree}视频忽略了这条范式。在本文中，我们考虑了人类对球面视频质量的逐步范例，因此提出了一种新颖的BVQA方法（即ProvQA），通过逐步学习从像素，帧和视频中逐步学习。对应于像素，帧和视频的渐进学习，三个子网被设计为我们的PROPQA方法，即球形感知感知质量预测（SPAQ），运动感知感知质量预测（MPAQ）和多帧时间非本地（MFTN）子网。 SPAQ子网首先模拟基于人的球面感知机制的空间质量下降。然后，通过跨越相邻帧的运动提示，MPAQ子网适当地结合了在360 {\ TextDegree}视频上的质量评估的运动上下文信息。最后，MFTN子网聚集多帧质量劣化，通过探索来自多个帧的长期质量相关性来产生最终质量分数。实验验证了我们的方法在两个数据集中的360 {\ TextDegree}视频上显着提高了最先进的BVQA性能，该代码是公共\ url {https://github.com/yanglixiaoshen/的代码Provqa。}

随着渲染技术的开发，计算机图形生成的图像（CGI）已被广泛用于实践应用程序，例如建筑设计，视频游戏，模拟器，电影等。与自然场景图像（NSIS）不同，CGIS的扭曲是通常是由于施用设置不良和计算资源有限而引起的。更重要的是，某些CGI也可能遭受云游戏和流媒体等传输系统中的压缩变形。但是，已经提出了有限的工作来解决计算机图形生成图像的质量评估（CG-IQA）的问题。因此，在本文中，我们建立了一个大规模的主观CG-IQA数据库，以应对CG-IQA任务的挑战。我们通过以前的数据库和个人收藏来收集25,454个野外CGI。清洁数据后，我们仔细选择1,200 CGI来进行主观实验。在我们的数据库中测试了几种流行的无参考图像质量评估（NR-IQA）方法。实验结果表明，基于手工制作的方法与主观判断和基于深度学习的方法实现了较低的相关性，获得了相对更好的性能，这表明当前的NR-IQA模型不适合CG-IQA任务，并且迫切需要更有效的模型。

智能视频监视系统（IVSS）可以自动分析监视图像（SI）的内容并减轻体力劳动的负担。但是，SIS在获取，压缩和传播过程中可能会遭受质量下降，这使得IVSS难以理解SIS的内容。在本文中，我们首先进行了一个示例实验（即面部检测任务），以证明SIS的质量对IVSS的性能具有至关重要的影响，然后提出一个基于显着的深神经网络，以实现盲目质量评估SIS，这有助于IVSS过滤低质量的SIS并改善检测和识别性能。具体而言，我们首先计算SI的显着性图以选择最突出的局部区域，因为显着区域通常包含丰富的语义信息，以实现机器视觉，因此对SIS的整体质量产生了很大的影响。接下来，采用卷积神经网络（CNN）来提取整个图像和局部区域的质量感知功能，然后分别通过完全连接的（FC）网络映射到全球和本地质量分数中。最后，将整体质量得分计算为全球和本地质量分数的加权总和。 SI质量数据库（SIQD）的实验结果表明，所提出的方法优于所有最新的BIQA方法。

视频预测模型的研究被认为是对视频学习的基本方法。虽然存在用于预测过去几帧的未来帧像素值的多种生成模型，但已经发现预测帧的定量评估非常具有挑战性。在这种情况下，我们研究了预测视频的质量评估问题。我们创建了印度科学研究所预测视频质量评估（IISC PVQA）数据库，该数据库由300个视频组成，通过在不同的数据集上应用不同的预测模型，并伴随着人类观察分数。我们收集了这些视频的50名人类参与者的主观评级。我们的主观研究表明，人类观察者在预测视频的质量判断中非常一致。我们基准评估视频预测的几种普遍使用的措施，并表明它们与这些主观评分没有充分相关。我们介绍了两个新功能，以有效地捕获预测视频的质量，具有过去的帧的预测帧的深度特征的运动补偿余弦相似之处，以及从重新置于帧差异中提取的深度特征。我们表明，我们的特色设计导致了根据ISC PVQA数据库的人类判断的艺术质量预测的状态。数据库和代码在我们的项目网站上公开提供：https://nagabhushansn95.github.io/publications/2020/pvqa

感知视频质量评估（VQA）是许多流和视频共享平台的组成部分。在这里，我们以自我监督的方式考虑学习具有感知相关的视频质量表示的问题。失真类型的识别和降解水平确定被用作辅助任务，以训练一个深度学习模型，该模型包含深度卷积神经网络（CNN），该模型提取了空间特征，以及捕获时间信息的复发单元。该模型是使用对比度损失训练的，因此我们将此训练框架和结果模型称为对比度质量估计器（Conviqt）。在测试过程中，训练有素的模型的权重被冷冻，并且线性回归器将学习的功能映射到No-Reference（NR）设置中的质量得分。我们通过分析模型预测与地面真相质量评级之间的相关性，并与最先进的NR-VQA模型相比，我们对多个VQA数据库进行了全面评估，并实现竞争性能在这些数据库上进行了培训。我们的消融实验表明，学到的表示形式非常强大，并且在合成和现实的扭曲中很好地概括了。我们的结果表明，可以使用自我监督的学习来获得具有感知轴承的引人注目的表示。这项工作中使用的实现已在https://github.com/pavancm/conviqt上提供。

基于激光雷达的3D场景感知是自动驾驶的基本和重要任务。大多数基于激光雷达的3D识别任务的最新方法都集中在单帧3D点云数据上，并且这些方法在这些方法中被忽略。我们认为，整个框架的时间信息为3D场景感知提供了重要的知识，尤其是在驾驶场景中。在本文中，我们专注于空间和时间变化，以更好地探索3D帧的时间信息。我们设计了一个时间变化 - 意识到的插值模块和时间体素点炼油厂，以捕获4D点云中的时间变化。时间变化 - 意识插值通过捕获空间连贯性和时间变化信息来生成从上一个和当前帧的局部特征。时间体素点炼油厂在3D点云序列上构建了时间图，并使用图形卷积模块捕获时间变化。时间体素点炼油厂还将粗素级预测转换为精细的点级预测。通过我们提出的模块，新的网络TVSN在Semantickitti和Semantiposs上实现了最先进的性能。具体而言，我们的方法在MIOU中达到52.5 \％（以前的最佳方法+5.5％）在Semantickitti的多个扫描细分任务上，semanticposs的多个扫描分段任务（63.0％）（以前的最佳方法+2.8％）。

Following the advent of immersive technologies and the increasing interest in representing interactive geometrical format, 3D Point Clouds (PC) have emerged as a promising solution and effective means to display 3D visual information. In addition to other challenges in immersive applications, objective and subjective quality assessments of compressed 3D content remain open problems and an area of research interest. Yet most of the efforts in the research area ignore the local geometrical structures between points representation. In this paper, we overcome this limitation by introducing a novel and efficient objective metric for Point Clouds Quality Assessment, by learning local intrinsic dependencies using Graph Neural Network (GNN). To evaluate the performance of our method, two well-known datasets have been used. The results demonstrate the effectiveness and reliability of our solution compared to state-of-the-art metrics.