由于预计不断增长的3D视觉应用程序将为用户提供具有成本效益和高质量的体验，因此人们非常强调点云的视觉质量。回顾点云质量评估（PCQA）方法的开发，通常通过使用单模式信息，即从2D投影或3D点云中提取的视觉质量进行评估。 2D投影包含丰富的纹理和语义信息，但高度依赖于观点，而3D点云对几何变形更敏感，并且对观点不变。因此，为了利用点云和投影图像模式的优势，我们提出了一种新型的无引用点云质量评估（NR-PCQA），以多模式方式进行。在具体上，我们将点云分为子模型，以表示局部几何变形，例如点移和下采样。然后，我们将点云渲染为2D图像投影，以进行纹理特征提取。为了实现目标，子模型和投影图像由基于点和基于图像的神经网络编码。最后，使用对称的跨模式注意来融合多模式质量意识的信息。实验结果表明，我们的方法的表现都优于所有最新方法，并且远远超过了先前的NR-PCQA方法，这突出了所提出方法的有效性。

Point Cloud是3D内容使用最广泛使用的数字表示格式之一，其视觉质量可能会在生产过程中遇到噪声和几何变化，以及在传输过程中的压缩和压缩采样。为了应对点云质量评估（PCQA）的挑战，已经提出了许多PCQA方法来评估点云的视觉质量水平，以评估渲染的静态2D投影。尽管这种基于投影的PCQA方法在成熟图像质量评估（IQA）方法的帮助下实现了竞争性能，但它们忽略了动态质量感知信息，这与观察者倾向于通过两种静态感知点云的事实完全不符和动态视图。因此，在本文中，我们将点云视为移动相机视频，并通过使用视频质量评估（VQA）方法（NR）方式探索处理PCQA任务的方式。首先，我们通过四个圆形路径将相机围绕点云旋转来生成捕获的视频。然后，我们分别使用可训练的2D-CNN和预训练的3D-CNN模型从所选的关键帧和视频剪辑中提取空间和时间质量感知功能。最后，点云的视觉质量由回归的视频质量值表示。实验结果表明，所提出的方法可有效预测点云的视觉质量水平，甚至可以使用全参考（FR）PCQA方法竞争。消融研究进一步验证了提出的框架的合理性，并确认了从动态视图中提取的质量感知特征所做的贡献。

Point Cloud是3D模型使用最广泛的数字格式之一，其视觉质量对扭曲（例如下采样，噪声和压缩）非常敏感。为了在没有参考的情况下应对点云质量评估（PCQA）的挑战，我们建议基于捕获的视频序列对彩色点云进行无参考质量评估指标。具体而言，通过将摄像机围绕点云旋转三个特定轨道来获得三个视频序列。视频序列不仅包含静态视图，而且还包含多帧的时间信息，这极大地有助于了解人类对点云的感知。然后，我们将RESNET3D修改为特征提取模型，以了解捕获视频与相应的主观质量分数之间的相关性。实验结果表明，我们的方法的表现优于最先进的全参考和无参考PCQA指标，从而验证了所提出的方法的有效性。

在过去的十年中，数字人类吸引了越来越多的研究兴趣，而这些人的代表，渲染和动画已经付出了很大的努力。但是，数字人类的质量评估已落后。因此，为了应对数字人类质量评估问题的挑战，我们提出了第一个用于扫描数字人头（DHHS）的大规模质量评估数据库。构造的数据库由55个参考DHHS和1,540个扭曲的DHHS以及主观评分组成。然后，提出了一种简单而有效的全参考（FR）基于投影的方法。预处理的SWIN变压器微小用于分层提取，并将多头注意模块用于特征融合。实验结果表明，所提出的方法在主流FR指标中表现出最先进的表现。该工作中介绍的数据库和方法将公开可用。

With the wide applications of colored point cloud in many fields, point cloud perceptual quality assessment plays a vital role in the visual communication systems owing to the existence of quality degradations introduced in various stages. However, the existing point cloud quality assessments ignore the mechanism of human visual system (HVS) which has an important impact on the accuracy of the perceptual quality assessment. In this paper, a progressive knowledge transfer based on human visual perception mechanism for perceptual quality assessment of point clouds (PKT-PCQA) is proposed. The PKT-PCQA merges local features from neighboring regions and global features extracted from graph spectrum. Taking into account the HVS properties, the spatial and channel attention mechanism is also considered in PKT-PCQA. Besides, inspired by the hierarchical perception system of human brains, PKT-PCQA adopts a progressive knowledge transfer to convert the coarse-grained quality classification knowledge to the fine-grained quality prediction task. Experiments on three large and independent point cloud assessment datasets show that the proposed no reference PKT-PCQA network achieves better of equivalent performance comparing with the state-of-the-art full reference quality assessment methods, outperforming the existed no reference quality assessment network.

3D点云的客观质量评估对于在现实世界应用中的沉浸式多媒体系统的开发至关重要。尽管对2D图像和视频的感知质量评估成功，但对于具有大规模不规则分布的3D点的3D点云仍然很少。因此，在本文中，我们提出了一个带有结构引导重采样（SGR）的客观点云质量指数，以自动评估3D密集点云的感知视觉质量。所提出的SGR是无需任何参考信息的通用盲质量评估方法。具体而言，考虑到人类视觉系统（HVS）对结构信息高度敏感，我们首先利用点云的唯一正常向量来执行区域预处理，其中包括按键重新采样和局部区域构建。然后，我们提取三组与质量相关的特征，包括：1）几何密度特征； 2）颜色自然特征； 3）角度一致性特征。人脑的认知特征和自然性的规律性都涉及设计的质量感知功能，这些特征可以捕获扭曲的3D点云的最重要方面。对几个公开可用的主点云质量数据库进行的广泛实验验证了我们提出的SGR可以与最新的全参考，减少引用和无参考质量评估算法竞争。

我们提出了一种小说的无参考质量评估度量，图像转移点云质量评估（IT-PCQA），用于3D点云。对于质量评估，深度神经网络（DNN）在无参考度量设计上显示了令人信服的性能。但是，无引用PCQA最具挑战性的问题是我们缺乏大规模的主观数据库来驱动强大的网络。我们的动机是人类视觉系统（HVS）是决策者，无论质量评估的媒体类型如何。利用自然图像的丰富主观评分，我们可以通过DNN探讨人类感知的评估标准，并将预测的能力转移到3D点云。特别是，我们将自然图像视为源域和点云作为目标域，并通过无监督的对抗域适应推断云质量。为了提取有效的潜在特征并最小化域差异，我们提出了分层特征编码器和条件鉴别网络。考虑到最终目的是回归客观评分，我们在条件鉴别网络中引入了一种新的条件跨熵损失，以惩罚阻碍质量回归网络的收敛的负样本。实验结果表明，该方法可以实现比传统的无参考度量更高的性能，甚至与全引用度量的相当结果。该方法还表明，在没有昂贵和繁琐的主观评估的情况下评估特定媒体内容质量的可行性。

您将如何通过一些错过来修复物理物体？您可能会想象它的原始形状从先前捕获的图像中，首先恢复其整体（全局）但粗大的形状，然后完善其本地细节。我们有动力模仿物理维修程序以解决点云完成。为此，我们提出了一个跨模式的形状转移双转化网络（称为CSDN），这是一种带有全循环参与图像的粗到精细范式，以完成优质的点云完成。 CSDN主要由“ Shape Fusion”和“ Dual-Refinect”模块组成，以应对跨模式挑战。第一个模块将固有的形状特性从单个图像传输，以指导点云缺失区域的几何形状生成，在其中，我们建议iPadain嵌入图像的全局特征和部分点云的完成。第二个模块通过调整生成点的位置来完善粗糙输出，其中本地改进单元通过图卷积利用了小说和输入点之间的几何关系，而全局约束单元则利用输入图像来微调生成的偏移。与大多数现有方法不同，CSDN不仅探讨了图像中的互补信息，而且还可以在整个粗到精细的完成过程中有效利用跨模式数据。实验结果表明，CSDN对十个跨模式基准的竞争对手表现出色。

3D对象检测通过将点云作为唯一的输入来取得了显着的进展。但是，点云通常遭受不完整的几何结构和缺乏语义信息，这使得检测器难以准确地对检测到的对象进行分类。在这项工作中，我们专注于如何有效利用来自图像的对象级信息来提高基于点的3D检测器的性能。我们提出DEMF，这是一种简单而有效的方法，将图像信息融合到点特征中。给定一组点特征和图像特征图，DEMF通过将3D点的投影2D位置作为参考来自适应地汇总图像特征。我们在挑战性的Sun RGB-D数据集上评估了我们的方法，从而提高了最新的结果（+2.1 map@0.25和+2.3map@0.5）。代码可从https://github.com/haoy945/demf获得。

Visual localization plays an important role for intelligent robots and autonomous driving, especially when the accuracy of GNSS is unreliable. Recently, camera localization in LiDAR maps has attracted more and more attention for its low cost and potential robustness to illumination and weather changes. However, the commonly used pinhole camera has a narrow Field-of-View, thus leading to limited information compared with the omni-directional LiDAR data. To overcome this limitation, we focus on correlating the information of 360 equirectangular images to point clouds, proposing an end-to-end learnable network to conduct cross-modal visual localization by establishing similarity in high-dimensional feature space. Inspired by the attention mechanism, we optimize the network to capture the salient feature for comparing images and point clouds. We construct several sequences containing 360 equirectangular images and corresponding point clouds based on the KITTI-360 dataset and conduct extensive experiments. The results demonstrate the effectiveness of our approach.

最近，融合了激光雷达点云和相机图像，提高了3D对象检测的性能和稳健性，因为这两种方式自然具有强烈的互补性。在本文中，我们通过引入新型级联双向融合〜（CB融合）模块和多模态一致性〜（MC）损耗来提出用于多模态3D对象检测的EPNet ++。更具体地说，所提出的CB融合模块提高点特征的丰富语义信息，以级联双向交互融合方式具有图像特征，导致更全面且辨别的特征表示。 MC损失明确保证预测分数之间的一致性，以获得更全面且可靠的置信度分数。基蒂，JRDB和Sun-RGBD数据集的实验结果展示了通过最先进的方法的EPNet ++的优越性。此外，我们强调一个关键但很容易被忽视的问题，这是探讨稀疏场景中的3D探测器的性能和鲁棒性。广泛的实验存在，EPNet ++优于现有的SOTA方法，在高稀疏点云壳中具有显着的边距，这可能是降低LIDAR传感器的昂贵成本的可用方向。代码将来会发布。

In recent years, large amounts of effort have been put into pushing forward the real-world application of dynamic digital human (DDH). However, most current quality assessment research focuses on evaluating static 3D models and usually ignores motion distortions. Therefore, in this paper, we construct a large-scale dynamic digital human quality assessment (DDH-QA) database with diverse motion content as well as multiple distortions to comprehensively study the perceptual quality of DDHs. Both model-based distortion (noise, compression) and motion-based distortion (binding error, motion unnaturalness) are taken into consideration. Ten types of common motion are employed to drive the DDHs and a total of 800 DDHs are generated in the end. Afterward, we render the video sequences of the distorted DDHs as the evaluation media and carry out a well-controlled subjective experiment. Then a benchmark experiment is conducted with the state-of-the-art video quality assessment (VQA) methods and the experimental results show that existing VQA methods are limited in assessing the perceptual loss of DDHs. The database will be made publicly available to facilitate future research.

变压器在自然语言处理中的成功最近引起了计算机视觉领域的关注。由于能够学习长期依赖性，变压器已被用作广泛使用的卷积运算符的替代品。事实证明，这种替代者在许多任务中都取得了成功，其中几种最先进的方法依靠变压器来更好地学习。在计算机视觉中，3D字段还见证了使用变压器来增加3D卷积神经网络和多层感知器网络的增加。尽管许多调查都集中在视力中的变压器上，但由于与2D视觉相比，由于数据表示和处理的差异，3D视觉需要特别注意。在这项工作中，我们介绍了针对不同3D视觉任务的100多种变压器方法的系统和彻底审查，包括分类，细分，检测，完成，姿势估计等。我们在3D Vision中讨论了变形金刚的设计，该设计使其可以使用各种3D表示形式处理数据。对于每个应用程序，我们强调了基于变压器的方法的关键属性和贡献。为了评估这些方法的竞争力，我们将它们的性能与12个3D基准测试的常见非转化方法进行了比较。我们通过讨论3D视觉中变压器的不同开放方向和挑战来结束调查。除了提出的论文外，我们的目标是频繁更新最新的相关论文及其相应的实现：https：//github.com/lahoud/3d-vision-transformers。

本文解决了从给定稀疏点云生成密集点云的问题，以模拟物体/场景的底层几何结构。为了解决这一具有挑战性的问题，我们提出了一种新的基于端到端学习的框架。具体地，通过利用线性近似定理，我们首先明确地制定问题，这逐到确定内插权和高阶近似误差。然后，我们设计轻量级神经网络，通过分析输入点云的局部几何体，自适应地学习统一和分类的插值权重以及高阶改进。所提出的方法可以通过显式制定来解释，因此比现有的更高的内存效率。与仅用于预定义和固定的上采样因子的现有方法的鲜明对比，所提出的框架仅需要一个单一的神经网络，一次性训练可以在典型范围内处理各种上采样因子，这是真实的-world应用程序。此外，我们提出了一种简单但有效的培训策略来推动这种灵活的能力。此外，我们的方法可以很好地处理非均匀分布和嘈杂的数据。合成和现实世界数据的广泛实验证明了所提出的方法在定量和定性的最先进方法上的优越性。

有希望的互补性存在着颜色图像的纹理特征和激光点云的几何信息。但是，在3D对象检测领域中，仍然存在许多挑战，以实现高效且可靠的特征融合。在本文中，首先，在2D平面中填充了非结构化的3D点云，并且使用投影感知的卷积层更快地提取3D点云特征。此外，在数据预处理中提前建立了不同传感器信号之间的相应索引，从而实现更快的交叉模式融合。为了解决LIDAR点和图像像素的未对准问题，提出了两个新的插件融合模块，即licamfuse和bilicamfuse。在Licamfuse中，提出了带有双峰特征的欧几里得距离的软查询权重。在Bilicamfuse中，提出了双重注意的融合模块，以深层关联场景的几何和纹理特征。 KITTI数据集上的定量结果表明，所提出的方法可以实现更好的特征级融合。此外，与现有方法相比，建议的网络显示出更短的运行时间。

近年来，图像存储和传输系统的快速发展，其中图像压缩起着重要作用。一般而言，开发图像压缩算法是为了确保以有限的比特速率确保良好的视觉质量。但是，由于采用不同的压缩优化方法，压缩图像可能具有不同的质量水平，需要对其进行定量评估。如今，主流全参考度量（FR）指标可有效预测在粗粒水平下压缩图像的质量（压缩图像的比特速率差异很明显），但是，它们对于细粒度的压缩图像的性能可能很差比特率差异非常微妙。因此，为了更好地提高经验质量（QOE）并为压缩算法提供有用的指导，我们提出了一种全参考图像质量评估（FR-IQA）方法，以针对细粒度的压缩图像进行压缩图像。具体而言，首先将参考图像和压缩图像转换为$ ycbcr $颜色空间。梯度特征是从对压缩伪像敏感的区域中提取的。然后，我们采用对数 - 盖尔转换来进一步分析纹理差异。最后，将获得的功能融合为质量分数。提出的方法在细粒度的压缩图像质量评估（FGIQA）数据库中进行了验证，该数据库尤其是用于评估具有亲密比特率的压缩图像质量的构建。实验结果表明，我们的公制优于FGIQA数据库上的主流FR-IQA指标。我们还在其他常用的压缩IQA数据库上测试我们的方法，结果表明，我们的方法在粗粒度压缩IQA数据库上也获得了竞争性能。

作为3D对象的两个基本表示方式，2D多视图图像和3D点云反映了来自视觉外观和几何结构各个方面的形状信息。与基于深度学习的2D多视图图像建模不同，该模型在各种3D形状分析任务中展示了领先的性能，基于3D点云的几何建模仍然遭受学习能力不足。在本文中，我们创新地构建了一个统一的跨模式知识转移框架，该框架将2D图像的歧视性视觉描述器提炼成3D点云的几何描述符。从技术上讲，在经典的教师学习范式下，我们提出了多视觉愿景到几何的蒸馏，由深入的2D图像编码器作为老师和深层的3D点云编码器组成。为了实现异质特征对齐，我们进一步提出了可见性感知的特征投影，通过该投影可以通过该投影将每个点嵌入可以汇总到多视图几何描述符中。对3D形状分类，部分分割和无监督学习的广泛实验验证了我们方法的优势。我们将公开提供代码和数据。

在本文中，我们提出了通过特征级伪参考（PR）幻觉提出的无引用（NR）图像质量评估（IQA）方法。提出的质量评估框架基于自然图像统计行为的先前模型，并植根于以下观点，即可以很好地利用具有感知意义的特征来表征视觉质量。本文中，通过以原始参考为监督的相互学习方案学习了扭曲的图像中的PR特征，并通过三重态约束进一步确保PR特征的区分特性。给定质量推断的扭曲图像，特征水平的分离是用可逆神经层进行最终质量预测的，导致PR和相应的失真特征以进行比较。在四个流行的IQA数据库中证明了我们提出的方法的有效性，跨数据库评估的卓越性能也揭示了我们方法的高概括能力。我们的方法的实现可在https://github.com/baoliang93/fpr上公开获得。

由于空间分辨率的巨大改进，4K内容可以为消费者提供更严肃的视觉体验。但是，由于分辨率扩大和特定的扭曲，现有的盲图质量评估（BIQA）方法不适合原始和升级的4K内容物。在本文中，我们提出了一个针对4K内容的深度学习的BIQA模型，一方面可以识别True和pseudo 4K内容，另一方面可以评估其感知视觉质量。考虑到高空间分辨率可以代表更丰富的高频信息的特征，我们首先提出了基于灰色级别的共发生矩阵（GLCM）的纹理复杂度度量，以从4K图像中选择三个代表性图像贴片，这可以减少计算复杂性，被证明对通过实验的总体质量预测非常有效。然后，我们从卷积神经网络（CNN）的中间层中提取不同种类的视觉特征，并将它们集成到质量感知的特征表示中。最后，使用两个多层感知（MLP）网络用于将质量感知功能映射到类概率和每个贴片的质量分数中。总体质量指数是通过平均贴片结果汇总获得的。提出的模型通过多任务学习方式进行了训练，我们引入了不确定性原理，以平衡分类和回归任务的损失。实验结果表明，所提出的模型的表现均优于所有4K内容质量评估数据库中的BIQA指标。

随着相机和激光雷达传感器捕获用于自主驾驶的互补信息，已经做出了巨大的努力，通过多模式数据融合来开发语义分割算法。但是，基于融合的方法需要配对的数据，即具有严格的点对像素映射的激光点云和相机图像，因为培训和推理的输入都严重阻碍了在实际情况下的应用。因此，在这项工作中，我们建议通过充分利用具有丰富外观的2D图像来提高对点云上的代表性学习的2D先验辅助语义分割（2DPass），以增强对点云的表示。实际上，通过利用辅助模态融合和多尺度融合到单个知识蒸馏（MSFSKD），2DAPS从多模式数据中获取更丰富的语义和结构信息，然后在线蒸馏到纯3D网络。结果，配备了2DAPS，我们的基线仅使用点云输入显示出显着的改进。具体而言，它在两个大规模的基准（即Semantickitti和Nuscenes）上实现了最先进的方法，其中包括TOP-1的semantickitti的单扫描和多次扫描竞赛。