人工智能（AI）技术越来越多地用于数字正畸性，但其中一个挑战是自动准确地检测牙齿标志和轴。这部分是因为它们的复杂几何定义，部分原因是各个齿之间的大变化以及跨越不同类型的牙齿。因此，我们提出了一种深入的学习方法，通过专业牙医与标签数据集进行标记的数据集，以对牙齿模型的牙齿地标/轴检测，这对正畸治疗至关重要。我们的方法可以不仅提取点（例如CUSP）的形式提取牙齿地标，而且还可以提取牙齿地标，而且还可以测量牙齿角度和倾斜的轴。所提出的网络作为输入3D齿模型，并预测各种类型的牙齿地标和轴。具体地，我们将地标和轴编码为在齿模型表面上定义的致密字段。这种设计选择和一组添加的组件使得所提出的网络更适合于从给定的3D齿模型提取稀疏地标。对所提出的方法进行广泛评估，在经验丰富的牙医制备的一套牙科模型上进行。结果表明，我们的方法可以高精度地生产牙齿地标。我们通过与最先进的方法以及烧蚀研究进行了研究和证明我们的方法。

精确分割牙齿并识别牙科网格模型上的相应解剖标签在计算机辅助性正畸治疗中是必不可少的。手动执行这两个任务是耗时，繁琐的，更重要的是，由于患者牙齿的异常和大规模差异，高度依赖于矫正者的经验。一些基于机器学习的方法已经设计和应用于正畸场，以自动分割牙科网格（例如，口腔扫描）。相比之下，牙齿地标定位的研究数量仍然有限。本文提出了一种基于网格深度学习（称为TS-MDL）的两级框架，用于联合牙齿标签和原始内部扫描的地标识别。我们的TS-MDL首先采用端到端\ EMPH {i} MeshsegNet方法（即，现有网格孔的变体，具有改进的精度和效率），以在下采样扫描上标记每个牙齿。由分割输出引导，我们的TS-MDL进一步选择原始网格上的每个牙齿的感兴趣区域（ROI），以构造开头的光重变量（即PINTNET-REG），用于回归相应的地标热插块。我们的TS-MDL在实际的数据集上进行了评估，显示了有希望的细分和本地化性能。具体而言，TS-MDL的第一阶段中的\ EMPH {i} Meshsegnet达到了0.964 \ PM0.054 $ 0.964 \ PM0.054 $的平均骰子相似度系数（DSC），显着优于原始的Meshsegnet。在第二阶段，PointNet-Reg实现了0.597 \ PM0.761 \，预测和地面真理之间的平均绝对误差（MAE），以66美元的地标，与地标检测的其他网络相比，比较优越。所有这些结果表明我们在临床实践中的TS-MDL潜在使用。

The recent progress of CNN has dramatically improved face alignment performance. However, few works have paid attention to the error-bias with respect to error distribution of facial landmarks. In this paper, we investigate the error-bias issue in face alignment, where the distributions of landmark errors tend to spread along the tangent line to landmark curves. This error-bias is not trivial since it is closely connected to the ambiguous landmark labeling task. Inspired by this observation, we seek a way to leverage the error-bias property for better convergence of CNN model. To this end, we propose anisotropic direction loss (ADL) and anisotropic attention module (AAM) for coordinate and heatmap regression, respectively. ADL imposes strong binding force in normal direction for each landmark point on facial boundaries. On the other hand, AAM is an attention module which can get anisotropic attention mask focusing on the region of point and its local edge connected by adjacent points, it has a stronger response in tangent than in normal, which means relaxed constraints in the tangent. These two methods work in a complementary manner to learn both facial structures and texture details. Finally, we integrate them into an optimized end-to-end training pipeline named ADNet. Our ADNet achieves state-of-the-art results on 300W, WFLW and COFW datasets, which demonstrates the effectiveness and robustness.

运动估计是用于评估目标器官解剖学和功能的动态医学图像处理的基本步骤。然而，通过评估局部图像相似性通过评估局部图像相似性优化运动场的基于图像的运动估计方法，易于产生令人难以置信的估计，尤其是在大运动的情况下。在这项研究中，我们提供了一种新颖的稀疏密度（DSD）的运动估计框架，其包括两个阶段。在第一阶段，我们处理原始密集图像以提取稀疏地标以表示目标器官解剖拓扑，并丢弃对运动估计不必要的冗余信息。为此目的，我们介绍一个无监督的3D地标检测网络，以提取用于目标器官运动估计的空间稀疏但代表性的地标。在第二阶段，我们从两个不同时间点的两个图像的提取稀疏地标的稀疏运动位移得出。然后，我们通过将稀疏地标位移突出回致密图像域，呈现运动重建网络来构造运动场。此外，我们从我们的两级DSD框架中使用估计的运动场作为初始化，并提高轻量级且有效的迭代优化中的运动估计质量。我们分别评估了两种动态医学成像任务的方法，分别为模型心脏运动和肺呼吸运动。与现有的比较方法相比，我们的方法产生了出色的运动估计精度。此外，广泛的实验结果表明，我们的解决方案可以提取良好代表性解剖标志，而无需手动注释。我们的代码在线公开提供。

3D点云的卷积经过广泛研究，但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系，这是对差的独特特征学习的内在限制。在本文中，我们提出了自适应图卷积（AGCONV），以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比，AGCONV提高了点云卷积的灵活性，有效，精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同，AGCONV实现了卷积操作内部的适应性，而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明，我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时，AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性，我们探索了基于AGCONV的完成，DeNoing，Upsmpling，注册和圆圈提取的范式，它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。

本文解决了从给定稀疏点云生成密集点云的问题，以模拟物体/场景的底层几何结构。为了解决这一具有挑战性的问题，我们提出了一种新的基于端到端学习的框架。具体地，通过利用线性近似定理，我们首先明确地制定问题，这逐到确定内插权和高阶近似误差。然后，我们设计轻量级神经网络，通过分析输入点云的局部几何体，自适应地学习统一和分类的插值权重以及高阶改进。所提出的方法可以通过显式制定来解释，因此比现有的更高的内存效率。与仅用于预定义和固定的上采样因子的现有方法的鲜明对比，所提出的框架仅需要一个单一的神经网络，一次性训练可以在典型范围内处理各种上采样因子，这是真实的-world应用程序。此外，我们提出了一种简单但有效的培训策略来推动这种灵活的能力。此外，我们的方法可以很好地处理非均匀分布和嘈杂的数据。合成和现实世界数据的广泛实验证明了所提出的方法在定量和定性的最先进方法上的优越性。

由于激光雷达扫描数据的大规模，噪音和数据不完整，注册Urban Point Clouds是一项艰巨的任务。在本文中，我们提出了SARNET，这是一个新型的语义增强注册网络，旨在在城市规模上实现有效的城市点云的注册。与以前仅在点级空间中构建对应关系的方法不同，我们的方法完全利用语义特征来提高注册精度。具体而言，我们提取具有高级语义分割网络的每点语义标签，并构建先前的语义零件到部分对应关系。然后，我们将语义信息纳入基于学习的注册管道中，该管道由三个核心模块组成：基于语义的最远点采样模块，以有效地滤除异常值和动态对象；一个语义增强的特征提取模块，用于学习更多的判别点描述符；语义改制的转换估计模块，该模块利用先前的语义匹配作为掩码，通过减少错误匹配以更好地收敛来完善点对应关系。我们通过使用来自城市场景的大区域的现实世界数据并将其与替代方法进行比较，从而广泛评估所提出的SARNET。该代码可在https://github.com/wintercodeforeverything/sarnet上找到。

解剖标志的本地化对于临床诊断，治疗计划和研究至关重要。在本文中，我们提出了一种新的深网络，名为特征聚合和细化网络（Farnet），用于自动检测解剖标记。为了减轻医疗领域的培训数据有限的问题，我们的网络采用了在自然图像上预先培训的深网络，因为骨干网络和几个流行的网络进行了比较。我们的FARNET还包括多尺度特征聚合模块，用于多尺度特征融合和用于高分辨率热图回归的特征精制模块。粗细的监督应用于两个模块，以方便端到端培训。我们进一步提出了一种名为指数加权中心损耗的新型损失函数，用于准确的热爱回归，这侧重于地标附近的像素的损失并抑制了远处的损失。我们的网络已经在三个公开的解剖学地标检测数据集中进行了评估，包括头部测量射线照片，手射线照片和脊柱射线照相，并在所有三个数据集上实现最先进的性能。代码可用：\ url {https://github.com/juvenileinwind/farnet}

我们提出了一种新颖的形状意识的关系网络，用于内窥镜粘膜颌下粘膜释放（ESD）手术中的准确和实时地标检测。这项任务具有很大的临床意义，但由于复杂的手术环境中出血，照明反射和运动模糊而极其挑战。与现有解决方案相比，通过使用复杂的聚合方案忽略靶向对象之间的几何关系或捕获关系，所提出的网络能够实现令人满意的精度，同时通过充分利用地标之间的空间关系来保持实时性能。我们首先设计一种算法来自动生成关系关键点热量表，其能够直观地代表地标之间的空间关系的先验知识，而无需使用任何额外的手动注释工作。然后，我们开发两个互补正规计划，以逐步将先验知识纳入培训过程。虽然一个方案通过多任务学习引入像素级正则化，但另一个方案通过利用新设计的分组的一致性评估器来实现全局级正则化，该评估将关系约束以越野方式添加到所提出的网络。这两个方案都有利于训练模型，并且可以随时推动才能卸载，以实现实时检测。我们建立了一个大型内部数据集的ESD手术，用于食管癌，以验证我们提出的方法的有效性。广泛的实验结果表明，我们的方法在准确性和效率方面优于最先进的方法，更快地实现了更好的检测结果。在两个下游应用的有希望的结果进一步证实了我们在ESD临床实践中的方法的巨大潜力。

从嘈杂的点云中恢复高质量的表面，称为点云降级，是几何处理中的一个基本而又具有挑战性的问题。大多数现有方法要么直接将嘈杂的输入或过滤器原始正态变为更新点位置。由点云降解和正常过滤之间的基本相互作用的动机，我们从多任务的角度重新访问点云，并提出一个名为PCDNF的端到端网络，以通过关节正常滤波来denoise点云。特别是，我们引入了一项辅助正常过滤任务，以帮助整体网络更有效地消除噪声，同时更准确地保留几何特征。除了整体体系结构外，我们的网络还具有两个新型模块。一方面，为了提高降噪性能，我们设计了一种形状感知的选择器，以全面考虑学习点，正常特征和几何学先验，以构建特定点的潜在切线空间表示。另一方面，点特征更适合描述几何细节，正常特征更有利于表示几何结构（例如，边缘和角落）。结合点和正常特征使我们能够克服它们的弱点。因此，我们设计一个功能改进模块，以融合点和正常功能，以更好地恢复几何信息。广泛的评估，比较和消融研究表明，所提出的方法在点云降解和正常过滤方面优于最先进的方法。

这项工作调查了鲁棒优化运输（OT）的形状匹配。具体而言，我们表明最近的OT溶解器改善了基于优化和深度学习方法的点云登记，以实惠的计算成本提高了准确性。此手稿从现代OT理论的实际概述开始。然后，我们为使用此框架进行形状匹配的主要困难提供解决方案。最后，我们展示了在广泛的具有挑战性任务上的运输增强的注册模型的性能：部分形状的刚性注册;基蒂数据集的场景流程估计;肺血管树的非参数和肺部血管树。我们基于OT的方法在准确性和可扩展性方面实现了基蒂的最先进的结果，并为挑战性的肺登记任务。我们还释放了PVT1010，这是一个新的公共数据集，1,010对肺血管树，具有密集的采样点。此数据集提供了具有高度复杂形状和变形的点云登记算法的具有挑战性用例。我们的工作表明，强大的OT可以为各种注册模型进行快速预订和微调，从而为计算机视觉工具箱提供新的键方法。我们的代码和数据集可在线提供：https：//github.com/uncbiag/robot。

点云的任务上采样的旨在从稀疏和不规则的点集获取密集和统一的点集。尽管通过深度学习模型取得了重大进展，但最先进的方法需要基于地面的密集点集作为监督，这使得它们有限地受到合成配对训练数据的培训，并且不适合进行现实。扫描稀疏数据。但是，获得大量的配对稀疏点集作为来自实际扫描的稀疏数据的监督，这是昂贵且乏味的。为了解决这个问题，我们提出了一个名为spu-net的自我监督点云上采样网络，以捕获位于基础对象表面上的固有的上采样模式。具体而言，我们提出了一个粗到精细的重建框架，该框架分别包含两个主要组成部分：点特征提取和点特征扩展。在点特征提取中，我们将自我发项模块与图形卷积网络（GCN）集成在一起，以同时捕获本地区域内部和之间的上下文信息。在点功能扩展中，我们引入了一种可学习的折叠策略，以生成具有可学习的2D网格的上采样点集。此外，为了进一步优化生成点集中的嘈杂点，我们提出了一种与统一和重建项相关的新颖的自预测优化，作为促进自我监督点云的关节损失。我们对合成数据集进行了各种实验，结果表明，我们实现了与最先进的监督方法相当的性能。

点云完成旨在从部分点云中恢复原始形状信息，引起了人们对3D Vision社区的关注。现有方法通常成功完成标准形状，同时未能生成某些非标准形状的点云的本地细节。为了获得理想的当地细节，全球形状信息的指导至关重要。在这项工作中，我们设计了一种有效的方法来借助类内部形状的原型表示区分标准/非标准形状，可以通过建议的监督形状聚类借口任务来计算，从而导致异构组件W.R.T完成网络。代表性的原型（定义为形状类别的特征质心）可以提供全局形状的指导，该指南被称为软性知识，以多尺度方式通过所需的选择性感知特征融合模块注入下游完成网络。此外，要进行有效的培训，我们考虑了基于困难的采样策略，以鼓励网络更多地关注一些部分点云，而几何信息较少。实验结果表明，我们的方法表现优于其他最新方法，并且具有完成复杂几何形状的强大能力。

目前全面监督的面部地标检测方法迅速进行，实现了显着性能。然而，当在大型姿势和重闭合的面孔和重闭合时仍然遭受痛苦，以进行不准确的面部形状约束，并且标记的训练样本不足。在本文中，我们提出了一个半监督框架，即自我校准的姿势注意网络（SCPAN），以实现更具挑战性的情景中的更强大和精确的面部地标检测。具体地，建议通过定影边界和地标强度场信息来模拟更有效的面部形状约束的边界意识的地标强度（BALI）字段。此外，设计了一种自我校准的姿势注意力（SCPA）模型，用于提供自学习的目标函数，该功能通过引入自校准机制和姿势注意掩模而无需标签信息而无需标签信息。我们认为，通过将巴厘岛领域和SCPA模型集成到新颖的自我校准的姿势网络中，可以了解更多的面部现有知识，并且我们的面孔方法的检测精度和稳健性得到了改善。获得具有挑战性的基准数据集获得的实验结果表明，我们的方法优于文献中最先进的方法。

With the wide applications of colored point cloud in many fields, point cloud perceptual quality assessment plays a vital role in the visual communication systems owing to the existence of quality degradations introduced in various stages. However, the existing point cloud quality assessments ignore the mechanism of human visual system (HVS) which has an important impact on the accuracy of the perceptual quality assessment. In this paper, a progressive knowledge transfer based on human visual perception mechanism for perceptual quality assessment of point clouds (PKT-PCQA) is proposed. The PKT-PCQA merges local features from neighboring regions and global features extracted from graph spectrum. Taking into account the HVS properties, the spatial and channel attention mechanism is also considered in PKT-PCQA. Besides, inspired by the hierarchical perception system of human brains, PKT-PCQA adopts a progressive knowledge transfer to convert the coarse-grained quality classification knowledge to the fine-grained quality prediction task. Experiments on three large and independent point cloud assessment datasets show that the proposed no reference PKT-PCQA network achieves better of equivalent performance comparing with the state-of-the-art full reference quality assessment methods, outperforming the existed no reference quality assessment network.

Point cloud completion is a generation and estimation issue derived from the partial point clouds, which plays a vital role in the applications in 3D computer vision. The progress of deep learning (DL) has impressively improved the capability and robustness of point cloud completion. However, the quality of completed point clouds is still needed to be further enhanced to meet the practical utilization. Therefore, this work aims to conduct a comprehensive survey on various methods, including point-based, convolution-based, graph-based, and generative model-based approaches, etc. And this survey summarizes the comparisons among these methods to provoke further research insights. Besides, this review sums up the commonly used datasets and illustrates the applications of point cloud completion. Eventually, we also discussed possible research trends in this promptly expanding field.

基于激光雷达的3D单一对象跟踪是机器人技术和自动驾驶中的一个具有挑战性的问题。当前，现有方法通常会遇到长距离对象通常具有非常稀疏或部分倾斜的点云的问题，这使得模型含糊不清。模棱两可的功能将很难找到目标对象，并最终导致不良跟踪结果。为了解决此问题，我们使用功能强大的变压器体系结构，并为基于点云的3D单一对象跟踪任务提出一个点轨转换器（PTT）模块。具体而言，PTT模块通过计算注意力重量来生成微调的注意力特征，该功能指导追踪器的重点关注目标的重要功能，并提高复杂场景中的跟踪能力。为了评估我们的PTT模块，我们将PTT嵌入主要方法中，并构建一个名为PTT-NET的新型3D SOT跟踪器。在PTT-NET中，我们分别将PTT嵌入了投票阶段和提案生成阶段。投票阶段中的PTT模块可以模拟点斑块之间的交互作用，该点贴片学习上下文依赖于上下文。同时，提案生成阶段中的PTT模块可以捕获对象和背景之间的上下文信息。我们在Kitti和Nuscenes数据集上评估了PTT-NET。实验结果证明了PTT模块的有效性和PTT-NET的优越性，PTT-NET的优势超过了基线，在CAR类别中〜10％。同时，我们的方法在稀疏场景中也具有显着的性能提高。通常，变压器和跟踪管道的组合使我们的PTT-NET能够在两个数据集上实现最先进的性能。此外，PTT-NET可以在NVIDIA 1080TI GPU上实时以40fps实时运行。我们的代码是为研究社区开源的，网址为https://github.com/shanjiayao/ptt。

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.

学习地区内部背景和区域间关系是加强点云分析的特征表示的两项有效策略。但是，在现有方法中没有完全强调的统一点云表示的两种策略。为此，我们提出了一种名为点关系感知网络（PRA-NET）的小说框架，其由区域内结构学习（ISL）模块和区域间关系学习（IRL）模块组成。ISL模块可以通过可差的区域分区方案和基于代表的基于点的策略自适应和有效地将本地结构信息动态地集成到点特征中，而IRL模块可自适应和有效地捕获区域间关系。在涵盖形状分类，关键点估计和部分分割的几个3D基准测试中的广泛实验已经验证了PRA-Net的有效性和泛化能力。代码将在https://github.com/xiwuchen/pra-net上获得。

准确的面部标志是许多与人面孔有关的任务的重要先决条件。在本文中，根据级联变压器提出了精确的面部标志性检测器。我们将面部标志性检测作为坐标回归任务，以便可以端对端训练该模型。通过在变压器中的自我注意力，我们的模型可以固有地利用地标之间的结构化关系，这将受益于在挑战性条件（例如大姿势和遮挡）下具有里程碑意义的检测。在级联精炼期间，我们的模型能够根据可变形的注意机制提取目标地标周围的最相关图像特征，以进行坐标预测，从而带来更准确的对齐。此外，我们提出了一个新颖的解码器，可以同时完善图像特征和地标性位置。随着参数增加，检测性能进一步提高。我们的模型在几个标准的面部标准检测基准上实现了新的最新性能，并在跨数据库评估中显示出良好的概括能力。