在深入学习革命之前，许多感知算法基于运行时优化与强大的先前/正则化罚款。计算机视觉中的主要示例是光学和场景流。监督学习在很大程度上取代了明确规范化的必要性。相反，它们依靠大量标记的数据来捕获前面的统计数据，这并不总是随时可用的许多问题。虽然采用优化来学习神经网络，但是该网络的权重在运行时冻结。因此，这些学习解决方案是特定于域的，并不概括到其他统计上不同的场景。本文重新审视了依赖于运行时优化和强正规化的现场流动问题。这里的核心创新是在先前包含神经场景流，这利用神经网络的体系结构作为一种新型的隐式规范器。与基于学习的场景流方法不同，优化发生在运行时，并且我们的方法不需要脱机数据集 - 使其成为在自动驾驶等新环境中部署的理想选择。我们表明，专门在多层erceptrons（MLPS）上基于的架构可以用作现场流程。我们的方法持续竞争 - 如果没有更好的 - 结果在场景流基准上。此外，我们的神经先前的隐式和连续场景流量表示允许我们估计一系列点云序列的密集长期对应。密集运动信息由场景流场表示，其中通过积分运动向量可以通过时间传播点。我们通过累积激光雷达云序列来证明这种能力。

了解3D场景是自治代理的关键先决条件。最近，LIDAR和其他传感器已经以点云帧的时间序列形式提供了大量数据。在这项工作中，我们提出了一种新的问题 - 顺序场景流量估计（SSFE） - 该旨在预测给定序列中所有点云的3D场景流。这与先前研究的场景流程估计问题不同，这侧重于两个框架。我们介绍SPCM-NET架构，通过计算相邻点云之间的多尺度时空相关性，然后通过订单不变的复制单元计算多级时空相关性来解决这个问题。我们的实验评估证实，与仅使用两个框架相比，点云序列的复发处理导致SSFE明显更好。另外，我们证明可以有效地修改该方法，用于顺序点云预测（SPF），一种需要预测未来点云帧的相关问题。我们的实验结果是使用SSFE和SPF的新基准进行评估，包括合成和实时数据集。以前，场景流估计的数据集仅限于两个帧。我们为这些数据集提供非琐碎的扩展，用于多帧估计和预测。由于难以获得现实世界数据集的地面真理运动，我们使用自我监督的培训和评估指标。我们认为，该基准将在该领域的未来研究中关键。将可访问基准和型号的所有代码。

我们通过同步在点云上定义的学习函数的地图同步地图来共同寄存多种非刚性形状的新方法。尽管处理非刚性形状的能力在从计算机动画到3D数字化的各种应用中都是至关重要的，但文献仍然缺乏围绕闭塞观察到的真实，嘈杂的扫描的集合的稳健和灵活的框架。给定一组这样的点云，我们的方法首先计算通过功能映射参数化的成对对应关系。我们同时学习潜在的非正交基础函数，以有效地规范变形，同时以优雅的方式处理闭塞。为了最大限度地受益于推断成对变形字段提供的多向信息，我们通过我们的新颖和原则优化配方将成对功能映射与周期一致的整体同步。我们通过广泛的实验证明了我们的方法在注册准确性中实现了最先进的性能，同时可以灵活，高效，因为我们在统一框架中处理非刚性和多体案例并避免昂贵的优化优化通过使用基函数映射的置换。

场景流估计在场景之间提取点运动的场景估计正在成为许多计算机视觉任务的关键任务。但是，所有现有的估计方法仅利用单向特征，从而限制了准确性和通用性。本文使用双向流嵌入层提出了一种新颖的场景估计架构。所提出的双向层学习沿向前和向后方向的功能，从而增强了估计性能。此外，层次功能提取和翘曲可改善性能并减少计算开销。实验结果表明，拟议的架构通过在FlyingThings3D和Kitti基准测试中优于其他方法，从而实现了新的最新记录。代码可在https://github.com/cwc1260/biflow上找到。

场景流表示3D空间中点的运动，这是代表2D图像中像素运动的光流的对应物。但是，很难在真实场景中获得场景流的基础真理，并且最近的研究基于培训的合成数据。因此，如何基于实际数据训练场景流网络具有无监督的方法表现出至关重要的意义。本文提出了一种针对场景流的新颖无监督学习方法，该方法利用了单眼相机连续的两个帧的图像，而没有场景流的地面真相进行训练。我们的方法实现了一个目标，即训练场景流通过现实世界数据弥合了训练数据和测试数据之间的差距，并扩大了可用数据的范围以进行培训。本文无监督的场景流程学习主要由两个部分组成：（i）深度估计和摄像头姿势估计，以及（ii）基于四个不同损失功能的场景流估计。深度估计和相机姿势估计获得了两个连续帧之间的深度图和摄像头，这为下一个场景流估计提供了更多信息。之后，我们使用了深度一致性损失，动态静态一致性损失，倒角损失和拉普拉斯正规化损失来对场景流网络进行无监督的训练。据我们所知，这是第一篇意识到从单眼摄像机流动的3D场景流程的无监督学习的论文。 Kitti上的实验结果表明，与传统方法迭代最接近点（ICP）和快速全球注册（FGR）相比，我们无监督学习场景学习的方法符合表现出色。源代码可在以下网址获得：https：//github.com/irmvlab/3dunmonoflow。

Standard convolutional neural networks assume a grid structured input is available and exploit discrete convolutions as their fundamental building blocks. This limits their applicability to many real-world applications. In this paper we propose Parametric Continuous Convolution, a new learnable operator that operates over non-grid structured data. The key idea is to exploit parameterized kernel functions that span the full continuous vector space. This generalization allows us to learn over arbitrary data structures as long as their support relationship is computable. Our experiments show significant improvement over the state-ofthe-art in point cloud segmentation of indoor and outdoor scenes, and lidar motion estimation of driving scenes.

Shape completion, the problem of estimating the complete geometry of objects from partial observations, lies at the core of many vision and robotics applications. In this work, we propose Point Completion Network (PCN), a novel learning-based approach for shape completion. Unlike existing shape completion methods, PCN directly operates on raw point clouds without any structural assumption (e.g. symmetry) or annotation (e.g. semantic class) about the underlying shape. It features a decoder design that enables the generation of fine-grained completions while maintaining a small number of parameters. Our experiments show that PCN produces dense, complete point clouds with realistic structures in the missing regions on inputs with various levels of incompleteness and noise, including cars from LiDAR scans in the KITTI dataset. Code, data and trained models are available at https://wentaoyuan.github.io/pcn.

Point Cloud升级旨在从给定的稀疏中产生密集的点云，这是一项具有挑战性的任务，这是由于点集的不规则和无序的性质。为了解决这个问题，我们提出了一种新型的基于深度学习的模型，称为PU-Flow，该模型结合了正常的流量和权重预测技术，以产生均匀分布在基础表面上的致密点。具体而言，我们利用标准化流的可逆特征来转换欧几里得和潜在空间之间的点，并将UPSMPLING过程作为潜在空间中相邻点的集合，从本地几何环境中自适应地学习。广泛的实验表明，我们的方法具有竞争力，并且在大多数测试用例中，它在重建质量，近距到表面的准确性和计算效率方面的表现优于最先进的方法。源代码将在https://github.com/unknownue/pu-flow上公开获得。

最近对隐含形状表示的兴趣日益增长。与明确的陈述相反，他们没有解决局限性，他们很容易处理各种各样的表面拓扑。为了了解这些隐式表示，电流方法依赖于一定程度的形状监督（例如，内部/外部信息或距离形状知识），或者至少需要密集点云（以近似距离 - 到 - 到 - 形状）。相比之下，我们介绍{\方法}，一种用于学习形状表示的自我监督方法，从可能极其稀疏的点云。就像在水牛的针问题一样，我们在点云上“掉落”（样本）针头，认为，静统计地靠近表面，针端点位于表面的相对侧。不需要形状知识，点云可以高稀疏，例如，作为车辆获取的Lidar点云。以前的自我监督形状表示方法未能在这种数据上产生良好的结果。我们获得定量结果与现有的形状重建数据集上现有的监督方法标准，并在Kitti等硬自动驾驶数据集中显示有前途的定性结果。

本文首先提出了一个有效的3D点云学习架构，名为PWCLO-NET的LIDAR ODOMORY。在该架构中，提出了3D点云的投影感知表示来将原始的3D点云组织成有序数据表单以实现效率。 LIDAR ODOMOMERY任务的金字塔，翘曲和成本量（PWC）结构是为估计和优化在分层和高效的粗良好方法中的姿势。建立一个投影感知的细心成本卷，以直接关联两个离散点云并获得嵌入运动模式。然后，提出了一种可训练的嵌入掩模来称量局部运动模式以回归整体姿势和过滤异常值点。可训练的姿势经线细化模块迭代地与嵌入式掩码进行分层优化，使姿势估计对异常值更加强大。整个架构是全能优化的端到端，实现成本和掩码的自适应学习，并且涉及点云采样和分组的所有操作都是通过投影感知的3D特征学习方法加速。在Kitti Ocomatry DataSet上证明了我们的激光乐队内径架构的卓越性能和有效性。我们的方法优于基于学习的所有基于学习的方法，甚至基于几何的方法，在大多数基于Kitti Odomatry数据集的序列上具有映射优化的遗传。

Point cloud completion is a generation and estimation issue derived from the partial point clouds, which plays a vital role in the applications in 3D computer vision. The progress of deep learning (DL) has impressively improved the capability and robustness of point cloud completion. However, the quality of completed point clouds is still needed to be further enhanced to meet the practical utilization. Therefore, this work aims to conduct a comprehensive survey on various methods, including point-based, convolution-based, graph-based, and generative model-based approaches, etc. And this survey summarizes the comparisons among these methods to provoke further research insights. Besides, this review sums up the commonly used datasets and illustrates the applications of point cloud completion. Eventually, we also discussed possible research trends in this promptly expanding field.

在自动驾驶汽车和移动机器人上使用的多光束liDAR传感器可获得3D范围扫描的序列（“帧”）。由于有限的角度扫描分辨率和阻塞，每个框架都稀疏地覆盖了场景。稀疏性限制了语义分割或表面重建等下游过程的性能。幸运的是，当传感器移动时，帧将从一系列不同的观点捕获。这提供了互补的信息，当积累在公共场景坐标框架中时，会产生更密集的采样和对基础3D场景的更完整覆盖。但是，扫描场景通常包含移动对象。这些对象上的点不能仅通过撤消扫描仪的自我运动来正确对齐。在本文中，我们将多帧点云积累作为3D扫描序列的中级表示，并开发了一种利用室外街道场景的感应偏见的方法，包括其几何布局和对象级刚性。与最新的场景流估计器相比，我们提出的方法旨在使所有3D点在共同的参考框架中对齐，以正确地积累各个对象上的点。我们的方法大大减少了几个基准数据集上的对齐错误。此外，累积的点云使诸如表面重建之类的高级任务受益。

这项工作调查了鲁棒优化运输（OT）的形状匹配。具体而言，我们表明最近的OT溶解器改善了基于优化和深度学习方法的点云登记，以实惠的计算成本提高了准确性。此手稿从现代OT理论的实际概述开始。然后，我们为使用此框架进行形状匹配的主要困难提供解决方案。最后，我们展示了在广泛的具有挑战性任务上的运输增强的注册模型的性能：部分形状的刚性注册;基蒂数据集的场景流程估计;肺血管树的非参数和肺部血管树。我们基于OT的方法在准确性和可扩展性方面实现了基蒂的最先进的结果，并为挑战性的肺登记任务。我们还释放了PVT1010，这是一个新的公共数据集，1,010对肺血管树，具有密集的采样点。此数据集提供了具有高度复杂形状和变形的点云登记算法的具有挑战性用例。我们的工作表明，强大的OT可以为各种注册模型进行快速预订和微调，从而为计算机视觉工具箱提供新的键方法。我们的代码和数据集可在线提供：https：//github.com/uncbiag/robot。

3D场景流动表征了当前时间的点如何流到3D欧几里得空间中的下一次，该空间具有自主推断场景中所有对象的非刚性运动的能力。从图像估算场景流的先前方法具有局限性，该方法通过分别估计光流和差异来划分3D场景流的整体性质。学习3D场景从点云流动也面临着综合数据和真实数据与LIDAR点云的稀疏性之间差距的困难。在本文中，利用生成的密集深度图来获得显式的3D坐标，该坐标可直接从2D图像中学习3D场景流。通过将2D像素的密度性质引入3D空间，可以改善预测场景流的稳定性。通过统计方法消除了生成的3D点云中的离群值，以削弱噪声点对3D场景流估计任务的影响。提出了差异一致性损失，以实现3D场景流的更有效的无监督学习。比较了现实世界图像上3D场景流的自我监督学习方法与在综合数据集中学习的多种方法和在LIDAR点云上学习的方法。显示多个场景流量指标的比较可以证明引入伪LIDAR点云到场景流量估计的有效性和优势。

This paper proposes a novel model and dataset for 3D scene flow estimation with an application to autonomous driving. Taking advantage of the fact that outdoor scenes often decompose into a small number of independently moving objects, we represent each element in the scene by its rigid motion parameters and each superpixel by a 3D plane as well as an index to the corresponding object. This minimal representation increases robustness and leads to a discrete-continuous CRF where the data term decomposes into pairwise potentials between superpixels and objects. Moreover, our model intrinsically segments the scene into its constituting dynamic components. We demonstrate the performance of our model on existing benchmarks as well as a novel realistic dataset with scene flow ground truth. We obtain this dataset by annotating 400 dynamic scenes from the KITTI raw data collection using detailed 3D CAD models for all vehicles in motion. Our experiments also reveal novel challenges which cannot be handled by existing methods.

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

4D隐式表示中的最新进展集中在全球控制形状和运动的情况下，低维潜在向量，这很容易缺少表面细节和累积跟踪误差。尽管许多深层的本地表示显示了3D形状建模的有希望的结果，但它们的4D对应物尚不存在。在本文中，我们通过提出一个新颖的局部4D隐性代表来填补这一空白，以动态穿衣人，名为Lord，具有4D人类建模和局部代表的优点，并实现具有详细的表面变形的高保真重建，例如衣服皱纹。特别是，我们的主要见解是鼓励网络学习本地零件级表示的潜在代码，能够解释本地几何形状和时间变形。为了在测试时间进行推断，我们首先估计内部骨架运动在每个时间步中跟踪本地零件，然后根据不同类型的观察到的数据通过自动编码来优化每个部分的潜在代码。广泛的实验表明，该提出的方法具有强大的代表4D人类的能力，并且在实际应用上胜过最先进的方法，包括从稀疏点，非刚性深度融合（质量和定量）进行的4D重建。

场景流表示场景中每个点的3D运动，该动作明确描述了每个点运动的距离和方向。场景流估计用于各种应用，例如自主驾驶场，活动识别和虚拟现实字段。由于对现实世界数据的地面真理的注释场景流动是一项挑战，因此没有可用的现实数据集可提供大量数据，并具有地面真相以进行场景流量估计。因此，许多作品使用合成的数据将其网络和现实世界中的LIDAR数据预先培训。与以前的无监督学习场景流程中的云中的学习流程不同，我们建议使用探空仪信息来帮助无监督的场景流程学习，并使用现实世界中的激光雷达数据来训练我们的网络。有监督的探测器为场景流提供了更准确的共享成本量。此外，拟议的网络具有掩模加权的经线层，以获得更准确的预测点云。经线操作意味着将估计的姿势转换或场景流到源点云中以获得预测的点云，这是精炼场景从粗糙到细小的关键。执行翘曲操作时，不同状态中的点使用不同的权重进行姿势转换和场景流动转换。我们将点状态分类为静态，动态和遮挡，其中静态掩模用于划分静态和动态点，并使用遮挡掩码来划分闭塞点。掩模加权经线表明在执行经线操作时，将静态面膜和遮挡面膜用作权重。我们的设计被证明在消融实验中有效。实验结果表明，在现实世界中，3D场景流的无监督学习方法的前景是有希望的。

Deep learning based 3D reconstruction techniques have recently achieved impressive results. However, while stateof-the-art methods are able to output complex 3D geometry, it is not clear how to extend these results to time-varying topologies. Approaches treating each time step individually lack continuity and exhibit slow inference, while traditional 4D reconstruction methods often utilize a template model or discretize the 4D space at fixed resolution. In this work, we present Occupancy Flow, a novel spatio-temporal representation of time-varying 3D geometry with implicit correspondences. Towards this goal, we learn a temporally and spatially continuous vector field which assigns a motion vector to every point in space and time. In order to perform dense 4D reconstruction from images or sparse point clouds, we combine our method with a continuous 3D representation. Implicitly, our model yields correspondences over time, thus enabling fast inference while providing a sound physical description of the temporal dynamics. We show that our method can be used for interpolation and reconstruction tasks, and demonstrate the accuracy of the learned correspondences. We believe that Occupancy Flow is a promising new 4D representation which will be useful for a variety of spatio-temporal reconstruction tasks.