场景流表示场景中每个点的3D运动，该动作明确描述了每个点运动的距离和方向。场景流估计用于各种应用，例如自主驾驶场，活动识别和虚拟现实字段。由于对现实世界数据的地面真理的注释场景流动是一项挑战，因此没有可用的现实数据集可提供大量数据，并具有地面真相以进行场景流量估计。因此，许多作品使用合成的数据将其网络和现实世界中的LIDAR数据预先培训。与以前的无监督学习场景流程中的云中的学习流程不同，我们建议使用探空仪信息来帮助无监督的场景流程学习，并使用现实世界中的激光雷达数据来训练我们的网络。有监督的探测器为场景流提供了更准确的共享成本量。此外，拟议的网络具有掩模加权的经线层，以获得更准确的预测点云。经线操作意味着将估计的姿势转换或场景流到源点云中以获得预测的点云，这是精炼场景从粗糙到细小的关键。执行翘曲操作时，不同状态中的点使用不同的权重进行姿势转换和场景流动转换。我们将点状态分类为静态，动态和遮挡，其中静态掩模用于划分静态和动态点，并使用遮挡掩码来划分闭塞点。掩模加权经线表明在执行经线操作时，将静态面膜和遮挡面膜用作权重。我们的设计被证明在消融实验中有效。实验结果表明，在现实世界中，3D场景流的无监督学习方法的前景是有希望的。

3D场景流动表征了当前时间的点如何流到3D欧几里得空间中的下一次，该空间具有自主推断场景中所有对象的非刚性运动的能力。从图像估算场景流的先前方法具有局限性，该方法通过分别估计光流和差异来划分3D场景流的整体性质。学习3D场景从点云流动也面临着综合数据和真实数据与LIDAR点云的稀疏性之间差距的困难。在本文中，利用生成的密集深度图来获得显式的3D坐标，该坐标可直接从2D图像中学习3D场景流。通过将2D像素的密度性质引入3D空间，可以改善预测场景流的稳定性。通过统计方法消除了生成的3D点云中的离群值，以削弱噪声点对3D场景流估计任务的影响。提出了差异一致性损失，以实现3D场景流的更有效的无监督学习。比较了现实世界图像上3D场景流的自我监督学习方法与在综合数据集中学习的多种方法和在LIDAR点云上学习的方法。显示多个场景流量指标的比较可以证明引入伪LIDAR点云到场景流量估计的有效性和优势。

场景流表示3D空间中点的运动，这是代表2D图像中像素运动的光流的对应物。但是，很难在真实场景中获得场景流的基础真理，并且最近的研究基于培训的合成数据。因此，如何基于实际数据训练场景流网络具有无监督的方法表现出至关重要的意义。本文提出了一种针对场景流的新颖无监督学习方法，该方法利用了单眼相机连续的两个帧的图像，而没有场景流的地面真相进行训练。我们的方法实现了一个目标，即训练场景流通过现实世界数据弥合了训练数据和测试数据之间的差距，并扩大了可用数据的范围以进行培训。本文无监督的场景流程学习主要由两个部分组成：（i）深度估计和摄像头姿势估计，以及（ii）基于四个不同损失功能的场景流估计。深度估计和相机姿势估计获得了两个连续帧之间的深度图和摄像头，这为下一个场景流估计提供了更多信息。之后，我们使用了深度一致性损失，动态静态一致性损失，倒角损失和拉普拉斯正规化损失来对场景流网络进行无监督的训练。据我们所知，这是第一篇意识到从单眼摄像机流动的3D场景流程的无监督学习的论文。 Kitti上的实验结果表明，与传统方法迭代最接近点（ICP）和快速全球注册（FGR）相比，我们无监督学习场景学习的方法符合表现出色。源代码可在以下网址获得：https：//github.com/irmvlab/3dunmonoflow。

本文首先提出了一个有效的3D点云学习架构，名为PWCLO-NET的LIDAR ODOMORY。在该架构中，提出了3D点云的投影感知表示来将原始的3D点云组织成有序数据表单以实现效率。 LIDAR ODOMOMERY任务的金字塔，翘曲和成本量（PWC）结构是为估计和优化在分层和高效的粗良好方法中的姿势。建立一个投影感知的细心成本卷，以直接关联两个离散点云并获得嵌入运动模式。然后，提出了一种可训练的嵌入掩模来称量局部运动模式以回归整体姿势和过滤异常值点。可训练的姿势经线细化模块迭代地与嵌入式掩码进行分层优化，使姿势估计对异常值更加强大。整个架构是全能优化的端到端，实现成本和掩码的自适应学习，并且涉及点云采样和分组的所有操作都是通过投影感知的3D特征学习方法加速。在Kitti Ocomatry DataSet上证明了我们的激光乐队内径架构的卓越性能和有效性。我们的方法优于基于学习的所有基于学习的方法，甚至基于几何的方法，在大多数基于Kitti Odomatry数据集的序列上具有映射优化的遗传。

点云的3D场景流量估计是计算机视觉中的低级3D运动感知任务。流嵌入是场景流估计中的一种常用技术，它编码两个连续帧之间的点运动。因此，对于流动嵌入捕获运动的正确总体方向是至关重要的。但是，以前的作品仅在本地搜索以确定软信号，而忽略了遥远的点，而遥远的点是实际匹配的点。另外，估计的对应关系通常来自相邻点云的正向，并且可能与从向后方向获得的估计对应关系不一致。为了解决这些问题，我们提出了一个新颖的全能嵌入层，并在初始场景流量估计期间具有向后的可靠性验证。此外，我们研究并比较了3D场景流网络的关键组件中的几个设计选择，包括点相似度计算，预测变量的输入元素以及预测变量和改进级别的设计。仔细选择了最有效的设计后，我们能够提出一个模型，该模型可以在FlyingThings3D和Kitti场景流数据集上实现最新性能。我们提出的模型超过了所有现有方法的FlyterThings3D数据集至少38.2％，而EPE3D Metric的Kitti场景流数据集则超过了24.7％。我们在https://github.com/irmvlab/3dflow上发布代码。

在现有方法中，LIDAR的探测器显示出卓越的性能，但视觉探测器仍被广泛用于其价格优势。从惯例上讲，视觉检验的任务主要依赖于连续图像的输入。但是，探测器网络学习图像提供的异性几何信息非常复杂。在本文中，将伪LIDAR的概念引入了探测器中以解决此问题。伪LIDAR点云背面项目由图像生成的深度图中的3D点云，这改变了图像表示的方式。与立体声图像相比，立体声匹配网络生成的伪lidar点云可以得到显式的3D坐标。由于在3D空间中发生了6个自由度（DOF）姿势转换，因此伪宽点云提供的3D结构信息比图像更直接。与稀疏的激光雷达相比，伪驱动器具有较密集的点云。为了充分利用伪LIDAR提供的丰富点云信息，采用了投射感知的探测管道。以前的大多数基于激光雷达的算法从点云中采样了8192点，作为探视网络的输入。投影感知的密集探测管道采用从图像产生的所有伪lidar点云，除了误差点作为网络的输入。在图像中充分利用3D几何信息时，图像中的语义信息也用于探视任务中。 2D-3D的融合是在仅基于图像的进程中实现的。 Kitti数据集的实验证明了我们方法的有效性。据我们所知，这是使用伪LIDAR的第一种视觉探光法。

了解3D场景是自治代理的关键先决条件。最近，LIDAR和其他传感器已经以点云帧的时间序列形式提供了大量数据。在这项工作中，我们提出了一种新的问题 - 顺序场景流量估计（SSFE） - 该旨在预测给定序列中所有点云的3D场景流。这与先前研究的场景流程估计问题不同，这侧重于两个框架。我们介绍SPCM-NET架构，通过计算相邻点云之间的多尺度时空相关性，然后通过订单不变的复制单元计算多级时空相关性来解决这个问题。我们的实验评估证实，与仅使用两个框架相比，点云序列的复发处理导致SSFE明显更好。另外，我们证明可以有效地修改该方法，用于顺序点云预测（SPF），一种需要预测未来点云帧的相关问题。我们的实验结果是使用SSFE和SPF的新基准进行评估，包括合成和实时数据集。以前，场景流估计的数据集仅限于两个帧。我们为这些数据集提供非琐碎的扩展，用于多帧估计和预测。由于难以获得现实世界数据集的地面真理运动，我们使用自我监督的培训和评估指标。我们认为，该基准将在该领域的未来研究中关键。将可访问基准和型号的所有代码。

深度和自我运动估计对于自主机器人和自主驾驶的本地化和导航至关重要。最近的研究可以从未标记的单像素视频中学习每个像素深度和自我运动。提出了一种新颖的无监督培训框架，使用显式3D几何进行3D层次细化和增强。在该框架中，深度和姿势估计在分层和相互耦合以通过层改进估计的姿势层。通过用估计的深度和粗姿势翘曲图像中的像素来提出和合成中间视图图像。然后，可以从新视图图像和相邻帧的图像估计残差变换以改进粗糙姿势。迭代细化在本文中以可分散的方式实施，使整个框架均匀优化。同时，提出了一种新的图像增强方法来综合新视图图像来施加姿势估计，这创造性地增强了3D空间中的姿势，而是获得新的增强2D图像。 Kitti的实验表明，我们的深度估计能够实现最先进的性能，甚至超过最近利用其他辅助任务的方法。我们的视觉内径术优于所有最近无监督的单眼学习的方法，并实现了基于几何的方法，ORB-SLAM2的竞争性能，具有后端优化。

场景流估计在场景之间提取点运动的场景估计正在成为许多计算机视觉任务的关键任务。但是，所有现有的估计方法仅利用单向特征，从而限制了准确性和通用性。本文使用双向流嵌入层提出了一种新颖的场景估计架构。所提出的双向层学习沿向前和向后方向的功能，从而增强了估计性能。此外，层次功能提取和翘曲可改善性能并减少计算开销。实验结果表明，拟议的架构通过在FlyingThings3D和Kitti基准测试中优于其他方法，从而实现了新的最新记录。代码可在https://github.com/cwc1260/biflow上找到。

在本文中，我们研究了从同步2D和3D数据共同估计光流量和场景流的问题。以前的方法使用复杂的管道，将联合任务分成独立阶段，或以“早期融合”或“迟到的”方式“的熔断器2D和3D信息。这种单尺寸适合的方法遭受了未能充分利用每个模态的特征的困境，或者最大化模态互补性。为了解决这个问题，我们提出了一个新的端到端框架，称为Camliflow。它由2D和3D分支组成，在特定层之间具有多个双向连接。与以前的工作不同，我们应用基于点的3D分支以更好地提取几何特征，并设计一个对称的学习操作员以保险熔断致密图像特征和稀疏点特征。我们还提出了一种转换，以解决3D-2D投影的非线性问题。实验表明，Camliflow以更少的参数实现了更好的性能。我们的方法在Kitti场景流基准上排名第一，表现出以1/7参数的前一篇文章。代码将可用。

场景流程使自动驾驶汽车可以推理多个独立对象的任意运动，这是长期移动自治的关键。尽管估计LiDAR的场景流动最近进展，但仍未知如何从4D雷达估算场景流动 - 这是一种越来越流行的汽车传感器，因为它在不利的天气和照明条件下的稳健性。与激光点云相比，雷达数据更为稀疏，嘈杂，分辨率更低。在现实世界中，雷达场景流的注释数据集也没有且昂贵。这些因素共同提出了雷达场景流量估计是一个具有挑战性的问题。这项工作旨在解决上述挑战，并通过利用自我监督的学习来估计场景从4-D雷达点云流动。稳健的场景估计架构和三个新颖损失的定制旨在应对棘手的雷达数据。现实世界实验结果验证了我们的方法能够稳健地估计野生中的雷达场景流，并有效地支持运动分割的下游任务。

在本文中，我们提出了USEGSCENE，该框架用于使用卷积神经网络对立体声相机图像的深度，光流和自我感动的无监督学习。我们的框架利用语义信息来改善深度和光流图的正则化，多模式融合和遮挡填充考虑动态刚性对象运动作为独立的SE（3）转换。此外，我们与纯照相匹配匹配互补，我们提出了连续图像之间语义特征，像素类别和对象实例边界的匹配。与以前的方法相反，我们提出了一个网络体系结构，该网络体系结构可以使用共享编码器共同预测所有输出，并允许在任务域上传递信息，例如，光流的预测可以从深度的预测中受益。此外，我们明确地了解网络内部的深度和光流遮挡图，这些图被利用，以改善这些区域的预测。我们在流行的Kitti数据集上介绍了结果，并表明我们的方法以大幅度的优于其他方法。

自我监督的单眼深度估计使机器人能够从原始视频流中学习3D感知。假设世界主要是静态的，这种可扩展的方法利用了投射的几何形状和自我运动来通过视图综合学习。在自主驾驶和人类机器人相互作用中常见的动态场景违反了这一假设。因此，它们需要明确建模动态对象，例如通过估计像素3D运动，即场景流。但是，同时对深度和场景流的自我监督学习是不适合的，因为有许多无限的组合导致相同的3D点。在本文中，我们提出了一种草稿，这是一种通过将合成数据与几何自学意识相结合的新方法，能够共同学习深度，光流和场景流。在木筏架构的基础上，我们将光流作为中间任务，以通过三角剖分来引导深度和场景流量学习。我们的算法还利用任务之间的时间和几何一致性损失来改善多任务学习。我们的草案在标准Kitti基准的自我监督的单眼环境中，同时在所有三个任务中建立了新的最新技术状态。项目页面：https：//sites.google.com/tri.global/draft。

由于激光雷达扫描数据的大规模，噪音和数据不完整，注册Urban Point Clouds是一项艰巨的任务。在本文中，我们提出了SARNET，这是一个新型的语义增强注册网络，旨在在城市规模上实现有效的城市点云的注册。与以前仅在点级空间中构建对应关系的方法不同，我们的方法完全利用语义特征来提高注册精度。具体而言，我们提取具有高级语义分割网络的每点语义标签，并构建先前的语义零件到部分对应关系。然后，我们将语义信息纳入基于学习的注册管道中，该管道由三个核心模块组成：基于语义的最远点采样模块，以有效地滤除异常值和动态对象；一个语义增强的特征提取模块，用于学习更多的判别点描述符；语义改制的转换估计模块，该模块利用先前的语义匹配作为掩码，通过减少错误匹配以更好地收敛来完善点对应关系。我们通过使用来自城市场景的大区域的现实世界数据并将其与替代方法进行比较，从而广泛评估所提出的SARNET。该代码可在https://github.com/wintercodeforeverything/sarnet上找到。

真正的场景流量估计对于3D计算机视觉越来越重要。有些作品成功估计了LIDAR的真实3D场景流。然而，这些无处不在的和昂贵的传感器仍然不太可能被广泛配备用于真实应用。其他作品使用单眼图像来估计场景流，但它们的场景流量估计与比例模糊性归一化，其中需要额外的深度或点云原始事实来恢复实际规模。即使它们在2D中表现良好，这些作品也不提供准确可靠的3D估计。我们在Permutohedral格子上展示了深度学习的建筑 - Monoplflownet。与以前的所有作品不同，我们的monoplflown是第一个工作，其中仅使用两个连续的单眼图像作为输入，而深度和3D场景流程估计是实际规模的。我们的实际场景流量估计优于基于基于尺度的所有最先进的单眼图像基础的作品，并与Lidar方法相媲美。作为副产品，我们的实际深度估计也优于其他最先进的工作。

在本文中，我们介绍了一种新的端到端学习的LIDAR重新定位框架，被称为Pointloc，其仅使用单点云直接姿势作为输入，不需要预先构建的地图。与RGB基于图像的重建化相比，LIDAR帧可以提供有关场景的丰富和强大的几何信息。然而，LIDAR点云是无序的并且非结构化，使得难以为此任务应用传统的深度学习回归模型。我们通过提出一种具有自我关注的小说点风格架构来解决这个问题，从而有效地估计660 {\ DEG} LIDAR输入框架的6-DOF姿势。关于最近发布的巨大恐怖雷达机器人数据集和现实世界机器人实验的扩展实验表明ProposedMethod可以实现准确的重定位化性能。

Photometric differences are widely used as supervision signals to train neural networks for estimating depth and camera pose from unlabeled monocular videos. However, this approach is detrimental for model optimization because occlusions and moving objects in a scene violate the underlying static scenario assumption. In addition, pixels in textureless regions or less discriminative pixels hinder model training. To solve these problems, in this paper, we deal with moving objects and occlusions utilizing the difference of the flow fields and depth structure generated by affine transformation and view synthesis, respectively. Secondly, we mitigate the effect of textureless regions on model optimization by measuring differences between features with more semantic and contextual information without adding networks. In addition, although the bidirectionality component is used in each sub-objective function, a pair of images are reasoned about only once, which helps reduce overhead. Extensive experiments and visual analysis demonstrate the effectiveness of the proposed method, which outperform existing state-of-the-art self-supervised methods under the same conditions and without introducing additional auxiliary information.

基于激光雷达的3D单一对象跟踪是机器人技术和自动驾驶中的一个具有挑战性的问题。当前，现有方法通常会遇到长距离对象通常具有非常稀疏或部分倾斜的点云的问题，这使得模型含糊不清。模棱两可的功能将很难找到目标对象，并最终导致不良跟踪结果。为了解决此问题，我们使用功能强大的变压器体系结构，并为基于点云的3D单一对象跟踪任务提出一个点轨转换器（PTT）模块。具体而言，PTT模块通过计算注意力重量来生成微调的注意力特征，该功能指导追踪器的重点关注目标的重要功能，并提高复杂场景中的跟踪能力。为了评估我们的PTT模块，我们将PTT嵌入主要方法中，并构建一个名为PTT-NET的新型3D SOT跟踪器。在PTT-NET中，我们分别将PTT嵌入了投票阶段和提案生成阶段。投票阶段中的PTT模块可以模拟点斑块之间的交互作用，该点贴片学习上下文依赖于上下文。同时，提案生成阶段中的PTT模块可以捕获对象和背景之间的上下文信息。我们在Kitti和Nuscenes数据集上评估了PTT-NET。实验结果证明了PTT模块的有效性和PTT-NET的优越性，PTT-NET的优势超过了基线，在CAR类别中〜10％。同时，我们的方法在稀疏场景中也具有显着的性能提高。通常，变压器和跟踪管道的组合使我们的PTT-NET能够在两个数据集上实现最先进的性能。此外，PTT-NET可以在NVIDIA 1080TI GPU上实时以40fps实时运行。我们的代码是为研究社区开源的，网址为https://github.com/shanjiayao/ptt。

在自动驾驶汽车和移动机器人上使用的多光束liDAR传感器可获得3D范围扫描的序列（“帧”）。由于有限的角度扫描分辨率和阻塞，每个框架都稀疏地覆盖了场景。稀疏性限制了语义分割或表面重建等下游过程的性能。幸运的是，当传感器移动时，帧将从一系列不同的观点捕获。这提供了互补的信息，当积累在公共场景坐标框架中时，会产生更密集的采样和对基础3D场景的更完整覆盖。但是，扫描场景通常包含移动对象。这些对象上的点不能仅通过撤消扫描仪的自我运动来正确对齐。在本文中，我们将多帧点云积累作为3D扫描序列的中级表示，并开发了一种利用室外街道场景的感应偏见的方法，包括其几何布局和对象级刚性。与最新的场景流估计器相比，我们提出的方法旨在使所有3D点在共同的参考框架中对齐，以正确地积累各个对象上的点。我们的方法大大减少了几个基准数据集上的对齐错误。此外，累积的点云使诸如表面重建之类的高级任务受益。

当视野中有许多移动对象时，基于静态场景假设的SLAM系统会引入重大估计错误。跟踪和维护语义对象有益于场景理解，并为计划和控制模块提供丰富的决策信息。本文介绍了MLO，这是一种多对象的激光雷达探光仪，该镜像仅使用激光雷达传感器跟踪自我运动和语义对象。为了实现对多个对象的准确和强大的跟踪，我们提出了一个最小二乘估计器，该估计器融合了3D边界框和几何点云，用于对象状态更新。通过分析跟踪列表中的对象运动状态，映射模块使用静态对象和环境特征来消除累积错误。同时，它在MAP坐标中提供了连续的对象轨迹。我们的方法在公共Kitti数据集的不同情况下进行了定性和定量评估。实验结果表明，在高度动态，非结构化和未知的语义场景中，MLO的自我定位精度比最先进的系统更好。同时，与基于滤波的方法相比，具有语义几何融合的多目标跟踪方法在跟踪准确性和一致性方面也具有明显的优势。