我们将2D盲点估计作为道路场景理解的关键视觉任务。通过自动检测从车辆有利位置阻塞的道路区域，我们可以主动提醒手动驾驶员或自动驾驶系统，以实现事故的潜在原因（例如，引起人们对孩子可能逃脱的道路区域的注意）。在完整3D中检测盲点将是具有挑战性的，因为即使汽车配备了LIDAR，3D推理也会非常昂贵且容易发生。相反，我们建议从单眼相机中学习估计2D中的盲点。我们通过两个步骤实现这一目标。我们首先引入了一种自动方法，用于通过利用单眼深度估计，语义细分和SLAM来生成``地面真相''盲点训练数据，以进行任意驾驶视频。关键的想法是在3D中推理，但要从2D图像定义为那些目前看不见但在不久的将来看到的道路区域。我们使用此自动离线盲点估计来构建一个大规模数据集，我们称之为道路盲点（RBS）数据集。接下来，我们介绍BlindSpotnet（BSN），这是一个简单的网络，该网络完全利用此数据集，以完全自动估算框架盲点概率图，以用于任意驾驶视频。广泛的实验结果证明了我们的RBS数据集的有效性和BSN的有效性。

深度估计，视觉探测器（VO）和Bird's-eye-view（BEV）场景布局估计提出了三个关键任务，这是驾驶场景感知的三个关键任务，这对于自动驾驶中运动计划和导航至关重要。尽管它们是彼此互补的，但先前的工作通常专注于每个任务，并且很少处理所有三个任务。一种幼稚的方法是以顺序或平行的方式独立实现它们，但是有很多缺点，即1）深度和vo结果遭受了固有的规模歧义问题； 2）BEV布局是从前视图像直接预测的，而无需使用任何与深度相关的信息，尽管深度图包含用于推断场景布局的有用几何线索。在本文中，我们通过提出一个名为jperceiver的新型关节感知框架来解决这些问题，该框架可以同时估算从单眼视频序列中估算尺度感知的深度和vo以及BEV布局。它利用了跨视图几何变换（CGT），以基于精心设计的量表损失来传播从道路布局到深度和VO的绝对尺度。同时，设计了一个跨视图和跨模式转移（CCT）模块，以通过注意机制利用深度线索来用于推理道路和车辆布局。可以以端到端的多任务学习方式对JPERCEIVER进行培训，其中CGT量表损失和CCT模块可以促进任务间知识转移以使每个任务的功能学习受益。关于Argoverse，Nuscenes和Kitti的实验表明，在准确性，模型大小和推理速度方面，JPEREVER在上述所有三个任务上的优越性。代码和模型可在〜\ href {https://github.com/sunnyhelen/jperceiver} {https://github.com/sunnyhelen/jperceiver}中获得。

对于与行人一起运行的移动机器人，对地面基础设施（例如道路和街道交叉路口）进行了牢固的分类。尽管许多语义分割数据集可用于自动驾驶汽车，但在此类数据集中训练的模型在部署在行人空间中的机器人上时表现出较大的域间隙。从行人角度录制的手动注释图像既昂贵又耗时。为了克服这一挑战，我们提出了TrackletMapper，这是一个注释地面类型的框架，例如人行道，道路和街道交叉点，而无需进行人类注销的数据。为此，我们将机器人自我trajectory和其他交通参与者的路径投射到自我视图相机图像中，为多种类型的接地表面创建稀疏的语义注释，从中可以从中训练地面分段模型。我们进一步表明，该模型可以通过汇总地面图并将其投影到相机图像中，从而自行启动，从而获得额外的性能优势，从而与稀疏的踪迹注释相比，创建了一组密集的训练注释。我们在定性和定量上证明了我们在一个新型的大型数据集上，用于在行人区域运营的移动机器人。代码和数据集将在http://trackletmapper.cs.uni-freiburg.de上提供。

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

现有的计算机视觉系统可以与人类竞争，以理解物体的可见部分，但在描绘部分被遮挡物体的无形部分时，仍然远远远远没有达到人类。图像Amodal的完成旨在使计算机具有类似人类的Amodal完成功能，以了解完整的对象，尽管该对象被部分遮住。这项调查的主要目的是对图像Amodal完成领域的研究热点，关键技术和未来趋势提供直观的理解。首先，我们对这个新兴领域的最新文献进行了全面的评论，探讨了图像Amodal完成中的三个关键任务，包括Amodal形状完成，Amodal外观完成和订单感知。然后，我们检查了与图像Amodal完成有关的流行数据集及其共同的数据收集方法和评估指标。最后，我们讨论了现实世界中的应用程序和未来的研究方向，以实现图像的完成，从而促进了读者对现有技术和即将到来的研究趋势的挑战的理解。

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

3D object detection is an essential task in autonomous driving. Recent techniques excel with highly accurate detection rates, provided the 3D input data is obtained from precise but expensive LiDAR technology. Approaches based on cheaper monocular or stereo imagery data have, until now, resulted in drastically lower accuracies -a gap that is commonly attributed to poor image-based depth estimation. However, in this paper we argue that it is not the quality of the data but its representation that accounts for the majority of the difference. Taking the inner workings of convolutional neural networks into consideration, we propose to convert image-based depth maps to pseudo-LiDAR representations -essentially mimicking the LiDAR signal. With this representation we can apply different existing LiDAR-based detection algorithms. On the popular KITTI benchmark, our approach achieves impressive improvements over the existing state-of-the-art in image-based performance -raising the detection accuracy of objects within the 30m range from the previous state-of-the-art of 22% to an unprecedented 74%. At the time of submission our algorithm holds the highest entry on the KITTI 3D object detection leaderboard for stereo-image-based approaches. Our code is publicly available at https: //github.com/mileyan/pseudo_lidar.

由于大规模数据集的可用性，通常在特定位置和良好的天气条件下收集的大规模数据集，近年来，自动驾驶汽车的感知进展已加速。然而，为了达到高安全要求，这些感知系统必须在包括雪和雨在内的各种天气条件下进行稳健运行。在本文中，我们提出了一个新数据集，以通过新颖的数据收集过程启用强大的自动驾驶 - 在不同场景（Urban，Highway，乡村，校园），天气，雪，雨，阳光下，沿着15公里的路线反复记录数据），时间（白天/晚上）以及交通状况（行人，骑自行车的人和汽车）。该数据集包括来自摄像机和激光雷达传感器的图像和点云，以及高精度GPS/ins以在跨路线上建立对应关系。该数据集包括使用Amodal掩码捕获部分遮挡和3D边界框的道路和对象注释。我们通过分析基准在道路和对象，深度估计和3D对象检测中的性能来证明该数据集的独特性。重复的路线为对象发现，持续学习和异常检测打开了新的研究方向。链接到ITHACA365：https：//ithaca365.mae.cornell.edu/

Self-supervised monocular depth estimation has shown impressive results in static scenes. It relies on the multi-view consistency assumption for training networks, however, that is violated in dynamic object regions and occlusions. Consequently, existing methods show poor accuracy in dynamic scenes, and the estimated depth map is blurred at object boundaries because they are usually occluded in other training views. In this paper, we propose SC-DepthV3 for addressing the challenges. Specifically, we introduce an external pretrained monocular depth estimation model for generating single-image depth prior, namely pseudo-depth, based on which we propose novel losses to boost self-supervised training. As a result, our model can predict sharp and accurate depth maps, even when training from monocular videos of highly-dynamic scenes. We demonstrate the significantly superior performance of our method over previous methods on six challenging datasets, and we provide detailed ablation studies for the proposed terms. Source code and data will be released at https://github.com/JiawangBian/sc_depth_pl

动态对象对机器人对环境的看法产生了重大影响，这降低了本地化和映射等基本任务的性能。在这项工作中，我们通过在由动态对象封闭的区域中合成合理的颜色，纹理和几何形状来解决这个问题。我们提出了一种新的几何感知Dynafill架构，其遵循粗略拓扑，并将我们所通用的经常性反馈机制结合到自适应地融合来自之前的时间步来的信息。我们使用对抗性培训来优化架构，以综合精细的现实纹理，使其能够以空间和时间相干的方式在线在线遮挡地区的幻觉和深度结构，而不依赖于未来的帧信息。将我们的待遇问题作为图像到图像到图像的翻译任务，我们的模型还纠正了与场景中动态对象的存在相关的区域，例如阴影或反射。我们引入了具有RGB-D图像，语义分段标签，摄像机的大型高估数据集，以及遮挡区域的地面RGB-D信息。广泛的定量和定性评估表明，即使在挑战天气条件下，我们的方法也能实现最先进的性能。此外，我们使用综合图像显示基于检索的视觉本地化的结果，该图像证明了我们方法的效用。

摄像机是自动化驱动系统中的主要传感器。它们提供高信息密度，并对检测为人类视野提供的道路基础设施线索最优。环绕式摄像机系统通常包括具有190 {\ DEG} +视野的四个鱼眼相机，覆盖在车辆周围的整个360 {\ DEG}集中在近场传感上。它们是低速，高精度和近距离传感应用的主要传感器，如自动停车，交通堵塞援助和低速应急制动。在这项工作中，我们提供了对这种视觉系统的详细调查，在可以分解为四个模块化组件的架构中，设置调查即可识别，重建，重建和重组。我们共同称之为4R架构。我们讨论每个组件如何完成特定方面，并提供一个位置论证，即它们可以协同组织以形成用于低速自动化的完整感知系统。我们通过呈现来自以前的作品的结果，并通过向此类系统提出架构提案来支持此参数。定性结果在视频中呈现在HTTPS://youtu.be/ae8bcof7777uy中。

Photometric differences are widely used as supervision signals to train neural networks for estimating depth and camera pose from unlabeled monocular videos. However, this approach is detrimental for model optimization because occlusions and moving objects in a scene violate the underlying static scenario assumption. In addition, pixels in textureless regions or less discriminative pixels hinder model training. To solve these problems, in this paper, we deal with moving objects and occlusions utilizing the difference of the flow fields and depth structure generated by affine transformation and view synthesis, respectively. Secondly, we mitigate the effect of textureless regions on model optimization by measuring differences between features with more semantic and contextual information without adding networks. In addition, although the bidirectionality component is used in each sub-objective function, a pair of images are reasoned about only once, which helps reduce overhead. Extensive experiments and visual analysis demonstrate the effectiveness of the proposed method, which outperform existing state-of-the-art self-supervised methods under the same conditions and without introducing additional auxiliary information.

Panoptic图像分割是计算机视觉任务，即在图像中查找像素组并为其分配语义类别和对象实例标识符。由于其在机器人技术和自动驾驶中的关键应用，图像细分的研究变得越来越流行。因此，研究社区依靠公开可用的基准数据集来推进计算机视觉中的最新技术。但是，由于将图像标记为高昂的成本，因此缺乏适合全景分割的公开地面真相标签。高标签成本还使得将现有数据集扩展到视频域和多相机设置是一项挑战。因此，我们介绍了Waymo Open DataSet：全景视频全景分割数据集，这是一个大型数据集，它提供了用于自主驾驶的高质量的全景分割标签。我们使用公开的Waymo打开数据集生成数据集，利用各种相机图像集。随着时间的推移，我们的标签是一致的，用于视频处理，并且在车辆上安装的多个摄像头保持一致，以了解全景的理解。具体而言，我们为28个语义类别和2,860个时间序列提供标签，这些标签由在三个不同地理位置驾驶的自动驾驶汽车上安装的五个摄像机捕获，从而导致总共标记为100k标记的相机图像。据我们所知，这使我们的数据集比现有的数据集大量数据集大的数量级。我们进一步提出了一个新的基准，用于全景视频全景分割，并根据DeepLab模型家族建立许多强大的基准。我们将公开制作基准和代码。在https://waymo.com/open上找到数据集。

Recently, Bird's-Eye-View (BEV) representation has gained increasing attention in multi-view 3D object detection, which has demonstrated promising applications in autonomous driving. Although multi-view camera systems can be deployed at low cost, the lack of depth information makes current approaches adopt large models for good performance. Therefore, it is essential to improve the efficiency of BEV 3D object detection. Knowledge Distillation (KD) is one of the most practical techniques to train efficient yet accurate models. However, BEV KD is still under-explored to the best of our knowledge. Different from image classification tasks, BEV 3D object detection approaches are more complicated and consist of several components. In this paper, we propose a unified framework named BEV-LGKD to transfer the knowledge in the teacher-student manner. However, directly applying the teacher-student paradigm to BEV features fails to achieve satisfying results due to heavy background information in RGB cameras. To solve this problem, we propose to leverage the localization advantage of LiDAR points. Specifically, we transform the LiDAR points to BEV space and generate the foreground mask and view-dependent mask for the teacher-student paradigm. It is to be noted that our method only uses LiDAR points to guide the KD between RGB models. As the quality of depth estimation is crucial for BEV perception, we further introduce depth distillation to our framework. Our unified framework is simple yet effective and achieves a significant performance boost. Code will be released.

We present an unsupervised learning framework for the task of monocular depth and camera motion estimation from unstructured video sequences. In common with recent work [10,14,16], we use an end-to-end learning approach with view synthesis as the supervisory signal. In contrast to the previous work, our method is completely unsupervised, requiring only monocular video sequences for training. Our method uses single-view depth and multiview pose networks, with a loss based on warping nearby views to the target using the computed depth and pose. The networks are thus coupled by the loss during training, but can be applied independently at test time. Empirical evaluation on the KITTI dataset demonstrates the effectiveness of our approach: 1) monocular depth performs comparably with supervised methods that use either ground-truth pose or depth for training, and 2) pose estimation performs favorably compared to established SLAM systems under comparable input settings.

以视觉为中心的BEV感知由于其固有的优点，最近受到行业和学术界的关注，包括展示世界自然代表和融合友好。随着深度学习的快速发展，已经提出了许多方法来解决以视觉为中心的BEV感知。但是，最近没有针对这个小说和不断发展的研究领域的调查。为了刺激其未来的研究，本文对以视觉为中心的BEV感知及其扩展进行了全面调查。它收集并组织了最近的知识，并对常用算法进行了系统的综述和摘要。它还为几项BEV感知任务提供了深入的分析和比较结果，从而促进了未来作品的比较并激发了未来的研究方向。此外，还讨论了经验实现细节并证明有利于相关算法的开发。

鉴于其经济性与多传感器设置相比，从单眼输入中感知的3D对象对于机器人系统至关重要。它非常困难，因为单个图像无法提供预测绝对深度值的任何线索。通过双眼方法进行3D对象检测，我们利用了相机自我运动提供的强几何结构来进行准确的对象深度估计和检测。我们首先对此一般的两视案例进行了理论分析，并注意两个挑战：1）来自多个估计的累积错误，这些估计使直接预测棘手； 2）由静态摄像机和歧义匹配引起的固有难题。因此，我们建立了具有几何感知成本量的立体声对应关系，作为深度估计的替代方案，并以单眼理解进一步补偿了它，以解决第二个问题。我们的框架（DFM）命名为深度（DFM），然后使用已建立的几何形状将2D图像特征提升到3D空间并检测到其3D对象。我们还提出了一个无姿势的DFM，以使其在摄像头不可用时可用。我们的框架在Kitti基准测试上的优于最先进的方法。详细的定量和定性分析也验证了我们的理论结论。该代码将在https://github.com/tai-wang/depth-from-motion上发布。

我们介绍了MGNET，这是一个多任务框架，用于单眼几何场景。我们将单眼几何场景的理解定义为两个已知任务的组合：全景分割和自我监管的单眼深度估计。全景分段不仅在语义上，而且在实例的基础上捕获完整场景。自我监督的单眼深度估计使用摄像机测量模型得出的几何约束，以便从单眼视频序列中测量深度。据我们所知，我们是第一个在一个模型中提出这两个任务的组合的人。我们的模型专注于低潜伏期，以实时在单个消费级GPU上实时提供快速推断。在部署过程中，我们的模型将产生密集的3D点云，其中具有来自单个高分辨率摄像头图像的实例意识到语义标签。我们对两个流行的自动驾驶基准（即CityScapes and Kitti）评估了模型，并在其他能够实时的方法中表现出竞争性能。源代码可从https://github.com/markusschoen/mgnet获得。

The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1

了解场景是自主导航车辆的关键，以及在线将周围环境分段为移动和非移动物体的能力是这项任务的中央成分。通常，基于深度学习的方法用于执行移动对象分段（MOS）。然而，这些网络的性能强烈取决于标记培训数据的多样性和数量，可以获得昂贵的信息。在本文中，我们提出了一种自动数据标记管道，用于3D LIDAR数据，以节省广泛的手动标记工作，并通过自动生成标记的训练数据来提高现有的基于学习的MOS系统的性能。我们所提出的方法通过批量处理数据来实现数据。首先利用基于占用的动态对象拆除以粗略地检测可能的动态物体。其次，它提取了提案中的段，并使用卡尔曼滤波器跟踪它们。基于跟踪的轨迹，它标记了实际移动的物体，如驾驶汽车和行人。相反，非移动物体，例如，停放的汽车，灯，道路或建筑物被标记为静态。我们表明，这种方法允许我们高效地标记LIDAR数据，并将我们的结果与其他标签生成方法的结果进行比较。我们还使用自动生成的标签培训深度神经网络，并与在同一数据上的手动标签上接受过的手动标签的培训相比，实现了类似的性能，以及使用我们方法生成的标签的其他数据集时更好的性能。此外，我们使用不同的传感器评估我们在多个数据集上的方法，我们的实验表明我们的方法可以在各种环境中生成标签。