近年来，我们在自动驾驶汽车的发展中看到了显着的步骤。多家公司开始推出令人印象深刻的系统，这些系统在各种环境中工作。这些系统有时可以给人一种印象，即完全自动驾驶即将到来，我们很快就会在没有方向盘的情况下建造汽车。给予AI的自主权和控制水平的增加为人道交互的新模式提供了机会。然而，调查表明，在自动驾驶汽车中对AI提供更多控制伴随着乘客的一定程度的不安。在尝试缓解这个问题时，最近的作品通过允许乘客提供指导到视觉场景中的特定对象的命令来采取自然语言的方法。尽管如此，这只是汽车的一半，因为汽车也应该了解该命令的物理目的地，这就是我们在本文中的专注。我们提出了一个扩展，其中我们向3D目的地注释了在执行给定的命令之后需要达到的3D目的地，并在预测该目的地位置进行多个不同的基线进行评估。此外，我们介绍一个胜过适用于这种特定设置的先前作品的模型。

当前的自动驾驶汽车技术主要集中于将乘客从A点带到B。但是，已经证明乘客害怕乘坐自动驾驶汽车。减轻此问题的一种方法是允许乘客给汽车提供自然语言命令。但是，汽车可能会误解发布的命令或视觉环境，这可能导致不确定的情况。希望自动驾驶汽车检测到这些情况并与乘客互动以解决它们。本文提出了一个模型，该模型检测到命令时不确定的情况并找到引起该命令的视觉对象。可选地，包括描述不确定对象的系统生成的问题。我们认为，如果汽车可以以人类的方式解释这些物体，乘客就可以对汽车能力获得更多信心。因此，我们研究了如何（1）检测不确定的情况及其根本原因，以及（2）如何为乘客产生澄清的问题。在对Talk2CAR数据集进行评估时，我们表明所提出的模型\ acrfull {pipeline}，改善\ gls {m：模棱两可 - absolute-Increse}，与$ iou _ {.5} $相比，与不使用\ gls {pipeline {pipeline {pipeline { }。此外，我们设计了一个引用表达生成器（reg）\ acrfull {reg_model}量身定制的自动驾驶汽车设置，该设置可产生\ gls {m：流星伴侣} Meteor的相对改进，\ gls \ gls {m：rouge felative}}与最先进的REG模型相比，Rouge-L的速度快三倍。

近年来，自主驾驶LIDAR数据的3D对象检测一直在迈出卓越的进展。在最先进的方法中，已经证明了将点云进行编码为鸟瞰图（BEV）是有效且有效的。与透视图不同，BEV在物体之间保留丰富的空间和距离信息;虽然在BEV中相同类型的更远物体不会较小，但它们包含稀疏点云特征。这一事实使用共享卷积神经网络削弱了BEV特征提取。为了解决这一挑战，我们提出了范围感知注意网络（RAANET），提取更强大的BEV功能并产生卓越的3D对象检测。范围感知的注意力（RAA）卷曲显着改善了近距离的特征提取。此外，我们提出了一种新的辅助损耗，用于密度估计，以进一步增强覆盖物体的Raanet的检测精度。值得注意的是，我们提出的RAA卷积轻量级，并兼容，以集成到用于BEV检测的任何CNN架构中。 Nuscenes DataSet上的广泛实验表明，我们的提出方法优于基于LIDAR的3D对象检测的最先进的方法，具有16 Hz的实时推断速度，为LITE版本为22 Hz。该代码在匿名GitHub存储库HTTPS://github.com/Anonymous0522 / ange上公开提供。

Three-dimensional objects are commonly represented as 3D boxes in a point-cloud. This representation mimics the well-studied image-based 2D bounding-box detection but comes with additional challenges. Objects in a 3D world do not follow any particular orientation, and box-based detectors have difficulties enumerating all orientations or fitting an axis-aligned bounding box to rotated objects. In this paper, we instead propose to represent, detect, and track 3D objects as points. Our framework, CenterPoint, first detects centers of objects using a keypoint detector and regresses to other attributes, including 3D size, 3D orientation, and velocity. In a second stage, it refines these estimates using additional point features on the object. In CenterPoint, 3D object tracking simplifies to greedy closest-point matching. The resulting detection and tracking algorithm is simple, efficient, and effective. CenterPoint achieved state-of-theart performance on the nuScenes benchmark for both 3D detection and tracking, with 65.5 NDS and 63.8 AMOTA for a single model. On the Waymo Open Dataset, Center-Point outperforms all previous single model methods by a large margin and ranks first among all Lidar-only submissions. The code and pretrained models are available at https://github.com/tianweiy/CenterPoint.

Figure 1: Results obtained from our single image, monocular 3D object detection network MonoDIS on a KITTI3D test image with corresponding birds-eye view, showing its ability to estimate size and orientation of objects at different scales.

基于LIDAR的传感驱动器电流自主车辆。尽管进展迅速，但目前的激光雷达传感器在分辨率和成本方面仍然落后于传统彩色相机背后的二十年。对于自主驾驶，这意味着靠近传感器的大物体很容易可见，但远方或小物体仅包括一个测量或两个。这是一个问题，尤其是当这些对象结果驾驶危险时。另一方面，在车载RGB传感器中清晰可见这些相同的对象。在这项工作中，我们提出了一种将RGB传感器无缝熔化成基于LIDAR的3D识别方法。我们的方法采用一组2D检测来生成密集的3D虚拟点，以增加否则稀疏的3D点云。这些虚拟点自然地集成到任何基于标准的LIDAR的3D探测器以及常规激光雷达测量。由此产生的多模态检测器简单且有效。大规模NUSCENES数据集的实验结果表明，我们的框架通过显着的6.6地图改善了强大的中心点基线，并且优于竞争融合方法。代码和更多可视化可在https://tianweiy.github.io/mvp/上获得

Figure 1: We introduce datasets for 3D tracking and motion forecasting with rich maps for autonomous driving. Our 3D tracking dataset contains sequences of LiDAR measurements, 360 • RGB video, front-facing stereo (middle-right), and 6-dof localization. All sequences are aligned with maps containing lane center lines (magenta), driveable region (orange), and ground height. Sequences are annotated with 3D cuboid tracks (green). A wider map view is shown in the bottom-right.

Robust detection and tracking of objects is crucial for the deployment of autonomous vehicle technology. Image based benchmark datasets have driven development in computer vision tasks such as object detection, tracking and segmentation of agents in the environment. Most autonomous vehicles, however, carry a combination of cameras and range sensors such as lidar and radar. As machine learning based methods for detection and tracking become more prevalent, there is a need to train and evaluate such methods on datasets containing range sensor data along with images. In this work we present nuTonomy scenes (nuScenes), the first dataset to carry the full autonomous vehicle sensor suite: 6 cameras, 5 radars and 1 lidar, all with full 360 degree field of view. nuScenes comprises 1000 scenes, each 20s long and fully annotated with 3D bounding boxes for 23 classes and 8 attributes. It has 7x as many annotations and 100x as many images as the pioneering KITTI dataset. We define novel 3D detection and tracking metrics. We also provide careful dataset analysis as well as baselines for lidar and image based detection and tracking. Data, development kit and more information are available online 1 .

人类有自然能够毫不费力地理解语言指挥，如“黄色轿车旁边的公园”，本能地知道车辆的道路的哪个地区应该导航。扩大这种对自主车辆的能力是创建根据人类命令响应和行动的完全自治代理的下一步。为此，我们提出了通过语言命令引用可导航区域（RNR），即导航的接地区域的新任务。 RNR与引用图像分割（RIS）不同，该图像分割（RIS）侧重于自然语言表达式而不是接地导航区域的对象接地。例如，对于指令“黄色轿车旁边的公园，”RIS将旨在分割推荐的轿车，而RNR旨在将建议的停车位分段在道路上分割。我们介绍了一个新的DataSet，talk2car-regseg，它将现有的talk2car数据集扩展，其中包含语言命令描述的区域的分段掩码。提供了一个单独的测试拆分，具有简明的机动指导命令，以评估我们数据集的实用性。我们使用新颖的变换器的架构基准测试所提出的数据集。我们呈现广泛的消融，并在多个评估指标上显示出卓越的性能。基于RNR输出产生轨迹的下游路径规划器确认了所提出的框架的功效。

估计物体的距离是自动驾驶的一项安全至关重要的任务。专注于短距离对象，现有方法和数据集忽略了同样重要的远程对象。在本文中，我们引入了一项具有挑战性且探索不足的任务，我们将其称为长距离距离估计，以及两个数据集，以验证为此任务开发的新方法。然后，我们提出了第一个框架，即通过使用场景中已知距离的引用来准确估算远程对象的距离。从人类感知中汲取灵感，R4D通过将目标对象连接到所有引用来构建图形。图中的边缘编码一对目标和参考对象之间的相对距离信息。然后使用注意模块权衡参考对象的重要性，并将它们组合到一个目标对象距离预测中。与现有基准相比，这两个数据集的实验通过显示出显着改善，证明了R4D的有效性和鲁棒性。我们正在寻求制作提出的数据集，Waymo OpenDataSet-远程标签，可在Waymo.com/open/download上公开可用。

与使用可见光乐队（384 $ \ sim $ 769 THz）和使用红外乐队（361 $ \ sim $ 331 THz）的RGB摄像机不同，雷达使用相对较长的波长无线电（77 $ \ sim $ 81 GHz），从而产生强大不良风雨的测量。不幸的是，与现有的相机和LIDAR数据集相比，现有的雷达数据集仅包含相对较少的样品。这可能会阻碍基于雷达的感知的复杂数据驱动的深度学习技术的发展。此外，大多数现有的雷达数据集仅提供3D雷达张量（3DRT）数据，该数据包含沿多普勒，范围和方位角尺寸的功率测量值。由于没有高程信息，因此要估算3DRT对象的3D边界框是一个挑战。在这项工作中，我们介绍了Kaist-Radar（K-Radar），这是一种新型的大规模对象检测数据集和基准测试，其中包含35K帧的4D雷达张量（4DRT）数据，并具有沿多普勒，范围，Azimuth和Apipation的功率测量值尺寸，以及小心注释的3D边界盒在道路上的物体​​标签。 K-Radar包括在各种道路结构（城市，郊区道路，小巷和高速公路）上进行挑战的驾驶条件，例如不良风雨（雾，雨和雪）。除4DRT外，我们还提供了精心校准的高分辨率激光雷，周围的立体声摄像头和RTK-GPS的辅助测量。我们还提供基于4DRT的对象检测基线神经网络（基线NNS），并表明高度信息对于3D对象检测至关重要。通过将基线NN与类似结构的激光雷达神经网络进行比较，我们证明了4D雷达是不利天气条件的更强大的传感器。所有代码均可在https://github.com/kaist-avelab/k-radar上找到。

在过去的几年中，自动驾驶的感知系统在其表现方面取得了重大进步。但是，这些系统在极端天气条件下努力表现出稳健性，因为在这些条件下，传感器和相机等传感器套件中的主要传感器都会下降。为了解决此问题，摄像机雷达融合系统为所有可靠的高质量感知提供了独特的机会。相机提供丰富的语义信息，而雷达可以通过遮挡和在所有天气条件下工作。在这项工作中，我们表明，当摄像机输入降解时，最新的融合方法的性能很差，这实际上导致失去了他们设定的全天可靠性。与这些方法相反，我们提出了一种新方法RadSegnet，该方法使用了独立信息提取的新设计理念，并在所有情况下都可以在所有情况下真正实现可靠性，包括遮挡和不利天气。我们在基准ASTYX数据集上开发并验证了我们的系统，并在辐射数据集上进一步验证了这些结果。与最先进的方法相比，Radsegnet在ASTYX上提高了27％，辐射增长了41.46％，平均精度得分，并且在不利天气条件下的性能明显更好

由于大规模数据集的可用性，通常在特定位置和良好的天气条件下收集的大规模数据集，近年来，自动驾驶汽车的感知进展已加速。然而，为了达到高安全要求，这些感知系统必须在包括雪和雨在内的各种天气条件下进行稳健运行。在本文中，我们提出了一个新数据集，以通过新颖的数据收集过程启用强大的自动驾驶 - 在不同场景（Urban，Highway，乡村，校园），天气，雪，雨，阳光下，沿着15公里的路线反复记录数据），时间（白天/晚上）以及交通状况（行人，骑自行车的人和汽车）。该数据集包括来自摄像机和激光雷达传感器的图像和点云，以及高精度GPS/ins以在跨路线上建立对应关系。该数据集包括使用Amodal掩码捕获部分遮挡和3D边界框的道路和对象注释。我们通过分析基准在道路和对象，深度估计和3D对象检测中的性能来证明该数据集的独特性。重复的路线为对象发现，持续学习和异常检测打开了新的研究方向。链接到ITHACA365：https：//ithaca365.mae.cornell.edu/

地理定位的概念是指确定地球上的某些“实体”的位置的过程，通常使用全球定位系统（GPS）坐标。感兴趣的实体可以是图像，图像序列，视频，卫星图像，甚至图像中可见的物体。由于GPS标记媒体的大规模数据集由于智能手机和互联网而迅速变得可用，而深入学习已经上升以提高机器学习模型的性能能力，因此由于其显着影响而出现了视觉和对象地理定位的领域广泛的应用，如增强现实，机器人，自驾驶车辆，道路维护和3D重建。本文提供了对涉及图像的地理定位的全面调查，其涉及从捕获图像（图像地理定位）或图像内的地理定位对象（对象地理定位）的地理定位的综合调查。我们将提供深入的研究，包括流行算法的摘要，对所提出的数据集的描述以及性能结果的分析来说明每个字段的当前状态。

In this work, we study 3D object detection from RGB-D data in both indoor and outdoor scenes. While previous methods focus on images or 3D voxels, often obscuring natural 3D patterns and invariances of 3D data, we directly operate on raw point clouds by popping up RGB-D scans. However, a key challenge of this approach is how to efficiently localize objects in point clouds of large-scale scenes (region proposal). Instead of solely relying on 3D proposals, our method leverages both mature 2D object detectors and advanced 3D deep learning for object localization, achieving efficiency as well as high recall for even small objects. Benefited from learning directly in raw point clouds, our method is also able to precisely estimate 3D bounding boxes even under strong occlusion or with very sparse points. Evaluated on KITTI and SUN RGB-D 3D detection benchmarks, our method outperforms the state of the art by remarkable margins while having real-time capability. * Majority of the work done as an intern at Nuro, Inc. depth to point cloud 2D region (from CNN) to 3D frustum 3D box (from PointNet)

与LIDAR相比，相机和雷达传感器在成本，可靠性和维护方面具有显着优势。现有的融合方法通常融合了结果级别的单个模式的输出，称为后期融合策略。这可以通过使用现成的单传感器检测算法受益，但是晚融合无法完全利用传感器的互补特性，因此尽管相机雷达融合的潜力很大，但性能有限。在这里，我们提出了一种新颖的提案级早期融合方法，该方法有效利用了相机和雷达的空间和上下文特性，用于3D对象检测。我们的融合框架首先将图像建议与极坐标系中的雷达点相关联，以有效处理坐标系和空间性质之间的差异。将其作为第一阶段，遵循连续的基于交叉注意的特征融合层在相机和雷达之间自适应地交换时尚信息，从而导致强大而专心的融合。我们的摄像机雷达融合方法可在Nuscenes测试集上获得最新的41.1％地图，而NDS则达到52.3％，比仅摄像机的基线高8.7和10.8点，并在竞争性能上提高竞争性能LIDAR方法。

We propose a model that, given multi-view camera data (left), infers semantics directly in the bird's-eye-view (BEV) coordinate frame (right). We show vehicle segmentation (blue), drivable area (orange), and lane segmentation (green). These BEV predictions are then projected back onto input images (dots on the left).

Tracking has traditionally been the art of following interest points through space and time. This changed with the rise of powerful deep networks. Nowadays, tracking is dominated by pipelines that perform object detection followed by temporal association, also known as tracking-by-detection. We present a simultaneous detection and tracking algorithm that is simpler, faster, and more accurate than the state of the art. Our tracker, CenterTrack, applies a detection model to a pair of images and detections from the prior frame. Given this minimal input, CenterTrack localizes objects and predicts their associations with the previous frame. That's it. CenterTrack is simple, online (no peeking into the future), and real-time. It achieves 67.8% MOTA on the MOT17 challenge at 22 FPS and 89.4% MOTA on the KITTI tracking benchmark at 15 FPS, setting a new state of the art on both datasets. CenterTrack is easily extended to monocular 3D tracking by regressing additional 3D attributes. Using monocular video input, it achieves 28.3% AMOTA@0.2 on the newly released nuScenes 3D tracking benchmark, substantially outperforming the monocular baseline on this benchmark while running at 28 FPS.

3D object detection is an essential task in autonomous driving. Recent techniques excel with highly accurate detection rates, provided the 3D input data is obtained from precise but expensive LiDAR technology. Approaches based on cheaper monocular or stereo imagery data have, until now, resulted in drastically lower accuracies -a gap that is commonly attributed to poor image-based depth estimation. However, in this paper we argue that it is not the quality of the data but its representation that accounts for the majority of the difference. Taking the inner workings of convolutional neural networks into consideration, we propose to convert image-based depth maps to pseudo-LiDAR representations -essentially mimicking the LiDAR signal. With this representation we can apply different existing LiDAR-based detection algorithms. On the popular KITTI benchmark, our approach achieves impressive improvements over the existing state-of-the-art in image-based performance -raising the detection accuracy of objects within the 30m range from the previous state-of-the-art of 22% to an unprecedented 74%. At the time of submission our algorithm holds the highest entry on the KITTI 3D object detection leaderboard for stereo-image-based approaches. Our code is publicly available at https: //github.com/mileyan/pseudo_lidar.

自治机器人目前是最受欢迎的人工智能问题之一，在过去十年中，从自动驾驶汽车和人形系统到交付机器人和无人机，这是一项最受欢迎的智能问题。部分问题是获得一个机器人，以模仿人类的感知，我们的视觉感，用诸如神经网络等数学模型用相机和大脑的眼睛替换眼睛。开发一个能够在没有人为干预的情况下驾驶汽车的AI和一个小型机器人在城市中递送包裹可能看起来像不同的问题，因此来自感知和视觉的观点来看，这两个问题都有几种相似之处。我们目前的主要解决方案通过使用计算机视觉技术，机器学习和各种算法来实现对环境感知的关注，使机器人理解环境或场景，移动，调整其轨迹并执行其任务（维护，探索，等。）无需人为干预。在这项工作中，我们从头开始开发一个小型自动车辆，能够仅使用视觉信息理解场景，通过工业环境导航，检测人员和障碍，或执行简单的维护任务。我们审查了基本问题的最先进问题，并证明了小规模采用的许多方法类似于来自特斯拉或Lyft等公司的真正自动驾驶汽车中使用的方法。最后，我们讨论了当前的机器人和自主驾驶状态以及我们在这一领域找到的技术和道德限制。