2D图像中对象检测的最受欢迎的评估度量是联合（IOU）的交集。3D对象检测的IOU指标的现有实施通常忽略一个或多个自由度。在本文中，我们首先为三维边界框提供分析解决方案。作为第二个贡献，得出了体积到体积距离的封闭形式解决方案。最后，提出边界框差为组合的正连续度量。我们将三个指标的开源实现作为独立的Python函数，以及Open3D库和ROS节点的扩展。

在过去的几年中，360 {\ deg}摄像机在过去几年中越来越受欢迎。在本文中，我们提出了两种基本技术-360 {\ deg}图像中的对象检测的视野IOU（fov-iou）和360Augmentation。尽管大多数专为透视图像设计的对象检测神经网络适用于EquiretectAffular投影（ERP）格式的360 {\ deg}图像，但由于ERP图像中的失真，它们的性能会恶化。我们的方法可以很容易地与现有的透视对象检测器集成在一起，并显着改善了性能。 FOV-iou计算球形图像中两个视野边界框的交叉点，该框可用于训练，推理和评估，而360augmentation是一种数据增强技术，特定于360 {\ deg}对象检测任务随机旋转球形图像并由于球体对平面投影而解决偏差。我们在具有不同类型的透视对象检测器的360室数据集上进行了广泛的实验，并显示了我们方法的一致有效性。

Intersection over Union (IoU) is the most popular evaluation metric used in the object detection benchmarks. However, there is a gap between optimizing the commonly used distance losses for regressing the parameters of a bounding box and maximizing this metric value. The optimal objective for a metric is the metric itself. In the case of axisaligned 2D bounding boxes, it can be shown that IoU can be directly used as a regression loss. However, IoU has a plateau making it infeasible to optimize in the case of nonoverlapping bounding boxes. In this paper, we address the weaknesses of IoU by introducing a generalized version as both a new loss and a new metric. By incorporating this generalized IoU (GIoU ) as a loss into the state-of-the art object detection frameworks, we show a consistent improvement on their performance using both the standard, IoU based, and new, GIoU based, performance measures on popular object detection benchmarks such as PASCAL VOC and MS COCO.

Figure 1: Results obtained from our single image, monocular 3D object detection network MonoDIS on a KITTI3D test image with corresponding birds-eye view, showing its ability to estimate size and orientation of objects at different scales.

作为现代深度学习框架的静态计算图的一部分，评估可可平均平均精度（MAP）和可可召回指标会带来一系列独特的挑战。这些挑战包括需要保持动态大小的状态以计算平均平均精度，对全局数据集级别统计数据计算指标的依赖，以及管理批次中图像之间的边界框不同的数量。结果，研究人员和从业人员将可可指标评估为培训后评估步骤是普遍的实践。使用图形友好的算法来计算可可平均的平均精度和回忆，可以在训练时间评估这些指标，从而提高通过训练曲线图的指标演变的可见性，并在原型进行新模型版本时降低迭代时间。我们的贡献包括平均平均精度的准确近似算法，可可平均平均精度和可可召回的开源实现，广泛的数值基准测试以验证我们实施的准确性以及包括火车时间评估的开源培训循环平均平均精度和回忆。

边界不连续性及其与最终检测度量的不一致是旋转检测回归设计的瓶颈。在本文中，我们提出了一种基于高斯Wasserstein距离的新型回归损失作为解决问题的基本方法。具体地，旋转边界盒被转换为2-D高斯分布，这使得能够通过梯度反向传播可以有效地学习的高斯Wassersein距离（GWD）来近似逼降旋转IOU诱导损失。 GWD仍然可以进行信息，即使在两个旋转边界盒之间没有重叠，通常是小对象检测的情况。由于其三种独特的特性，GWD也可以挽救解决边界不连续性和方形的问题，而不管如何定义边界框。使用不同探测器的五个数据集的实验显示了我们方法的有效性。代码在https://github.com/yangxue0827/rotationDetection提供。

我们提出了一个名为mmrotate的开源工具箱，该工具箱提供了基于深度学习的流行旋转对象检测算法的训练，推断和评估的连贯算法框架。mmrotate实现了18种最先进的算法，并支持三种最常用的角度定义方法。为了促进与旋转对象检测有关的问题的未来研究和工业应用，我们还提供了大量训练有素的模型和详细的基准测试，以深入了解旋转对象检测的性能。mmrotate将于https://github.com/open-mmlab/mmrotate公开发布。

We present a method for 3D object detection and pose estimation from a single image. In contrast to current techniques that only regress the 3D orientation of an object, our method first regresses relatively stable 3D object properties using a deep convolutional neural network and then combines these estimates with geometric constraints provided by a 2D object bounding box to produce a complete 3D bounding box. The first network output estimates the 3D object orientation using a novel hybrid discrete-continuous loss, which significantly outperforms the L2 loss. The second output regresses the 3D object dimensions, which have relatively little variance compared to alternatives and can often be predicted for many object types. These estimates, combined with the geometric constraints on translation imposed by the 2D bounding box, enable us to recover a stable and accurate 3D object pose. We evaluate our method on the challenging KITTI object detection benchmark [2] both on the official metric of 3D orientation estimation and also on the accuracy of the obtained 3D bounding boxes. Although conceptually simple, our method outperforms more complex and computationally expensive approaches that leverage semantic segmentation, instance level segmentation and flat ground priors [4] and sub-category detection [23][24]. Our discrete-continuous loss also produces state of the art results for 3D viewpoint estimation on the Pascal 3D+ dataset[26].

促使是令人印象深刻的3D对象检测模型。它已被证明是快速，可扩展和准确的，特别是在考虑它仅使用RGB输入时。在本文中，我们尝试通过使其推断对象尺寸的能力来提高培养，并通过简化数据收集和损耗计算。我们使用LineMod DataSet进行了评估的epose和它的新子集称为“闭塞1-class”。我们还概述了我们目前的进展和关于使用NUSCENES和2017年Kitti 3D对象检测数据集的进步和思考。源代码可在https://github.com/tbd-clip/effile上获得。

定向对象检测是在空中图像中的具有挑战性的任务，因为航空图像中的物体以任意的方向显示并且经常密集包装。主流探测器使用五个参数或八个主角表示描述了旋转对象，这遭受了定向对象定义的表示模糊性。在本文中，我们提出了一种基于平行四边形的面积比的新型表示方法，称为ARP。具体地，ARP回归定向对象的最小边界矩形和三个面积比。三个面积比包括指向物体与最小的外接矩形的面积比和两个平行四边形到最小的矩形。它简化了偏移学习，消除了面向对象的角度周期性或标签点序列的问题。为了进一步弥补近横向物体的混淆问题，采用对象和其最小的外缘矩形的面积比来指导每个物体的水平或定向检测的选择。此外，使用水平边界盒和三个面积比的旋转高效交叉点（R-EIOU）丢失和三个面积比旨在优化用于旋转对象的边界盒回归。遥感数据集的实验结果，包括HRSC2016，DOTA和UCAS-AOD，表明我们的方法达到了卓越的检测性能，而不是许多最先进的方法。

在本文中，我们提出了一个基于对象的摄像头姿势效果估计，并从单个RGB图像和以椭圆形模型表示的对象图中构建图。我们表明，与点对应关系相反，表征3D对象在2D对象检测上的投影的成本函数的定义并不简单。我们根据水平集采样开发了椭圆形成本，展示了其处理部分可见对象并将其性能与其他常见指标进行比较的良好属性。最后，我们表明，在检测到的椭圆上使用预测性不确定性允许对对应关系的贡献进行公平的权衡，从而改善了计算的姿势。该代码在https://gitlab.inria.fr/tangram/level-set基于camera-pose-Estimation上发布。

培训和测试监督对象检测模型需要大量带有地面真相标签的图像。标签定义图像中的对象类及其位置，形状以及可能的其他信息，例如姿势。即使存在人力，标签过程也非常耗时。我们引入了一个新的标签工具，用于2D图像以及3D三角网格：3D标记工具（3DLT）。这是一个独立的，功能丰富和跨平台软件，不需要安装，并且可以在Windows，MacOS和基于Linux的发行版上运行。我们不再像当前工具那样在每个图像上分别标记相同的对象，而是使用深度信息从上述图像重建三角形网格，并仅在上述网格上标记一次对象。我们使用注册来简化3D标记，离群值检测来改进2D边界框的计算和表面重建，以将标记可能性扩展到大点云。我们的工具经过最先进的方法测试，并且在保持准确性和易用性的同时，它极大地超过了它们。

Bounding box regression is the crucial step in object detection. In existing methods, while n-norm loss is widely adopted for bounding box regression, it is not tailored to the evaluation metric, i.e., Intersection over Union (IoU). Recently, IoU loss and generalized IoU (GIoU) loss have been proposed to benefit the IoU metric, but still suffer from the problems of slow convergence and inaccurate regression. In this paper, we propose a Distance-IoU (DIoU) loss by incorporating the normalized distance between the predicted box and the target box, which converges much faster in training than IoU and GIoU losses. Furthermore, this paper summarizes three geometric factors in bounding box regression, i.e., overlap area, central point distance and aspect ratio, based on which a Complete IoU (CIoU) loss is proposed, thereby leading to faster convergence and better performance. By incorporating DIoU and CIoU losses into state-of-the-art object detection algorithms, e.g., YOLO v3, SSD and Faster R-CNN, we achieve notable performance gains in terms of not only IoU metric but also GIoU metric. Moreover, DIoU can be easily adopted into non-maximum suppression (NMS) to act as the criterion, further boosting performance improvement. The source code and trained models are available at https://github.com/Zzh-tju/DIoU.

We focus on the task of amodal 3D object detection in RGB-D images, which aims to produce a 3D bounding box of an object in metric form at its full extent. We introduce Deep Sliding Shapes, a 3D ConvNet formulation that takes a 3D volumetric scene from a RGB-D image as input and outputs 3D object bounding boxes. In our approach, we propose the first 3D Region Proposal Network (RPN) to learn objectness from geometric shapes and the first joint Object Recognition Network (ORN) to extract geometric features in 3D and color features in 2D. In particular, we handle objects of various sizes by training an amodal RPN at two different scales and an ORN to regress 3D bounding boxes. Experiments show that our algorithm outperforms the state-of-the-art by 13.8 in mAP and is 200× faster than the original Sliding Shapes. Source code and pre-trained models are available.

现有检测方法通常使用参数化边界框（Bbox）进行建模和检测（水平）对象，并将其他旋转角参数用于旋转对象。我们认为，这种机制在建立有效的旋转检测回归损失方面具有根本的局限性，尤其是对于高精度检测而言，高精度检测（例如0.75）。取而代之的是，我们建议将旋转的对象建模为高斯分布。一个直接的优势是，我们关于两个高斯人之间距离的新回归损失，例如kullback-leibler Divergence（KLD）可以很好地对齐实际检测性能度量标准，这在现有方法中无法很好地解决。此外，两个瓶颈，即边界不连续性和正方形的问题也消失了。我们还提出了一种有效的基于高斯度量的标签分配策略，以进一步提高性能。有趣的是，通过在基于高斯的KLD损失下分析Bbox参数的梯度，我们表明这些参数通过可解释的物理意义进行了动态更新，这有助于解释我们方法的有效性，尤其是对于高精度检测。我们使用量身定制的算法设计将方法从2-D扩展到3-D，以处理标题估计，并在十二个公共数据集（2-D/3-D，空中/文本/脸部图像）上进行了各种基本检测器的实验结果。展示其优越性。

从单个图像中识别3D中的场景和对象是计算机视觉的长期目标，该目标具有机器人技术和AR/VR的应用。对于2D识别，大型数据集和可扩展解决方案已导致前所未有的进步。在3D中，现有的基准尺寸很小，并且方法专门研究几个对象类别和特定域，例如城市驾驶场景。在2D识别的成功中，我们通过引入一个称为Omni3d的大型基准来重新审视3D对象检测的任务。 OMNI3D重新排列并结合了现有的数据集，导致234K图像与超过300万个实例和97个类别相结合。由于相机内在的差异以及场景和对象类型的丰富多样性，因此3d检测到了这种规模的检测具有挑战性。我们提出了一个称为Cube R-CNN的模型，旨在以统一的方法跨相机和场景类型概括。我们表明，Cube R-CNN在较大的Omni3D和现有基准测试方面都优于先前的作品。最后，我们证明OMNI3D是一个用于3D对象识别的功能强大的数据集，表明它可以改善单数据库性能，并可以通过预训练在新的较小数据集上加速学习。

Object detection is a comprehensively studied problem in autonomous driving. However, it has been relatively less explored in the case of fisheye cameras. The standard bounding box fails in fisheye cameras due to the strong radial distortion, particularly in the image's periphery. We explore better representations like oriented bounding box, ellipse, and generic polygon for object detection in fisheye images in this work. We use the IoU metric to compare these representations using accurate instance segmentation ground truth. We design a novel curved bounding box model that has optimal properties for fisheye distortion models. We also design a curvature adaptive perimeter sampling method for obtaining polygon vertices, improving relative mAP score by 4.9% compared to uniform sampling. Overall, the proposed polygon model improves mIoU relative accuracy by 40.3%. It is the first detailed study on object detection on fisheye cameras for autonomous driving scenarios to the best of our knowledge. The dataset comprising of 10,000 images along with all the object representations ground truth will be made public to encourage further research. We summarize our work in a short video with qualitative results at https://youtu.be/iLkOzvJpL-A.

自动检测武器对于改善个人的安全性和福祉是重要的，仍然是由于各种尺寸，武器形状和外观，这是一项艰巨的任务。查看点变化和遮挡也是使这项任务更加困难的原因。此外，目前的物体检测算法处理矩形区域，但是一个细长和长的步枪可以真正地覆盖区域的一部分区域，其余部分可能包含未经紧的细节。为了克服这些问题，我们提出了一种用于定向意识武器检测的CNN架构，其提供具有改进的武器检测性能的面向边界框。所提出的模型不仅通过将角度作为分类问题的角度分成8个类而且提供方向，而是作为回归问题。对于培训我们的武器检测模型，包括总6400件武器图像的新数据集从网上收集，然后用面向定向的边界框手动注释。我们的数据集不仅提供导向的边界框作为地面真相，还提供了水平边界框。我们还以多种现代对象探测器提供我们的数据集，用于在该领域进一步研究。所提出的模型在该数据集上进行评估，并且与搁板对象检测器的比较分析产生了卓越的拟议模型的性能，以标准评估策略测量。数据集和模型实现在此链接上公开可用：https://bit.ly/2tyzicf。

自动对象检测器的本地化质量通常通过联合（IOU）分数进行评估。在这项工作中，我们表明人类对本地化质量有不同的看法。为了评估这一点，我们对70多名参与者进行了调查。结果表明，对于以完全相同的评分而言，人类可能不会认为这些错误是相等的，并且表达了偏好。我们的工作是第一个与人类一起评估IOU的工作，并清楚地表明，仅依靠IOU分数来评估本地化错误可能还不够。

Object SLAM使用其他语义信息来检测和映射场景中的对象，以提高系统的感知和地图表示功能。四边形和立方体通常用于表示对象，但是它们的单个形状限制了对象图的准确性，从而影响下游任务的应用。在本文中，我们将具有形状参数的超Quadicrics（SQ）引入猛击中以表示对象，并提出了一种单独的参数估计方法，该方法可以准确估算对象姿势并适应不同的形状。此外，我们提出了一种轻巧的数据关联策略，用于将多个视图中的语义观察与对象地标正确关联。我们通过实时性能实施一个单眼语义大满贯系统，并在公共数据集上进行全面的实验。结果表明，我们的方法能够构建准确的对象映射，并且在对象表示中具有优势。代码将在接受后发布。