在过去的几年中，360 {\ deg}摄像机在过去几年中越来越受欢迎。在本文中，我们提出了两种基本技术-360 {\ deg}图像中的对象检测的视野IOU（fov-iou）和360Augmentation。尽管大多数专为透视图像设计的对象检测神经网络适用于EquiretectAffular投影（ERP）格式的360 {\ deg}图像，但由于ERP图像中的失真，它们的性能会恶化。我们的方法可以很容易地与现有的透视对象检测器集成在一起，并显着改善了性能。 FOV-iou计算球形图像中两个视野边界框的交叉点，该框可用于训练，推理和评估，而360augmentation是一种数据增强技术，特定于360 {\ deg}对象检测任务随机旋转球形图像并由于球体对平面投影而解决偏差。我们在具有不同类型的透视对象检测器的360室数据集上进行了广泛的实验，并显示了我们方法的一致有效性。

In this paper, we introduce an anchor-box free and single shot instance segmentation method, which is conceptually simple, fully convolutional and can be used by easily embedding it into most off-the-shelf detection methods. Our method, termed PolarMask, formulates the instance segmentation problem as predicting contour of instance through instance center classification and dense distance regression in a polar coordinate. Moreover, we propose two effective approaches to deal with sampling high-quality center examples and optimization for dense distance regression, respectively, which can significantly improve the performance and simplify the training process. Without any bells and whistles, PolarMask achieves 32.9% in mask mAP with single-model and single-scale training/testing on the challenging COCO dataset.For the first time, we show that the complexity of instance segmentation, in terms of both design and computation complexity, can be the same as bounding box object detection and this much simpler and flexible instance segmentation framework can achieve competitive accuracy. We hope that the proposed PolarMask framework can serve as a fundamental and strong baseline for single shot instance segmentation task. Code is available at: github.com/xieenze/PolarMask.

Figure 1: Results obtained from our single image, monocular 3D object detection network MonoDIS on a KITTI3D test image with corresponding birds-eye view, showing its ability to estimate size and orientation of objects at different scales.

在现代探测器中，默认使用四变独立回归定位损耗，如平滑 - $ \ ell_1 $丢失。然而，这种损失超薄了，使其与联盟（iou）的最终评估度量，交叉口不一致。直接采用标准IOU也不是不可行的，因为在非重叠盒的情况下的恒定零高原和最小值的非零梯度可能使其不可培养。因此，我们提出了一种解决这些问题的系统方法。首先，我们提出了一个新的公制，延伸的iou（eiou），当两个盒子没有重叠时，它是良好的定义，当重叠时，它是不重叠的并且减少到标准iou。其次，我们介绍了凸化技术（CT）以在EIOU的基础上构建损失，这可以保证梯度最小为零。第三，我们提出了一种稳定的优化技术（SOT），使分数欧盟损失更加稳定，平稳地接近最低。第四，为了充分利用基于EIOO的损失的能力，我们引入了一个相互关联的iou预测头，以进一步提升本地化准确性。通过拟议的贡献，新方法与Reset50 + FPN的备用R-CNN掺入，作为骨干收益率\ TextBF {4.2 Map} Gain on Voc2007和Coco2017上的基准下滑 - $ \ ell_1 $损失，几乎\ textbf {没有培训和推理计算成本}。具体而言，度量标准更长的是，增益越令人显着，在Coco2017上的VOC2007和\ TextBF {5.4 MAP}上越突出，可以在Coco2017上以公式$ AP_ {90} $。

我们提出对象盒，这是一种新颖的单阶段锚定且高度可推广的对象检测方法。与现有的基于锚固的探测器和无锚的探测器相反，它们更偏向于其标签分配中的特定对象量表，我们仅将对象中心位置用作正样本，并在不同的特征级别中平均处理所有对象，而不论对象'尺寸或形状。具体而言，我们的标签分配策略将对象中心位置视为形状和尺寸不足的锚定，并以无锚固的方式锚定，并允许学习每个对象的所有尺度。为了支持这一点，我们将新的回归目标定义为从中心单元位置的两个角到边界框的四个侧面的距离。此外，为了处理比例变化的对象，我们提出了一个量身定制的损失来处理不同尺寸的盒子。结果，我们提出的对象检测器不需要在数据集中调整任何依赖数据集的超参数。我们在MS-Coco 2017和Pascal VOC 2012数据集上评估了我们的方法，并将我们的结果与最先进的方法进行比较。我们观察到，与先前的作品相比，对象盒的性能优惠。此外，我们执行严格的消融实验来评估我们方法的不同组成部分。我们的代码可在以下网址提供：https：//github.com/mohsenzand/objectbox。

定向对象检测是在空中图像中的具有挑战性的任务，因为航空图像中的物体以任意的方向显示并且经常密集包装。主流探测器使用五个参数或八个主角表示描述了旋转对象，这遭受了定向对象定义的表示模糊性。在本文中，我们提出了一种基于平行四边形的面积比的新型表示方法，称为ARP。具体地，ARP回归定向对象的最小边界矩形和三个面积比。三个面积比包括指向物体与最小的外接矩形的面积比和两个平行四边形到最小的矩形。它简化了偏移学习，消除了面向对象的角度周期性或标签点序列的问题。为了进一步弥补近横向物体的混淆问题，采用对象和其最小的外缘矩形的面积比来指导每个物体的水平或定向检测的选择。此外，使用水平边界盒和三个面积比的旋转高效交叉点（R-EIOU）丢失和三个面积比旨在优化用于旋转对象的边界盒回归。遥感数据集的实验结果，包括HRSC2016，DOTA和UCAS-AOD，表明我们的方法达到了卓越的检测性能，而不是许多最先进的方法。

物体检测在计算机视觉中取得了巨大的进步。具有外观降级的小物体检测是一个突出的挑战，特别是对于鸟瞰观察。为了收集足够的阳性/阴性样本进行启发式训练，大多数物体探测器预设区域锚，以便将交叉联盟（iou）计算在地面判处符号数据上。在这种情况下，小物体经常被遗弃或误标定。在本文中，我们提出了一种有效的动态增强锚（DEA）网络，用于构建新颖的训练样本发生器。与其他最先进的技术不同，所提出的网络利用样品鉴别器来实现基于锚的单元和无锚单元之间的交互式样本筛选，以产生符合资格的样本。此外，通过基于保守的基于锚的推理方案的多任务联合训练增强了所提出的模型的性能，同时降低计算复杂性。所提出的方案支持定向和水平对象检测任务。对两个具有挑战性的空中基准（即，DotA和HRSC2016）的广泛实验表明，我们的方法以适度推理速度和用于训练的计算开销的准确性实现最先进的性能。在DotA上，我们的DEA-NET与ROI变压器的基线集成了0.40％平均平均精度（MAP）的先进方法，以便用较弱的骨干网（Resnet-101 VS Resnet-152）和3.08％平均 - 平均精度（MAP），具有相同骨干网的水平对象检测。此外，我们的DEA网与重新排列的基线一体化实现最先进的性能80.37％。在HRSC2016上，它仅使用3个水平锚点超过1.1％的最佳型号。

空中无人机镜头的视觉检查是当今土地搜索和救援（SAR）运营的一个组成部分。由于此检查是对人类的缓慢而繁琐，令人疑惑的工作，我们提出了一种新颖的深入学习算法来自动化该航空人员检测（APD）任务。我们试验模型架构选择，在线数据增强，转移学习，图像平铺和其他几种技术，以提高我们方法的测试性能。我们将新型航空检验视网膜（空气）算法呈现为这些贡献的结合。空中探测器在精度（〜21个百分点增加）和速度方面，在常用的SAR测试数据上表现出最先进的性能。此外，我们为SAR任务中的APD问题提供了新的正式定义。也就是说，我们提出了一种新的评估方案，在现实世界SAR本地化要求方面排名探测器。最后，我们提出了一种用于稳健的新型后处理方法，近似对象定位：重叠边界框（MOB）算法的合并。在空中检测器中使用的最终处理阶段在真实的空中SAR任务面前显着提高了其性能和可用性。

Intersection over Union (IoU) is the most popular evaluation metric used in the object detection benchmarks. However, there is a gap between optimizing the commonly used distance losses for regressing the parameters of a bounding box and maximizing this metric value. The optimal objective for a metric is the metric itself. In the case of axisaligned 2D bounding boxes, it can be shown that IoU can be directly used as a regression loss. However, IoU has a plateau making it infeasible to optimize in the case of nonoverlapping bounding boxes. In this paper, we address the weaknesses of IoU by introducing a generalized version as both a new loss and a new metric. By incorporating this generalized IoU (GIoU ) as a loss into the state-of-the art object detection frameworks, we show a consistent improvement on their performance using both the standard, IoU based, and new, GIoU based, performance measures on popular object detection benchmarks such as PASCAL VOC and MS COCO.

Recent one-stage object detectors follow a per-pixel prediction approach that predicts both the object category scores and boundary positions from every single grid location. However, the most suitable positions for inferring different targets, i.e., the object category and boundaries, are generally different. Predicting all these targets from the same grid location thus may lead to sub-optimal results. In this paper, we analyze the suitable inference positions for object category and boundaries, and propose a prediction-target-decoupled detector named PDNet to establish a more flexible detection paradigm. Our PDNet with the prediction decoupling mechanism encodes different targets separately in different locations. A learnable prediction collection module is devised with two sets of dynamic points, i.e., dynamic boundary points and semantic points, to collect and aggregate the predictions from the favorable regions for localization and classification. We adopt a two-step strategy to learn these dynamic point positions, where the prior positions are estimated for different targets first, and the network further predicts residual offsets to the positions with better perceptions of the object properties. Extensive experiments on the MS COCO benchmark demonstrate the effectiveness and efficiency of our method. With a single ResNeXt-64x4d-101-DCN as the backbone, our detector achieves 50.1 AP with single-scale testing, which outperforms the state-of-the-art methods by an appreciable margin under the same experimental settings.Moreover, our detector is highly efficient as a one-stage framework. Our code is public at https://github.com/yangli18/PDNet.

现有检测方法通常使用参数化边界框（Bbox）进行建模和检测（水平）对象，并将其他旋转角参数用于旋转对象。我们认为，这种机制在建立有效的旋转检测回归损失方面具有根本的局限性，尤其是对于高精度检测而言，高精度检测（例如0.75）。取而代之的是，我们建议将旋转的对象建模为高斯分布。一个直接的优势是，我们关于两个高斯人之间距离的新回归损失，例如kullback-leibler Divergence（KLD）可以很好地对齐实际检测性能度量标准，这在现有方法中无法很好地解决。此外，两个瓶颈，即边界不连续性和正方形的问题也消失了。我们还提出了一种有效的基于高斯度量的标签分配策略，以进一步提高性能。有趣的是，通过在基于高斯的KLD损失下分析Bbox参数的梯度，我们表明这些参数通过可解释的物理意义进行了动态更新，这有助于解释我们方法的有效性，尤其是对于高精度检测。我们使用量身定制的算法设计将方法从2-D扩展到3-D，以处理标题估计，并在十二个公共数据集（2-D/3-D，空中/文本/脸部图像）上进行了各种基本检测器的实验结果。展示其优越性。

Object detection is a comprehensively studied problem in autonomous driving. However, it has been relatively less explored in the case of fisheye cameras. The standard bounding box fails in fisheye cameras due to the strong radial distortion, particularly in the image's periphery. We explore better representations like oriented bounding box, ellipse, and generic polygon for object detection in fisheye images in this work. We use the IoU metric to compare these representations using accurate instance segmentation ground truth. We design a novel curved bounding box model that has optimal properties for fisheye distortion models. We also design a curvature adaptive perimeter sampling method for obtaining polygon vertices, improving relative mAP score by 4.9% compared to uniform sampling. Overall, the proposed polygon model improves mIoU relative accuracy by 40.3%. It is the first detailed study on object detection on fisheye cameras for autonomous driving scenarios to the best of our knowledge. The dataset comprising of 10,000 images along with all the object representations ground truth will be made public to encourage further research. We summarize our work in a short video with qualitative results at https://youtu.be/iLkOzvJpL-A.

边界不连续性及其与最终检测度量的不一致是旋转检测回归设计的瓶颈。在本文中，我们提出了一种基于高斯Wasserstein距离的新型回归损失作为解决问题的基本方法。具体地，旋转边界盒被转换为2-D高斯分布，这使得能够通过梯度反向传播可以有效地学习的高斯Wassersein距离（GWD）来近似逼降旋转IOU诱导损失。 GWD仍然可以进行信息，即使在两个旋转边界盒之间没有重叠，通常是小对象检测的情况。由于其三种独特的特性，GWD也可以挽救解决边界不连续性和方形的问题，而不管如何定义边界框。使用不同探测器的五个数据集的实验显示了我们方法的有效性。代码在https://github.com/yangxue0827/rotationDetection提供。

检测微小的物体是一个非常具有挑战性的问题，因为一个小物体只包含几个像素的大小。我们证明，由于缺乏外观信息，最新的检测器不会对微小物体产生令人满意的结果。我们的主要观察结果是，基于联合（IOU）的相交（例如IOU本身及其扩展）对微小物体的位置偏差非常敏感，并且在基于锚固的检测器中使用时会大大恶化检测性能。为了减轻这一点，我们提出了使用Wasserstein距离进行微小对象检测的新评估度量。具体而言，我们首先将边界框建模为2D高斯分布，然后提出一个新的公制称为标准化的瓦斯汀距离（NWD），以通过相应的高斯分布来计算它们之间的相似性。提出的NWD度量可以轻松地嵌入分配中，非最大抑制作用以及任何基于锚固的检测器的损耗函数，以替换常用的IOU度量。我们在新的数据集上评估了我们的度量，以用于微小对象检测（AI-TOD），其中平均对象大小比现有对象检测数据集小得多。广泛的实验表明，在配备NWD指标时，我们的方法的性能比标准的微调基线高6.7 AP点，并且比最先进的竞争对手高6.0 AP点。代码可在以下网址提供：https：//github.com/jwwangchn/nwd。

In object detection, keypoint-based approaches often suffer a large number of incorrect object bounding boxes, arguably due to the lack of an additional look into the cropped regions. This paper presents an efficient solution which explores the visual patterns within each cropped region with minimal costs. We build our framework upon a representative one-stage keypoint-based detector named Corner-Net. Our approach, named CenterNet, detects each object as a triplet, rather than a pair, of keypoints, which improves both precision and recall. Accordingly, we design two customized modules named cascade corner pooling and center pooling, which play the roles of enriching information collected by both top-left and bottom-right corners and providing more recognizable information at the central regions, respectively. On the MS-COCO dataset, CenterNet achieves an AP of 47.0%, which outperforms all existing one-stage detectors by at least 4.9%. Meanwhile, with a faster inference speed, CenterNet demonstrates quite comparable performance to the top-ranked two-stage detectors. Code is available at https://github.com/ Duankaiwen/CenterNet.

360 {\ deg}图像是有益的 - 它包含相机周围的全向视觉信息。但是，覆盖360 {\ deg}图像的区域比人类的视野大得多，因此在不同视图方向上的重要信息很容易被忽略。为了解决此问题，我们提出了一种使用视觉显着性作为线索来预测单个360 {\ deg}图像中最佳区域（ROI）集合的方法。为了处理现有的单个360 {\ deg}图像显着性预测数据集的稀缺，有偏见的训练数据，我们还提出了基于球形随机数据旋转的数据增强方法。从预测的显着图和冗余候选区域，我们获得了最佳的ROI集合，考虑到区域内的显着性和区域之间的相互作用（IOU）。我们进行主观评估，以表明所提出的方法可以选择正确汇总输入360 {\ deg}图像的区域。

面向边界框回归对于定向对象检测至关重要。但是，基于回归的方法通常会遭受边界问题以及损失和评估指标之间的不一致性。在本文中，提出了一个调制的卡尔曼·伊奥（Kalman iou）损失，命名为Mkiou。为了避免边界问题，我们将定向边界框转换为高斯分布，然后使用卡尔曼过滤器近似交叉区域。但是，计算的交叉区域和实际交叉区域之间存在显着差异。因此，我们提出了一个调制因子，以调节角度偏差和宽度高度偏移对损失变化的敏感性，从而使损失与评估度量更一致。此外，高斯建模方法避免了边界问题，但同时引起方形对象的角度混乱。因此，提出了高斯角损失（GA损耗），以通过添加平方目标的校正损失来解决此问题。提出的GA损失可以很容易地扩展到其他基于高斯的方法。在三个公开可用的空中图像数据集（DOTA，UCAS-AOD和HRSC2016）上进行了实验，显示了该方法的有效性。

交通灯检测对于自动驾驶汽车在城市地区安全导航至关重要。公开可用的交通灯数据集不足以开发用于检测提供重要导航信息的遥远交通信号灯的算法。我们介绍了一个新颖的基准交通灯数据集，该数据集使用一对涵盖城市和半城市道路的狭窄角度和广角摄像机捕获。我们提供1032张训练图像和813个同步图像对进行测试。此外，我们提供同步视频对进行定性分析。该数据集包括第1920 $ \ times $ 1080的分辨率图像，覆盖10个不同类别。此外，我们提出了一种用于结合两个相机输出的后处理算法。结果表明，与使用单个相机框架的传统方法相比，我们的技术可以在速度和准确性之间取得平衡。

全球城市可免费获得大量的地理参考全景图像，以及各种各样的城市物体上的位置和元数据的详细地图。它们提供了有关城市物体的潜在信息来源，但是对象检测的手动注释是昂贵，费力和困难的。我们可以利用这种多媒体来源自动注释街道级图像作为手动标签的廉价替代品吗？使用Panorams框架，我们引入了一种方法，以根据城市上下文信息自动生成全景图像的边界框注释。遵循这种方法，我们仅以快速自动的方式从开放数据源中获得了大规模的（尽管嘈杂，但都嘈杂，但对城市数据集进行了注释。该数据集涵盖了阿姆斯特丹市，其中包括771,299张全景图像中22个对象类别的1400万个嘈杂的边界框注释。对于许多对象，可以从地理空间元数据（例如建筑价值，功能和平均表面积）获得进一步的细粒度信息。这样的信息将很难（即使不是不可能）单独根据图像来获取。为了进行详细评估，我们引入了一个有效的众包协议，用于在全景图像中进行边界框注释，我们将其部署以获取147,075个地面真实对象注释，用于7,348张图像的子集，Panorams-clean数据集。对于我们的Panorams-Noisy数据集，我们对噪声以及不同类型的噪声如何影响图像分类和对象检测性能提供了广泛的分析。我们可以公开提供数据集，全景噪声和全景清洁，基准和工具。

With the vigorous development of computer vision, oriented object detection has gradually been featured. In this paper, a novel differentiable angle coder named phase-shifting coder (PSC) is proposed to accurately predict the orientation of objects, along with a dual-frequency version PSCD. By mapping rotational periodicity of different cycles into phase of different frequencies, we provide a unified framework for various periodic fuzzy problems in oriented object detection. Upon such framework, common problems in oriented object detection such as boundary discontinuity and square-like problems are elegantly solved in a unified form. Visual analysis and experiments on three datasets prove the effectiveness and the potentiality of our approach. When facing scenarios requiring high-quality bounding boxes, the proposed methods are expected to give a competitive performance. The codes are publicly available at https://github.com/open-mmlab/mmrotate.