近年来，将多光谱数据集成在对象检测中，尤其是可见的和红外图像。由于可见（RGB）和红外（IR）图像可以提供互补的信息来处理光变化，因此在许多领域中使用了配对图像，例如多光谱的行人检测，RGB-IR人群计数和RGB-IR显着对象检测。与天然RGB-IR图像相比，我们发现空中RGB-IR图像中的检测遭受跨模式弱的未对准问题，这些问题表现在同一物体的位置，大小和角度偏差。在本文中，我们主要解决了空中RGB-IR图像中跨模式弱未对准的挑战。具体而言，我们首先解释和分析了弱错位问题的原因。然后，我们提出了一个翻译尺度的反向对齐（TSRA）模块，以通过校准这两种方式的特征图来解决问题。该模块通过对齐过程预测了两个模式对象之间的偏差，并利用模态选择（MS）策略来提高对齐的性能。最后，基于TSRA模块的两流特征比对检测器（TSFADET）是为空中图像中的RGB-IR对象检测构建的。通过对公共无人机数据集进行的全面实验，我们验证我们的方法是否降低了交叉模式未对准的效果并实现了可靠的检测结果。

物体检测在计算机视觉中取得了巨大的进步。具有外观降级的小物体检测是一个突出的挑战，特别是对于鸟瞰观察。为了收集足够的阳性/阴性样本进行启发式训练，大多数物体探测器预设区域锚，以便将交叉联盟（iou）计算在地面判处符号数据上。在这种情况下，小物体经常被遗弃或误标定。在本文中，我们提出了一种有效的动态增强锚（DEA）网络，用于构建新颖的训练样本发生器。与其他最先进的技术不同，所提出的网络利用样品鉴别器来实现基于锚的单元和无锚单元之间的交互式样本筛选，以产生符合资格的样本。此外，通过基于保守的基于锚的推理方案的多任务联合训练增强了所提出的模型的性能，同时降低计算复杂性。所提出的方案支持定向和水平对象检测任务。对两个具有挑战性的空中基准（即，DotA和HRSC2016）的广泛实验表明，我们的方法以适度推理速度和用于训练的计算开销的准确性实现最先进的性能。在DotA上，我们的DEA-NET与ROI变压器的基线集成了0.40％平均平均精度（MAP）的先进方法，以便用较弱的骨干网（Resnet-101 VS Resnet-152）和3.08％平均 - 平均精度（MAP），具有相同骨干网的水平对象检测。此外，我们的DEA网与重新排列的基线一体化实现最先进的性能80.37％。在HRSC2016上，它仅使用3个水平锚点超过1.1％的最佳型号。

定向对象检测是在空中图像中的具有挑战性的任务，因为航空图像中的物体以任意的方向显示并且经常密集包装。主流探测器使用五个参数或八个主角表示描述了旋转对象，这遭受了定向对象定义的表示模糊性。在本文中，我们提出了一种基于平行四边形的面积比的新型表示方法，称为ARP。具体地，ARP回归定向对象的最小边界矩形和三个面积比。三个面积比包括指向物体与最小的外接矩形的面积比和两个平行四边形到最小的矩形。它简化了偏移学习，消除了面向对象的角度周期性或标签点序列的问题。为了进一步弥补近横向物体的混淆问题，采用对象和其最小的外缘矩形的面积比来指导每个物体的水平或定向检测的选择。此外，使用水平边界盒和三个面积比的旋转高效交叉点（R-EIOU）丢失和三个面积比旨在优化用于旋转对象的边界盒回归。遥感数据集的实验结果，包括HRSC2016，DOTA和UCAS-AOD，表明我们的方法达到了卓越的检测性能，而不是许多最先进的方法。

在过去的十年中，由于航空图像引起的物体的规模和取向的巨大变化，对象检测已经实现了自然图像中的显着进展，而不是在空中图像中。更重要的是，缺乏大规模基准已成为在航拍图像（ODAI）中对物体检测发展的主要障碍。在本文中，我们在航空图像（DotA）中的物体检测和用于ODAI的综合基线的大规模数据集。所提出的DOTA数据集包含1,793,658个对象实例，18个类别的面向边界盒注释从11,268个航拍图像中收集。基于该大规模和注释的数据集，我们构建了具有超过70个配置的10个最先进算法的基线，其中已经评估了每个模型的速度和精度性能。此外，我们为ODAI提供了一个代码库，并建立一个评估不同算法的网站。以前在Dota上运行的挑战吸引了全球1300多队。我们认为，扩大的大型DOTA数据集，广泛的基线，代码库和挑战可以促进鲁棒算法的设计和对空中图像对象检测问题的可再现研究。

由于任意方向，大规模和纵横比变化以及物体的极端密度，航行图像中的旋转对象检测仍然具有挑战性。现有的最新旋转对象检测方法主要依赖于基于角度的检测器。但是，角度回归很容易遭受长期的边界问题。为了解决这个问题，我们提出了一个纯粹的无角框架，用于旋转对象检测，称为Point RCNN，该框架主要由Pointrpn和Pointreg组成。特别是，Pointrpn通过用粗到精细的方式转换学到的代表点来生成准确的旋转ROI（RROI），这是由重置的动机。基于学习的Rrois，Pointreg执行角点完善以进行更准确的检测。此外，空中图像通常在类别中严重不平衡，现有方法几乎忽略了这个问题。在本文中，我们还通过实验验证了重新采样罕见类别的图像将稳定训练并进一步改善检测性能。实验表明，我们的点RCNN在常用的空中数据集上实现了新的最先进的检测性能，包括DOTA-V1.0，DOTA-V1.5和HRSC2016。

Arbitrary-oriented object detection is a fundamental task in visual scenes involving aerial images and scene text. In this report, we present PP-YOLOE-R, an efficient anchor-free rotated object detector based on PP-YOLOE. We introduce a bag of useful tricks in PP-YOLOE-R to improve detection precision with marginal extra parameters and computational cost. As a result, PP-YOLOE-R-l and PP-YOLOE-R-x achieve 78.14 and 78.28 mAP respectively on DOTA 1.0 dataset with single-scale training and testing, which outperform almost all other rotated object detectors. With multi-scale training and testing, PP-YOLOE-R-l and PP-YOLOE-R-x further improve the detection precision to 80.02 and 80.73 mAP. In this case, PP-YOLOE-R-x surpasses all anchor-free methods and demonstrates competitive performance to state-of-the-art anchor-based two-stage models. Further, PP-YOLOE-R is deployment friendly and PP-YOLOE-R-s/m/l/x can reach 69.8/55.1/48.3/37.1 FPS respectively on RTX 2080 Ti with TensorRT and FP16-precision. Source code and pre-trained models are available at https://github.com/PaddlePaddle/PaddleDetection, which is powered by https://github.com/PaddlePaddle/Paddle.

面向边界框回归对于定向对象检测至关重要。但是，基于回归的方法通常会遭受边界问题以及损失和评估指标之间的不一致性。在本文中，提出了一个调制的卡尔曼·伊奥（Kalman iou）损失，命名为Mkiou。为了避免边界问题，我们将定向边界框转换为高斯分布，然后使用卡尔曼过滤器近似交叉区域。但是，计算的交叉区域和实际交叉区域之间存在显着差异。因此，我们提出了一个调制因子，以调节角度偏差和宽度高度偏移对损失变化的敏感性，从而使损失与评估度量更一致。此外，高斯建模方法避免了边界问题，但同时引起方形对象的角度混乱。因此，提出了高斯角损失（GA损耗），以通过添加平方目标的校正损失来解决此问题。提出的GA损失可以很容易地扩展到其他基于高斯的方法。在三个公开可用的空中图像数据集（DOTA，UCAS-AOD和HRSC2016）上进行了实验，显示了该方法的有效性。

检测定向对象以及估计其旋转信息是用于分析遥感图像的一个关键步骤。尽管最近提出了许多方法，但大多数人直接学习在仅单独的一个（例如旋转角度）的监督下预测对象方向或仅为几（例如旋转角度）或几（例如若干坐标）地基值。在训练期间采用了关于提议和旋转信息回归的额外约束，在额外约束，在训练期间采用了更准确的对象检测。为此，我们创新地提出了一种通过Naive几何计算以一致的方式同时学习物体的水平提出，面向建议和旋转角度的机制，作为一个额外的稳定约束（参见图1）。提出了一个导向的中心先前引导标签分配策略，以进一步提高建议的质量，产生更好的性能。广泛的实验表明，配备我们的想法的模型显着优于基线，通过大幅度来实现新的最先进的结果，在推理期间没有任何额外的计算负担。我们提出的想法简单直观，可以随时实现。源代码和培训的型号涉及补充文件。

与通用物体相反，空中目标通常是非轴与具有杂乱的周围环境的任意取向对齐。与回归边界盒取向的主流化方法不同，本文通过利用自适应点表示，提出了一种有效的自适应点学习方法，可以利用自适应点表示来捕获任意定向的实例的几何信息。为此，提出了三个取向的转换功能，以便于准确方向进行分类和本地化。此外，我们提出了一种有效的质量评估和样本分配方案，用于学习在训练期间选择代表导向的检测点样本，能够捕获来自邻近物体或背景噪声的非轴对准特征。引入了空间约束以惩罚ROUST自适应学习的异常点。在包括DotA，HRSC2016，UCAS-AOD和Dior-R的四个具有挑战性的空中数据集上的实验结果证明了我们提出的方法的功效。源代码是可用的：https://github.com/liwentomng/orientedreppoints。

3D object detection from LiDAR point cloud is a challenging problem in 3D scene understanding and has many practical applications. In this paper, we extend our preliminary work PointRCNN to a novel and strong point-cloud-based 3D object detection framework, the part-aware and aggregation neural network (Part-A 2 net). The whole framework consists of the part-aware stage and the part-aggregation stage. Firstly, the part-aware stage for the first time fully utilizes free-of-charge part supervisions derived from 3D ground-truth boxes to simultaneously predict high quality 3D proposals and accurate intra-object part locations. The predicted intra-object part locations within the same proposal are grouped by our new-designed RoI-aware point cloud pooling module, which results in an effective representation to encode the geometry-specific features of each 3D proposal. Then the part-aggregation stage learns to re-score the box and refine the box location by exploring the spatial relationship of the pooled intra-object part locations. Extensive experiments are conducted to demonstrate the performance improvements from each component of our proposed framework. Our Part-A 2 net outperforms all existing 3D detection methods and achieves new state-of-the-art on KITTI 3D object detection dataset by utilizing only the LiDAR point cloud data. Code is available at https://github.com/sshaoshuai/PointCloudDet3D.

Current mainstream object detection methods for large aerial images usually divide large images into patches and then exhaustively detect the objects of interest on all patches, no matter whether there exist objects or not. This paradigm, although effective, is inefficient because the detectors have to go through all patches, severely hindering the inference speed. This paper presents an Objectness Activation Network (OAN) to help detectors focus on fewer patches but achieve more efficient inference and more accurate results, enabling a simple and effective solution to object detection in large images. In brief, OAN is a light fully-convolutional network for judging whether each patch contains objects or not, which can be easily integrated into many object detectors and jointly trained with them end-to-end. We extensively evaluate our OAN with five advanced detectors. Using OAN, all five detectors acquire more than 30.0% speed-up on three large-scale aerial image datasets, meanwhile with consistent accuracy improvements. On extremely large Gaofen-2 images (29200$\times$27620 pixels), our OAN improves the detection speed by 70.5%. Moreover, we extend our OAN to driving-scene object detection and 4K video object detection, boosting the detection speed by 112.1% and 75.0%, respectively, without sacrificing the accuracy. Code is available at https://github.com/Ranchosky/OAN.

由于鸟瞰视角的任意对象方向和复杂的背景，航空图像中的船舶检测仍然是一个活跃但具有挑战性的任务。大多数现有方法依赖于角度预测或预定义的锚盒，使这些方法对不稳定的角度回归和过度的超参数设置非常敏感。为了解决这些问题，我们用锚角和角度范例替换基于角的对象编码，并提出了一种部署中心的新型探测器，用于编码每个定向对象的四个中点，即MIDnet。 MIDNET设计用于增强船舶中点的对称可变形卷积，然后通过预测相应的离心移位和匹配半径来自适应地匹配相同的船的中心和中点。最后，提出了一种简洁的分析几何算法，以逐步优化中心和中点 - 明智地为建立精确定向的边界盒。在两艘公共船舶检测数据集，HRSC2016和FGSD2021，MIDNet通过实现90.52％和86.50％的AP来实现最先进的探测器。此外，MIDNET在DotA的船舶检测中获得竞争结果。

从卷积神经网络的快速发展中受益，汽车牌照检测和识别的性能得到了很大的改善。但是，大多数现有方法分别解决了检测和识别问题，并专注于特定方案，这阻碍了现实世界应用的部署。为了克服这些挑战，我们提出了一个有效而准确的框架，以同时解决车牌检测和识别任务。这是一个轻巧且统一的深神经网络，可以实时优化端到端。具体而言，对于不受约束的场景，采用了无锚方法来有效检测车牌的边界框和四个角，这些框用于提取和纠正目标区域特征。然后，新型的卷积神经网络分支旨在进一步提取角色的特征而不分割。最后，将识别任务视为序列标记问题，这些问题通过连接派时间分类（CTC）解决。选择了几个公共数据集，包括在各种条件下从不同方案中收集的图像进行评估。实验结果表明，所提出的方法在速度和精度上都显着优于先前的最新方法。

任意为导向的对象检测（AOOD）在遥感方案中的图像理解起着重要作用。现有的AOOD方法面临歧义和高成本的挑战。为此，提出了由粗粒角分类（CAC）和细粒角回归（FAR）组成的多透明角度表示（MGAR）方法。具体而言，设计的CAC避免了通过离散角编码（DAE）避免角度预测的歧义，并通过使DAE的粒度变形来降低复杂性。基于CAC，FAR的开发是为了优化角度预测，成本比狭窄的DAE粒度要低得多。此外，与IOU指导的自适应重新加权机制相交，旨在提高角度预测的准确性（IFL）。在几个公共遥感数据集上进行了广泛的实验，这证明了拟议的MGAR的有效性。此外，对嵌入式设备进行的实验表明，拟议的MGAR也对轻型部署也很友好。

With the vigorous development of computer vision, oriented object detection has gradually been featured. In this paper, a novel differentiable angle coder named phase-shifting coder (PSC) is proposed to accurately predict the orientation of objects, along with a dual-frequency version PSCD. By mapping rotational periodicity of different cycles into phase of different frequencies, we provide a unified framework for various periodic fuzzy problems in oriented object detection. Upon such framework, common problems in oriented object detection such as boundary discontinuity and square-like problems are elegantly solved in a unified form. Visual analysis and experiments on three datasets prove the effectiveness and the potentiality of our approach. When facing scenarios requiring high-quality bounding boxes, the proposed methods are expected to give a competitive performance. The codes are publicly available at https://github.com/open-mmlab/mmrotate.

自动检测武器对于改善个人的安全性和福祉是重要的，仍然是由于各种尺寸，武器形状和外观，这是一项艰巨的任务。查看点变化和遮挡也是使这项任务更加困难的原因。此外，目前的物体检测算法处理矩形区域，但是一个细长和长的步枪可以真正地覆盖区域的一部分区域，其余部分可能包含未经紧的细节。为了克服这些问题，我们提出了一种用于定向意识武器检测的CNN架构，其提供具有改进的武器检测性能的面向边界框。所提出的模型不仅通过将角度作为分类问题的角度分成8个类而且提供方向，而是作为回归问题。对于培训我们的武器检测模型，包括总6400件武器图像的新数据集从网上收集，然后用面向定向的边界框手动注释。我们的数据集不仅提供导向的边界框作为地面真相，还提供了水平边界框。我们还以多种现代对象探测器提供我们的数据集，用于在该领域进一步研究。所提出的模型在该数据集上进行评估，并且与搁板对象检测器的比较分析产生了卓越的拟议模型的性能，以标准评估策略测量。数据集和模型实现在此链接上公开可用：https://bit.ly/2tyzicf。

双峰掌纹识别同时利用掌纹和棕榈静脉图像，通过多模型信息融合来实现高精度，并具有强烈​​的防伪性能。在识别管道中，掌心的检测和感兴趣区域（ROI）的对准是用于准确匹配的两个关键步骤。大多数现有方法通过关键点检测算法本地化Palm RoI，但是关键点检测任务的内在困难使结果不令人满意。此外，图像级的ROI对齐和融合算法没有完全调查。桥梁桥梁，在本文中，我们提出了专注于ROI本地化，对齐和双峰图像Fusion.bpfnet的双峰掌纹融合网络（BPFNET）.bpfnet是一个包含两个子网的端到端框架：检测网络基于边界框预测直接回归PalmPrint ROIS，并通过翻译估计进行对准。在下游，双模融合网络实现双峰ROI图像融合利用新颖的提出的跨模型选择方案。为了显示BPFNET的有效性，我们对大规模无尺寸的掌纹数据集CUHKSZ-V1和同济进行实验，并且该方法实现了最先进的表演。

现有检测方法通常使用参数化边界框（Bbox）进行建模和检测（水平）对象，并将其他旋转角参数用于旋转对象。我们认为，这种机制在建立有效的旋转检测回归损失方面具有根本的局限性，尤其是对于高精度检测而言，高精度检测（例如0.75）。取而代之的是，我们建议将旋转的对象建模为高斯分布。一个直接的优势是，我们关于两个高斯人之间距离的新回归损失，例如kullback-leibler Divergence（KLD）可以很好地对齐实际检测性能度量标准，这在现有方法中无法很好地解决。此外，两个瓶颈，即边界不连续性和正方形的问题也消失了。我们还提出了一种有效的基于高斯度量的标签分配策略，以进一步提高性能。有趣的是，通过在基于高斯的KLD损失下分析Bbox参数的梯度，我们表明这些参数通过可解释的物理意义进行了动态更新，这有助于解释我们方法的有效性，尤其是对于高精度检测。我们使用量身定制的算法设计将方法从2-D扩展到3-D，以处理标题估计，并在十二个公共数据集（2-D/3-D，空中/文本/脸部图像）上进行了各种基本检测器的实验结果。展示其优越性。

现有的锚定面向对象检测方法已经实现了惊人的结果，但这些方法需要一些手动预设盒，这引入了额外的超参数和计算。现有的锚定方法通常具有复杂的架构，并且不易部署。我们的目标是提出一种简单易于部署的空中图像检测算法。在本文中，我们介绍了基于FCOS的单级锚定旋转对象检测器（FCOSR），可以在大多数平台上部署。 FCOSR具有简单的架构，包括卷积图层。我们的工作侧重于培训阶段的标签分配策略。我们使用椭圆中心采样方法来定义面向定向框（obb）的合适采样区域。模糊样本分配策略为重叠对象提供合理的标签。为解决采样问题不足，设计了一种多级采样模块。这些策略将更合适的标签分配给培训样本。我们的算法分别在DOTA1.0，DOTA1.5和HRSC2016数据集上实现79.25,75.41和90.15映射。 FCOSR在单规模评估中展示了其他方法的卓越性能。我们将轻量级FCOSR模型转换为Tensorrt格式，该格式在Dota1.0上以10.68 fps在jetson Xavier NX上实现73.93映射。该代码可用于：https：//github.com/lzh420202/fcosr

Due to object detection's close relationship with video analysis and image understanding, it has attracted much research attention in recent years. Traditional object detection methods are built on handcrafted features and shallow trainable architectures. Their performance easily stagnates by constructing complex ensembles which combine multiple low-level image features with high-level context from object detectors and scene classifiers. With the rapid development in deep learning, more powerful tools, which are able to learn semantic, high-level, deeper features, are introduced to address the problems existing in traditional architectures. These models behave differently in network architecture, training strategy and optimization function, etc. In this paper, we provide a review on deep learning based object detection frameworks. Our review begins with a brief introduction on the history of deep learning and its representative tool, namely Convolutional Neural Network (CNN). Then we focus on typical generic object detection architectures along with some modifications and useful tricks to improve detection performance further. As distinct specific detection tasks exhibit different characteristics, we also briefly survey several specific tasks, including salient object detection, face detection and pedestrian detection. Experimental analyses are also provided to compare various methods and draw some meaningful conclusions. Finally, several promising directions and tasks are provided to serve as guidelines for future work in both object detection and relevant neural network based learning systems.