物体检测在计算机视觉中取得了巨大的进步。具有外观降级的小物体检测是一个突出的挑战,特别是对于鸟瞰观察。为了收集足够的阳性/阴性样本进行启发式训练,大多数物体探测器预设区域锚,以便将交叉联盟(iou)计算在地面判处符号数据上。在这种情况下,小物体经常被遗弃或误标定。在本文中,我们提出了一种有效的动态增强锚(DEA)网络,用于构建新颖的训练样本发生器。与其他最先进的技术不同,所提出的网络利用样品鉴别器来实现基于锚的单元和无锚单元之间的交互式样本筛选,以产生符合资格的样本。此外,通过基于保守的基于锚的推理方案的多任务联合训练增强了所提出的模型的性能,同时降低计算复杂性。所提出的方案支持定向和水平对象检测任务。对两个具有挑战性的空中基准(即,DotA和HRSC2016)的广泛实验表明,我们的方法以适度推理速度和用于训练的计算开销的准确性实现最先进的性能。在DotA上,我们的DEA-NET与ROI变压器的基线集成了0.40%平均平均精度(MAP)的先进方法,以便用较弱的骨干网(Resnet-101 VS Resnet-152)和3.08%平均 - 平均精度(MAP),具有相同骨干网的水平对象检测。此外,我们的DEA网与重新排列的基线一体化实现最先进的性能80.37%。在HRSC2016上,它仅使用3个水平锚点超过1.1%的最佳型号。
translated by 谷歌翻译
对象检测是计算机视觉领域中最基本而具有挑战性的研究主题之一。最近,在航拍图像中的这一主题的研究取得了巨大的进步。然而,复杂的背景和更糟糕的成像质量是空中物体检测中的明显问题。大多数最先进的方法倾向于开发具有艰巨计算复杂性的时空特征校准的精心关注机制,同时令人惊讶地忽略了通道中特征校准的重要性。在这项工作中,我们提出了一种简单而有效的校准引导(CG)方案,以增强特征变压器时尚中的信道通信,其可以基于全局特征亲和力相关性自适应地确定每个信道的校准权重。具体地,对于给定的一组特征映射,CG首先将每个信道和剩余信道之间的特征相似性计算为中间校准引导。然后,通过通过引导操作聚合加权加权的所有信道来重新表示每个信道。我们的CG是一般模块,可以插入任何深度神经网络,该网络被命名为CG-Net。为了展示其有效性和效率,在航空图像中的定向对象检测任务和水平物体检测任务中进行了广泛的实验。两个具有挑战性的基准(DotA和HRSC2016)的实验结果表明,我们的CG-Net可以通过公平计算开销的准确性实现新的最先进的性能。源代码已在https://github.com/weizongqi/cg-net中开放源
translated by 谷歌翻译
定向对象检测是在空中图像中的具有挑战性的任务,因为航空图像中的物体以任意的方向显示并且经常密集包装。主流探测器使用五个参数或八个主角表示描述了旋转对象,这遭受了定向对象定义的表示模糊性。在本文中,我们提出了一种基于平行四边形的面积比的新型表示方法,称为ARP。具体地,ARP回归定向对象的最小边界矩形和三个面积比。三个面积比包括指向物体与最小的外接矩形的面积比和两个平行四边形到最小的矩形。它简化了偏移学习,消除了面向对象的角度周期性或标签点序列的问题。为了进一步弥补近横向物体的混淆问题,采用对象和其最小的外缘矩形的面积比来指导每个物体的水平或定向检测的选择。此外,使用水平边界盒和三个面积比的旋转高效交叉点(R-EIOU)丢失和三个面积比旨在优化用于旋转对象的边界盒回归。遥感数据集的实验结果,包括HRSC2016,DOTA和UCAS-AOD,表明我们的方法达到了卓越的检测性能,而不是许多最先进的方法。
translated by 谷歌翻译
现有的锚定面向对象检测方法已经实现了惊人的结果,但这些方法需要一些手动预设盒,这引入了额外的超参数和计算。现有的锚定方法通常具有复杂的架构,并且不易部署。我们的目标是提出一种简单易于部署的空中图像检测算法。在本文中,我们介绍了基于FCOS的单级锚定旋转对象检测器(FCOSR),可以在大多数平台上部署。 FCOSR具有简单的架构,包括卷积图层。我们的工作侧重于培训阶段的标签分配策略。我们使用椭圆中心采样方法来定义面向定向框(obb)的合适采样区域。模糊样本分配策略为重叠对象提供合理的标签。为解决采样问题不足,设计了一种多级采样模块。这些策略将更合适的标签分配给培训样本。我们的算法分别在DOTA1.0,DOTA1.5和HRSC2016数据集上实现79.25,75.41和90.15映射。 FCOSR在单规模评估中展示了其他方法的卓越性能。我们将轻量级FCOSR模型转换为Tensorrt格式,该格式在Dota1.0上以10.68 fps在jetson Xavier NX上实现73.93映射。该代码可用于:https://github.com/lzh420202/fcosr
translated by 谷歌翻译
任意为导向的对象检测(AOOD)在遥感方案中的图像理解起着重要作用。现有的AOOD方法面临歧义和高成本的挑战。为此,提出了由粗粒角分类(CAC)和细粒角回归(FAR)组成的多透明角度表示(MGAR)方法。具体而言,设计的CAC避免了通过离散角编码(DAE)避免角度预测的歧义,并通过使DAE的粒度变形来降低复杂性。基于CAC,FAR的开发是为了优化角度预测,成本比狭窄的DAE粒度要低得多。此外,与IOU指导的自适应重新加权机制相交,旨在提高角度预测的准确性(IFL)。在几个公共遥感数据集上进行了广泛的实验,这证明了拟议的MGAR的有效性。此外,对嵌入式设备进行的实验表明,拟议的MGAR也对轻型部署也很友好。
translated by 谷歌翻译
最近,已经提出了许多任意定向的物体检测(AOOD)方法并在许多领域中引起了广泛的关注。然而,它们中的大多数基于锚箱或标准高斯热手套。这种标签分配策略不仅可以反映任意取向对象的形状和方向特征,而且还具有高参数调整工作。本文提出了一种称为通用高斯热爱标记(GGH1)的新型Aood方法。具体地,提出了一种无锚性对象适应标签分配(OLA)策略以基于二维(2-D)定向的高斯热手段来定义正面候选物,其反映了任意取向对象的形状和方向特征。基于OLA,开发了定向边界盒(OBB)表示组分(ORC)以指示OBBS并通过神经网络学习适应地调整高斯中心以适应不同对象的特征。此外,具有面积标准化和动态置信度加权的关节优化损耗(JOL)旨在优化不同子特设的错位最佳结果。公共数据集的广泛实验表明,所提出的GGHL具有低参数调整和时间成本的良好性能。此外,通常适用于大多数Aood的方法,以提高其性能,包括嵌入式平台上的轻量级模型。
translated by 谷歌翻译
Arbitrary-oriented object detection is a fundamental task in visual scenes involving aerial images and scene text. In this report, we present PP-YOLOE-R, an efficient anchor-free rotated object detector based on PP-YOLOE. We introduce a bag of useful tricks in PP-YOLOE-R to improve detection precision with marginal extra parameters and computational cost. As a result, PP-YOLOE-R-l and PP-YOLOE-R-x achieve 78.14 and 78.28 mAP respectively on DOTA 1.0 dataset with single-scale training and testing, which outperform almost all other rotated object detectors. With multi-scale training and testing, PP-YOLOE-R-l and PP-YOLOE-R-x further improve the detection precision to 80.02 and 80.73 mAP. In this case, PP-YOLOE-R-x surpasses all anchor-free methods and demonstrates competitive performance to state-of-the-art anchor-based two-stage models. Further, PP-YOLOE-R is deployment friendly and PP-YOLOE-R-s/m/l/x can reach 69.8/55.1/48.3/37.1 FPS respectively on RTX 2080 Ti with TensorRT and FP16-precision. Source code and pre-trained models are available at https://github.com/PaddlePaddle/PaddleDetection, which is powered by https://github.com/PaddlePaddle/Paddle.
translated by 谷歌翻译
检测定向对象以及估计其旋转信息是用于分析遥感图像的一个关键步骤。尽管最近提出了许多方法,但大多数人直接学习在仅单独的一个(例如旋转角度)的监督下预测对象方向或仅为几(例如旋转角度)或几(例如若干坐标)地基值。在训练期间采用了关于提议和旋转信息回归的额外约束,在额外约束,在训练期间采用了更准确的对象检测。为此,我们创新地提出了一种通过Naive几何计算以一致的方式同时学习物体的水平提出,面向建议和旋转角度的机制,作为一个额外的稳定约束(参见图1)。提出了一个导向的中心先前引导标签分配策略,以进一步提高建议的质量,产生更好的性能。广泛的实验表明,配备我们的想法的模型显着优于基线,通过大幅度来实现新的最先进的结果,在推理期间没有任何额外的计算负担。我们提出的想法简单直观,可以随时实现。源代码和培训的型号涉及补充文件。
translated by 谷歌翻译
与通用物体相反,空中目标通常是非轴与具有杂乱的周围环境的任意取向对齐。与回归边界盒取向的主流化方法不同,本文通过利用自适应点表示,提出了一种有效的自适应点学习方法,可以利用自适应点表示来捕获任意定向的实例的几何信息。为此,提出了三个取向的转换功能,以便于准确方向进行分类和本地化。此外,我们提出了一种有效的质量评估和样本分配方案,用于学习在训练期间选择代表导向的检测点样本,能够捕获来自邻近物体或背景噪声的非轴对准特征。引入了空间约束以惩罚ROUST自适应学习的异常点。在包括DotA,HRSC2016,UCAS-AOD和Dior-R的四个具有挑战性的空中数据集上的实验结果证明了我们提出的方法的功效。源代码是可用的:https://github.com/liwentomng/orientedreppoints。
translated by 谷歌翻译
由于任意方向,大规模和纵横比变化以及物体的极端密度,航行图像中的旋转对象检测仍然具有挑战性。现有的最新旋转对象检测方法主要依赖于基于角度的检测器。但是,角度回归很容易遭受长期的边界问题。为了解决这个问题,我们提出了一个纯粹的无角框架,用于旋转对象检测,称为Point RCNN,该框架主要由Pointrpn和Pointreg组成。特别是,Pointrpn通过用粗到精细的方式转换学到的代表点来生成准确的旋转ROI(RROI),这是由重置的动机。基于学习的Rrois,Pointreg执行角点完善以进行更准确的检测。此外,空中图像通常在类别中严重不平衡,现有方法几乎忽略了这个问题。在本文中,我们还通过实验验证了重新采样罕见类别的图像将稳定训练并进一步改善检测性能。实验表明,我们的点RCNN在常用的空中数据集上实现了新的最先进的检测性能,包括DOTA-V1.0,DOTA-V1.5和HRSC2016。
translated by 谷歌翻译
面向边界框回归对于定向对象检测至关重要。但是,基于回归的方法通常会遭受边界问题以及损失和评估指标之间的不一致性。在本文中,提出了一个调制的卡尔曼·伊奥(Kalman iou)损失,命名为Mkiou。为了避免边界问题,我们将定向边界框转换为高斯分布,然后使用卡尔曼过滤器近似交叉区域。但是,计算的交叉区域和实际交叉区域之间存在显着差异。因此,我们提出了一个调制因子,以调节角度偏差和宽度高度偏移对损失变化的敏感性,从而使损失与评估度量更一致。此外,高斯建模方法避免了边界问题,但同时引起方形对象的角度混乱。因此,提出了高斯角损失(GA损耗),以通过添加平方目标的校正损失来解决此问题。提出的GA损失可以很容易地扩展到其他基于高斯的方法。在三个公开可用的空中图像数据集(DOTA,UCAS-AOD和HRSC2016)上进行了实验,显示了该方法的有效性。
translated by 谷歌翻译
无锚的检测器基本上将对象检测作为密集的分类和回归。对于流行的无锚检测器,通常是引入单个预测分支来估计本地化的质量。当我们深入研究分类和质量估计的实践时,会观察到以下不一致之处。首先,对于某些分配了完全不同标签的相邻样品,训练有素的模型将产生相似的分类分数。这违反了训练目标并导致绩效退化。其次,发现检测到具有较高信心的边界框与相应的地面真相具有较小的重叠。准确的局部边界框将被非最大抑制(NMS)过程中的精确量抑制。为了解决不一致问题,提出了动态平滑标签分配(DSLA)方法。基于最初在FCO中开发的中心概念,提出了平稳的分配策略。在[0,1]中将标签平滑至连续值,以在正样品和负样品之间稳定过渡。联合(IOU)在训练过程中会动态预测,并与平滑标签结合。分配动态平滑标签以监督分类分支。在这样的监督下,质量估计分支自然合并为分类分支,这简化了无锚探测器的体系结构。全面的实验是在MS Coco基准上进行的。已经证明,DSLA可以通过减轻上述无锚固探测器的不一致来显着提高检测准确性。我们的代码在https://github.com/yonghaohe/dsla上发布。
translated by 谷歌翻译
我们提出对象盒,这是一种新颖的单阶段锚定且高度可推广的对象检测方法。与现有的基于锚固的探测器和无锚的探测器相反,它们更偏向于其标签分配中的特定对象量表,我们仅将对象中心位置用作正样本,并在不同的特征级别中平均处理所有对象,而不论对象'尺寸或形状。具体而言,我们的标签分配策略将对象中心位置视为形状和尺寸不足的锚定,并以无锚固的方式锚定,并允许学习每个对象的所有尺度。为了支持这一点,我们将新的回归目标定义为从中心单元位置的两个角到边界框的四个侧面的距离。此外,为了处理比例变化的对象,我们提出了一个量身定制的损失来处理不同尺寸的盒子。结果,我们提出的对象检测器不需要在数据集中调整任何依赖数据集的超参数。我们在MS-Coco 2017和Pascal VOC 2012数据集上评估了我们的方法,并将我们的结果与最先进的方法进行比较。我们观察到,与先前的作品相比,对象盒的性能优惠。此外,我们执行严格的消融实验来评估我们方法的不同组成部分。我们的代码可在以下网址提供:https://github.com/mohsenzand/objectbox。
translated by 谷歌翻译
Single-frame InfraRed Small Target (SIRST) detection has been a challenging task due to a lack of inherent characteristics, imprecise bounding box regression, a scarcity of real-world datasets, and sensitive localization evaluation. In this paper, we propose a comprehensive solution to these challenges. First, we find that the existing anchor-free label assignment method is prone to mislabeling small targets as background, leading to their omission by detectors. To overcome this issue, we propose an all-scale pseudo-box-based label assignment scheme that relaxes the constraints on scale and decouples the spatial assignment from the size of the ground-truth target. Second, motivated by the structured prior of feature pyramids, we introduce the one-stage cascade refinement network (OSCAR), which uses the high-level head as soft proposals for the low-level refinement head. This allows OSCAR to process the same target in a cascade coarse-to-fine manner. Finally, we present a new research benchmark for infrared small target detection, consisting of the SIRST-V2 dataset of real-world, high-resolution single-frame targets, the normalized contrast evaluation metric, and the DeepInfrared toolkit for detection. We conduct extensive ablation studies to evaluate the components of OSCAR and compare its performance to state-of-the-art model-driven and data-driven methods on the SIRST-V2 benchmark. Our results demonstrate that a top-down cascade refinement framework can improve the accuracy of infrared small target detection without sacrificing efficiency. The DeepInfrared toolkit, dataset, and trained models are available at https://github.com/YimianDai/open-deepinfrared to advance further research in this field.
translated by 谷歌翻译
大多数最先进的实例级人类解析模型都采用了两阶段的基于锚的探测器,因此无法避免启发式锚盒设计和像素级别缺乏分析。为了解决这两个问题,我们设计了一个实例级人类解析网络,该网络在像素级别上无锚固且可解决。它由两个简单的子网络组成:一个用于边界框预测的无锚检测头和一个用于人体分割的边缘引导解析头。无锚探测器的头继承了像素样的优点,并有效地避免了对象检测应用中证明的超参数的敏感性。通过引入部分感知的边界线索,边缘引导的解析头能够将相邻的人类部分与彼此区分开,最多可在一个人类实例中,甚至重叠的实例。同时,利用了精炼的头部整合盒子级别的分数和部分分析质量,以提高解析结果的质量。在两个多个人类解析数据集(即CIHP和LV-MHP-V2.0)和一个视频实例级人类解析数据集(即VIP)上进行实验,表明我们的方法实现了超过全球级别和实例级别的性能最新的一阶段自上而下的替代方案。
translated by 谷歌翻译
Object detection has been dominated by anchor-based detectors for several years. Recently, anchor-free detectors have become popular due to the proposal of FPN and Focal Loss. In this paper, we first point out that the essential difference between anchor-based and anchor-free detection is actually how to define positive and negative training samples, which leads to the performance gap between them. If they adopt the same definition of positive and negative samples during training, there is no obvious difference in the final performance, no matter regressing from a box or a point. This shows that how to select positive and negative training samples is important for current object detectors. Then, we propose an Adaptive Training Sample Selection (ATSS) to automatically select positive and negative samples according to statistical characteristics of object. It significantly improves the performance of anchor-based and anchor-free detectors and bridges the gap between them. Finally, we discuss the necessity of tiling multiple anchors per location on the image to detect objects. Extensive experiments conducted on MS COCO support our aforementioned analysis and conclusions. With the newly introduced ATSS, we improve stateof-the-art detectors by a large margin to 50.7% AP without introducing any overhead. The code is available at https://github.com/sfzhang15/ATSS.
translated by 谷歌翻译
由于鸟瞰视角的任意对象方向和复杂的背景,航空图像中的船舶检测仍然是一个活跃但具有挑战性的任务。大多数现有方法依赖于角度预测或预定义的锚盒,使这些方法对不稳定的角度回归和过度的超参数设置非常敏感。为了解决这些问题,我们用锚角和角度范例替换基于角的对象编码,并提出了一种部署中心的新型探测器,用于编码每个定向对象的四个中点,即MIDnet。 MIDNET设计用于增强船舶中点的对称可变形卷积,然后通过预测相应的离心移位和匹配半径来自适应地匹配相同的船的中心和中点。最后,提出了一种简洁的分析几何算法,以逐步优化中心和中点 - 明智地为建立精确定向的边界盒。在两艘公共船舶检测数据集,HRSC2016和FGSD2021,MIDNet通过实现90.52%和86.50%的AP来实现最先进的探测器。此外,MIDNET在DotA的船舶检测中获得竞争结果。
translated by 谷歌翻译
复杂的水下环境为物体检测带来了新的挑战,例如未平衡的光条件,低对比度,阻塞和水生生物的模仿。在这种情况下,水下相机捕获的物体将变得模糊,并且通用探测器通常会在这些模糊的物体上失败。这项工作旨在从两个角度解决问题:不确定性建模和艰难的例子采矿。我们提出了一个名为Boosting R-CNN的两阶段水下检测器,该检测器包括三个关键组件。首先,提出了一个名为RetinArpn的新区域建议网络,该网络提供了高质量的建议,并考虑了对象和IOU预测,以确定对象事先概率的不确定性。其次,引入了概率推理管道,以结合第一阶段的先验不确定性和第二阶段分类评分,以模拟最终检测分数。最后,我们提出了一种名为Boosting Reweighting的新的硬示例挖掘方法。具体而言,当区域提案网络误认为样品的对象的事先概率时,提高重新加权将在训练过程中增加R-CNN头部样品的分类损失,同时减少具有准确估计的先验的简易样品丢失。因此,可以在第二阶段获得强大的检测头。在推理阶段,R-CNN具有纠正第一阶段的误差以提高性能的能力。在两个水下数据集和两个通用对象检测数据集上进行的全面实验证明了我们方法的有效性和鲁棒性。
translated by 谷歌翻译
近年来,将多光谱数据集成在对象检测中,尤其是可见的和红外图像。由于可见(RGB)和红外(IR)图像可以提供互补的信息来处理光变化,因此在许多领域中使用了配对图像,例如多光谱的行人检测,RGB-IR人群计数和RGB-IR显着对象检测。与天然RGB-IR图像相比,我们发现空中RGB-IR图像中的检测遭受跨模式弱的未对准问题,这些问题表现在同一物体的位置,大小和角度偏差。在本文中,我们主要解决了空中RGB-IR图像中跨模式弱未对准的挑战。具体而言,我们首先解释和分析了弱错位问题的原因。然后,我们提出了一个翻译尺度的反向对齐(TSRA)模块,以通过校准这两种方式的特征图来解决问题。该模块通过对齐过程预测了两个模式对象之间的偏差,并利用模态选择(MS)策略来提高对齐的性能。最后,基于TSRA模块的两流特征比对检测器(TSFADET)是为空中图像中的RGB-IR对象检测构建的。通过对公共无人机数据集进行的全面实验,我们验证我们的方法是否降低了交叉模式未对准的效果并实现了可靠的检测结果。
translated by 谷歌翻译
在过去的十年中,由于航空图像引起的物体的规模和取向的巨大变化,对象检测已经实现了自然图像中的显着进展,而不是在空中图像中。更重要的是,缺乏大规模基准已成为在航拍图像(ODAI)中对物体检测发展的主要障碍。在本文中,我们在航空图像(DotA)中的物体检测和用于ODAI的综合基线的大规模数据集。所提出的DOTA数据集包含1,793,658个对象实例,18个类别的面向边界盒注释从11,268个航拍图像中收集。基于该大规模和注释的数据集,我们构建了具有超过70个配置的10个最先进算法的基线,其中已经评估了每个模型的速度和精度性能。此外,我们为ODAI提供了一个代码库,并建立一个评估不同算法的网站。以前在Dota上运行的挑战吸引了全球1300多队。我们认为,扩大的大型DOTA数据集,广泛的基线,代码库和挑战可以促进鲁棒算法的设计和对空中图像对象检测问题的可再现研究。
translated by 谷歌翻译