多光谱遥感图像对的横向熔断互补信息可以提高检测算法的感知能力，使其更加坚固可靠，对更广泛的应用，例如夜间检测。与先前的方法相比，我们认为应具体处理不同的功能，应保留和增强模态特定功能，而模态共享功能应从RGB和热IR模型挑选。在此思想之后，提出了一种具有关节共模和微分方式的小说和轻质的多光谱特征融合方法，称为跨型号注意特征融合（CMAFF）。鉴于RGB和IR图像的中间特征映射，我们的模块并行Infers Infers来自两个单独的模态，共同和微分方式，然后分别将注意力映射乘以自适应特征增强或选择。广泛的实验表明，我们的建议方法可以以低计算成本实现最先进的性能。

多光谱图像对可以提供组合信息，使物体检测应用在开放世界中更可靠且坚固。为了充分利用不同的方式，我们在本文中介绍了一个简单但有效的跨模型特征融合方法，名为跨模型融合变压器（CFT）。与基于CNNS的基于CNNS的作品不同，由变压器方案引导，我们的网络学习远程依赖性，并在特征提取阶段中集成全球上下文信息。更重要的是，通过利用变压器的自我注意，网络可以自然地执行同时帧内模态和模态融合，并强大地捕获RGB和热域之间的潜在相互作用，从而显着提高了多光谱物体检测的性能。在多个数据集上进行广泛的实验和消融研究表明我们的方法是有效的，实现最先进的检测性能。我们的代码和型号将在https://github.com/docf/multispectral-object-detection发布。

在本文中，我们为RSI（名为Superyolo）提出了一种准确而快速的小对象检测方法，该方法融合了多模式数据并通过利用辅助超级分辨率（SR）学习并考虑既有辅助的超级分辨率（SR）对象进行高分辨率（HR）对象检测检测准确性和计算成本。首先，我们通过删除焦点模块来保持人力资源特征并显着克服小物体缺失的误差来构建紧凑的基线。其次，我们利用像素级的多模式融合（MF）从各种数据中提取信息，以促进RSI中的小物体更合适和有效的功能。此外，我们设计了一个简单且灵活的SR分支来学习HR特征表示，可以区分具有低分辨率（LR）输入的庞大背景的小物体，从而进一步提高了检测准确性。此外，为避免引入其他计算，SR分支在推理阶段被丢弃，并且由于LR输入而减少了网络模型的计算。实验结果表明，在广泛使用的Vedai RS数据集上，Superyolo的精度为73.61％（在MAP50方面），比SOTA大型模型（例如Yolov5L，Yolov5X和RS设计的Yolors）高10％以上。同时，Superyolo的Gfolps和参数大小比Yolov5X少约18.1倍，4.2倍。我们提出的模型显示出与最新模型相比，具有良好的准确性速度权衡。该代码将在https://github.com/icey-zhang/superyolo上开放。

多模态数据在遥感（RS）中变得容易获得，并且可以提供有关地球表面的互补信息。因此，多模态信息的有效融合对于卢比的各种应用是重要的，而且由于域差异，噪音和冗余，也是非常具有挑战性的。缺乏有效和可扩展的融合技术，用于遍布多种模式编码器和完全利用互补信息。为此，我们提出了一种基于新型金字塔注意融合（PAF）模块和门控融合单元（GFU）的多模态遥感数据的新型多模态网络（Multimodnet）。 PAF模块旨在有效地从每个模态中获得丰富的细粒度上下文表示，具有内置的交叉级别和巧克力关注融合机制，GFU模块利用了新颖的门控机制，用于早期合并特征，从而降低隐藏的冗余和噪音。这使得可以有效地提取补充方式来提取最迟到的特征融合的最有价值和互补的信息。两个代表性RS基准数据集的广泛实验证明了多模态土地覆盖分类的多模型的有效性，鲁棒性和优越性。

热红外（TIR）图像在为多光谱行人检测提供温度提示时已经证明了有效性。大多数现有方法直接将TIR模型注入基于RGB的框架或简单地集合两个模态的结果。然而，这可能导致较差的检测性能，因为RGB和TIR特征通常具有模态特定的噪声，这可能与网络的传播一起恶化。因此，这项工作提出了一种称为双向自适应注意栅极（BAA门）的有效和高效的跨型号融合模块。基于注意机制，设计了BAA门以蒸馏出信息特征，并重新校验渐近的表示。具体地，采用双向多阶段融合策略来逐步优化两种方式的特征，并在传播期间保持其特异性。此外，通过基于照明的权重策略引入了BAA栅极的自适应相互作用，以便于在BAA栅极中自适应地调整重新校准和聚集强度，并增强稳健性对照明变化。关于挑战性的Kaist DataSet的相当大的实验证明了我们对令人满意的速度的卓越性能。

行人检测是自主驱动系统中最关键的模块。虽然相机通常用于此目的，但其质量严重降低了低光夜间驾驶场景。另一方面，热摄像机图像的质量在类似条件下保持不受影响。本文采用RGB和热图像提出了一种用于行人检测的端到端多峰融合模型。其新颖的时空深度网络架构能够有效利用多模式输入。它由两个不同的可变形ResNext-50编码器组成，用于来自两个方式的特征提取。这两个编码特征的融合发生在由几个图形关注网络和特征融合单元组成的多模式特征嵌入模块（MUFEM）内部。随后将MUFEM的最后一个特征融合单元的输出传递给两个CRF的空间细化。通过在四个不同方向横穿四个RNN的帮助下，通过应用渠道明智的关注和提取上下文信息来实现特征的进一步提高。最后，单级解码器使用这些特征映射来生成每个行人和分数图的边界框。我们在三个公开可用的多模式行人检测基准数据集，即Kaist，CVC-14和Utokyo上进行了广泛的框架实验。每个每个结果都改善了各种最先进的性能。在https://youtu.be/fdjdsifuucs，可以看到一个简短的视频以及其定性结果的概述。我们的源代码将在发布论文时发布。

随着深度卷积神经网络的兴起，对象检测在过去几年中取得了突出的进步。但是，这种繁荣无法掩盖小物体检测（SOD）的不令人满意的情况，这是计算机视觉中臭名昭著的挑战性任务之一，这是由于视觉外观不佳和由小目标的内在结构引起的嘈杂表示。此外，用于基准小对象检测方法基准测试的大规模数据集仍然是瓶颈。在本文中，我们首先对小物体检测进行了详尽的审查。然后，为了催化SOD的发展，我们分别构建了两个大规模的小物体检测数据集（SODA），SODA-D和SODA-A，分别集中在驾驶和空中场景上。 SODA-D包括24704个高质量的交通图像和277596个9个类别的实例。对于苏打水，我们收集2510个高分辨率航空图像，并在9个类别上注释800203实例。众所周知，拟议的数据集是有史以来首次尝试使用针对多类SOD量身定制的大量注释实例进行大规模基准测试。最后，我们评估主流方法在苏打水上的性能。我们预计发布的基准可以促进SOD的发展，并产生该领域的更多突破。数据集和代码将很快在：\ url {https://shaunyuan22.github.io/soda}上。

Due to object detection's close relationship with video analysis and image understanding, it has attracted much research attention in recent years. Traditional object detection methods are built on handcrafted features and shallow trainable architectures. Their performance easily stagnates by constructing complex ensembles which combine multiple low-level image features with high-level context from object detectors and scene classifiers. With the rapid development in deep learning, more powerful tools, which are able to learn semantic, high-level, deeper features, are introduced to address the problems existing in traditional architectures. These models behave differently in network architecture, training strategy and optimization function, etc. In this paper, we provide a review on deep learning based object detection frameworks. Our review begins with a brief introduction on the history of deep learning and its representative tool, namely Convolutional Neural Network (CNN). Then we focus on typical generic object detection architectures along with some modifications and useful tricks to improve detection performance further. As distinct specific detection tasks exhibit different characteristics, we also briefly survey several specific tasks, including salient object detection, face detection and pedestrian detection. Experimental analyses are also provided to compare various methods and draw some meaningful conclusions. Finally, several promising directions and tasks are provided to serve as guidelines for future work in both object detection and relevant neural network based learning systems.

RGB-thermal显着对象检测（RGB-T SOD）旨在定位对齐可见的和热红外图像对的共同突出对象，并准确地分割所有属于这些对象的像素。由于对热图像的照明条件不敏感，它在诸如夜间和复杂背景之类的具有挑战性的场景中很有希望。因此，RGB-T SOD的关键问题是使两种方式的功能相互补充并互相调整，因为不可避免的是，由于极端光条件和诸如极端光条件和诸如极端光明条件和热跨界。在本文中，我们提出了一个针对RGB-T SOD的新型镜子互补变压器网络（MCNET）。具体而言，我们将基于变压器的特征提取模块引入RGB和热图像的有效提取分层特征。然后，通过基于注意力的特征相互作用和基于串行的多尺度扩张卷积（SDC）特征融合模块，提出的模型实现了低级特征的互补相互作用以及深度特征的语义融合。最后，基于镜子互补结构，即使是一种模态也可以准确地提取两种方式的显着区域也是无效的。为了证明在现实世界中具有挑战性的场景下提出的模型的鲁棒性，我们基于自动驾驶域中使用的大型公共语义分段RGB-T数据集建立了一种新颖的RGB-T SOD数据集VT723。基准和VT723数据集上的昂贵实验表明，所提出的方法优于最先进的方法，包括基于CNN的方法和基于变压器的方法。该代码和数据集将在稍后在https://github.com/jxr326/swinmcnet上发布。

RGB和深度图像上的突出物体检测（SOD）引起了越来越多的研究兴趣，因为它的有效性和现在可以方便地捕获深度线索的事实。现有的RGB-D SOD模型通常采用不同的融合策略来学习来自两个模态（\即RGB和深度）的共享表示，而几个方法明确考虑如何保留特定模态特征。在这项研究中，我们提出了一种新的框架，被称为SPNET}（特异性保存网络），这通过探索共享信息和模态特定属性（例如，特异性）来利益SOD性能。具体地，我们建议采用两个模态特定的网络和共享学习网络来分别生成个体和共享显着性预测映射。为了有效地融合共享学习网络中的跨模型特征，我们提出了一个交叉增强的集成模块（CIM），然后将融合特征传播到下一个层以集成交叉级信息。此外，为了捕获丰富的互补多模态信息，用于提高SOD性能，我们提出了一个多模态特征聚合（MFA）模块，将每个单独解码器的模态特定功能集成到共享解码器中。通过使用跳过连接，可以完全组合编码器和解码器层之间的分层功能。广泛的实验表明我们的〜\我们的〜优于六种流行的RGB-D SOD和三个伪装对象检测基准测试的前沿方法。该项目可在公开提供：https://github.com/taozh2017/spnet。

使用多模式输入的对象检测可以改善许多安全性系统，例如自动驾驶汽车（AVS）。由白天和黑夜运行的AV动机，我们使用RGB和热摄像机研究多模式对象检测，因为后者在较差的照明下提供了更强的对象签名。我们探索融合来自不同方式的信息的策略。我们的关键贡献是一种概率结合技术，Proben，一种简单的非学习方法，可以将多模式的检测融合在一起。我们从贝叶斯的规则和第一原则中得出了探针，这些原则在跨模态上采用条件独立性。通过概率边缘化，当检测器不向同一物体发射时，概率可以优雅地处理缺失的方式。重要的是，即使有条件的独立性假设不存在，也可以显着改善多模式检测，例如，从其他融合方法（包括现成的内部和训练有素的内部）融合输出。我们在两个基准上验证了包含对齐（KAIST）和未对准（Flir）多模式图像的基准，这表明Proben的相对性能优于先前的工作超过13％！

近年来，将多光谱数据集成在对象检测中，尤其是可见的和红外图像。由于可见（RGB）和红外（IR）图像可以提供互补的信息来处理光变化，因此在许多领域中使用了配对图像，例如多光谱的行人检测，RGB-IR人群计数和RGB-IR显着对象检测。与天然RGB-IR图像相比，我们发现空中RGB-IR图像中的检测遭受跨模式弱的未对准问题，这些问题表现在同一物体的位置，大小和角度偏差。在本文中，我们主要解决了空中RGB-IR图像中跨模式弱未对准的挑战。具体而言，我们首先解释和分析了弱错位问题的原因。然后，我们提出了一个翻译尺度的反向对齐（TSRA）模块，以通过校准这两种方式的特征图来解决问题。该模块通过对齐过程预测了两个模式对象之间的偏差，并利用模态选择（MS）策略来提高对齐的性能。最后，基于TSRA模块的两流特征比对检测器（TSFADET）是为空中图像中的RGB-IR对象检测构建的。通过对公共无人机数据集进行的全面实验，我们验证我们的方法是否降低了交叉模式未对准的效果并实现了可靠的检测结果。

近年来，遥感图像中的对象检测增加了增加的注意。然而，传统的光学检测高易受照明和天气异常的影响。有效地利用来自多源遥感图像的跨模式信息，特别是光学和合成孔径雷达图像是挑战，以实现高精度和速度的全天和全天候检测。朝向此结束，在当前纸张中提出了一种快速的多源融合检测框架。用于联盟的新型距离衰减交叉点以用规模不变性对目标的形状特性进行编码。因此，可以准确地对多源图像中的相同目标。此外，利用加权的Dempster-Shafer证据理论将光学和合成孔径雷达检测结合，这克服了需要大量配对数据的特征级融合中的缺点。此外，苏伊士船舶在苏伊士运河中搁浅的集装箱船的配对光学和合成孔径雷达图像被采用展示我们的融合算法。为了测试所提出的方法的有效性，在自建立数据集时，所提出的融合检测框架的平均精度优于光学检测20.13％。

在过去的十年中，基于深度学习的算法在遥感图像分析的不同领域中广泛流行。最近，最初在自然语言处理中引入的基于变形金刚的体系结构遍布计算机视觉领域，在该字段中，自我发挥的机制已被用作替代流行的卷积操作员来捕获长期依赖性。受到计算机视觉的最新进展的启发，遥感社区还见证了对各种任务的视觉变压器的探索。尽管许多调查都集中在计算机视觉中的变压器上，但据我们所知，我们是第一个对基于遥感中变压器的最新进展进行系统评价的人。我们的调查涵盖了60多种基于变形金刚的60多种方法，用于遥感子方面的不同遥感问题：非常高分辨率（VHR），高光谱（HSI）和合成孔径雷达（SAR）图像。我们通过讨论遥感中变压器的不同挑战和开放问题来结束调查。此外，我们打算在遥感论文中频繁更新和维护最新的变压器，及其各自的代码：https：//github.com/virobo-15/transformer-in-in-remote-sensing

RGB-Thermal（RGB-T）人群计数是一项具有挑战性的任务，它将热图像用作与RGB图像的互补信息，以应对低弹片或类似背景的场景中单峰基于RGB的方法的降低。大多数现有方法提出了精心设计的结构，用于RGB-T人群计数中的跨模式融合。但是，这些方法在编码RGB-T图像对中编码跨模式上下文语义信息方面存在困难。考虑到上述问题，我们提出了一个称为多发意见融合网络（MAFNET）的两流RGB-T人群计数网络，该网络旨在根据注意机制完全捕获RGB和热模式中的远距离上下文信息。具体而言，在编码器部分中，多发融合（MAF）模块嵌入到全球级别的两个特定于模态分支的不同阶段中。此外，引入了多模式多尺度聚合（MMA）回归头，以充分利用跨模态的多尺度和上下文信息，以生成高质量的人群密度图。在两个受欢迎的数据集上进行的广泛实验表明，拟议的MAFNET对RGB-T人群计数有效，并实现了最新的性能。

最近，融合了激光雷达点云和相机图像，提高了3D对象检测的性能和稳健性，因为这两种方式自然具有强烈的互补性。在本文中，我们通过引入新型级联双向融合〜（CB融合）模块和多模态一致性〜（MC）损耗来提出用于多模态3D对象检测的EPNet ++。更具体地说，所提出的CB融合模块提高点特征的丰富语义信息，以级联双向交互融合方式具有图像特征，导致更全面且辨别的特征表示。 MC损失明确保证预测分数之间的一致性，以获得更全面且可靠的置信度分数。基蒂，JRDB和Sun-RGBD数据集的实验结果展示了通过最先进的方法的EPNet ++的优越性。此外，我们强调一个关键但很容易被忽视的问题，这是探讨稀疏场景中的3D探测器的性能和鲁棒性。广泛的实验存在，EPNet ++优于现有的SOTA方法，在高稀疏点云壳中具有显着的边距，这可能是降低LIDAR传感器的昂贵成本的可用方向。代码将来会发布。

LiDAR-based 3D Object detectors have achieved impressive performances in many benchmarks, however, multisensors fusion-based techniques are promising to further improve the results. PointPainting, as a recently proposed framework, can add the semantic information from the 2D image into the 3D LiDAR point by the painting operation to boost the detection performance. However, due to the limited resolution of 2D feature maps, severe boundary-blurring effect happens during re-projection of 2D semantic segmentation into the 3D point clouds. To well handle this limitation, a general multimodal fusion framework MSF has been proposed to fuse the semantic information from both the 2D image and 3D points scene parsing results. Specifically, MSF includes three main modules. First, SOTA off-the-shelf 2D/3D semantic segmentation approaches are employed to generate the parsing results for 2D images and 3D point clouds. The 2D semantic information is further re-projected into the 3D point clouds with calibrated parameters. To handle the misalignment between the 2D and 3D parsing results, an AAF module is proposed to fuse them by learning an adaptive fusion score. Then the point cloud with the fused semantic label is sent to the following 3D object detectors. Furthermore, we propose a DFF module to aggregate deep features in different levels to boost the final detection performance. The effectiveness of the framework has been verified on two public large-scale 3D object detection benchmarks by comparing with different baselines. The experimental results show that the proposed fusion strategies can significantly improve the detection performance compared to the methods using only point clouds and the methods using only 2D semantic information. Most importantly, the proposed approach significantly outperforms other approaches and sets new SOTA results on the nuScenes testing benchmark.

神经网络的高计算成本阻止了RGB-D突出物体检测（SOD）的最新成功，从受益现实世界应用。因此，本文介绍了一种新颖的网络，Mobily，它专注于使用移动网络进行深度特征提取的高效RGB-D SOD。然而，移动网络在特征表示中的功能较小比麻烦的网络更强大。为此，我们观察到彩色图像的深度信息可以加强与SOD相关的特征表示，如果正确杠杆。因此，我们提出了一种隐式深度恢复（IDR）技术，以加强用于RGB-D SOD的移动网络的特征表示能力。 IDR仅在训练阶段采用并在测试期间省略，因此它是免费的。此外，我们提出了用于有效的多级特征聚合的紧凑金字塔精制（CPR），以获得具有清晰边界的突出对象。与IDR和CPR合并，Mobilesal在六个挑战RGB-D SOD数据集上具有更快的速度（450fps 320 $ 320的输入尺寸为320美元）和更少的参数（6.5米）。代码在https://mmcheng.net/mobilesal发布。

在计算机视觉社区中，从自然场景图像（NSI-SOD）的突出对象检测中取得了巨大进展;相比之下，光学遥感图像（RSI-SOD）中的突出物体检测仍然是一个具有挑战性的新兴主题。光学RSI的独特特性，如尺度，照明和成像方向，在NSI-SOD和RSI-SOD之间带来显着差异。在本文中，我们提出了一种新的多内容互补网络（MCCNet）来探讨RSI-SOD的多个内容的互补性。具体地，MCCNet基于常规编码器解码器架构，并包含一个名为多内容互补模块（MCCM）的新型密钥组件，其桥接编码器和解码器。在MCCM中，我们考虑多种类型的功能对RSI-SOD至关重要的功能，包括前景特征，边缘功能，后台功能和全局图像级别功能，并利用它们之间的内容互补性来突出显示RSI中各种刻度的突出区域通过注意机制的特点。此外，我们全面引入训练阶段的像素级，地图级和公制感知损失。在两个流行的数据集上进行广泛的实验表明，所提出的MCCNet优于23个最先进的方法，包括NSI-SOD和RSI-SOD方法。我们方法的代码和结果可在https://github.com/mathlee/mccnet上获得。

无人驾驶飞机（UAV）的实时对象检测是一个具有挑战性的问题，因为Edge GPU设备作为物联网（IoT）节点的计算资源有限。为了解决这个问题，在本文中，我们提出了一种基于Yolox模型的新型轻型深度学习体系结构，用于Edge GPU上的实时对象检测。首先，我们设计了一个有效且轻巧的PixSF头，以更换Yolox的原始头部以更好地检测小物体，可以将其进一步嵌入深度可分离的卷积（DS Conv）中，以达到更轻的头。然后，开发为减少网络参数的颈层中的较小结构，这是精度和速度之间的权衡。此外，我们将注意模块嵌入头层中，以改善预测头的特征提取效果。同时，我们还改进了标签分配策略和损失功能，以减轻UAV数据集的类别不平衡和盒子优化问题。最后，提出了辅助头进行在线蒸馏，以提高PIXSF Head中嵌入位置嵌入和特征提取的能力。在NVIDIA Jetson NX和Jetson Nano GPU嵌入平台上，我们的轻质模型的性能得到了实验验证。扩展的实验表明，与目前的模型相比，Fasterx模型在Visdrone2021数据集中实现了更好的折衷和延迟之间的折衷。