3D对象检测网络往往偏向于培训的数据。在不同位置，条件或传感器中捕获的数据集的评估比训练（源）数据的数据集导致模型性能下降，由于测试（或目标）数据分布的间隙。目前用于域适配的方法可以在训练期间采用访问源数据，这可能由于隐私或内存问题而无法使用，或者需要将一系列激光乐框架作为输入。我们提出了一种单一帧方法，用于提供的基于LIDAR的3D对象探测器的无源无监督域，它使用类原型来减轻逻辑标签噪声的效果。解决在存在嘈杂标签中的传统特征聚合方法对原型计算的限制，我们利用变压器模块识别对应于不正确，过于自信的注释的异常值ROI，并计算分级类原型。在迭代培训策略下，与嘈杂的伪标签相关的损失是下降的，因此在自我培训过程中精制。为了验证我们提出的方法的有效性，我们研究了与大型标签的数据集（例如Waymo Open DataSet和Nuscenes）培训的网络相关联的域移位，并在更小的标签差的数据集（如KITTI）上进行评估反之亦然。我们在最近的两个对象探测器上展示了我们的方法，实现了Out-执行其他域适应工作的结果。

Domain adaptation for Cross-LiDAR 3D detection is challenging due to the large gap on the raw data representation with disparate point densities and point arrangements. By exploring domain-invariant 3D geometric characteristics and motion patterns, we present an unsupervised domain adaptation method that overcomes above difficulties. First, we propose the Spatial Geometry Alignment module to extract similar 3D shape geometric features of the same object class to align two domains, while eliminating the effect of distinct point distributions. Second, we present Temporal Motion Alignment module to utilize motion features in sequential frames of data to match two domains. Prototypes generated from two modules are incorporated into the pseudo-label reweighting procedure and contribute to our effective self-training framework for the target domain. Extensive experiments show that our method achieves state-of-the-art performance on cross-device datasets, especially for the datasets with large gaps captured by mechanical scanning LiDARs and solid-state LiDARs in various scenes. Project homepage is at https://github.com/4DVLab/CL3D.git

自动驾驶汽车必须在3D中检测其他车辆和行人，以计划安全路线并避免碰撞。基于深度学习的最先进的3D对象探测器已显示出有希望的准确性，但容易过度拟合域特质，使它们在新环境中失败 - 如果自动驾驶汽车旨在自动操作，则是一个严重的问题。在本文中，我们提出了一种新颖的学习方法，该方法通过在目标域中的伪标记上微调检测器，从而大大减少这一差距，我们的方法在车辆停放时会根据先前记录的驾驶序列的重播而生成的差距。在这些重播中，随着时间的推移会跟踪对象，并且检测被插值和外推 - 至关重要的是利用未来的信息来捕获硬病例。我们在五个自动驾驶数据集上显示，对这些伪标签上的对象检测器进行微调大大减少了域间隙到新的驾驶环境，从而极大地提高了准确性和检测可靠性。

在本文中，我们提出了激光雷达蒸馏，以弥合由不同的激光束引起的3D对象检测的域间隙。在许多现实世界中，大规模生产的机器人和车辆使用的激光点通常比大型公共数据集的光束少。此外，随着LIDARS升级到具有不同光束量的其他产品模型，使用先前版本的高分辨率传感器捕获的标记数据变得具有挑战性。尽管域自适应3D检测最近取得了进展，但大多数方法都难以消除梁诱导的域间隙。我们发现，在训练过程中，必须将源域的点云密度与目标域的点云密度保持一致。受到这一发现的启发，我们提出了一个渐进式框架，以减轻光束诱导的域移位。在每次迭代中，我们首先通过下采样高光束点云来产生低光束伪激光雷达。然后，使用教师学生的框架来将丰富的信息从数据中提取更多的信息。 Waymo，Nuscenes和Kitti数据集的大量实验具有三个不同的基于激光雷达的探测器，这证明了我们激光蒸馏的有效性。值得注意的是，我们的方法不会增加推理的任何额外计算成本。

最近，检测变压器（DETR）是一种端到端对象检测管道，已达到有希望的性能。但是，它需要大规模标记的数据，并遭受域移位，尤其是当目标域中没有标记的数据时。为了解决这个问题，我们根据平均教师框架MTTRANS提出了一个端到端的跨域检测变压器，该变压器可以通过伪标签充分利用对象检测训练中未标记的目标域数据和在域之间的传输知识中的传输知识。我们进一步提出了综合的多级特征对齐方式，以改善由平均教师框架生成的伪标签，利用跨尺度的自我注意事项机制在可变形的DETR中。图像和对象特征在本地，全局和实例级别与基于域查询的特征对齐（DQFA），基于BI级的基于图形的原型对齐（BGPA）和Wine-Wise图像特征对齐（TIFA）对齐。另一方面，未标记的目标域数据伪标记，可用于平均教师框架的对象检测训练，可以导致更好的特征提取和对齐。因此，可以根据变压器的架构对迭代和相互优化的平均教师框架和全面的多层次特征对齐。广泛的实验表明，我们提出的方法在三个领域适应方案中实现了最先进的性能，尤其是SIM10K到CityScapes方案的结果，从52.6地图提高到57.9地图。代码将发布。

Unsupervised Domain Adaptation (UDA) is an effective approach to tackle the issue of domain shift. Specifically, UDA methods try to align the source and target representations to improve the generalization on the target domain. Further, UDA methods work under the assumption that the source data is accessible during the adaptation process. However, in real-world scenarios, the labelled source data is often restricted due to privacy regulations, data transmission constraints, or proprietary data concerns. The Source-Free Domain Adaptation (SFDA) setting aims to alleviate these concerns by adapting a source-trained model for the target domain without requiring access to the source data. In this paper, we explore the SFDA setting for the task of adaptive object detection. To this end, we propose a novel training strategy for adapting a source-trained object detector to the target domain without source data. More precisely, we design a novel contrastive loss to enhance the target representations by exploiting the objects relations for a given target domain input. These object instance relations are modelled using an Instance Relation Graph (IRG) network, which are then used to guide the contrastive representation learning. In addition, we utilize a student-teacher based knowledge distillation strategy to avoid overfitting to the noisy pseudo-labels generated by the source-trained model. Extensive experiments on multiple object detection benchmark datasets show that the proposed approach is able to efficiently adapt source-trained object detectors to the target domain, outperforming previous state-of-the-art domain adaptive detection methods. Code is available at https://github.com/Vibashan/irg-sfda.

人搜索是一项具有挑战性的任务，旨在实现共同的行人检测和人重新识别（REID）。以前的作品在完全和弱监督的设置下取得了重大进步。但是，现有方法忽略了人搜索模型的概括能力。在本文中，我们采取了进一步的步骤和现在的域自适应人员搜索（DAPS），该搜索旨在将模型从标记的源域概括为未标记的目标域。在这种新环境下出现了两个主要挑战：一个是如何同时解决检测和重新ID任务的域未对准问题，另一个是如何在目标域上训练REID子任务而不可靠的检测结果。为了应对这些挑战，我们提出了一个强大的基线框架，并使用两个专用设计。 1）我们设计一个域对齐模块，包括图像级和任务敏感的实例级别对齐，以最大程度地减少域差异。 2）我们通过动态聚类策略充分利用未标记的数据，并使用伪边界框来支持目标域上的REID和检测训练。通过上述设计，我们的框架在MAP中获得了34.7％的地图，而PRW数据集的TOP-1则达到80.6％，超过了直接转移基线的大幅度。令人惊讶的是，我们无监督的DAPS模型的性能甚至超过了一些完全和弱监督的方法。该代码可在https://github.com/caposerenity/daps上找到。

大多数现有的域自适应对象检测方法利用对抗特征对齐，以使模型适应新域。对抗性特征比对的最新进展旨在减少发生的负面影响或负转移的负面影响，因为特征的分布取决于对象类别。但是，通过分析无锚的一阶段检测器的特征，在本文中，我们发现可能发生负转移，因为特征分布取决于对边界框的回归值以及类别的回归值而变化。为了通过解决此问题来获得域的不变性，我们考虑了特征分布的模式，以偏移值为条件。通过一种非常简单有效的调节方法，我们提出了在各种实验环境中实现最新性能的OADA（偏置感知域自适应对象检测器）。此外，通过通过单数值分析分析，我们发现我们的模型可以增强可区分性和可传递性。

标记数据通常昂贵且耗时，特别是对于诸如对象检测和实例分割之类的任务，这需要对图像的密集标签进行密集的标签。虽然几张拍摄对象检测是关于培训小说中的模型（看不见的）对象类具有很少的数据，但它仍然需要在许多标记的基础（见）类的课程上进行训练。另一方面，自我监督的方法旨在从未标记数据学习的学习表示，该数据转移到诸如物体检测的下游任务。结合几次射击和自我监督的物体检测是一个有前途的研究方向。在本调查中，我们审查并表征了几次射击和自我监督对象检测的最新方法。然后，我们给我们的主要外卖，并讨论未来的研究方向。https://gabrielhuang.github.io/fsod-survey/的项目页面

我们解决对象检测中的域适应问题，其中在源（带有监控）和目标域（没有监督的域的域名）之间存在显着的域移位。作为广泛采用的域适应方法，自培训教师学生框架（学生模型从教师模型生成的伪标签学习）在目标域中产生了显着的精度增益。然而，由于其偏向源域，它仍然存在从教师产生的大量低质量伪标签（例如，误报）。为了解决这个问题，我们提出了一种叫做自适应无偏见教师（AUT）的自我训练框架，利用对抗的对抗学习和弱强的数据增强来解决域名。具体而言，我们在学生模型中使用特征级的对抗性培训，确保从源和目标域中提取的功能共享类似的统计数据。这使学生模型能够捕获域不变的功能。此外，我们在目标领域的教师模型和两个域上的学生模型之间应用了弱强的增强和相互学习。这使得教师模型能够从学生模型中逐渐受益，而不会遭受域移位。我们展示了AUT通过大边距显示所有现有方法甚至Oracle（完全监督）模型的优势。例如，我们在有雾的城市景观（Clipart1k）上实现了50.9％（49.3％）地图，分别比以前的最先进和甲骨文高9.2％（5.2％）和8.2％（11.0％）

域的适应区域对解决许多应用程序遇到的域移位问题发挥了重要作用。由于与现实测试方案中使用的目标数据相比，用于培训的源数据的分布之间的差异是由于培训源数据之间的差异而产生的。在本文中，我们引入了一种新型的多尺度域自适应Yolo（MS-Dayolo）框架，该框架在最近引入的Yolov4对象检测器的不同尺度上采用了多个域自适应路径和相应的域分类器。在我们的基线多尺度Dayolo框架的基础上，我们为域名适应网络（DAN）介绍了三个新颖的深度学习体系结构，它们生成了域，不变性功能。特别是，我们提出了渐进式功能减少（PFR），统一分类器（UC）和集成体系结构。我们使用流行的数据集训练和测试我们提出的DAN体系结构。当使用拟议的MS-Dayolo架构训练Yolov4时，我们的实验显示了对象检测性能的显着改善，并在对目标数据进行自动驾驶应用程序中进行测试时。此外，MS-Dayolo框架相对于更快的R-CNN解决方案，在提供可比的对象检测性能的同时，实现了实时速度的数量级改进。

Semi-supervised object detection (SSOD) aims to boost detection performance by leveraging extra unlabeled data. The teacher-student framework has been shown to be promising for SSOD, in which a teacher network generates pseudo-labels for unlabeled data to assist the training of a student network. Since the pseudo-labels are noisy, filtering the pseudo-labels is crucial to exploit the potential of such framework. Unlike existing suboptimal methods, we propose a two-step pseudo-label filtering for the classification and regression heads in a teacher-student framework. For the classification head, OCL (Object-wise Contrastive Learning) regularizes the object representation learning that utilizes unlabeled data to improve pseudo-label filtering by enhancing the discriminativeness of the classification score. This is designed to pull together objects in the same class and push away objects from different classes. For the regression head, we further propose RUPL (Regression-Uncertainty-guided Pseudo-Labeling) to learn the aleatoric uncertainty of object localization for label filtering. By jointly filtering the pseudo-labels for the classification and regression heads, the student network receives better guidance from the teacher network for object detection task. Experimental results on Pascal VOC and MS-COCO datasets demonstrate the superiority of our proposed method with competitive performance compared to existing methods.

基于面具的预训练在没有手动注释的监督的情况下，在图像，视频和语言中进行自我监督的学习取得了巨大的成功。但是，作为信息冗余数据，尚未在3D对象检测的字段中进行研究。由于3D对象检测中的点云是大规模的，因此无法重建输入点云。在本文中，我们提出了一个蒙版素分类网络，用于预训练大规模点云。我们的关键思想是将点云分为体素表示，并分类体素是否包含点云。这种简单的策略使网络是对物体形状的体素意识，从而改善了3D对象检测的性能。广泛的实验显示了我们在三个流行数据集（Kitti，Waymo和Nuscenes）上使用3D对象检测器（第二，Centerpoint和PV-RCNN）的预训练模型的效果。代码可在https：//github.com/chaytonmin/voxel-mae上公开获得。

当标签稀缺时，域的适应性是使学习能够学习的重要任务。尽管大多数作品仅着眼于图像模式，但有许多重要的多模式数据集。为了利用多模式的域适应性，我们提出了跨模式学习，在这种学习中，我们通过相互模仿在两种模式的预测之间执行一致性。我们限制了我们的网络，以对未标记的目标域数据进行正确预测，并在标记的数据和跨模式的一致预测中进行预测。在无监督和半监督的域适应设置中进行的实验证明了这种新型域适应策略的有效性。具体而言，我们评估了从2D图像，3D点云或两者都从3D语义分割的任务进行评估。我们利用最近的驾驶数据集生产各种域名适应场景，包括场景布局，照明，传感器设置和天气以及合成到现实的设置的变化。我们的方法在所有适应方案上都显着改善了以前的单模式适应基线。我们的代码可在https://github.com/valeoai/xmuda_journal上公开获取

微创手术中的手术工具检测是计算机辅助干预措施的重要组成部分。当前的方法主要是基于有监督的方法，这些方法需要大量的完全标记的数据来培训监督模型，并且由于阶级不平衡问题而患有伪标签偏见。但是，带有边界框注释的大图像数据集通常几乎无法使用。半监督学习（SSL）最近出现了仅使用适度的注释数据训练大型模型的一种手段。除了降低注释成本。 SSL还显示出希望产生更强大和可推广的模型。因此，在本文中，我们在手术工具检测范式中介绍了半监督学习（SSL）框架，该框架旨在通过知识蒸馏方法来减轻培训数据的稀缺和数据失衡。在拟议的工作中，我们培训了一个标有数据的模型，该模型启动了教师学生的联合学习，在该学习中，学生接受了来自未标记数据的教师生成的伪标签的培训。我们提出了一个多级距离，在检测器的利益区域头部具有基于保证金的分类损失函数，以有效地将前景类别与背景区域隔离。我们在M2CAI16-Tool-locations数据集上的结果表明，我们的方法在不同的监督数据设置（1％，2％，5％，注释数据的10％）上的优越性，其中我们的模型可实现8％，12％和27的总体改善在最先进的SSL方法和完全监督的基线上，MAP中的％（在1％标记的数据上）。该代码可在https://github.com/mansoor-at/semi-supervise-surgical-tool-det上获得

对象检测是计算机视觉和图像处理中的基本任务。基于深度学习的对象探测器非常成功，具有丰富的标记数据。但在现实生活中，它不保证每个对象类别都有足够的标记样本进行培训。当训练数据有限时，这些大型物体探测器易于过度装备。因此，有必要将几次拍摄的学习和零射击学习引入对象检测，这可以将低镜头对象检测命名在一起。低曝光对象检测（LSOD）旨在检测来自少数甚至零标记数据的对象，其分别可以分为几次对象检测（FSOD）和零拍摄对象检测（ZSD）。本文对基于深度学习的FSOD和ZSD进行了全面的调查。首先，本调查将FSOD和ZSD的方法分类为不同的类别，并讨论了它们的利弊。其次，本调查审查了数据集设置和FSOD和ZSD的评估指标，然后分析了在这些基准上的不同方法的性能。最后，本调查讨论了FSOD和ZSD的未来挑战和有希望的方向。

Weakly-supervised object detection (WSOD) models attempt to leverage image-level annotations in lieu of accurate but costly-to-obtain object localization labels. This oftentimes leads to substandard object detection and localization at inference time. To tackle this issue, we propose D2DF2WOD, a Dual-Domain Fully-to-Weakly Supervised Object Detection framework that leverages synthetic data, annotated with precise object localization, to supplement a natural image target domain, where only image-level labels are available. In its warm-up domain adaptation stage, the model learns a fully-supervised object detector (FSOD) to improve the precision of the object proposals in the target domain, and at the same time learns target-domain-specific and detection-aware proposal features. In its main WSOD stage, a WSOD model is specifically tuned to the target domain. The feature extractor and the object proposal generator of the WSOD model are built upon the fine-tuned FSOD model. We test D2DF2WOD on five dual-domain image benchmarks. The results show that our method results in consistently improved object detection and localization compared with state-of-the-art methods.

来自LIDAR或相机传感器的3D对象检测任务对于自动驾驶至关重要。先锋尝试多模式融合的尝试补充了稀疏的激光雷达点云，其中包括图像的丰富语义纹理信息，以额外的网络设计和开销为代价。在这项工作中，我们提出了一个名为SPNET的新型语义传递框架，以通过丰富的上下文绘画的指导来提高现有基于激光雷达的3D检测模型的性能，在推理过程中没有额外的计算成本。我们的关键设计是首先通过训练语义绘制的教师模型来利用地面真实标签中潜在的指导性语义知识，然后引导纯LIDAR网络通过不同的粒度传播模块来学习语义绘制的表示：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类别：类：类别：类别：类别：类别：类别：类别：类别： - 通过，像素的传递和实例传递。实验结果表明，所提出的SPNET可以与大多数现有的3D检测框架无缝合作，其中AP增益为1〜5％，甚至在KITTI测试基准上实现了新的最新3D检测性能。代码可在以下网址获得：https：//github.com/jb892/sp​​net。

在安全至关重要的应用中，深度神经网络的使用越来越多，就需要训练有素的模型。当前大多数校准技术解决了分类问题，同时着重于改善对内域预测的校准。在许多决策系统中占据相似的空间和重要性的视觉对象探测器的校准几乎没有关注。在本文中，我们研究了当前对象检测模型的校准，尤其是在域移位下。为此，我们首先引入了插件的火车时间校准损失以进行对象检测。它可以用作辅助损失函数，以改善检测器的校准。其次，我们设计了一种新的不确定性量化机制来进行对象检测，该机制可以隐式校准常用的基于自我训练的域自适应检测器。我们在研究中包括单阶段和两阶段对象探测器。我们证明，我们的损失改善了具有明显边缘的内域和室外检测的校准。最后，我们展示了我们技术在校准不同域移动方案中的域自适应对象探测器方面的实用性。

如今，半监督对象检测（SSOD）是一个热门话题，因为虽然收集用于创建新数据集的图像相当容易，但标记它们仍然是一项昂贵且耗时的任务。在半监督学习（SSL）设置上利用原始图像的成功方法之一是卑鄙的教师技术，在其中，老师的伪标记的运作以及从学生到教师的知识转移到教师的情况下进行。但是，通过阈值进行伪标记并不是最好的解决方案，因为置信值与预测不确定性无关，不允许安全过滤预测。在本文中，我们介绍了一个附加的分类任务，以进行边界框定位，以改善预测边界框的过滤并获得更高的学生培训质量。此外，我们从经验上证明，无监督部分上的边界框回归可以同样有助于培训与类别分类一样多。我们的实验表明，我们的IL-NET（改善本地化网）在限量注册方案中可可数据集中的SSOD性能提高了1.14％的AP。该代码可从https://github.com/implabunipr/unbiased-teacher/tree/ilnet获得