Scaling object taxonomies is one of the important steps toward a robust real-world deployment of recognition systems. We have faced remarkable progress in images since the introduction of the LVIS benchmark. To continue this success in videos, a new video benchmark, TAO, was recently presented. Given the recent encouraging results from both detection and tracking communities, we are interested in marrying those two advances and building a strong large vocabulary video tracker. However, supervisions in LVIS and TAO are inherently sparse or even missing, posing two new challenges for training the large vocabulary trackers. First, no tracking supervisions are in LVIS, which leads to inconsistent learning of detection (with LVIS and TAO) and tracking (only with TAO). Second, the detection supervisions in TAO are partial, which results in catastrophic forgetting of absent LVIS categories during video fine-tuning. To resolve these challenges, we present a simple but effective learning framework that takes full advantage of all available training data to learn detection and tracking while not losing any LVIS categories to recognize. With this new learning scheme, we show that consistent improvements of various large vocabulary trackers are capable, setting strong baseline results on the challenging TAO benchmarks.

The tracking-by-detection paradigm today has become the dominant method for multi-object tracking and works by detecting objects in each frame and then performing data association across frames. However, its sequential frame-wise matching property fundamentally suffers from the intermediate interruptions in a video, such as object occlusions, fast camera movements, and abrupt light changes. Moreover, it typically overlooks temporal information beyond the two frames for matching. In this paper, we investigate an alternative by treating object association as clip-wise matching. Our new perspective views a single long video sequence as multiple short clips, and then the tracking is performed both within and between the clips. The benefits of this new approach are two folds. First, our method is robust to tracking error accumulation or propagation, as the video chunking allows bypassing the interrupted frames, and the short clip tracking avoids the conventional error-prone long-term track memory management. Second, the multiple frame information is aggregated during the clip-wise matching, resulting in a more accurate long-range track association than the current frame-wise matching. Given the state-of-the-art tracking-by-detection tracker, QDTrack, we showcase how the tracking performance improves with our new tracking formulation. We evaluate our proposals on two tracking benchmarks, TAO and MOT17 that have complementary characteristics and challenges each other.

Open world object detection aims at detecting objects that are absent in the object classes of the training data as unknown objects without explicit supervision. Furthermore, the exact classes of the unknown objects must be identified without catastrophic forgetting of the previous known classes when the corresponding annotations of unknown objects are given incrementally. In this paper, we propose a two-stage training approach named Open World DETR for open world object detection based on Deformable DETR. In the first stage, we pre-train a model on the current annotated data to detect objects from the current known classes, and concurrently train an additional binary classifier to classify predictions into foreground or background classes. This helps the model to build an unbiased feature representations that can facilitate the detection of unknown classes in subsequent process. In the second stage, we fine-tune the class-specific components of the model with a multi-view self-labeling strategy and a consistency constraint. Furthermore, we alleviate catastrophic forgetting when the annotations of the unknown classes becomes available incrementally by using knowledge distillation and exemplar replay. Experimental results on PASCAL VOC and MS-COCO show that our proposed method outperforms other state-of-the-art open world object detection methods by a large margin.

将简单的体系结构与大规模预训练相结合已导致图像分类的大量改进。对于对象检测，预训练和缩放方法的确定性不佳，尤其是在长尾和开放式摄影的环境中，训练数据相对较少。在本文中，我们提出了一个强大的配方，用于将图像文本模型转移到开放式对象检测中。我们使用具有最小修改，对比度文本预训练和端到端检测微调的标准视觉变压器体系结构。我们对该设置的缩放属性的分析表明，增加图像级预训练和模型大小在下游检测任务上产生一致的改进。我们提供适应性策略和正规化，以实现零击文本条件和单次图像条件对象检测的非常强劲的性能。代码和型号可在GitHub上找到。

构建强大的通用对象检测框架需要扩展到更大的标签空间和更大的培训数据集。但是，大规模获取数千个类别的注释是高昂的成本。我们提出了一种新颖的方法，该方法利用了最近的视觉和语言模型中可用的丰富语义来将对象定位和分类在未标记的图像中，从而有效地生成了伪标签以进行对象检测。从通用和类别的区域建议机制开始，我们使用视觉和语言模型将图像的每个区域分类为下游任务所需的任何对象类别。我们在两个特定的任务（开放式摄影检测检测）中演示了生成的伪标签的值，其中模型需要概括为看不见的对象类别以及半监督对象检测，其中可以使用其他未标记的图像来改善模型。我们的经验评估显示了伪标签在这两个任务中的有效性，我们在其中优于竞争基准并实现了开放式摄制对象检测的新颖最新。我们的代码可在https://github.com/xiaofeng94/vl-plm上找到。

基于深度学习的方法在3D对象检测任务中显示出显着性能。然而，当在逐步学习新类时，它们遭受了最初训练的课程的灾难性表现下降，而无需重新审视旧数据。这种“灾难性忘记”现象阻碍了现实世界场景中的3D对象检测方法的部署，其中需要连续学习系统。在本文中，我们研究了未开发的但重要的类增量3D对象检测问题，并提出了第一种解决方案 - SDCOT，一种新型静态动态共同教学方法。我们的SDCOT通过静态教师减轻了灾难性的旧课程，这为新样本中的旧课程提供了伪注释，并通过用蒸馏损失提取先前的知识来规范电流模型。与此同时，SDCOT一致地通过动态教师从新数据中了解基础知识。我们对两个基准数据集进行了广泛的实验，并在几个增量学习场景中展示了我们SDCOT对基线方法的卓越性能。

标记数据通常昂贵且耗时，特别是对于诸如对象检测和实例分割之类的任务，这需要对图像的密集标签进行密集的标签。虽然几张拍摄对象检测是关于培训小说中的模型（看不见的）对象类具有很少的数据，但它仍然需要在许多标记的基础（见）类的课程上进行训练。另一方面，自我监督的方法旨在从未标记数据学习的学习表示，该数据转移到诸如物体检测的下游任务。结合几次射击和自我监督的物体检测是一个有前途的研究方向。在本调查中，我们审查并表征了几次射击和自我监督对象检测的最新方法。然后，我们给我们的主要外卖，并讨论未来的研究方向。https://gabrielhuang.github.io/fsod-survey/的项目页面

时空动作检测是视频理解的重要组成部分。当前的时空动作检测方法将首先使用对象检测器获得人候选建议。然后，该模型将将候选人分为不同的行动类别。所谓的两阶段方法很重，很难在现实世界应用中应用。一些现有的方法使用统一的模型结构，但它们使用香草模型的性能不佳，并且通常需要额外的模块来提高性能。在本文中，我们探讨了建立端到端时空动作探测器的策略，其修改最少。为此，我们提出了一种名为ME-STAD的新方法，该方法以端到端的方式解决了空间 - 周期性动作检测问题。除模型设计外，我们还提出了一种新颖的标签策略，以处理空间数据集中的稀疏注释。提出的ME-STAD比原始的两阶段探测器和减少80％的FLOPS取得更好的结果（2.2％的MAP增强）。此外，我们提出的我的stad仅具有先前方法的最小修改，并且不需要额外的组件。我们的代码将公开。

用于对象检测的注释边界框很昂贵，耗时且容易出错。在这项工作中，我们提出了一个基于DITR的框架，该框架旨在在部分注释的密集场景数据集中明确完成丢失的注释。这减少了注释场景中的每个对象实例，从而降低注释成本。完成DETR解码器中的对象查询，并使用图像中对象的补丁信息。结合匹配损失，它可以有效地找到与输入补丁相似的对象并完成丢失的注释。我们表明，我们的框架优于最先进的方法，例如软采样和公正的老师，同时可以与这些方法一起使用以进一步提高其性能。我们的框架对下游对象探测器的选择也不可知。我们显示了多个流行探测器的性能改进，例如在多个密集的场景数据集中更快的R-CNN，CASCADE R-CNN，CENTERNET2和可变形的DETR。

We tackle the problem of novel class discovery and localization (NCDL). In this setting, we assume a source dataset with supervision for only some object classes. Instances of other classes need to be discovered, classified, and localized automatically based on visual similarity without any human supervision. To tackle NCDL, we propose a two-stage object detection network Region-based NCDL (RNCDL) that uses a region proposal network to localize regions of interest (RoIs). We then train our network to learn to classify each RoI, either as one of the known classes, seen in the source dataset, or one of the novel classes, with a long-tail distribution constraint on the class assignments, reflecting the natural frequency of classes in the real world. By training our detection network with this objective in an end-to-end manner, it learns to classify all region proposals for a large variety of classes, including those not part of the labeled object class vocabulary. Our experiments conducted using COCO and LVIS datasets reveal that our method is significantly more effective than multi-stage pipelines that rely on traditional clustering algorithms. Furthermore, we demonstrate the generality of our approach by applying our method to a large-scale Visual Genome dataset, where our network successfully learns to detect various semantic classes without direct supervision.

表面缺陷检测是工业质量检查最重要的过程之一。基于深度学习的表面缺陷检测方法已显示出巨大的潜力。但是，表现出色的模型通常需要大量的训练数据，并且只能检测出在训练阶段出现的缺陷。当面对少量数据数据时，缺陷检测模型不可避免地会遭受灾难性遗忘和错误分类问题的困扰。为了解决这些问题，本文提出了一个新的知识蒸馏网络，称为双知识对齐网络（DKAN）。提出的DKAN方法遵循预处理的转移学习范式，并设计了用于微调的知识蒸馏框架。具体而言，提出了增量RCNN以实现不同类别的分离稳定特征表示。在此框架下，设计特征知识对齐（FKA）的损失是在类不足的特征图之间设计的，以解决灾难性的遗忘问题，而logit知识对准（LKA）损失在logit分布之间部署以解决错误分类问题。实验已经在递增的几个neu-det数据集上进行，结果表明，DKAN在各种几个场景上的其他方法都优于其他方法，对平均平均精度度量指标最高可达6.65％，这证明了该方法的有效性。

当前的多类多类别对象跟踪（MOT）指标使用类标签来分组跟踪结果以进行每类评估。同样，MOT方法通常仅将对象与相同的类预测相关联。这两种MOT中的普遍策略隐含地假设分类性能几乎完美。但是，这远非最近的大型MOT数据集中的情况，这些数据集包含许多罕见或语义上类似类别的类别。因此，所得的不正确分类导致跟踪器的基准跟踪和基准不足。我们通过将分类与跟踪无关，以解决这些问题。我们引入了一个新的指标，跟踪所有准确性（TETA），将跟踪测量测量分为三个子因素：本地化，关联和分类，即使在不准确的分类下，也可以全面地跟踪性能的基准测试。 TETA还处理了大规模跟踪数据集中具有挑战性的不完整注释问题。我们进一步介绍了使用类示例匹配（CEM）执行关联的每件事跟踪器（TETER）。我们的实验表明，TETA对跟踪器进行更全面的评估，并且与最先进的ART相比，TETE对挑战性的大规模数据集BDD100K和TAO进行了重大改进。

现实世界中的对象检测模型应便宜且准确。知识蒸馏（KD）可以通过利用大型教师模型的有用信息来提高小型，廉价检测模型的准确性。但是，一个关键的挑战是确定老师进行蒸馏产生的最有用的功能。在这项工作中，我们表明，在地面边界框中只有一小部分功能才是老师的高检测性能。基于此，我们提出了预测引导的蒸馏（PGD），该蒸馏将蒸馏放在教师的这些关键预测区域上，并在许多现有的KD基准方面的性能取得了可观的增长。此外，我们建议对关键区域进行自适应加权方案，以平滑其影响力并取得更好的性能。我们提出的方法在各种高级一阶段检测体系中的当前最新KD基准都优于当前的最新KD基线。具体而言，在可可数据集上，我们的方法分别使用RESNET-101和RESNET-50作为教师和学生骨架，在 +3.1％和 +4.6％的AP改进之间达到了AP的改善。在CrowdHuman数据集上，我们还使用这些骨架，在MR和AP上取得了 +3.2％和 +2.0％的提高。我们的代码可在https://github.com/chenhongyiyang/pgd上找到。

许多开放世界应用程序需要检测新的对象，但最先进的对象检测和实例分段网络在此任务中不屈服。关键问题在于他们假设没有任何注释的地区应被抑制为否定，这教导了将未经讨犯的对象视为背景的模型。为了解决这个问题，我们提出了一个简单但令人惊讶的强大的数据增强和培训方案，我们呼唤学习来检测每件事（LDET）。为避免抑制隐藏的对象，背景对象可见但未标记，我们粘贴在从原始图像的小区域采样的背景图像上粘贴带有的注释对象。由于仅对这种综合增强的图像培训遭受域名，我们将培训与培训分为两部分：1）培训区域分类和回归头在增强图像上，2）在原始图像上训练掩模头。通过这种方式，模型不学习将隐藏对象作为背景分类，同时概括到真实图像。 LDET导致开放式世界实例分割任务中的许多数据集的重大改进，表现出CoCo上的交叉类别概括的基线，以及对UVO和城市的交叉数据集评估。

深度学习方法需要大量的注释数据以优化参数。例如，附加具有准确边界框注释的数据集对于现代对象检测任务至关重要。但是，具有这样的像素准确性的标签是费力且耗时的，并且精心制作的标记程序对于降低人造噪声是必不可少的，涉及注释审查和接受测试。在本文中，我们关注嘈杂的位置注释对对象检测方法的性能的影响，并旨在减少噪声的不利影响。首先，当将噪声引入边界框注释中时，一阶段和两阶段检测器都会在实验上观察到明显的性能降解。例如，我们的合成噪声导致可可测试分裂的FCO探测器的性能从38.9％的AP降低到33.6％的AP，对于更快的R-CNN而言，COCO检测器的性能从38.9％的AP下降到37.8％的AP和33.7％的AP。其次，提出了一种基于贝叶斯过滤器进行预测合奏的自我纠正技术，以更好地利用教师学习范式后的嘈杂位置注释。合成和现实世界情景的实验始终证明了我们方法的有效性，例如，我们的方法将FCOS检测器的降解性能从33.6％的AP提高到可可的35.6％AP。

在本文中，我们在半监督对象检测（SSOD）中深入研究了两种关键技术，即伪标记和一致性训练。我们观察到，目前，这两种技术忽略了对象检测的一些重要特性，从而阻碍了对未标记数据的有效学习。具体而言，对于伪标记，现有作品仅关注分类得分，但不能保证伪框的本地化精度；为了保持一致性训练，广泛采用的随机训练只考虑了标签级的一致性，但错过了功能级别的训练，这在确保尺度不变性方面也起着重要作用。为了解决嘈杂的伪箱所产生的问题，我们设计了包括预测引导的标签分配（PLA）和正面验证一致性投票（PCV）的嘈杂伪盒学习（NPL）。 PLA依赖于模型预测来分配标签，并使甚至粗糙的伪框都具有鲁棒性。 PCV利用积极建议的回归一致性来反映伪盒的本地化质量。此外，在一致性训练中，我们提出了包括标签和特征水平一致性的机制的多视图尺度不变学习（MSL），其中通过将两个图像之间的移动特征金字塔对准具有相同内容但变化量表的变化来实现特征一致性。在可可基准测试上，我们的方法称为伪标签和一致性训练（PSECO），分别以2.0、1.8、2.0分的1％，5％和10％的标签比优于SOTA（软教师）。它还显着提高了SSOD的学习效率，例如，PSECO将SOTA方法的训练时间减半，但实现了更好的性能。代码可从https://github.com/ligang-cs/pseco获得。

平均老师（MT）方案在半监督对象检测（SSOD）中被广泛采用。在MT中，通过手工制作的标签分配，采用了由教师的最终预测（例如，在无最大抑制（NMS）后处理之后）提供的稀疏伪标签（例如，在无最大抑制（NMS）后处理）。但是，稀疏到密集的范式使SSOD的管道复杂化，同时忽略了强大的直接，密集的教师监督。在本文中，我们试图直接利用教师的密集指导来监督学生培训，即密集至密集的范式。具体而言，我们建议逆NMS聚类（INC）和等级匹配（RM），以实例化密集的监督，而无需广泛使用的常规稀疏伪标签。 Inc带领学生像老师一样将候选箱子分组为NMS中的群集，这是通过学习在NMS过程中揭示的分组信息来实现的。在通过Inc获得了与教师相同的分组计划后，学生通过排名匹配进一步模仿了教师与聚类候选人的排名分配。借助拟议的Inc和RM，我们将密集的教师指导集成到半监督的对象检测（称为DTG-SSOD）中，成功地放弃了稀疏的伪标签，并在未标记的数据上提供了更有信息的学习。在可可基准上，我们的DTG-SSOD在各种标签率下实现了最先进的性能。例如，在10％的标签率下，DTG-SSOD将监督的基线从26.9提高到35.9地图，使以前的最佳方法软教师的表现优于1.9分。

现有的开放式视频探测器通常通过利用不同形式的弱监督来扩大其词汇大小。这有助于推断出新的对象。开放式视频检测（OVD）中使用的两种流行形式的弱点，包括预审计的剪辑模型和图像级监督。我们注意到，这两种监督模式均未在检测任务中最佳地对齐：剪辑经过图像文本对培训，并且缺乏对象的精确定位，而图像级监督已与启发式方法一起使用，这些启发式方法无法准确指定本地对象区域。在这项工作中，我们建议通过从剪辑模型中执行以对象为中心的语言嵌入来解决此问题。此外，我们仅使用伪标记的过程来视觉上仅通过图像级监督对象，该过程提供高质量的对象建议，并有助于在训练过程中扩展词汇。我们通过新的重量转移函数在上述两个对象对准策略之间建立桥梁，该策略汇总了它们的免费强度。本质上，提出的模型试图最大程度地减少OVD设置中对象和以图像为中心表示之间的差距。在可可基准上，我们提出的方法在新颖类中实现了40.3 AP50，绝对11.9比以前的最佳性能获得了11.9的增长。对于LVIS，我们超过了5.0 Mask AP的最先进VILD模型，总体上有3.4个。 。代码：https：//bit.ly/3byzoqp。

半监督的对象检测在平均教师驱动的自我训练的发展中取得了重大进展。尽管结果有令人鼓舞，但在先前的工作中尚未完全探索标签不匹配问题，从而导致自训练期间严重确认偏见。在本文中，我们从两个不同但互补的角度（即分布级别和实例级别）提出了一个简单而有效的标签框架。对于前者，根据Monte Carlo采样，可以合理地近似来自标记数据的未标记数据的类分布。在这种弱监督提示的指导下，我们引入了一个重新分配卑鄙的老师，该老师利用自适应标签 - 分布意识到的信心阈值来生成无偏见的伪标签来推动学生学习。对于后一个，存在着跨教师模型的被忽视的标签分配歧义问题。为了解决这个问题，我们提出了一种新的标签分配机制，用于自我训练框架，即提案自我分配，该机制将学生的建议注入教师，并生成准确的伪标签，以相应地匹配学生模型中的每个建议。 MS-Coco和Pascal-VOC数据集的实验证明了我们提出的框架与其他最先进的框架相当优越。代码将在https://github.com/hikvision-research/ssod上找到。

In this paper we present a new computer vision task, named video instance segmentation. The goal of this new task is simultaneous detection, segmentation and tracking of instances in videos. In words, it is the first time that the image instance segmentation problem is extended to the video domain. To facilitate research on this new task, we propose a large-scale benchmark called YouTube-VIS, which consists of 2,883 high-resolution YouTube videos, a 40-category label set and 131k high-quality instance masks.In addition, we propose a novel algorithm called Mask-Track R-CNN for this task. Our new method introduces a new tracking branch to Mask R-CNN to jointly perform the detection, segmentation and tracking tasks simultaneously. Finally, we evaluate the proposed method and several strong baselines on our new dataset. Experimental results clearly demonstrate the advantages of the proposed algorithm and reveal insight for future improvement. We believe the video instance segmentation task will motivate the community along the line of research for video understanding.