人类对象相互作用（HOI）检测的任务目标是人类与环境相互作用的细粒度视觉解析，从而实现了广泛的应用。先前的工作证明了有效的体系结构设计和相关线索的集成的好处，以进行更准确的HOI检测。但是，现有方法的设计适当的预训练策略的设计仍未得到充实。为了解决这一差距，我们提出了关系语言图像预训练（RLIP），这是一种利用实体和关系描述的对比预训练的策略。为了有效利用此类预训练，我们做出了三个技术贡献：（1）一种新的并行实体检测和顺序关系推理（Parse）体系结构，可在整体优化的预训练期间使用实体和关系描述； （2）合成数据生成框架，标签序列扩展，扩展了每个Minibatch中可用的语言数据的规模； （3）解释歧义，关系质量标签和关系伪标签的机制，以减轻训练数据中模棱两可/嘈杂样本的影响。通过广泛的实验，我们证明了这些贡献的好处，共同称为rlip-parse，以改善零射击，很少射击和微调的HOI检测性能以及从噪音注释中学习的鲁棒性。代码将在\ url {https://github.com/jacobyuan7/rlip}上找到。

将简单的体系结构与大规模预训练相结合已导致图像分类的大量改进。对于对象检测，预训练和缩放方法的确定性不佳，尤其是在长尾和开放式摄影的环境中，训练数据相对较少。在本文中，我们提出了一个强大的配方，用于将图像文本模型转移到开放式对象检测中。我们使用具有最小修改，对比度文本预训练和端到端检测微调的标准视觉变压器体系结构。我们对该设置的缩放属性的分析表明，增加图像级预训练和模型大小在下游检测任务上产生一致的改进。我们提供适应性策略和正规化，以实现零击文本条件和单次图像条件对象检测的非常强劲的性能。代码和型号可在GitHub上找到。

开放世界对象检测是一个更具笼统和挑战性的目标，旨在识别和本地化由任意类别名称描述的对象。最近的工作GLIP通过将检测数据集的所有类别名称连接到句子中，从而将此问题作为接地问题，从而导致类别名称之间的效率低下的相互作用。本文介绍了Distclip，这是一种通过诉诸于设计概念词典的知识富集，是一种平行的视觉概念训练预训练方法，用于开放世界检测。为了提高学习效率，我们提出了一种新型的并行概念公式，该公式分别提取概念，以更好地利用异质数据集（即检测，接地和图像文本对）进行培训。我们进一步设计了来自各种在线资源和检测数据集的概念字典〜（带有描述），以提供每个概念的先验知识。通过用描述丰富这些概念，我们明确地建立了各种概念之间的关系，以促进开放域学习。所提出的概念词典进一步用于提供足够的负面概念，用于构建单词区域对齐损失\，并完成图像对文本对数据标题中缺少描述的对象的标签。所提出的框架显示出强烈的零射击性能性能，例如，在LVIS数据集上，我们的DETCLIP-T优于9.9％的地图GLIPT-T优于GLIP-T，并且与完全避免的型号相比，稀有类别的稀有类别提高了13.5％。作为我们的。

人类对象的相互作用（HOI）检测在场景理解的背景下受到了很大的关注。尽管基准上的进步越来越高，但我们意识到现有方法通常在遥远的相互作用上表现不佳，其中主要原因是两个方面：1）遥远的相互作用本质上比亲密的相互作用更难以识别。一个自然的场景通常涉及多个人类和具有复杂空间关系的物体，从而使远距离人对象的互动识别很大程度上受到复杂的视觉背景的影响。 2）基准数据集中的远处相互作用不足导致这些实例的合适。为了解决这些问题，在本文中，我们提出了一种新型的两阶段方法，用于更好地处理HOI检测中的遥远相互作用。我们方法中的一个必不可少的组成部分是一个新颖的近距离注意模块。它可以在人类和物体之间进行信息传播，从而熟练考虑空间距离。此外，我们设计了一种新颖的远距离感知损失函数，该功能使模型更加专注于遥远而罕见的相互作用。我们对两个具有挑战性的数据集进行了广泛的实验-HICO-DET和V-COCO。结果表明，所提出的方法可以通过很大的利润来超越现有方法，从而导致新的最新性能。

本文介绍了用于学习对象级别，语言感知和富含语义的视觉表示的接地语言图像预培训（GLIP）模型。 Glip统一对象检测和短语进行预培训。统一带来了两个好处：1）它允许GLIP从检测和接地数据中学习，以改善两个任务和引导良好的接地模型; 2）GLIP可以通过以自培训方式产生接地盒来利用大规模的图像文本对，使学习的表示是语义丰富的。在我们的实验中，我们在27M的接地数据上预先列车触胶，包括3M人的注释和24M Web爬网的图像文本对。学习的表示表明了强烈的零射击和对各种对象识别任务的可转换性。 1）直接在Coco和LVIS上评估（在训练期间没有在Coco中看到任何图像）时，Plip分别达到49.8 AP和26.9 AP，超过许多监督基线。 2）在COCO上微调后，GLIP在Val和61.5 AP上实现60.8 AP在测试开发上，超过先前的SOTA。 3）当转移到下游对象检测任务时，具有完全监控动态头的1次触发器竞争对手。代码将在https://github.com/microsoft/glip发布。

语义细分具有广泛的应用，但是其现实世界的影响受到实现部署所必需的过度注释成本的限制。放弃监督的细分方法可以辅助这些成本，但表现出不便的要求，以提供目标分布中标记的示例以将概念名称分配给预测。语言图像预训练中的另一种工作线最近证明了可以产生模型的潜力，这些模型既可以在概念的大词汇上分配名称，又可以使零摄像转移进行分类，但并未证明相应的细分能力。在这项工作中，我们努力实现这两种结合其优势的方法的综合。我们利用一种此类语言图像预训练的模型Clip的检索能力，从未标记的图像中动态策划训练集，以获取任意概念名称集的收集，并利用现代图像表示的强大对应关系到共同段的实体之间的强大通信由此产生的收藏。然后使用合成段集合来构建一个分割模型（不需要像素标签），其概念知识是从剪辑的可扩展预训练过程继承的。我们证明，我们的方法被称为检索和共段（RECO）对无监督的分割方法表现出色，同时继承了可命名的预测和零拍传输的便利性。我们还展示了Reco为极稀有物体生成专业细分器的能力。

在图像中检测人对象相互作用（HOI）是迈向高级视觉理解的重要一步。现有工作通常会阐明改善人类和对象检测或互动识别。但是，由于数据集的局限性，这些方法倾向于在检测到的对象的频繁相互作用上非常适合，但在很大程度上忽略了稀有的对象，这被称为本文中的对象偏置问题。在这项工作中，我们第一次从两个方面揭示了问题：不平衡的交互分布和偏见的模型学习。为了克服对象偏置问题，我们提出了一种新颖的插件插件，以对象的偏差记忆（ODM）方法来重新平衡检测到的对象下的交互分布。拟议的ODM配备了精心设计的读写策略，可以更频繁地对训练进行稀有的互动实例，从而减轻不平衡交互分布引起的对象偏差。我们将此方法应用于三个高级基线，并在HICO-DET和HOI-COCO数据集上进行实验。为了定量研究对象偏置问题，我们主张一项新协议来评估模型性能。正如实验结果所证明的那样，我们的方法对基准的一致和显着改善，尤其是在每个物体下方的罕见相互作用上。此外，在评估常规标准设置时，我们的方法在两个基准测试中实现了新的最新方法。

Open-vocabulary object detection, which is concerned with the problem of detecting novel objects guided by natural language, has gained increasing attention from the community. Ideally, we would like to extend an open-vocabulary detector such that it can produce bounding box predictions based on user inputs in form of either natural language or exemplar image. This offers great flexibility and user experience for human-computer interaction. To this end, we propose a novel open-vocabulary detector based on DETR -- hence the name OV-DETR -- which, once trained, can detect any object given its class name or an exemplar image. The biggest challenge of turning DETR into an open-vocabulary detector is that it is impossible to calculate the classification cost matrix of novel classes without access to their labeled images. To overcome this challenge, we formulate the learning objective as a binary matching one between input queries (class name or exemplar image) and the corresponding objects, which learns useful correspondence to generalize to unseen queries during testing. For training, we choose to condition the Transformer decoder on the input embeddings obtained from a pre-trained vision-language model like CLIP, in order to enable matching for both text and image queries. With extensive experiments on LVIS and COCO datasets, we demonstrate that our OV-DETR -- the first end-to-end Transformer-based open-vocabulary detector -- achieves non-trivial improvements over current state of the arts.

大规模的视觉预训练在各种下游任务中都表现出了令人印象深刻的进步。现有方法主要是通过图像和文本的全局表示形式的相似性或对图像和文本特征上的高级交叉模式关注来对跨模式对齐进行建模。但是，由于只有全局图像文本对齐信息，因此他们无法明确学习视觉区域和文本短语之间的细粒语义对齐。在本文中，我们介绍了Loupe，这是一种精细的语义一致性视觉语言预训练框架，该框架从新颖的游戏理论互动的角度学习了细粒度的语义对齐。为了有效地计算游戏理论相互作用，我们进一步提出了一种不确定性感知的神经Shapley交互学习模块。实验表明，Loupe在图像文本检索基准测试中实现了最新的。如果没有任何对象级的人类注释和微调，Loupe就可以在对象检测和视觉接地方面实现竞争性能。更重要的是，Loupe从大规模的原始图像文本对学习细粒语义的新方向。

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

我们在这项研究中的目标是研究一个更现实的环境，在这种环境中，我们可以为细粒度的产品类别进行弱监督的多模式实例级产品检索。我们首先贡献了product1m数据集，并定义了两个实际实例级检索任务，以实现价格比较和个性化建议的评估。对于两个实例级任务，如何准确地指出视觉语言数据中提到的产品目标并有效地降低了无关紧要的内容的影响非常具有挑战性。为了解决这个问题，我们利用训练一个更有效的跨模式与模型，该模型能够自适应地能够通过使用一个实体图，其节点和边缘分别表示实体和相似性，从而可以从多模式数据中合并来自多模式数据的关键概念信息。实体。具体而言，为实例级别的商品检索提出了一种新型的实体图增强的跨模式预处理（EGE-CMP）模型，该模型明确地将基于节点的基于节点的基于节点和子图的方式显式地注入实体知识。自我监管的混合流变压器可以减少不同对象内容之间的混淆，从而有效地指导网络专注于具有真实语义的实体。实验结果很好地验证了我们的EGE-CMP的功效和概括性，表现优于几个SOTA跨模式基线，例如夹子，Uniter和Capture。

通用视觉（GPV）系统是旨在解决各种视觉任务的模型，而无需进行架构更改。如今，GPV主要从大型完全监督的数据集中学习技能和概念。通过获取数据以迅速学习每个技能的每个概念，将GPV扩展到数万个概念都变得令人望而却步。这项工作提出了一种有效且廉价的替代方法：从监督数据集中学习技能，从Web图像搜索中学习概念，并利用GPV的关键特征：跨技能传递视觉知识的能力。我们使用跨越10K+视觉概念的1M+图像的数据集来演示3个基准上的两个现有GPV（GPV-1和VL-T5）的Webly Supumented概念扩展：5个基于可可的数据集（80个主要概念），这是一个新的策划系列，这是一个新的策划系列。基于OpenImages和VisualGenome存储库（〜500个概念）以及Web衍生的数据集（10K+概念）的5个数据集。我们还提出了一种新的体系结构GPV-2，该架构支持各种任务 - 从分类和本地化等视觉任务到Qu Viewer+语言任务，例如QA和字幕，再到更多的利基市场，例如人类对象互动检测。 GPV-2从Web数据中受益匪浅，并且在这些基准测试中胜过GPV-1和VL-T5。我们的数据，代码和Web演示可在https://prior.allenai.org/projects/gpv2上获得。

我们提出了GLIPV2，这是一个接地的VL理解模型，该模型既服务于本地化任务（例如，对象检测，实例分割）和视觉语言（VL）理解任务（例如VQA，图像字幕）。 GLIPV2优雅地将本地化预训练和视觉语言预训练（VLP）具有三个预训练任务：短语接地作为对检测任务的VL重新重新制定，区域词对比度学习作为新型的区域词对比度对比度对比学习任务，以及蒙面的语言建模。这种统一不仅简化了先前的多阶段VLP程序，而且还可以在本地化和理解任务之间实现相互利益。实验结果表明，在各种本地化和理解任务上，单个GLIPV2模型（所有模型权重）在SOTA性能附近实现。该模型还显示了（1）在开放式摄制对象检测任务上进行的强零射击和很少的自适应性能，以及（2）VL理解任务上的卓越接地能力。代码将在https://github.com/microsoft/glip上发布。

场景图是一个场景的结构化表示，可以清楚地表达场景中对象之间的对象，属性和关系。随着计算机视觉技术继续发展，只需检测和识别图像中的对象，人们不再满足。相反，人们期待着对视觉场景更高的理解和推理。例如，给定图像，我们希望不仅检测和识别图像中的对象，还要知道对象之间的关系（视觉关系检测），并基于图像内容生成文本描述（图像标题）。或者，我们可能希望机器告诉我们图像中的小女孩正在做什么（视觉问题应答（VQA）），甚至从图像中移除狗并找到类似的图像（图像编辑和检索）等。这些任务需要更高水平的图像视觉任务的理解和推理。场景图只是场景理解的强大工具。因此，场景图引起了大量研究人员的注意力，相关的研究往往是跨模型，复杂，快速发展的。然而，目前没有对场景图的相对系统的调查。为此，本调查对现行场景图研究进行了全面调查。更具体地说，我们首先总结了场景图的一般定义，随后对场景图（SGG）和SGG的发电方法进行了全面和系统的讨论，借助于先验知识。然后，我们调查了场景图的主要应用，并汇总了最常用的数据集。最后，我们对场景图的未来发展提供了一些见解。我们相信这将是未来研究场景图的一个非常有帮助的基础。

变压器是一种基于关注的编码器解码器架构，彻底改变了自然语言处理领域。灵感来自这一重大成就，最近在将变形式架构调整到计算机视觉（CV）领域的一些开创性作品，这已经证明了他们对各种简历任务的有效性。依靠竞争力的建模能力，与现代卷积神经网络相比在本文中，我们已经为三百不同的视觉变压器进行了全面的审查，用于三个基本的CV任务（分类，检测和分割），提出了根据其动机，结构和使用情况组织这些方法的分类。 。由于培训设置和面向任务的差异，我们还在不同的配置上进行了评估了这些方法，以便于易于和直观的比较而不是各种基准。此外，我们已经揭示了一系列必不可少的，但可能使变压器能够从众多架构中脱颖而出，例如松弛的高级语义嵌入，以弥合视觉和顺序变压器之间的差距。最后，提出了三个未来的未来研究方向进行进一步投资。

Learning fine-grained interplay between vision and language allows to a more accurate understanding for VisionLanguage tasks. However, it remains challenging to extract key image regions according to the texts for semantic alignments. Most existing works are either limited by textagnostic and redundant regions obtained with the frozen detectors, or failing to scale further due to its heavy reliance on scarce grounding (gold) data to pre-train detectors. To solve these problems, we propose Self-Locator Aided Network (SLAN) for cross-modal understanding tasks without any extra gold data. SLAN consists of a region filter and a region adaptor to localize regions of interest conditioned on different texts. By aggregating cross-modal information, the region filter selects key regions and the region adaptor updates their coordinates with text guidance. With detailed region-word alignments, SLAN can be easily generalized to many downstream tasks. It achieves fairly competitive results on five cross-modal understanding tasks (e.g., 85.7% and 69.2% on COCO image-to-text and text-to-image retrieval, surpassing previous SOTA methods). SLAN also demonstrates strong zero-shot and fine-tuned transferability to two localization tasks.

现有的开放式视频探测器通常通过利用不同形式的弱监督来扩大其词汇大小。这有助于推断出新的对象。开放式视频检测（OVD）中使用的两种流行形式的弱点，包括预审计的剪辑模型和图像级监督。我们注意到，这两种监督模式均未在检测任务中最佳地对齐：剪辑经过图像文本对培训，并且缺乏对象的精确定位，而图像级监督已与启发式方法一起使用，这些启发式方法无法准确指定本地对象区域。在这项工作中，我们建议通过从剪辑模型中执行以对象为中心的语言嵌入来解决此问题。此外，我们仅使用伪标记的过程来视觉上仅通过图像级监督对象，该过程提供高质量的对象建议，并有助于在训练过程中扩展词汇。我们通过新的重量转移函数在上述两个对象对准策略之间建立桥梁，该策略汇总了它们的免费强度。本质上，提出的模型试图最大程度地减少OVD设置中对象和以图像为中心表示之间的差距。在可可基准上，我们提出的方法在新颖类中实现了40.3 AP50，绝对11.9比以前的最佳性能获得了11.9的增长。对于LVIS，我们超过了5.0 Mask AP的最先进VILD模型，总体上有3.4个。 。代码：https：//bit.ly/3byzoqp。

我们提出了DEFR，一种无检测方法，以在图像水平处识别人对象交互（HOI）而不使用对象位置或人类姿势。当探测器是现有方法的一个组成部分时，这是具有挑战性的。在本文中，我们提出了两个调查结果来提高无检测方法的性能，这显着优于辅助现有技术。首先，我们发现它至关重要，可以有效地利用了海上课程之间的语义相关性。可以通过使用Hoi标签的语言嵌入来初始化线性分类器来实现显着的增益，该分类器编码HOI的结构以指导培训。此外，我们提出了Log-Sum-exp符号（LSE-Sign）丢失，以便通过使用SoftMax格式平衡渐变渐变的渐变来促进长尾数据集上的多标签学习。我们的无检测方法实现了65.6地图在Hoi分类上的HICO分类，优于18.5地图的检测辅助状态（SOTA），在一次拍摄类中，52.7地图，超过了SOTA 27.3地图。与以前的工作不同，我们的分类模型（DEFR）可以直接用于HOI检测，而无需任何额外的训练，通过连接到废弃的对象检测器，其边界框输出被转换为DEFR的二进制掩模。令人惊讶的是，这两个解耦模型的这种简单的连接实现了SOTA性能（32.35张图）。

Learning descriptive 3D features is crucial for understanding 3D scenes with diverse objects and complex structures. However, it is usually unknown whether important geometric attributes and scene context obtain enough emphasis in an end-to-end trained 3D scene understanding network. To guide 3D feature learning toward important geometric attributes and scene context, we explore the help of textual scene descriptions. Given some free-form descriptions paired with 3D scenes, we extract the knowledge regarding the object relationships and object attributes. We then inject the knowledge to 3D feature learning through three classification-based auxiliary tasks. This language-assisted training can be combined with modern object detection and instance segmentation methods to promote 3D semantic scene understanding, especially in a label-deficient regime. Moreover, the 3D feature learned with language assistance is better aligned with the language features, which can benefit various 3D-language multimodal tasks. Experiments on several benchmarks of 3D-only and 3D-language tasks demonstrate the effectiveness of our language-assisted 3D feature learning. Code is available at https://github.com/Asterisci/Language-Assisted-3D.