在大型数据集上，对视力任务的深度学习模型进行了培训，因为存在一个通用表示，可用于对所有样本进行预测。尽管事实证明，高复杂性模型能够学习此类表示，但对数据的特定子集进行了培训的专家，可以更有效地推断出标签。然而，使用专家的混合物会提出两个新问题，即（i）在提出新的看不见的样本时分配正确的专家。 （ii）找到培训数据的最佳分区，以使专家最依赖于共同特征。在动态路由（DR）中，提出了一个新颖的体系结构，其中每层由一组专家组成，但是在没有解决这两个挑战的情况下，我们证明该模型可以恢复使用相同的专家子集。在我们的方法中，对多元化的动态路由（DIVDR）进行了明确培训，以解决找到数据相关分区并以无监督的方法分配正确的专家的挑战。我们对MS-Coco的城市景观和对象检测以及实例分割进行了几项实验，显示了几个基线的性能的改善。

专家（MOE）的混合物能够有效地扩展视觉变压器。但是，它需要禁止计算资源来训练大型MOE变压器。在本文中，我们提出了专家的残留混合物（RMOE），这是在下游任务（例如分割和检测）上针对MOE视觉变压器的有效训练管道。 RMOE通过上限的MOE培训获得了可比的结果，而仅引入较小的额外培训成本，而不是较低的非MOE训练管道。效率得到了我们的关键观察的支持：MOE变压器的权重可以纳入无独立的核心和输入依赖性残差。与重量核心相比，可以通过更少的计算资源（例如，在下游数据上进行填充）进行有效训练重量。我们表明，与当前的MOE培训管道相比，我们获得了可比的结果，同时节省了30％以上的培训成本。与最先进的非MOE变压器（例如SWIN-T / CVT-13 / SWIN-L）相比，我们在ADE20K分割方面获得+1.1 / 0.9 / 1.0 MIOU的增益，+1.4 / 1.6 / 0.6 / 0.6 AP获得MS-Coco对象检测任务，额外培训成本不到3％。

视频实例分割（VIS）是一个新的固有多任务问题，旨在在视频序列中检测，细分和跟踪每个实例。现有方法主要基于单帧功能或多个帧的单尺度功能，其中忽略了时间信息或多尺度信息。为了结合时间和比例信息，我们提出了一种时间金字塔路由（TPR）策略，以从两个相邻帧的特征金字塔对有条件地对齐和进行像素级聚集。具体而言，TPR包含两个新的组件，包括动态对齐细胞路由（DACR）和交叉金字塔路由（CPR），其中DACR设计用于跨时间维度对齐和门控金字塔特征，而CPR则在跨音阶范围内暂时汇总的特征。此外，我们的方法是轻巧和插件模块，可以轻松地应用于现有的实例分割方法。在包括YouTube-Vis（2019，2021）和CityScapes-VP在内的三个数据集上进行的广泛实验证明了拟议方法对几种最先进的视频实例和全盘细分方法的有效性和效率。代码将在\ url {https://github.com/lxtgh/temporalpyramidrouting}上公开获得。

建模长期依赖关系对于理解计算机视觉中的任务至关重要。尽管卷积神经网络（CNN）在许多视觉任务中都表现出色，但由于它们通常由当地核层组成，因此它们仍然限制捕获长期结构化关系。但是，完全连接的图（例如变形金刚中的自我发项操作）对这种建模是有益的，但是，其计算开销非常有用。在本文中，我们提出了一个动态图形消息传递网络，与建模完全连接的图形相比，该网络大大降低了计算复杂性。这是通过在图表中自适应采样节点（以输入为条件）来实现的，以传递消息传递。基于采样节点，我们动态预测节点依赖性滤波器权重和亲和力矩阵，以在它们之间传播信息。这种公式使我们能够设计一个自我发挥的模块，更重要的是，我们将基于变压器的新骨干网络用于图像分类预处理，并用于解决各种下游任务（对象检测，实例和语义细分）。使用此模型，我们在四个不同任务上的强，最先进的基线方面显示出显着改进。我们的方法还优于完全连接的图形，同时使用较少的浮点操作和参数。代码和型号将在https://github.com/fudan-zvg/dgmn2上公开提供。

准确的语义分割模型通常需要大量的计算资源，从而抑制其在实际应用中的使用。最近的作品依靠精心制作的轻质模型来快速推断。但是，这些模型不能灵活地适应不同的准确性和效率要求。在本文中，我们提出了一种简单但有效的微小语义细分（SLIMSEG）方法，该方法可以在推理期间以不同的能力执行，具体取决于所需的准确性效率 - 折衷。更具体地说，我们在训练过程中采用逐步向下知识蒸馏采用参数化通道。观察到每个子模型的分割结果之间的差异主要在语义边界附近，我们引入了额外的边界指导语义分割损失，以进一步提高每个子模型的性能。我们表明，我们提出的具有各种主流网络的Slimseg可以产生灵活的模型，从而使计算成本的动态调整和比独立模型更好。关于语义分割基准，城市景观和Camvid的广泛实验证明了我们框架的概括能力。

我们提出了聚类蒙版变压器（CMT-DeepLab），这是一种基于变压器的框架，用于围绕聚类设计的泛型分割。它重新考虑了用于分割和检测的现有变压器架构；CMT-DeepLab认为对象查询是群集中心，该中心填充了应用于分割时将像素分组的作用。群集通过交替的过程计算，首先通过其功能亲和力将像素分配给簇，然后更新集群中心和像素功能。这些操作共同包含聚类蒙版变压器（CMT）层，该层产生了越野器的交叉注意，并且与最终的分割任务更加一致。CMT-DeepLab在可可Test-DEV集中实现了55.7％的PQ的新最先进的PQ，可显着提高先前ART的性能。

The recently introduced panoptic segmentation task has renewed our community's interest in unifying the tasks of instance segmentation (for thing classes) and semantic segmentation (for stuff classes). However, current state-ofthe-art methods for this joint task use separate and dissimilar networks for instance and semantic segmentation, without performing any shared computation. In this work, we aim to unify these methods at the architectural level, designing a single network for both tasks. Our approach is to endow Mask R-CNN, a popular instance segmentation method, with a semantic segmentation branch using a shared Feature Pyramid Network (FPN) backbone. Surprisingly, this simple baseline not only remains effective for instance segmentation, but also yields a lightweight, topperforming method for semantic segmentation. In this work, we perform a detailed study of this minimally extended version of Mask R-CNN with FPN, which we refer to as Panoptic FPN, and show it is a robust and accurate baseline for both tasks. Given its effectiveness and conceptual simplicity, we hope our method can serve as a strong baseline and aid future research in panoptic segmentation.

深度神经网络中的建筑进步导致了跨越一系列计算机视觉任务的巨大飞跃。神经建筑搜索（NAS）并没有依靠人类的专业知识，而是成为自动化建筑设计的有前途的途径。尽管图像分类的最新成就提出了机会，但NAS的承诺尚未对更具挑战性的语义细分任务进行彻底评估。将NAS应用于语义分割的主要挑战来自两个方面：（i）要处理的高分辨率图像； （ii）针对自动驾驶等应用的实时推理速度（即实时语义细分）的其他要求。为了应对此类挑战，我们在本文中提出了一种替代辅助的多目标方法。通过一系列自定义预测模型，我们的方法有效地将原始的NAS任务转换为普通的多目标优化问题。然后是用于填充选择的层次预筛选标准，我们的方法逐渐实现了一组有效的体系结构在细分精度和推理速度之间进行交易。对三个基准数据集的经验评估以及使用华为地图集200 dk的应用程序的实证评估表明，我们的方法可以识别架构明显优于人类专家手动设计和通过其他NAS方法自动设计的现有最先进的体系结构。

我们介绍了一个新的图像分段任务，称为实体分段（ES），该任务旨在在不预测其语义标签的情况下划分图像中的所有视觉实体（对象和填充）。通过删除类标签预测的需要，对此类任务培训的模型可以更多地关注提高分割质量。它具有许多实际应用，例如图像操纵和编辑，其中分割掩模的质量至关重要，但类标签不太重要。我们通过统一的方式调查第一次研究，以调查卷大中心的代表对分割事物和东西的可行性，并显示这种代表在es的背景下非常好。更具体地说，我们提出了一种类似的完全卷积的架构，具有两种新颖的模块，专门设计用于利用es的类无话和非重叠要求。实验表明，在分割质量方面设计和培训的模型显着优于流行的专用Panoptic分段模型。此外，可以在多个数据集的组合中容易地培训ES模型，而无需解决数据集合并中的标签冲突，并且在一个或多个数据集中培训的模型可以概括到未经看管域的其他测试数据集。代码已在https://github.com/dvlab-research/entity发布。

在本文中，我们专注于探索有效的方法，以更快，准确和域的不可知性语义分割。受到相邻视频帧之间运动对齐的光流的启发，我们提出了一个流对齐模块（FAM），以了解相邻级别的特征映射之间的\ textit {语义流}，并将高级特征广播到高分辨率特征有效地，有效地有效。 。此外，将我们的FAM与共同特征的金字塔结构集成在一起，甚至在轻量重量骨干网络（例如Resnet-18和DFNET）上也表现出优于其他实时方法的性能。然后，为了进一步加快推理过程，我们还提出了一个新型的封闭式双流对齐模块，以直接对齐高分辨率特征图和低分辨率特征图，在该图中我们将改进版本网络称为SFNET-LITE。广泛的实验是在几个具有挑战性的数据集上进行的，结果显示了SFNET和SFNET-LITE的有效性。特别是，建议的SFNET-LITE系列在使用RESNET-18主链和78.8 MIOU以120 fps运行的情况下，使用RTX-3090上的STDC主链在120 fps运行时，在60 fps运行时达到80.1 miou。此外，我们将四个具有挑战性的驾驶数据集（即CityScapes，Mapillary，IDD和BDD）统一到一个大数据集中，我们将其命名为Unified Drive细分（UDS）数据集。它包含不同的域和样式信息。我们基准了UDS上的几项代表性作品。 SFNET和SFNET-LITE仍然可以在UDS上取得最佳的速度和准确性权衡，这在如此新的挑战性环境中是强大的基准。所有代码和模型均可在https://github.com/lxtgh/sfsegnets上公开获得。

人们普遍认为，对于准确的语义细分，必须使用昂贵的操作（例如，非常卷积）结合使用昂贵的操作（例如非常卷积），从而导致缓慢的速度和大量的内存使用。在本文中，我们质疑这种信念，并证明既不需要高度的内部决议也不是必需的卷积。我们的直觉是，尽管分割是一个每像素的密集预测任务，但每个像素的语义通常都取决于附近的邻居和遥远的环境。因此，更强大的多尺度功能融合网络起着至关重要的作用。在此直觉之后，我们重新访问常规的多尺度特征空间（通常限制为P5），并将其扩展到更丰富的空间，最小的P9，其中最小的功能仅为输入大小的1/512，因此具有很大的功能接受场。为了处理如此丰富的功能空间，我们利用最近的BIFPN融合了多尺度功能。基于这些见解，我们开发了一个简化的分割模型，称为ESEG，该模型既没有内部分辨率高，也没有昂贵的严重卷积。也许令人惊讶的是，与多个数据集相比，我们的简单方法可以以比以前的艺术更快地实现更高的准确性。在实时设置中，ESEG-Lite-S在189 fps的CityScapes [12]上达到76.0％MIOU，表现优于更快的[9]（73.1％MIOU时为170 fps）。我们的ESEG-LITE-L以79 fps的速度运行，达到80.1％MIOU，在很大程度上缩小了实时和高性能分割模型之间的差距。

视觉任务中变形金刚的兴起不仅可以推进网络骨干设计，而且还启动了一个全新的页面，以实现端到端的图像识别（例如，对象检测和泛型分段）。源自自然语言处理（NLP）的变压器体系结构，包括自我注意力和交叉注意力，有效地学习了序列中元素之间的远距离相互作用。但是，我们观察到，大多数现有的基于变压器的视觉模型只是从NLP中借用了这个想法，忽略了语言和图像之间的关键差异，尤其是空间扁平的像素特征的极高序列长度。随后，这阻碍了像素特征和对象查询之间的交叉注意力学习。在本文中，我们重新考虑像素和对象查询之间的关系，并建议将交叉注意学习作为一个聚类过程进行重新重新制定。受传统K-均值聚类算法的启发，我们开发了K-Means面膜Xformer（Kmax-Deeplab）进行细分任务，这不仅可以改善最先进的艺术品，而且享有简单而优雅的设计。结果，我们的Kmax-Deeplab在Coco Val设置上以58.0％的PQ实现了新的最先进的性能，而CityScapes Val设置为68.4％PQ，44.0％AP和83.5％MIOU，而无需测试时间增加或外部数据集。我们希望我们的工作能够阐明设计为视觉任务量身定制的变压器。代码和型号可在https://github.com/google-research/deeplab2上找到

模型的时间/空间接受场在顺序/空间任务中起重要作用。大型接受场有助于长期关系，而小型接受场有助于捕获当地的细节。现有方法构建具有手工设计的接收场的模型。我们可以有效地搜索接收场合组合以取代手工设计的模式吗？为了回答这个问题，我们建议通过全球到本地搜索方案找到更好的接受现场组合。我们的搜索方案利用了全局搜索以找到粗糙的组合和本地搜索，以进一步获得精致的接收场组合。全球搜索发现除了人类设计的模式以外的其他可能的粗糙组合。除全球搜索外，我们提出了一种期望引导的迭代局部搜索方案，以有效地完善组合。我们的RF-NEXT模型，将接受现场搜索插入各种模型，提高许多任务的性能，例如时间动作分割，对象检测，实例分割和语音综合。源代码可在http://mmcheng.net/rfnext上公开获得。

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.

神经结构搜索（NAS）已被广泛采用设计准确，高效的图像分类模型。但是，将NAS应用于新的计算机愿景任务仍然需要大量的努力。这是因为1）以前的NAS研究已经过度优先考虑图像分类，同时在很大程度上忽略了其他任务; 2）许多NAS工作侧重于优化特定于任务特定的组件，这些组件不能有利地转移到其他任务; 3）现有的NAS方法通常被设计为“Proxyless”，需要大量努力与每个新任务的培训管道集成。为了解决这些挑战，我们提出了FBNetv5，这是一个NAS框架，可以在各种视觉任务中寻找神经架构，以降低计算成本和人力努力。具体而言，我们设计1）一个简单但包容性和可转换的搜索空间; 2）用目标任务培训管道解开的多址搜索过程; 3）一种算法，用于同时搜索具有计算成本不可知的多个任务的架构到任务数。我们评估所提出的FBNetv5目标三个基本视觉任务 - 图像分类，对象检测和语义分割。 FBNETV5在单一搜索中搜索的模型在所有三个任务中都表现优于先前的议定书 - 现有技术：图像分类（例如，与FBNetv3相比，在与FBNetv3相比的同一拖鞋下的1 + 1.3％Imageet Top-1精度。 （例如，+ 1.8％较高的Ade20k Val。Miou比SegFormer为3.6倍的拖鞋），对象检测（例如，+ 1.1％Coco Val。与yolox相比，拖鞋的1.2倍的地图。

Sparsely-gated Mixture of Expert (MoE) layers have been recently successfully applied for scaling large transformers, especially for language modeling tasks. An intriguing side effect of sparse MoE layers is that they convey inherent interpretability to a model via natural expert specialization. In this work, we apply sparse MoE layers to CNNs for computer vision tasks and analyze the resulting effect on model interpretability. To stabilize MoE training, we present both soft and hard constraint-based approaches. With hard constraints, the weights of certain experts are allowed to become zero, while soft constraints balance the contribution of experts with an additional auxiliary loss. As a result, soft constraints handle expert utilization better and support the expert specialization process, while hard constraints maintain more generalized experts and increase overall model performance. Our findings demonstrate that experts can implicitly focus on individual sub-domains of the input space. For example, experts trained for CIFAR-100 image classification specialize in recognizing different domains such as flowers or animals without previous data clustering. Experiments with RetinaNet and the COCO dataset further indicate that object detection experts can also specialize in detecting objects of distinct sizes.

我们提出了一种基于动态卷积的3D点云的实例分割方法。这使其能够在推断时适应变化的功能和对象尺度。这样做避免了一些自下而上的方法的陷阱，包括对超参数调整和启发式后处理管道的依赖，以弥补物体大小的不可避免的可变性，即使在单个场景中也是如此。通过收集具有相同语义类别并为几何质心进行仔细投票的均匀点，网络的表示能力大大提高了。然后通过几个简单的卷积层解码实例，其中参数是在输入上生成的。所提出的方法是无建议的，而是利用适应每个实例的空间和语义特征的卷积过程。建立在瓶颈层上的轻重量变压器使模型可以捕获远程依赖性，并具有有限的计算开销。结果是一种简单，高效且健壮的方法，可以在各种数据集上产生强大的性能：ScannETV2，S3DIS和Partnet。基于体素和点的体系结构的一致改进意味着提出的方法的有效性。代码可在以下网址找到：https：//git.io/dyco3d

Recent advances in pixel-level tasks (e.g., segmentation) illustrate the benefit of long-range interactions between aggregated region-based representations that can enhance local features. However, such pixel-to-region associations and the resulting representation, which often take the form of attention, cannot model the underlying semantic structure of the scene (e.g., individual objects and, by extension, their interactions). In this work, we take a step toward addressing this limitation. Specifically, we propose an architecture where we learn to project image features into latent region representations and perform global reasoning across them, using a transformer, to produce contextualized and scene-consistent representations that are then fused with original pixel-level features. Our design enables the latent regions to represent semantically meaningful concepts, by ensuring that activated regions are spatially disjoint and unions of such regions correspond to connected object segments. The resulting semantic global reasoning (SGR) is end-to-end trainable and can be combined with any semantic segmentation framework and backbone. Combining SGR with DeepLabV3 results in a semantic segmentation performance that is competitive to the state-of-the-art, while resulting in more semantically interpretable and diverse region representations, which we show can effectively transfer to detection and instance segmentation. Further, we propose a new metric that allows us to measure the semantics of representations at both the object class and instance level.

虽然深度监督网络在最近的文献中是常见的，但它们通常在所有转型层上强加相同的学习目标，尽管它们不同的代表权力。在本文中，我们提出了分层监督的语义分割（HS3），一种培训方案，该训练方案在分割网络中监督中间层以通过不同的任务复杂性来学习有意义的表示。为了在整个网络中强制执行一致的性能与复杂性权衡，我们导出了各种类群集，以监督网络的每个过渡层。此外，我们设计了一个融合框架HS3-Fuse，以聚合这些层产生的分层特征，可以提供丰富的语义上下文并进一步增强最终分割。广泛的实验表明，我们提出的HS3方案大得多优于Vanilla深度监督，没有增加推理成本。我们提出的HS3-FUSE框架进一步改善了分割预测，并实现了两种大分段基准的最新结果：Nyud-V2和城市景观。

这项工作认为有监督的对比度学习语义细分。我们应用对比度学习来增强语义分割网络提取的多尺度特征的判别能力。我们的关键方法论洞察力是利用从模型编码器本身的多个阶段发出的特征空间中的样本，既不需要数据增强，也不需要在线存储库来获取一组不同的样本。为了允许这样的扩展，我们引入了一个高效且有效的抽样过程，可以在多个尺度上对编码器的特征应用对比度损失。此外，通过首先将编码器的多尺度表示形式映射到一个共同的特征空间，我们通过引入跨尺度对比度学习将高分辨率局部特征与低分辨率全球特征联系起来，从而实例化了一种新颖的监督局部全球约束形式。合并，我们的多尺度和跨尺度对比度损失可提高各种模型（DeepLabv3，hrnet，ocrnet，upernet）的性能，以及CNN和Transformer骨架，当对4个不同的数据集进行评估（CityScapes，PascalContext，ADE20K）时，对4个不同的数据集进行了评估。外科（CADIS）域。我们的代码可在https://github.com/rvimla​​b/ms_cs_contrseg上找到。来自天然（CityScapes，PascalContext，ADE20K）的数据集，也是外科手术（CADIS）域。