在多任务学习（MTL）以进行视觉场景理解的过程中，至关重要的是在多个任务之间传输有用的信息。在本文中，我们提出了一种新颖的体系结构，该架构通过将注意力机制应用于任务的多尺度特征，从而有效地传递信息特征。由于将注意模块直接应用于规模和任务的所有可能功能需要高复杂性，因此我们建议将注意模块顺序应用于任务和规模。首先应用交叉任务注意模块（CTAM），以促进相同尺度的多个任务特征之间的相关信息交换。然后，跨尺度注意模块（CSAM）在同一任务中不同分辨率的特征图中汇总了有用的信息。此外，我们尝试通过特征提取网络中的自我发项式模块捕获长距离依赖性。广泛的实验表明，我们的方法在NYUD-V2和Pascal-Context数据集上实现了最先进的性能。

多任务密集的场景理解是一个蓬勃发展的研究领域，需要同时对与像素预测的一系列相关任务进行推理。由于卷积操作的大量利用，大多数现有作品都会遇到当地建模的严重限制，而在全球空间位置和多任务背景中学习相互作用和推断对于此问题至关重要。在本文中，我们提出了一种新颖的端到端倒立金字塔多任务变压器（Invpt），以在统一框架中对空间位置和多个任务进行同时建模。据我们所知，这是探索设计变压器结构的第一项工作，以用于多任务密集的预测以进行场景理解。此外，人们广泛证明，较高的空间分辨率对密集的预测非常有益，而对于现有的变压器来说，由于对大空间大小的巨大复杂性，现有变形金刚更深入地采用更高的分辨率。 Invpt提出了一个有效的上移动器块，以逐渐增加分辨率学习多任务特征交互，这还结合了有效的自我发言消息传递和多规模特征聚合，以高分辨率产生特定于任务的预测。我们的方法分别在NYUD-V2和PASCAL-CONTEXT数据集上实现了卓越的多任务性能，并且显着优于先前的最先前。该代码可在https://github.com/prismformore/invpt上获得

以前的多任务密集预测研究开发了复杂的管道，例如在多个阶段进行多模式蒸馏或为每个任务寻找任务关系上下文。这些方法以外的核心洞察力是最大程度地利用每个任务之间的相互作用。受到最近基于查询的变压器的启发，我们提出了一条更简单的管道，称为Multi-Querti-Transformer（MQTRANSFORMER），该管道配备了来自不同任务的多个查询，以促进多个任务之间的推理并简化交叉任务管道。我们没有在不同任务之间建模每个像素上下文的密集上下文，而是寻求特定于任务的代理，以通过每个查询编码与任务相关的上下文进行编码的多个查询执行交叉任务推理。 MQTRANSFORMER由三个关键组件组成：共享编码器，交叉任务注意和共享解码器。我们首先将每个任务与任务相关且具有比例意识的查询对每个任务进行建模，然后将功能提取器的图像功能输出和与任务相关的查询功能都馈入共享编码器，从而从图像功能中编码查询功能。其次，我们设计了一个交叉任务注意模块，以从两个角度来推理多个任务和特征量表之间的依赖项，包括相同尺度的不同任务和同一任务的不同尺度。然后，我们使用共享解码器逐渐使用来自不同任务的合理查询功能来逐步完善图像功能。对两个密集的预测数据集（NYUD-V2和Pascal-Context）的广泛实验结果表明，该方法是一种有效的方法，并实现了最新结果。

编码器 - 解码器模型已广泛用于RGBD语义分割，并且大多数通过双流网络设计。通常，共同推理RGBD的颜色和几何信息是有益的对语义分割。然而，大多数现有方法都无法全面地利用编码器和解码器中的多模式信息。在本文中，我们提出了一种用于RGBD语义细分的新型关注的双重监督解码器。在编码器中，我们设计一个简单但有效的关注的多模式融合模块，以提取和保险丝深度多级成对的互补信息。要了解更强大的深度表示和丰富的多模态信息，我们介绍了一个双分支解码器，以有效利用不同任务的相关性和互补线。在Nyudv2和Sun-RGBD数据集上的广泛实验表明，我们的方法达到了最先进的方法的卓越性能。

单眼深度估计和语义分割是场景理解的两个基本目标。由于任务交互的优点，许多作品研究了联合任务学习算法。但是，大多数现有方法都无法充分利用语义标签，忽略提供的上下文结构，并且仅使用它们来监督分段拆分的预测，这限制了两个任务的性能。在本文中，我们提出了一个网络注入了上下文信息（CI-Net）来解决问题。具体而言，我们在编码器中引入自我关注块以产生注意图。通过由语义标签创建的理想注意图的监督，网络嵌入了上下文信息，使得它可以更好地理解场景并利用相关特征来进行准确的预测。此外，构造了一个特征共享模块，以使任务特征深入融合，并且设计了一致性损耗，以使特征相互引导。我们在NYU-Deaft-V2和Sun-RGBD数据集上评估所提出的CI-Net。实验结果验证了我们所提出的CI-Net可以有效提高语义分割和深度估计的准确性。

多任务学习最近已成为对复杂场景的全面理解的有前途的解决方案。不仅具有适当设计的记忆效率，多任务模型都可以跨任务交换互补信号。在这项工作中，我们共同解决了2D语义分割，以及两个与几何相关的任务，即密集的深度，表面正常估计以及边缘估计，显示了它们对室内和室外数据集的好处。我们提出了一种新颖的多任务学习体系结构，该体系结构通过相关引导的注意力和自我注意力来利用配对的交叉任务交换，以增强所有任务的平均表示学习。我们考虑了三个多任务设置的广泛实验，与合成基准和真实基准中的竞争基准相比，我们的提案的好处。我们还将方法扩展到新型的多任务无监督域的适应设置。我们的代码可在https://github.com/cv-rits/densemtl上找到。

We propose a novel multi-task learning architecture, which allows learning of task-specific feature-level attention. Our design, the Multi-Task Attention Network (MTAN), consists of a single shared network containing a global feature pool, together with a soft-attention module for each task. These modules allow for learning of taskspecific features from the global features, whilst simultaneously allowing for features to be shared across different tasks. The architecture can be trained end-to-end and can be built upon any feed-forward neural network, is simple to implement, and is parameter efficient. We evaluate our approach on a variety of datasets, across both image-toimage predictions and image classification tasks. We show that our architecture is state-of-the-art in multi-task learning compared to existing methods, and is also less sensitive to various weighting schemes in the multi-task loss function. Code is available at https://github.com/ lorenmt/mtan.

卷积神经网络在寻址像素级预测任务中的主要进展，例如语义分割，深度估计，表面正常预测等，从他们的强大功能中受益于视觉表现学习。通常，本领域模型的状态集成了对改进的深度特征表示的关注机制。最近，一些作品已经证明了学习的重要性，并结合了深度特征细化的空间和通道介绍。在本文中，WEAIM在有效地提升之前的方法和提出统一的深度框架，以便以原则的方式共同学习空间注意图和信道注意矢量，以便构建由此两种类型的注意力之间的引起的张量和模型相互作用。具体地，我们将估计和相互作用集成了概率表示学习框架内的关注，导致变分结构注意网络（Vista-net）。我们在神经网络内实现推理规则，从而允许概率的端到端学习和CNN前端参数。正如我们对六个大型数据集的大量实证评估所证明的致密视觉预测，Vista-Net在多个连续和离散预测任务中优于最先进的，从而确认在联合结构空间中提出的方法的益处 - 深度代表学习的关注估计。该代码可在https://github.com/ygjwd12345/vista-ner上获得。

基于注意力的模型（例如变压器）在密集的预测任务（例如语义分割）上表现出出色的性能，因为它们可以捕获图像中的长期依赖性。但是，到目前为止，很少探索变压器对单眼深度预测的好处。本文基于室内NYUV2数据集和室外KITTI数据集的深度估计任务的各种基于变压器的模型。我们提出了一种新型的基于注意力的架构，即单眼深度估计的深度构建器，该估计使用多头自我注意力来生成多尺度特征图，这些图由我们提出的解码器网络有效地组合。我们还提出了一个跨键模块，该模块将深度范围划分为每个图像可自适应估计的中心值的垃圾箱。估计的最终深度是每个像素的垃圾箱中心的线性组合。 TransBins模块在编码阶段使用变压器模块利用全局接收场。 NYUV2和KITTI深度估计基准的实验结果表明，我们提出的方法将最新方法提高了3.3％，在根平方误差（RMSE）方面分别将最新方法提高了3.3％。

The exploration of mutual-benefit cross-domains has shown great potential toward accurate self-supervised depth estimation. In this work, we revisit feature fusion between depth and semantic information and propose an efficient local adaptive attention method for geometric aware representation enhancement. Instead of building global connections or deforming attention across the feature space without restraint, we bound the spatial interaction within a learnable region of interest. In particular, we leverage geometric cues from semantic information to learn local adaptive bounding boxes to guide unsupervised feature aggregation. The local areas preclude most irrelevant reference points from attention space, yielding more selective feature learning and faster convergence. We naturally extend the paradigm into a multi-head and hierarchic way to enable the information distillation in different semantic levels and improve the feature discriminative ability for fine-grained depth estimation. Extensive experiments on the KITTI dataset show that our proposed method establishes a new state-of-the-art in self-supervised monocular depth estimation task, demonstrating the effectiveness of our approach over former Transformer variants.

现代的高性能语义分割方法采用沉重的主链和扩张的卷积来提取相关特征。尽管使用上下文和语义信息提取功能对于分割任务至关重要，但它为实时应用程序带来了内存足迹和高计算成本。本文提出了一种新模型，以实现实时道路场景语义细分的准确性/速度之间的权衡。具体来说，我们提出了一个名为“比例吸引的条带引导特征金字塔网络”（s \ textsuperscript {2} -fpn）的轻巧模型。我们的网络由三个主要模块组成：注意金字塔融合（APF）模块，比例吸引条带注意模块（SSAM）和全局特征Upsample（GFU）模块。 APF采用了注意力机制来学习判别性多尺度特征，并有助于缩小不同级别之间的语义差距。 APF使用量表感知的关注来用垂直剥离操作编码全局上下文，并建模长期依赖性，这有助于将像素与类似的语义标签相关联。此外，APF还采用频道重新加权块（CRB）来强调频道功能。最后，S \ TextSuperScript {2} -fpn的解码器然后采用GFU，该GFU用于融合APF和编码器的功能。已经对两个具有挑战性的语义分割基准进行了广泛的实验，这表明我们的方法通过不同的模型设置实现了更好的准确性/速度权衡。提出的模型已在CityScapes Dataset上实现了76.2 \％miou/87.3fps，77.4 \％miou/67fps和77.8 \％miou/30.5fps，以及69.6 \％miou，71.0 miou，71.0 \％miou，和74.2 \％\％\％\％\％\％。 miou在Camvid数据集上。这项工作的代码将在\ url {https://github.com/mohamedac29/s2-fpn提供。

变压器在图像处理领域取得了显着的成就。受到这一巨大成功的启发，变形金刚在3D点云处理中的应用引起了越来越多的关注。本文提出了一个新颖的点云表示学习网络，具有双重自我注意的3D点云变压器（3DPCT）和一个编码器解码器结构。具体而言，3DPCT具有一个层次编码器，该编码器包含两个用于分类任务的局部全球双重注意模块（分段任务的三个模块），每个模块都包含一个局部特征聚合（LFA）块和全局特征学习（ GFL）块。 GFL块是双重的自我注意事项，既有在点上的自我注意力，又可以提高特征提取。此外，在LFA中，为更好地利用了提取的本地信息，设计了一种新颖的点自我发明模型，称为点斑点自我注意力（PPSA）。在分类和分割数据集上都评估了性能，其中包含合成数据和现实世界数据。广泛的实验表明，所提出的方法在分类和分割任务上都达到了最新的结果。

生成三维城市模型迅速对许多应用是至关重要的。单眼高度估计是最有效的，及时的方式来获得大型几何信息之一。但是，现有的工作主要集中在训练和测试模型中使用的数据集不偏不倚，不与现实世界的应用以及对齐。因此，我们提出了一个新的基准数据集，研究高度估计模型的可转移性在跨数据集的设置。为此，我们首先设计和构建跨数据集上的高度估计任务迁移学习了大规模的基准数据集。这个基准测试数据集包括一个新提出的大规模合成数据集，新集真实世界的数据集，并从不同的城市四个现有的数据集。接下来，两个新的实验方案，零次和几个次跨数据集传输，设计。对于一些次跨数据集的转移，我们增强了基于窗口的变压器与拟议规模变形卷积模块来处理严重的尺度变化问题。为了改善零射门跨数据集设置深模型的普遍性，基于最大规范化变压器网被设计成分离从绝对高度的相对高度的地图。实验结果表明在传统的和跨数据集传送设置两者所提出的方法的有效性。该数据集和代码是公开的，在https://thebenchmarkh.github.io/。

Contextual information is vital in visual understanding problems, such as semantic segmentation and object detection. We propose a Criss-Cross Network (CCNet) for obtaining full-image contextual information in a very effective and efficient way. Concretely, for each pixel, a novel criss-cross attention module harvests the contextual information of all the pixels on its criss-cross path. By taking a further recurrent operation, each pixel can finally capture the full-image dependencies. Besides, a category consistent loss is proposed to enforce the criss-cross attention module to produce more discriminative features. Overall, CCNet is with the following merits: 1) GPU memory friendly. Compared with the non-local block, the proposed recurrent criss-cross attention module requires 11× less GPU memory usage. 2) High computational efficiency. The recurrent criss-cross attention significantly reduces FLOPs by about 85% of the non-local block. 3) The state-of-the-art performance. We conduct extensive experiments on semantic segmentation benchmarks including Cityscapes, ADE20K, human parsing benchmark LIP, instance segmentation benchmark COCO, video segmentation benchmark CamVid. In particular, our CCNet achieves the mIoU scores of 81.9%, 45.76% and 55.47% on the Cityscapes test set, the ADE20K validation set and the LIP validation set respectively, which are the new state-of-the-art results. The source codes are available at https://github.com/speedinghzl/CCNet.

多任务学习（MTL）范式着重于共同学习两个或多个任务，旨在重大改进W.R.T模型的通用性，性能和培训/推理记忆足迹。对于与视觉相关的{\ bf密集}的预测任务的联合培训，上述好处是必不可少的。在这项工作中，我们解决了两个密集任务的MTL问题，即\ ie，语义细分和深度估计，并提出了一个新颖的注意模块，称为跨通道注意模块（{CCAM}），可促进沿着每个频道之间的有效特征共享这两个任务，导致相互绩效增长，可训练的参数可忽略不计。然后，我们以一种真正的共生精神，使用称为{affinemix}的预测深度为语义分割任务制定新的数据增强，并使用称为{coloraug}的预测语义进行了简单的深度增强。最后，我们验证了CityScapes数据集上提出的方法的性能增益，这有助于我们基于深度和语义分割的半监督联合模型实现最新结果。

虹膜分割是虹膜识别系统的确定性部分。虹膜区的不可靠细分，特别是肢体区域仍然是瓶颈问题，这阻碍了更准确的识别。为了进一步努力，通过探索空间和视觉关系，我们提出了一种准确可靠的虹膜细分，我们提出了双边自我关注模块和设计双边变压器（Bitrans），通过探索空间和视觉关系。双边自我注意模块采用空间分支，以捕获空间上下文信息，而无需分辨率，具有大容器的视觉分支，以提取视觉上下文特征。 Bitrans积极应用卷积预测和横向，以改善空间感知和分层特征融合。此外，开发了虹膜分割不确定性学习，以根据预测差异来学习不确定性地图。通过估计的不确定性，旨在减少预测性不确定性的加权方案和正则化术语。更重要的是，不确定性估计反映了分割预测的可靠性。三个公开数据库的实验结果表明，拟议的方法使用SOTA IRISPARSENET的20％拖鞋实现了更好的分割性能。

We explore the capability of plain Vision Transformers (ViTs) for semantic segmentation and propose the SegVit. Previous ViT-based segmentation networks usually learn a pixel-level representation from the output of the ViT. Differently, we make use of the fundamental component -- attention mechanism, to generate masks for semantic segmentation. Specifically, we propose the Attention-to-Mask (ATM) module, in which the similarity maps between a set of learnable class tokens and the spatial feature maps are transferred to the segmentation masks. Experiments show that our proposed SegVit using the ATM module outperforms its counterparts using the plain ViT backbone on the ADE20K dataset and achieves new state-of-the-art performance on COCO-Stuff-10K and PASCAL-Context datasets. Furthermore, to reduce the computational cost of the ViT backbone, we propose query-based down-sampling (QD) and query-based up-sampling (QU) to build a Shrunk structure. With the proposed Shrunk structure, the model can save up to $40\%$ computations while maintaining competitive performance.

In this paper, we address the scene segmentation task by capturing rich contextual dependencies based on the self-attention mechanism. Unlike previous works that capture contexts by multi-scale feature fusion, we propose a Dual Attention Network (DANet) to adaptively integrate local features with their global dependencies. Specifically, we append two types of attention modules on top of dilated FCN, which model the semantic interdependencies in spatial and channel dimensions respectively. The position attention module selectively aggregates the feature at each position by a weighted sum of the features at all positions. Similar features would be related to each other regardless of their distances. Meanwhile, the channel attention module selectively emphasizes interdependent channel maps by integrating associated features among all channel maps. We sum the outputs of the two attention modules to further improve feature representation which contributes to more precise segmentation results. We achieve new state-of-theart segmentation performance on three challenging scene segmentation datasets, i.e., Cityscapes, PASCAL Context and COCO Stuff dataset. In particular, a Mean IoU score of 81.5% on Cityscapes test set is achieved without using coarse data. 1 .

最近建议的MaskFormer \ Cite {MaskFormer}对语义分割的任务提供了刷新的透视图：它从流行的像素级分类范例转移到蒙版级分类方法。实质上，它生成对应于类别段的配对概率和掩码，并在推理的分割映射期间结合它们。因此，分割质量依赖于查询如何捕获类别的语义信息及其空间位置。在我们的研究中，我们发现单尺度特征顶部的每个掩模分类解码器不足以提取可靠的概率或掩模。对于挖掘功能金字塔的丰富语义信息，我们提出了一个基于变压器的金字塔融合变压器（PFT），用于多尺度特征顶部的每个掩模方法语义分段。为了有效地利用不同分辨率的图像特征而不会产生过多的计算开销，PFT使用多尺度变压器解码器，具有跨尺度间间的关注来交换互补信息。广泛的实验评估和消融展示了我们框架的功效。特别是，与屏蔽Former相比，我们通过Reset-101c实现了3.2 miou改进了Reset-101c。此外，在ADE20K验证集上，我们的Swin-B骨架的结果与单尺度和多尺寸推断的屏蔽骨架中的较大的Swin-L骨架相匹配，分别实现54.1 miou和55.3 miou。使用Swin-L骨干，我们在ADE20K验证集中实现了56.0 Miou单尺度结果和57.2多尺度结果，从而获得数据集的最先进的性能。

尽管最近的密集预测问题的多任务学习的进步，但大多数方法都依赖于昂贵的标记数据集。在本文中，我们介绍了一个标签有效的方法，并在部分注释的数据上关注多密集预测任务，我们称之为多任务部分监督学习。我们提出了一种多任务培训程序，该程序成功利用任务关系在数据部分注释时监督其多任务学习。特别地，我们学会将每个任务对映射到联合成对任务空间，这使得通过在任务对上的另一个网络通过另一个网络以计算有效的方式共享信息，并通过保留高级信息来避免学习琐碎的交叉任务关系关于输入图像。我们严格证明，我们的提出方法有效利用了未标记的任务的图像，并且在三个标准基准测试中优于现有的半监督学习方法和相关方法。