段4K或6K超高分辨率图像需要在图像分割中考虑额外的计算考虑。常见的策略，如淡化采样，补丁裁剪和级联模型，不能妥善解决精度和计算成本之间的余额问题。由人类在粗糙到精确水平中连续地区分物体的影响，我们提出了用于超高分辨率分割任务的连续细化模型〜（CRM）。CRM连续将特征映射与细化目标保持一致，并聚合要重建这些图像的细节。此外，我们的CRM表明其具有填补低分辨率培训图像和超高分辨率测试之间的分辨率差距的重要概括能力。我们展示了定量的绩效评估和可视化，以表明我们的提出方法在图像分割细化方面是快速有效的。代码将在https://github.com/dvlab-research/entity发布。

在语义细分中，将高级上下文信息与低级详细信息集成至关重要。为此，大多数现有的分割模型都采用双线性启动采样和卷积来具有不同尺度的地图，然后以相同的分辨率对齐。但是，双线性启动采样模糊了这些特征地图和卷积中所学到的精确信息，这会产生额外的计算成本。为了解决这些问题，我们提出了隐式特征对齐函数（IFA）。我们的方法的灵感来自隐式神经表示的快速扩展的主题，在该主题中，基于坐标的神经网络用于指定信号字段。在IFA中，特征向量被视为表示2D信息字段。给定查询坐标，附近的具有相对坐标的特征向量是从多级特征图中获取的，然后馈入MLP以生成相应的输出。因此，IFA隐含地将特征图在不同级别对齐，并能够在任意分辨率中产生分割图。我们证明了IFA在多个数据集上的功效，包括CityScapes，Pascal环境和ADE20K。我们的方法可以与各种体系结构的改进结合使用，并在共同基准上实现最新的计算准确性权衡。代码将在https://github.com/hzhupku/ifa上提供。

在本文中，我们专注于探索有效的方法，以更快，准确和域的不可知性语义分割。受到相邻视频帧之间运动对齐的光流的启发，我们提出了一个流对齐模块（FAM），以了解相邻级别的特征映射之间的\ textit {语义流}，并将高级特征广播到高分辨率特征有效地，有效地有效。 。此外，将我们的FAM与共同特征的金字塔结构集成在一起，甚至在轻量重量骨干网络（例如Resnet-18和DFNET）上也表现出优于其他实时方法的性能。然后，为了进一步加快推理过程，我们还提出了一个新型的封闭式双流对齐模块，以直接对齐高分辨率特征图和低分辨率特征图，在该图中我们将改进版本网络称为SFNET-LITE。广泛的实验是在几个具有挑战性的数据集上进行的，结果显示了SFNET和SFNET-LITE的有效性。特别是，建议的SFNET-LITE系列在使用RESNET-18主链和78.8 MIOU以120 fps运行的情况下，使用RTX-3090上的STDC主链在120 fps运行时，在60 fps运行时达到80.1 miou。此外，我们将四个具有挑战性的驾驶数据集（即CityScapes，Mapillary，IDD和BDD）统一到一个大数据集中，我们将其命名为Unified Drive细分（UDS）数据集。它包含不同的域和样式信息。我们基准了UDS上的几项代表性作品。 SFNET和SFNET-LITE仍然可以在UDS上取得最佳的速度和准确性权衡，这在如此新的挑战性环境中是强大的基准。所有代码和模型均可在https://github.com/lxtgh/sfsegnets上公开获得。

We focus on the challenging task of real-time semantic segmentation in this paper. It finds many practical applications and yet is with fundamental difficulty of reducing a large portion of computation for pixel-wise label inference. We propose an image cascade network (ICNet) that incorporates multi-resolution branches under proper label guidance to address this challenge. We provide in-depth analysis of our framework and introduce the cascade feature fusion unit to quickly achieve highquality segmentation. Our system yields real-time inference on a single GPU card with decent quality results evaluated on challenging datasets like Cityscapes, CamVid and COCO-Stuff.

We present a new method for efficient high-quality image segmentation of objects and scenes. By analogizing classical computer graphics methods for efficient rendering with over-and undersampling challenges faced in pixel labeling tasks, we develop a unique perspective of image segmentation as a rendering problem. From this vantage, we present the PointRend (Point-based Rendering) neural network module: a module that performs point-based segmentation predictions at adaptively selected locations based on an iterative subdivision algorithm. PointRend can be flexibly applied to both instance and semantic segmentation tasks by building on top of existing state-ofthe-art models. While many concrete implementations of the general idea are possible, we show that a simple design already achieves excellent results. Qualitatively, PointRend outputs crisp object boundaries in regions that are oversmoothed by previous methods. Quantitatively, PointRend yields significant gains on COCO and Cityscapes, for both instance and semantic segmentation. PointRend's efficiency enables output resolutions that are otherwise impractical in terms of memory or computation compared to existing approaches. Code has been made available at https:// github.com/facebookresearch/detectron2/ tree/master/projects/PointRend.

弱监督的语义细分（WSSS）旨在仅使用用于训练的图像级标签来产生像素类预测。为此，以前的方法采用了通用管道：它们从类激活图（CAM）生成伪口罩，并使用此类掩码来监督分割网络。但是，由于凸轮的局部属性，即它们倾向于仅专注于小的判别对象零件，因此涵盖涵盖整个物体的全部范围的全面伪面罩是一项挑战。在本文中，我们将CAM的局部性与卷积神经网络（CNNS）的质地偏见特性相关联。因此，我们建议利用形状信息来补充质地偏见的CNN特征，从而鼓励掩模预测不仅是全面的，而且还与物体边界相交。我们通过一种新颖的改进方法进一步完善了在线方式的预测，该方法同时考虑了类和颜色亲和力，以生成可靠的伪口罩以监督模型。重要的是，我们的模型是在单阶段框架内进行端到端训练的，因此在培训成本方面有效。通过对Pascal VOC 2012的广泛实验，我们验证了方法在产生精确和形状对准的分割结果方面的有效性。具体而言，我们的模型超过了现有的最新单阶段方法。此外，当在没有铃铛和哨声的简单两阶段管道中采用时，它还在多阶段方法上实现了新的最新性能。

大多数现有的语义分割方法都以图像级类标签作为监督，高度依赖于从标准分类网络生成的初始类激活图（CAM）。在本文中，提出了一种新颖的“渐进贴片学习”方法，以改善分类的局部细节提取，从而更好地覆盖整个对象的凸轮，而不仅仅是在常规分类模型中获得的CAM中的最歧视区域。 “补丁学习”将特征映射破坏成贴片，并在最终聚合之前并行独立处理每个本地贴片。这样的机制强迫网络从分散的歧视性本地部分中找到弱信息，从而提高了本地细节的敏感性。 “渐进的补丁学习”进一步将特征破坏和补丁学习扩展到多层粒度。与多阶段优化策略合作，这种“渐进的补丁学习”机制隐式地为模型提供了跨不同位置粒状性的特征提取能力。作为隐式多粒性渐进式融合方法的替代方案，我们还提出了一种明确的方法，以同时将单个模型中不同粒度的特征融合，从而进一步增强了完整对象覆盖的凸轮质量。我们提出的方法在Pascal VOC 2012数据集上取得了出色的性能，例如，测试集中有69.6 $％miou），它超过了大多数现有的弱监督语义细分方法。代码将在此处公开提供，https://github.com/tyroneli/ppl_wsss。

Image segmentation is a key topic in image processing and computer vision with applications such as scene understanding, medical image analysis, robotic perception, video surveillance, augmented reality, and image compression, among many others. Various algorithms for image segmentation have been developed in the literature. Recently, due to the success of deep learning models in a wide range of vision applications, there has been a substantial amount of works aimed at developing image segmentation approaches using deep learning models. In this survey, we provide a comprehensive review of the literature at the time of this writing, covering a broad spectrum of pioneering works for semantic and instance-level segmentation, including fully convolutional pixel-labeling networks, encoder-decoder architectures, multi-scale and pyramid based approaches, recurrent networks, visual attention models, and generative models in adversarial settings. We investigate the similarity, strengths and challenges of these deep learning models, examine the most widely used datasets, report performances, and discuss promising future research directions in this area.

Panoptic Part Segmentation (PPS) unifies panoptic segmentation and part segmentation into one task. Previous works utilize separated approaches to handle thing, stuff, and part predictions without shared computation and task association. We aim to unify these tasks at the architectural level, designing the first end-to-end unified framework named Panoptic-PartFormer. Moreover, we find the previous metric PartPQ biases to PQ. To handle both issues, we make the following contributions: Firstly, we design a meta-architecture that decouples part feature and things/stuff feature, respectively. We model things, stuff, and parts as object queries and directly learn to optimize all three forms of prediction as a unified mask prediction and classification problem. We term our model as Panoptic-PartFormer. Secondly, we propose a new metric Part-Whole Quality (PWQ) to better measure such task from both pixel-region and part-whole perspectives. It can also decouple the error for part segmentation and panoptic segmentation. Thirdly, inspired by Mask2Former, based on our meta-architecture, we propose Panoptic-PartFormer++ and design a new part-whole cross attention scheme to further boost part segmentation qualities. We design a new part-whole interaction method using masked cross attention. Finally, the extensive ablation studies and analysis demonstrate the effectiveness of both Panoptic-PartFormer and Panoptic-PartFormer++. Compared with previous Panoptic-PartFormer, our Panoptic-PartFormer++ achieves 2% PartPQ and 3% PWQ improvements on the Cityscapes PPS dataset and 5% PartPQ on the Pascal Context PPS dataset. On both datasets, Panoptic-PartFormer++ achieves new state-of-the-art results with a significant cost drop of 70% on GFlops and 50% on parameters. Our models can serve as a strong baseline and aid future research in PPS. Code will be available.

图像语义分割的最新方法涉及计算密集的神经网络体系结构。这些方法中的大多数由于内存和其他计算问题而无法适应高分辨率图像分割。文献中的典型方法涉及神经网络体系结构的设计，这些神经网络体系结构可以从低分辨率图像和高分辨率对应物中的本地信息中融合全球信息。但是，设计用于处理高分辨率图像的体系结构是不必要的复杂的，并且涉及许多可能难以调整的超级参数。同样，这些架构中的大多数都需要对高分辨率图像进行训练的地面真理注释，这很难获得。在本文中，我们基于数学形态（MM）操作员开发了强大的管道，该管道可以无缝地将任何现有的语义分割算法扩展到高分辨率图像。我们的方法不需要高分辨率图像的地面真相注释。它基于有效利用低分辨率对应物中的信息以及有关高分辨率图像的梯度信息。我们使用传统的形态算子从低分辨率图像上的推断标签中获得高质量的种子，并使用随机助行器传播种子标签，以优化边界的语义标签。我们表明，通过我们的方法获得的语义分割结果击败了高分辨率图像上现有的最新算法。我们从经验上证明了我们对管道中使用的超级参数的鲁棒性。此外，我们表征了我们的管道适用的一些必要条件，并对拟议方法提供了深入的分析。

两阶段和基于查询的实例分段方法取得了显着的结果。然而，他们的分段面具仍然非常粗糙。在本文中，我们呈现了用于高质量高效的实例分割的掩模转发器。我们的掩模转发器代替常规密集的张量，而不是在常规密集的张量上进行分解，并表示作为Quadtree的图像区域。我们基于变换器的方法仅处理检测到的错误易于树节点，并并行自我纠正其错误。虽然这些稀疏的像素仅构成总数的小比例，但它们对最终掩模质量至关重要。这允许掩模转换器以低计算成本预测高精度的实例掩模。广泛的实验表明，掩模转发器在三个流行的基准上优于当前实例分段方法，显着改善了COCO和BDD100K上的大型+3.0掩模AP的+3.0掩模AP的大余量和CityScapes上的+6.6边界AP。我们的代码和培训的型号将在http://vis.xyz/pub/transfiner提供。

In dense image segmentation tasks (e.g., semantic, panoptic), existing methods can hardly generalize well to unseen image domains, predefined classes, and image resolution & quality variations. Motivated by these observations, we construct a large-scale entity segmentation dataset to explore fine-grained entity segmentation, with a strong focus on open-world and high-quality dense segmentation. The dataset contains images spanning diverse image domains and resolutions, along with high-quality mask annotations for training and testing. Given the high-quality and -resolution nature of the dataset, we propose CropFormer for high-quality segmentation, which can improve mask prediction using high-res image crops that provide more fine-grained image details than the full image. CropFormer is the first query-based Transformer architecture that can effectively ensemble mask predictions from multiple image crops, by learning queries that can associate the same entities across the full image and its crop. With CropFormer, we achieve a significant AP gain of $1.9$ on the challenging fine-grained entity segmentation task. The dataset and code will be released at http://luqi.info/entityv2.github.io/.

全景部分分割（PPS）旨在将泛型分割和部分分割统一为一个任务。先前的工作主要利用分离的方法来处理事物，物品和部分预测，而无需执行任何共享的计算和任务关联。在这项工作中，我们旨在将这些任务统一在架构层面上，设计第一个名为Panoptic-Partformer的端到端统一方法。特别是，由于视觉变压器的最新进展，我们将事物，内容和部分建模为对象查询，并直接学会优化所有三个预测作为统一掩码的预测和分类问题。我们设计了一个脱钩的解码器，以分别生成零件功能和事物/东西功能。然后，我们建议利用所有查询和相应的特征共同执行推理。最终掩码可以通过查询和相应特征之间的内部产品获得。广泛的消融研究和分析证明了我们框架的有效性。我们的全景局势群体在CityScapes PPS和Pascal Context PPS数据集上实现了新的最新结果，至少有70％的GFLOPS和50％的参数降低。特别是，在Pascal上下文PPS数据集上采用SWIN Transformer后，我们可以通过RESNET50骨干链和10％的改进获得3.4％的相对改进。据我们所知，我们是第一个通过\ textit {统一和端到端变压器模型来解决PPS问题的人。鉴于其有效性和概念上的简单性，我们希望我们的全景贡献者能够充当良好的基准，并帮助未来的PPS统一研究。我们的代码和型号可在https://github.com/lxtgh/panoptic-partformer上找到。

像窗户，瓶子和镜子等玻璃状物体在现实世界中存在广泛存在。感应这些对象有许多应用，包括机器人导航和抓握。然而，由于玻璃样物体背后的任意场景，这项任务非常具有挑战性。本文旨在通过增强的边界学习解决玻璃状物体分割问题。特别是，我们首先提出了一种新的精致差分模块，其输出更精细的边界线索。然后，我们介绍了一个边缘感知点的图形卷积网络模块，以沿边界模拟全局形状。我们使用这两个模块来设计解码器，该解码器产生准确和干净的分段结果，尤其是在对象轮廓上。两个模块都是重量轻且有效的：它们可以嵌入到各种分段模型中。在最近的三个玻璃状物体分割数据集上进行了广泛的实验，包括Trans10K，MSD和GDD，我们的方法建立了新的最先进的结果。我们还说明了我们在三个通用分段数据集中的方法的强大泛化属性，包括城市景观，BDD和Coco Sift。代码和模型可用于\ url {https:/github.com/hehao13/ebrnet}。

Australian Centre for Robotic Vision {guosheng.lin;anton.milan;chunhua.shen;

我们呈现NERF-SR，一种用于高分辨率（HR）新型视图合成的解决方案，主要是低分辨率（LR）输入。我们的方法是基于神经辐射场（NERF）的内置，其预测每点密度和颜色，具有多层的射击。在在任意尺度上产生图像时，NERF与超越观察图像的分辨率努力。我们的关键识别是NERF具有本地之前的，这意味着可以在附近区域传播3D点的预测，并且保持准确。我们首先通过超级采样策略来利用它，该策略在每个图像像素处射击多个光线，这在子像素级别强制了多视图约束。然后，我们表明，NERF-SR可以通过改进网络进一步提高超级采样的性能，该细化网络利用估计的深度来实现HR参考图像上的相关补丁的幻觉。实验结果表明，NERF-SR在合成和现实世界数据集的HR上为新型视图合成产生高质量结果。

In this work we address the task of semantic image segmentation with Deep Learning and make three main contributions that are experimentally shown to have substantial practical merit. First, we highlight convolution with upsampled filters, or 'atrous convolution', as a powerful tool in dense prediction tasks. Atrous convolution allows us to explicitly control the resolution at which feature responses are computed within Deep Convolutional Neural Networks. It also allows us to effectively enlarge the field of view of filters to incorporate larger context without increasing the number of parameters or the amount of computation. Second, we propose atrous spatial pyramid pooling (ASPP) to robustly segment objects at multiple scales. ASPP probes an incoming convolutional feature layer with filters at multiple sampling rates and effective fields-of-views, thus capturing objects as well as image context at multiple scales. Third, we improve the localization of object boundaries by combining methods from DCNNs and probabilistic graphical models. The commonly deployed combination of max-pooling and downsampling in DCNNs achieves invariance but has a toll on localization accuracy. We overcome this by combining the responses at the final DCNN layer with a fully connected Conditional Random Field (CRF), which is shown both qualitatively and quantitatively to improve localization performance. Our proposed "DeepLab" system sets the new state-of-art at the PASCAL VOC-2012 semantic image segmentation task, reaching 79.7% mIOU in the test set, and advances the results on three other datasets: PASCAL-Context, PASCAL-Person-Part, and Cityscapes. All of our code is made publicly available online.

我们提出了一项针对一项名为DiChotomous Image Segmentation（DIS）的新任务的系统研究，该任务旨在从自然图像中划分高度准确的对象。为此，我们收集了第一个称为DIS5K的大规模DIS​​数据集，其中包含5,470个高分辨率（例如2K，4K或4K或更大的图像，涵盖了遮盖，明显或细致的物体，在各种背景中。 DIS带有非常细粒的标签注释。此外，我们使用功能级和面具级别的模型培训指南介绍了一个简单的中间监督基线（IS-NET）。 IS-NET在拟议的DIS5K上的表现优于各种尖端基线，使其成为一个普遍的自学监督网络，可以促进未来的DIS研究。此外，我们设计了一个称为人类纠正工作（HCE）的新指标，该指标近似于纠正误报和假否定的鼠标点击操作的数量。 HCE用于测量模型和现实世界应用之间的差距，因此可以补充现有指标。最后，我们进行了最大规模的基准测试，评估了16个代表性分割模型，提供了有关对象复杂性的更深入的讨论，并显示了几种潜在的应用（例如，背景删除，艺术设计，3D重建）。希望这些努力能为学术和行业开辟有希望的方向。项目页面：https：//xuebinqin.github.io/dis/index.html。

如今，由于屏幕共享，远程合作和在线教育的广泛应用，屏幕内容存在爆炸性增长。为了匹配有限终端带宽，可以缩小高分辨率（HR）屏幕内容并压缩。在接收器侧，低分辨率（LR）屏幕内容图像（SCI）的超分辨率（SR）由HR显示器或用户缩小以供详细观察。然而，由于图像特性非常不同的图像特性以及在任意尺度下浏览的SCI浏览要求，图像SR方法主要针对自然图像设计不概括SCI。为此，我们为SCISR提出了一种新颖的隐式变压器超分辨率网络（ITSRN）。对于任意比率的高质量连续SR，通过所提出的隐式变压器从密钥坐标处的图像特征推断出查询坐标处的像素值，并且提出了隐式位置编码方案来聚合与查询相似的相邻像素值。使用LR和HR SCI对构建基准SCI1K和SCI1K压缩数据集。广泛的实验表明，提出的ITSRN显着优于压缩和未压缩的SCI的几种竞争连续和离散SR方法。

视频通常将流和连续的视觉数据记录为离散的连续帧。由于存储成本对于高保真度的视频来说是昂贵的，因此大多数存储以相对较低的分辨率和帧速率存储。最新的时空视频超分辨率（STVSR）的工作是开发出来的，以将时间插值和空间超分辨率纳入统一框架。但是，其中大多数仅支持固定的上采样量表，这限制了其灵活性和应用。在这项工作中，我们没有遵循离散表示，我们提出了视频隐式神经表示（videoinr），并显示了其对STVSR的应用。学到的隐式神经表示可以解码为任意空间分辨率和帧速率的视频。我们表明，Videoinr在常见的上采样量表上使用最先进的STVSR方法实现了竞争性能，并且在连续和训练的分布量表上显着优于先前的作品。我们的项目页面位于http://zeyuan-chen.com/videoinr/。