本文探讨了管状结构提取任务的点集表示。与传统的掩码表示相比，点集表示享有其灵活性和表示能力，这不会受到固定网格作为掩模的限制。受此启发，我们提出了PointCatter，这是管状结构提取任务的分割模型的替代方法。PointCatter将图像分为散射区域，并对每个散点区域预测点。我们进一步提出了基于贪婪的区域的两分匹配算法，以端到端训练网络。我们在四个公共管状数据集上基准测试了点刻表，并且有关管状结构分割和中心线提取任务的广泛实验证明了我们方法的有效性。代码可在https://github.com/zhangzhao2022/pointscatter上找到。

现有的实例分割方法已经达到了令人印象深刻的表现，但仍遭受了共同的困境：一个实例推断出冗余表示（例如，多个框，网格和锚点），这导致了多个重复的预测。因此，主流方法通常依赖于手工设计的非最大抑制（NMS）后处理步骤来选择最佳预测结果，这会阻碍端到端训练。为了解决此问题，我们建议一个称为Uniinst的无盒和无端机实例分割框架，该框架仅对每个实例产生一个唯一的表示。具体而言，我们设计了一种实例意识到的一对一分配方案，即仅产生一个表示（Oyor），该方案根据预测和地面真相之间的匹配质量，动态地为每个实例动态分配一个独特的表示。然后，一种新颖的预测重新排列策略被优雅地集成到框架中，以解决分类评分和掩盖质量之间的错位，从而使学习的表示形式更具歧视性。借助这些技术，我们的Uniinst，第一个基于FCN的盒子和无NMS实例分段框架，实现竞争性能，例如，使用Resnet-50-FPN和40.2 mask AP使用Resnet-101-FPN，使用Resnet-50-FPN和40.2 mask AP，使用Resnet-101-FPN，对抗AP可可测试-DEV的主流方法。此外，提出的实例感知方法对于遮挡场景是可靠的，在重锁定的ochuman基准上，通过杰出的掩码AP优于公共基线。我们的代码将在出版后提供。

We present a new, embarrassingly simple approach to instance segmentation. Compared to many other dense prediction tasks, e.g., semantic segmentation, it is the arbitrary number of instances that have made instance segmentation much more challenging. In order to predict a mask for each instance, mainstream approaches either follow the "detect-then-segment" strategy (e.g., Mask R-CNN), or predict embedding vectors first then use clustering techniques to group pixels into individual instances. We view the task of instance segmentation from a completely new perspective by introducing the notion of "instance categories", which assigns categories to each pixel within an instance according to the instance's location and size, thus nicely converting instance segmentation into a single-shot classification-solvable problem. We demonstrate a much simpler and flexible instance segmentation framework with strong performance, achieving on par accuracy with Mask R-CNN and outperforming recent single-shot instance segmenters in accuracy. We hope that this simple and strong framework can serve as a baseline for many instance-level recognition tasks besides instance segmentation. Code is available at https://git.io/AdelaiDet

我们提出了一种新的表结构识别方法（TSR）方法，称为TSRFormer，以稳健地识别来自各种表图像的几何变形的复杂表的结构。与以前的方法不同，我们将表分离线预测作为线回归问题，而不是图像分割问题，并提出了一种新的两阶段基于基于DETR的分离器预测方法，称为\ textbf {sep} arator \ textbf {re} re} tr} ansformer（sepretr），直接预测与表图像的分离线。为了使两阶段的DETR框架有效地有效地在分离线预测任务上工作，我们提出了两个改进：1）一种先前增强的匹配策略，以解决慢速收敛问题的detr； 2）直接来自高分辨率卷积特征图的样本特征的新的交叉注意模块，以便以低计算成本实现高定位精度。在分离线预测之后，使用简单的基于关系网络的单元格合并模块来恢复跨越单元。借助这些新技术，我们的TSRFormer在包括SCITSR，PubTabnet和WTW在内的多个基准数据集上实现了最先进的性能。此外，我们已经验证了使用复杂的结构，无边界的单元，大空间，空的或跨越的单元格以及在更具挑战性的现实世界内部数据集中扭曲甚至弯曲的形状的桌子的鲁棒性。

In this paper we present Mask DINO, a unified object detection and segmentation framework. Mask DINO extends DINO (DETR with Improved Denoising Anchor Boxes) by adding a mask prediction branch which supports all image segmentation tasks (instance, panoptic, and semantic). It makes use of the query embeddings from DINO to dot-product a high-resolution pixel embedding map to predict a set of binary masks. Some key components in DINO are extended for segmentation through a shared architecture and training process. Mask DINO is simple, efficient, and scalable, and it can benefit from joint large-scale detection and segmentation datasets. Our experiments show that Mask DINO significantly outperforms all existing specialized segmentation methods, both on a ResNet-50 backbone and a pre-trained model with SwinL backbone. Notably, Mask DINO establishes the best results to date on instance segmentation (54.5 AP on COCO), panoptic segmentation (59.4 PQ on COCO), and semantic segmentation (60.8 mIoU on ADE20K) among models under one billion parameters. Code is available at \url{https://github.com/IDEACVR/MaskDINO}.

由于红外图像的背景和噪音复杂，红外小目标检测是计算机视觉领域中最困难的问题之一。在大多数现有研究中，语义分割方法通常用于取得更好的结果。每个目标的质心是根据分割图作为检测结果计算的。相比之下，我们提出了一个新颖的端到端框架，用于在本文中针对小型目标检测和分割。首先，通过将UNET用作保持分辨率和语义信息的主链，我们的模型可以通过附加简单的无锚头来实现比其他最先进方法更高的检测精度。然后，使用金字塔池模块来进一步提取特征并提高目标分割的精度。接下来，我们使用语义分割任务，这些任务更加关注像素级特征，以帮助对象检测的训练过程，从而提高了平均精度，并允许模型检测一些以前无法检测到的目标。此外，我们开发了用于红外小目标检测和分割的多任务框架。与复合单任务模型相比，我们的多任务学习模型在保持准确性的同时，将复杂性降低了近一半，并将推断加速近两次。代码和模型可在https://github.com/chenastron/mtunet上公开获得。

我们提出了一种基于动态卷积的3D点云的实例分割方法。这使其能够在推断时适应变化的功能和对象尺度。这样做避免了一些自下而上的方法的陷阱，包括对超参数调整和启发式后处理管道的依赖，以弥补物体大小的不可避免的可变性，即使在单个场景中也是如此。通过收集具有相同语义类别并为几何质心进行仔细投票的均匀点，网络的表示能力大大提高了。然后通过几个简单的卷积层解码实例，其中参数是在输入上生成的。所提出的方法是无建议的，而是利用适应每个实例的空间和语义特征的卷积过程。建立在瓶颈层上的轻重量变压器使模型可以捕获远程依赖性，并具有有限的计算开销。结果是一种简单，高效且健壮的方法，可以在各种数据集上产生强大的性能：ScannETV2，S3DIS和Partnet。基于体素和点的体系结构的一致改进意味着提出的方法的有效性。代码可在以下网址找到：https：//git.io/dyco3d

伪装的对象检测（COD）旨在检测周围环境的类似模式（例如，纹理，强度，颜色等）的对象，最近吸引了日益增长的研究兴趣。由于伪装对象通常存在非常模糊的边界，如何确定对象位置以及它们的弱边界是具有挑战性的，也是此任务的关键。受到生物视觉感知过程的启发，当人类观察者发现伪装对象时，本文提出了一种名为Errnet的新型边缘的可逆重新校准网络。我们的模型的特点是两种创新设计，即选择性边缘聚集（SEA）和可逆的重新校准单元（RRU），其旨在模拟视觉感知行为，并在潜在的伪装区域和背景之间实现有效的边缘和交叉比较。更重要的是，RRU与现有COD模型相比，具有更全面的信息。实验结果表明，errnet优于三个COD数据集和五个医学图像分割数据集的现有尖端基线。特别是，与现有的Top-1模型SINET相比，ERRNET显着提高了$ \ SIM 6％（平均电子测量）的性能，以显着高速（79.3 FPS），显示ERRNET可能是一般和强大的解决方案COD任务。

从医用试剂染色图像中分割牙齿斑块为诊断和确定随访治疗计划提供了宝贵的信息。但是，准确的牙菌斑分割是一项具有挑战性的任务，需要识别牙齿和牙齿斑块受到语义腔区域的影响（即，在牙齿和牙齿斑块之间的边界区域中存在困惑的边界）以及实例形状的复杂变化，这些变化均未完全解决。现有方法。因此，我们提出了一个语义分解网络（SDNET），该网络介绍了两个单任务分支，以分别解决牙齿和牙齿斑块的分割，并设计了其他约束，以学习每个分支的特定类别特征，从而促进语义分解并改善该类别的特征牙齿分割的性能。具体而言，SDNET以分裂方式学习了两个单独的分割分支和牙齿的牙齿，以解除它们之间的纠缠关系。指定类别的每个分支都倾向于产生准确的分割。为了帮助这两个分支更好地关注特定类别的特征，进一步提出了两个约束模块：1）通过最大化不同类别表示之间的距离来学习判别特征表示，以了解判别特征表示形式，以减少减少负面影响关于特征提取的语义腔区域； 2）结构约束模块（SCM）通过监督边界感知的几何约束提供完整的结构信息，以提供各种形状的牙菌斑。此外，我们构建了一个大规模的开源染色牙菌斑分割数据集（SDPSEG），该数据集为牙齿和牙齿提供高质量的注释。 SDPSEG数据集的实验结果显示SDNET达到了最新的性能。

本文通过解决面具可逆性问题来研究建筑物多边形映射的问题，该问题导致了基于学习的方法的预测蒙版和多边形之间的显着性能差距。我们通过利用分层监督（底部级顶点，中层线段和高级区域口罩）来解决此问题，并提出了一种新颖用于建筑物多边形映射的面具。结果，我们表明，学识渊博的可逆建筑面具占据了深度卷积神经网络的所有优点，用于建筑物的高绩效多边形映射。在实验中，我们评估了对Aicrowd和Inria的两个公共基准的方法。在Aicrowd数据集上，我们提出的方法对AP，APBOUNDARY和POLIS的指标获得了一致改进。对于Inria数据集，我们提出的方法还获得了IOU和准确性指标的竞争结果。型号和源代码可在https://github.com/sarahwxu上获得。

现代方法通常将语义分割标记为每个像素分类任务，而使用替代掩码分类处理实例级分割。我们的主要洞察力：掩码分类是足够的一般，可以使用完全相同的模型，丢失和培训过程来解决语义和实例级分段任务。在此观察之后，我们提出了一个简单的掩模分类模型，该模型预测了一组二进制掩码，每个模型与单个全局类标签预测相关联。总的来说，所提出的基于掩模分类的方法简化了语义和Panoptic分割任务的有效方法的景观，并显示出优异的经验结果。特别是，当类的数量大时，我们观察到掩码形成器优于每个像素分类基线。我们的面具基于分类的方法优于当前最先进的语义（ADE20K上的55.6 miou）和Panoptic Seation（Coco）模型的Panoptic Seationation（52.7 PQ）。

深度学习已被广​​泛用于医学图像分割，并且录制了录制了该领域深度学习的成功的大量论文。在本文中，我们使用深层学习技术对医学图像分割的全面主题调查。本文进行了两个原创贡献。首先，与传统调查相比，直接将深度学习的文献分成医学图像分割的文学，并为每组详细介绍了文献，我们根据从粗略到精细的多级结构分类目前流行的文献。其次，本文侧重于监督和弱监督的学习方法，而不包括无监督的方法，因为它们在许多旧调查中引入而且他们目前不受欢迎。对于监督学习方法，我们分析了三个方面的文献：骨干网络的选择，网络块的设计，以及损耗功能的改进。对于虚弱的学习方法，我们根据数据增强，转移学习和交互式分割进行调查文献。与现有调查相比，本调查将文献分类为比例不同，更方便读者了解相关理由，并将引导他们基于深度学习方法思考医学图像分割的适当改进。

Single-frame InfraRed Small Target (SIRST) detection has been a challenging task due to a lack of inherent characteristics, imprecise bounding box regression, a scarcity of real-world datasets, and sensitive localization evaluation. In this paper, we propose a comprehensive solution to these challenges. First, we find that the existing anchor-free label assignment method is prone to mislabeling small targets as background, leading to their omission by detectors. To overcome this issue, we propose an all-scale pseudo-box-based label assignment scheme that relaxes the constraints on scale and decouples the spatial assignment from the size of the ground-truth target. Second, motivated by the structured prior of feature pyramids, we introduce the one-stage cascade refinement network (OSCAR), which uses the high-level head as soft proposals for the low-level refinement head. This allows OSCAR to process the same target in a cascade coarse-to-fine manner. Finally, we present a new research benchmark for infrared small target detection, consisting of the SIRST-V2 dataset of real-world, high-resolution single-frame targets, the normalized contrast evaluation metric, and the DeepInfrared toolkit for detection. We conduct extensive ablation studies to evaluate the components of OSCAR and compare its performance to state-of-the-art model-driven and data-driven methods on the SIRST-V2 benchmark. Our results demonstrate that a top-down cascade refinement framework can improve the accuracy of infrared small target detection without sacrificing efficiency. The DeepInfrared toolkit, dataset, and trained models are available at https://github.com/YimianDai/open-deepinfrared to advance further research in this field.

大多数最先进的实例级人类解析模型都采用了两阶段的基于锚的探测器，因此无法避免启发式锚盒设计和像素级别缺乏分析。为了解决这两个问题，我们设计了一个实例级人类解析网络，该网络在像素级别上无锚固且可解决。它由两个简单的子网络组成：一个用于边界框预测的无锚检测头和一个用于人体分割的边缘引导解析头。无锚探测器的头继承了像素样的优点，并有效地避免了对象检测应用中证明的超参数的敏感性。通过引入部分感知的边界线索，边缘引导的解析头能够将相邻的人类部分与彼此区分开，最多可在一个人类实例中，甚至重叠的实例。同时，利用了精炼的头部整合盒子级别的分数和部分分析质量，以提高解析结果的质量。在两个多个人类解析数据集（即CIHP和LV-MHP-V2.0）和一个视频实例级人类解析数据集（即VIP）上进行实验，表明我们的方法实现了超过全球级别和实例级别的性能最新的一阶段自上而下的替代方案。

自动检测视网膜结构，例如视网膜血管（RV），凹起的血管区（FAZ）和视网膜血管连接（RVJ），对于了解眼睛的疾病和临床决策非常重要。在本文中，我们提出了一种新型的基于投票的自适应特征融合多任务网络（VAFF-NET），用于在光学相干性层析成像（OCTA）中对RV，FAZ和RVJ进行联合分割，检测和分类。提出了一个特定于任务的投票门模块，以适应并融合两个级别的特定任务的不同功能：来自单个编码器的不同空间位置的特征，以及来自多个编码器的功能。特别是，由于八八座图像中微脉管系统的复杂性使视网膜血管连接连接到分叉/跨越具有挑战性的任务的同时定位和分类，因此我们通过结合热图回归和网格分类来专门设计任务头。我们利用来自各种视网膜层的三个不同的\ textit {en face}血管造影，而不是遵循仅使用单个\ textit {en face}的现有方法。为了促进进一步的研究，已经发布了这些数据集的部分数据集，并已发布了公共访问：https：//github.com/imed-lab/vaff-net。

除了每个像素精度外，拓扑正确性也对具有微尺度结构的图像的分割也至关重要，例如卫星图像和生物医学图像。在本文中，通过利用数字拓扑理论，我们识别对拓扑至关重要的图像中的位置。通过专注于这些关键的位置，我们提出了一种新的同谐扭曲损失来培训深度图像分割网络以获得更好的拓扑精度。为了有效地识别这些拓扑关键的位置，我们提出了一种利用距离变换的新算法。所提出的算法以及损耗函数，自然地推广到2D和3D设置中的不同拓扑结构。拟议的损失函数有助于深度网络在拓扑知识的指标方面实现更好的性能，优于最先进的拓扑保存分段方法。

本文提出了一种用于对象和场景的高质量图像分割的新方法。灵感来自于形态学图像处理技术中的扩张和侵蚀操作，像素级图像分割问题被视为挤压对象边界。从这个角度来看，提出了一种新颖且有效的\ textBF {边界挤压}模块。该模块用于从内侧和外侧方向挤压对象边界，这有助于精确掩模表示。提出了双向基于流的翘曲过程来产生这种挤压特征表示，并且设计了两个特定的损耗信号以监控挤压过程。边界挤压模块可以通过构建一些现有方法构建作为即插即用模块，可以轻松应用于实例和语义分段任务。此外，所提出的模块是重量的，因此具有实际使用的潜力。实验结果表明，我们简单但有效的设计可以在几个不同的数据集中产生高质量的结果。此外，边界上的其他几个指标用于证明我们对以前的工作中的方法的有效性。我们的方法对实例和语义分割的具有利于Coco和CityCapes数据集来产生重大改进，并且在相同的设置下以前的最先进的速度优于先前的最先进的速度。代码和模型将在\ url {https:/github.com/lxtgh/bsseg}发布。

In contrast to fully supervised methods using pixel-wise mask labels, box-supervised instance segmentation takes advantage of simple box annotations, which has recently attracted increasing research attention. This paper presents a novel single-shot instance segmentation approach, namely Box2Mask, which integrates the classical level-set evolution model into deep neural network learning to achieve accurate mask prediction with only bounding box supervision. Specifically, both the input image and its deep features are employed to evolve the level-set curves implicitly, and a local consistency module based on a pixel affinity kernel is used to mine the local context and spatial relations. Two types of single-stage frameworks, i.e., CNN-based and transformer-based frameworks, are developed to empower the level-set evolution for box-supervised instance segmentation, and each framework consists of three essential components: instance-aware decoder, box-level matching assignment and level-set evolution. By minimizing the level-set energy function, the mask map of each instance can be iteratively optimized within its bounding box annotation. The experimental results on five challenging testbeds, covering general scenes, remote sensing, medical and scene text images, demonstrate the outstanding performance of our proposed Box2Mask approach for box-supervised instance segmentation. In particular, with the Swin-Transformer large backbone, our Box2Mask obtains 42.4% mask AP on COCO, which is on par with the recently developed fully mask-supervised methods. The code is available at: https://github.com/LiWentomng/boxlevelset.

尽管有启发式方法，贪婪的算法以及对数据统计变化的变化，但3D实例分割中的当前最新方法通常涉及聚类步骤。相比之下，我们提出了一种以每点预测方式起作用的全面3D点云实例分割方法。为此，它可以避免基于聚类的方法面临的挑战：在模型的不同任务之间引入依赖性。我们发现其成功的关键是为每个采样点分配一个合适的目标。我们建议使用最佳的传输方法来根据动态匹配成本最佳地将目标掩码分配给采样点。我们的方法在扫描仪和S3DIS基准测试方面取得了令人鼓舞的结果。所提出的方法消除了插入依赖性，因此比其他竞争方法代表了更简单，更灵活的3D实例分割框架，同时实现了提高的分割精度。

Transformers have made remarkable progress towards modeling long-range dependencies within the medical image analysis domain. However, current transformer-based models suffer from several disadvantages: (1) existing methods fail to capture the important features of the images due to the naive tokenization scheme; (2) the models suffer from information loss because they only consider single-scale feature representations; and (3) the segmentation label maps generated by the models are not accurate enough without considering rich semantic contexts and anatomical textures. In this work, we present CASTformer, a novel type of adversarial transformers, for 2D medical image segmentation. First, we take advantage of the pyramid structure to construct multi-scale representations and handle multi-scale variations. We then design a novel class-aware transformer module to better learn the discriminative regions of objects with semantic structures. Lastly, we utilize an adversarial training strategy that boosts segmentation accuracy and correspondingly allows a transformer-based discriminator to capture high-level semantically correlated contents and low-level anatomical features. Our experiments demonstrate that CASTformer dramatically outperforms previous state-of-the-art transformer-based approaches on three benchmarks, obtaining 2.54%-5.88% absolute improvements in Dice over previous models. Further qualitative experiments provide a more detailed picture of the model's inner workings, shed light on the challenges in improved transparency, and demonstrate that transfer learning can greatly improve performance and reduce the size of medical image datasets in training, making CASTformer a strong starting point for downstream medical image analysis tasks.