核的实例分割和分类是计算病理学中的重要任务。我们表明，Stardist是一种最初用于荧光显微镜开发的深度学习核分割方法，可以扩展并成功地应用于组织病理学图像。通过在蜥蜴数据集上进行实验，以及进入结肠核识别和计数（CONIC）挑战2022，我们的方法获得了排行榜上的第一个位置，以实现初步测试阶段和最终测试阶段的分类任务，从而证实了这一点。。

该卷包含来自机器学习挑战的选定贡献“发现玛雅人的奥秘”，该挑战在欧洲机器学习和数据库中知识发现的欧洲挑战赛曲目（ECML PKDD 2021）中提出。遥感大大加速了古代玛雅人森林地区的传统考古景观调查。典型的探索和发现尝试，除了关注整个古老的城市外，还集中在单个建筑物和结构上。最近，已经成功地尝试了使用机器学习来识别古代玛雅人定居点。这些尝试虽然相关，但却集中在狭窄的区域上，并依靠高质量的空中激光扫描（ALS）数据，该数据仅涵盖古代玛雅人曾经定居的地区的一小部分。另一方面，由欧洲航天局（ESA）哨兵任务制作的卫星图像数据很丰富，更重要的是公开。旨在通过执行不同类型的卫星图像（Sentinel-1和Sentinel-2和ALS）的集成图像细分来定位和识别古老的Maya架构（建筑物，Aguadas和平台）的“发现和识别古代玛雅体系结构（建筑物，Aguadas和平台）的挑战的“发现和识别古老的玛雅体系结构（建筑物，阿吉达斯和平台）的“发现玛雅的奥秘”的挑战， （LIDAR）数据。

核毒素和eosin染色组织学图像中的核分段，分类和定量使得能够提取可解释的细胞基特征，该特征可用于计算病理（CPATH）中的下游可解释模型。然而，对不同核的自动识别面临着主要的挑战，因为有几种不同类型的核，其中一些呈现出大的内部变异性。为了帮助推动CPATH中自动核认可的前进研究和创新，我们组织了结肠核识别和计数（圆锥）挑战。挑战鼓励研究人员开发在CPATH中，在CPATH中，在CPATH中进行当前最大已知的公知的核级数据集进行分割，分类和计数，其中包含大约一半的标记的核。因此，锥形挑战利用核数量超过10倍的核，作为核识别的前一大挑战数据集。如果我们希望在临床环境中部署它们，则对输入变体具有强大的算法很重要。因此，作为这一挑战的一部分，我们还将测试每个提交算法对某些输入变化的敏感性。

对于现代自治系统来说，可靠的场景理解是必不可少的。当前基于学习的方法通常试图根据仅考虑分割质量的细分指标来最大化其性能。但是，对于系统在现实世界中的安全操作，考虑预测的不确定性也至关重要。在这项工作中，我们介绍了不确定性感知的全景分段的新任务，该任务旨在预测每个像素语义和实例分割，以及每个像素不确定性估计。我们定义了两个新颖的指标，以促进其定量分析，不确定性感知的综合质量（UPQ）和全景预期校准误差（PECE）。我们进一步提出了新型的自上而下的证据分割网络（EVPSNET），以解决此任务。我们的架构采用了一个简单而有效的概率融合模块，该模块利用了预测的不确定性。此外，我们提出了一种新的LOV \'ASZ证据损失函数，以优化使用深度证据学习概率的分割的IOU。此外，我们提供了几个强大的基线，将最新的泛型分割网络与无抽样的不确定性估计技术相结合。广泛的评估表明，我们的EVPSNET可以实现标准综合质量（PQ）的新最新技术，以及我们的不确定性倾斜度指标。

The recently introduced panoptic segmentation task has renewed our community's interest in unifying the tasks of instance segmentation (for thing classes) and semantic segmentation (for stuff classes). However, current state-ofthe-art methods for this joint task use separate and dissimilar networks for instance and semantic segmentation, without performing any shared computation. In this work, we aim to unify these methods at the architectural level, designing a single network for both tasks. Our approach is to endow Mask R-CNN, a popular instance segmentation method, with a semantic segmentation branch using a shared Feature Pyramid Network (FPN) backbone. Surprisingly, this simple baseline not only remains effective for instance segmentation, but also yields a lightweight, topperforming method for semantic segmentation. In this work, we perform a detailed study of this minimally extended version of Mask R-CNN with FPN, which we refer to as Panoptic FPN, and show it is a robust and accurate baseline for both tasks. Given its effectiveness and conceptual simplicity, we hope our method can serve as a strong baseline and aid future research in panoptic segmentation.

自动核细胞分割和分类在数字病理学中起着至关重要的作用。但是，以前的作品主要基于具有有限的多样性和小尺寸的数据构建，使得在实际下游任务中的结果可疑或误导。在本文中，我们的目标是建立一种可靠且强大的方法，能够处理“临床野生”中的数据。具体地，我们研究和设计一种同时检测，分段和分类来自血红素和曙红（H＆E）染色的组织病理学数据的新方法，并使用最近的最大数据集评估我们的方法：Pannuke。我们以新颖的语义关键点估计问题解决每个核的检测和分类，以确定每个核的中心点。接下来，使用动态实例分段获得核心点的相应类别 - 不可止液掩模。通过解耦两个同步具有挑战性的任务，我们的方法可以从类别感知的检测和类别不可知的细分中受益，从而导致显着的性能提升。我们展示了我们提出的核细胞分割和分类方法的卓越性能，跨越19种不同的组织类型，提供了新的基准结果。

The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.

改善和快速癌症诊断的关键组成部分是计算机辅助工具的发展。在本文中，我们提出了赢得SEGPC-2021竞争的解决方案，用于在显微镜图像中分割多发性骨髓瘤等离子体细胞。竞争数据集中使用的标签是生成半自动和呈现的噪声。要处理它，进行了沉重的图像增强程序，并使用自定义集合策略相结合了来自多种模型的预测。使用最先进的功能提取器和实例分段架构，导致SEGPC-2021最终测试集上的0.9389的平均交叉联盟。

We propose Panoptic Lifting, a novel approach for learning panoptic 3D volumetric representations from images of in-the-wild scenes. Once trained, our model can render color images together with 3D-consistent panoptic segmentation from novel viewpoints. Unlike existing approaches which use 3D input directly or indirectly, our method requires only machine-generated 2D panoptic segmentation masks inferred from a pre-trained network. Our core contribution is a panoptic lifting scheme based on a neural field representation that generates a unified and multi-view consistent, 3D panoptic representation of the scene. To account for inconsistencies of 2D instance identifiers across views, we solve a linear assignment with a cost based on the model's current predictions and the machine-generated segmentation masks, thus enabling us to lift 2D instances to 3D in a consistent way. We further propose and ablate contributions that make our method more robust to noisy, machine-generated labels, including test-time augmentations for confidence estimates, segment consistency loss, bounded segmentation fields, and gradient stopping. Experimental results validate our approach on the challenging Hypersim, Replica, and ScanNet datasets, improving by 8.4, 13.8, and 10.6% in scene-level PQ over state of the art.

前所未有的访问多时间卫星图像，为各种地球观察任务开辟了新的视角。其中，农业包裹的像素精确的Panoptic分割具有重大的经济和环境影响。虽然研究人员对单张图像进行了探索了这个问题，但我们争辩说，随着图像的时间序列更好地寻址作物候选的复杂时间模式。在本文中，我们介绍了卫星图像时间序列（坐着）的Panoptic分割的第一端到端，单级方法（坐姿）。该模块可以与我们的新型图像序列编码网络相结合，依赖于时间自我关注，以提取丰富和自适应的多尺度时空特征。我们还介绍了Pastis，第一个开放式访问坐在Panoptic注释的数据集。我们展示了对多个竞争架构的语义细分的编码器的优越性，并建立了坐在的第一封Panoptic细分状态。我们的实施和痛苦是公开的。

We introduce Similarity Group Proposal Network (SGPN), a simple and intuitive deep learning framework for 3D object instance segmentation on point clouds. SGPN uses a single network to predict point grouping proposals and a corresponding semantic class for each proposal, from which we can directly extract instance segmentation results. Important to the effectiveness of SGPN is its novel representation of 3D instance segmentation results in the form of a similarity matrix that indicates the similarity between each pair of points in embedded feature space, thus producing an accurate grouping proposal for each point. Experimental results on various 3D scenes show the effectiveness of our method on 3D instance segmentation, and we also evaluate the capability of SGPN to improve 3D object detection and semantic segmentation results. We also demonstrate its flexibility by seamlessly incorporating 2D CNN features into the framework to boost performance.

血液涂片图像的自动化红细胞（RBC）分类有助于血液医生在降低的时间和成本下分析RBC实验室的结果。但是，重叠的单元格可能会导致错误的预测结果，因此必须在分类之前将它们分成多个RBC。为了对具有深度学习进行深度学习的多个类，医学成像中的不平衡问题是常见的，因为正常样本总是高于罕见疾病样本。本文提出了一种新方法，用于从血液涂片图像进行分类和分类RBC，专门用于解决细胞重叠和数据不平衡问题。专注于重叠的细胞分离，我们的分割过程首先估计省略号来代表RBC。该方法检测凹点，然后使用指向椭圆拟合找到椭圆点。 20血涂片图像的精度为0.889。分类需要平衡的培训数据集。但是，一些RBC类型很少见。来自20,875个单独的RBC样本的12个RBC课程的该数据集的不平衡比为34.538。因此，使用机器学习与不平衡数据集的RBC分类是比许多其他应用更具挑战性的。我们分析了处理这个问题的技术。最佳精度和F1分数分别使用带增强的有效网络-B1分别为0.921和0.8679。实验结果表明，通过改善少数群体课程的F1分数，增强的重量平衡技术有可能处理不平衡问题，而数据增强显着提高了整体分类性能。

We present a new, embarrassingly simple approach to instance segmentation. Compared to many other dense prediction tasks, e.g., semantic segmentation, it is the arbitrary number of instances that have made instance segmentation much more challenging. In order to predict a mask for each instance, mainstream approaches either follow the "detect-then-segment" strategy (e.g., Mask R-CNN), or predict embedding vectors first then use clustering techniques to group pixels into individual instances. We view the task of instance segmentation from a completely new perspective by introducing the notion of "instance categories", which assigns categories to each pixel within an instance according to the instance's location and size, thus nicely converting instance segmentation into a single-shot classification-solvable problem. We demonstrate a much simpler and flexible instance segmentation framework with strong performance, achieving on par accuracy with Mask R-CNN and outperforming recent single-shot instance segmenters in accuracy. We hope that this simple and strong framework can serve as a baseline for many instance-level recognition tasks besides instance segmentation. Code is available at https://git.io/AdelaiDet

X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.

在过去的几年中，用于计算机视觉的深度学习技术的快速发展极大地促进了医学图像细分的性能（Mediseg）。但是，最近的梅赛格出版物通常集中于主要贡献的演示（例如，网络体系结构，培训策略和损失功能），同时不知不觉地忽略了一些边缘实施细节（也称为“技巧”），导致了潜在的问题，导致了潜在的问题。不公平的实验结果比较。在本文中，我们为不同的模型实施阶段（即，预培训模型，数据预处理，数据增强，模型实施，模型推断和结果后处理）收集了一系列Mediseg技巧，并在实验中探索了有效性这些技巧在一致的基线模型上。与仅关注分割模型的优点和限制分析的纸驱动调查相比，我们的工作提供了大量的可靠实验，并且在技术上更可操作。通过对代表性2D和3D医疗图像数据集的广泛实验结果，我们明确阐明了这些技巧的效果。此外，根据调查的技巧，我们还开源了一个强大的梅德西格存储库，其每个组件都具有插件的优势。我们认为，这项里程碑的工作不仅完成了对最先进的Mediseg方法的全面和互补的调查，而且还提供了解决未来医学图像处理挑战的实用指南，包括但不限于小型数据集学习，课程不平衡学习，多模式学习和领域适应。该代码已在以下网址发布：https：//github.com/hust-linyi/mediseg

语义场景的理解对于在各种环境中作用的移动代理至关重要。尽管语义细分已经提供了大量信息，但缺少有关单个对象以及一般场景的详细信息，但对于许多现实世界应用程序所必需。但是，分别解决多个任务是昂贵的，并且在移动平台上计算和电池能力有限，无法实时完成。在本文中，我们提出了一种有效的多任务方法，用于RGB-D场景分析〜（EMSANET），该方法同时执行语义和实例分割〜（Panoptic分割），实例方向估计和场景分类。我们表明，所有任务都可以在移动平台上实时使用单个神经网络完成，而不会降低性能 - 相比之下，各个任务能够彼此受益。为了评估我们的多任务方法，我们扩展了常见的RGB-D室内数据集NYUV2和SUNRGB-D的注释，例如分割和方向估计。据我们所知，我们是第一个为NYUV2和SUNRGB-D上的室内场景分析提供如此全面的多任务设置的结果。

高度需要对气泡流图像进行自动化和可靠的处理，以分析综合实验系列的大型数据集。由于记录的图像中重叠的气泡投影而引起了特定的困难，这使单个气泡的识别高度复杂。最近的方法着重于将深度学习算法用于此任务，并且已经证明了此类技术的高潜力。主要困难是能够处理不同的图像条件，较高的气体体积分数以及部分遮挡气泡的隐藏段的正确重建。在目前的工作中，我们试图通过基于卷积神经网络（CNN）测试两种以前和两种单独的方法来解决这些观点，以解决后者。为了验证我们的方法论，我们创建了使用合成图像的测试数据集，这些图像进一步证明了我们合并方法的功能和局限性。可以访问生成的数据，代码和训练的模型，以促进实验图像中气泡识别的研究领域的进一步发展。

In this paper, we propose a unified panoptic segmentation network (UPSNet) for tackling the newly proposed panoptic segmentation task. On top of a single backbone residual network, we first design a deformable convolution based semantic segmentation head and a Mask R-CNN style instance segmentation head which solve these two subtasks simultaneously. More importantly, we introduce a parameter-free panoptic head which solves the panoptic segmentation via pixel-wise classification. It first leverages the logits from the previous two heads and then innovatively expands the representation for enabling prediction of an extra unknown class which helps better resolve the conflicts between semantic and instance segmentation. Additionally, it handles the challenge caused by the varying number of instances and permits back propagation to the bottom modules in an end-to-end manner. Extensive experimental results on Cityscapes, COCO and our internal dataset demonstrate that our UPSNet achieves stateof-the-art performance with much faster inference. Code has been made available at: https://github.com/ uber-research/UPSNet. * Equal contribution.† This work was done when Hengshuang Zhao was an intern at Uber ATG.

Building instance segmentation models that are dataefficient and can handle rare object categories is an important challenge in computer vision. Leveraging data augmentations is a promising direction towards addressing this challenge. Here, we perform a systematic study of the Copy-Paste augmentation (e.g., [13,12]) for instance segmentation where we randomly paste objects onto an image. Prior studies on Copy-Paste relied on modeling the surrounding visual context for pasting the objects. However, we find that the simple mechanism of pasting objects randomly is good enough and can provide solid gains on top of strong baselines. Furthermore, we show Copy-Paste is additive with semi-supervised methods that leverage extra data through pseudo labeling (e.g. self-training). On COCO instance segmentation, we achieve 49.1 mask AP and 57.3 box AP, an improvement of +0.6 mask AP and +1.5 box AP over the previous state-of-the-art. We further demonstrate that Copy-Paste can lead to significant improvements on the LVIS benchmark. Our baseline model outperforms the LVIS 2020 Challenge winning entry by +3.6 mask AP on rare categories.

从不同扫描仪/部位的有丝分裂数字的检测仍然是研究的重要主题，这是由于其潜力协助临床医生进行肿瘤分级。有丝分裂结构域的概括（MIDOG）2022挑战旨在测试从多种扫描仪和该任务的多种扫描仪和组织类型中看不见数据的检测模型的鲁棒性。我们提供了TIA中心团队采用的方法来应对这一挑战的简短摘要。我们的方法基于混合检测模型，在该模型中，在该模型中进行了有丝分裂候选者，然后被深度学习分类器精炼。在训练图像上的交叉验证在初步测试集上达到了0.816和0.784的F1得分，这证明了我们模型可以从新扫描仪中看不见的数据的普遍性。