Quantifying the perceptual similarity of two images is a long-standing problem in low-level computer vision. The natural image domain commonly relies on supervised learning, e.g., a pre-trained VGG, to obtain a latent representation. However, due to domain shift, pre-trained models from the natural image domain might not apply to other image domains, such as medical imaging. Notably, in medical imaging, evaluating the perceptual similarity is exclusively performed by specialists trained extensively in diverse medical fields. Thus, medical imaging remains devoid of task-specific, objective perceptual measures. This work answers the question: Is it necessary to rely on supervised learning to obtain an effective representation that could measure perceptual similarity, or is self-supervision sufficient? To understand whether recent contrastive self-supervised representation (CSR) may come to the rescue, we start with natural images and systematically evaluate CSR as a metric across numerous contemporary architectures and tasks and compare them with existing methods. We find that in the natural image domain, CSR behaves on par with the supervised one on several perceptual tests as a metric, and in the medical domain, CSR better quantifies perceptual similarity concerning the experts' ratings. We also demonstrate that CSR can significantly improve image quality in two image synthesis tasks. Finally, our extensive results suggest that perceptuality is an emergent property of CSR, which can be adapted to many image domains without requiring annotations.

Image segmentation is a largely researched field where neural networks find vast applications in many facets of technology. Some of the most popular approaches to train segmentation networks employ loss functions optimizing pixel-overlap, an objective that is insufficient for many segmentation tasks. In recent years, their limitations fueled a growing interest in topology-aware methods, which aim to recover the correct topology of the segmented structures. However, so far, none of the existing approaches achieve a spatially correct matching between the topological features of ground truth and prediction. In this work, we propose the first topologically and feature-wise accurate metric and loss function for supervised image segmentation, which we term Betti matching. We show how induced matchings guarantee the spatially correct matching between barcodes in a segmentation setting. Furthermore, we propose an efficient algorithm to compute the Betti matching of images. We show that the Betti matching error is an interpretable metric to evaluate the topological correctness of segmentations, which is more sensitive than the well-established Betti number error. Moreover, the differentiability of the Betti matching loss enables its use as a loss function. It improves the topological performance of segmentation networks across six diverse datasets while preserving the volumetric performance. Our code is available in https://github.com/nstucki/Betti-matching.

最近的基于变压器的离线视频实例细分（VIS）方法取得了令人鼓舞的结果，并明显胜过在线方法。但是，它们对整个视频的依赖以及由全时空的注意力引起的巨大计算复杂性限制了它们在现实生活中的应用中，例如处理冗长的视频。在本文中，我们提出了一个基于单级变压器的高效在线VIS框架，名为InstanceFormer，该框架特别适合长期挑战性的视频。我们提出了三个新的组件来建模短期和长期依赖性和时间连贯性。首先，我们传播了对短期更改建模的先前实例的表示形式，位置和语义信息。其次，我们在解码器中提出了一种新颖的记忆交叉注意，该记忆使网络可以在某个时间窗口内研究早期实例。最后，我们采用时间对比度损失，在所有框架的实例表示中施加连贯性。记忆注意力和时间连贯性特别有益于远程依赖建模，包括诸如遮挡等挑战的情况。所提出的实例形式优于以前的在线基准方法在多个数据集上的较大边距。最重要的是，InstanceFormer超过了挑战和长数据集（例如YouTube-Vis-2021和OVIS）的离线方法。代码可从https://github.com/rajatkoner08/instanceformer获得。

检测变压器代表基于变压器编码器架构架构的端到端对象检测方法，从而利用了注意机制进行全局关系建模。尽管检测变形金刚在2D自然图像上运行的基于CNN的高度优化的对应物提供的结果与其高度优化的同行提供了结果，但它们的成功与获取大量培训数据紧密相结合。但是，这限制了在医疗领域中使用检测变压器的可行性，因为访问注释数据通常受到限制。为了解决这个问题并促进医疗检测变压器的出现，我们提出了一种新型检测变压器，用于3D解剖结构检测，称为聚焦解码器。集中的解码器利用解剖区域图集的信息同时部署查询锚点，并将跨注意的视野限制为感兴趣的区域，这使得精确地关注相关的解剖结构。我们在两个公开可用的CT数据集上评估了我们提出的方法，并证明了专注的解码器不仅提供了强大的检测结果，从而减轻了对大量注释数据的需求，而且还表现出了通过注意力重量对结果的出色和高度直观的解释。我们的医学视觉变压器库github.com/bwittmann/transoar提供了专注的解码器代码。

人类评分是分割质量的抽象表示。为了近似于稀缺专家数据的人类质量评级，我们训练替代质量估计模型。我们根据Brats注释方案评估复杂的多级分割问题，特别是神经胶质瘤分割。培训数据以15位专家神经放射科学家的质量评级为特征，范围从1到6星，用于各种计算机生成和手动3D注释。即使网络在2D图像上运行并使用稀缺的训练数据，我们也可以在与人类内部内可靠性相当的错误范围内近似分段质量。细分质量预测具有广泛的应用。虽然对分割质量的理解对于成功分割质量算法的成功临床翻译至关重要，但它可以在培训新的分割模型中发挥至关重要的作用。由于推断时间分裂，可以直接在损失函数中或在联合学习设置中作为完全自动的数据集策划机制。

事实证明，深度卷积神经网络在语义分割任务中非常有效。引入了最流行的损失功能，以提高体积分数，例如Sorensen骰子系数。根据设计，DSC可以解决类不平衡；但是，它不能识别类中的实例不平衡。结果，大型前景实例可以主导次要实例，并且仍然产生令人满意的Sorensen骰子系数。然而，错过实例将导致检测性能不佳。这代表了诸如疾病进展监测等应用中的一个关键问题。例如，必须在多发性硬化症患者的随访中定位和监视小规模病变。我们提出了一个新型的损失功能家族，绰号斑点损失，主要旨在最大化实例级检测指标，例如F1得分和灵敏度。 BLOB损失是针对语义分割问题而设计的，其中实例是类中连接的组件。我们在五个复杂的3D语义分割任务中广泛评估了基于DSC的斑点损失，这些任务具有明显的实例异质性，从纹理和形态上讲。与软骰子损失相比，我们的MS病变改善了5％，肝肿瘤改善了3％，考虑F1分数的显微镜细分任务平均提高了2％。

来自多个磁共振成像（MRI）方式的脑肿瘤分割是医学图像计算中的具有挑战性的任务。主要挑战在于各种扫描仪和成像协议的普遍性。在本文中，我们探讨了在不增加推理时间的情况下增加模型稳健性的策略。为此目的，我们探索使用不同损失，优化仪和培训验证数据拆分培训的型号的强大合奏。重要的是，我们探讨了U-Net架构的瓶颈中的变压器。虽然我们在瓶颈中发现变压器比平均基线U-Net更差，但是广义的Wasserstein骰子损失一致地产生优异的结果。此外，我们采用了高效的测试时间增强策略，以实现更快和强大的推论。我们的最终集合具有测试时间增强的七个3D U-Nets的平均骰子得分为89.4％，平均HAUSDORFF 95％距离10.0 mm在Brats 2021测试数据集时。我们的代码和培训的型号在https://github.com/lucasfidon/trabit_brats2021上公开提供。

我们为联合学习提出了一个简单的新聚合策略，赢得了米奇联邦肿瘤细分挑战2021（FETS），这是对机器学习界联盟学习的首次挑战。我们的方法解决了如何聚合在不同数据集上培训的多个模型的问题。概念上，我们提出了一种在平均不同模型时选择重量的新方法，从而扩展了最新的艺术状态（FADVG）。实证验证表明，与FEDAVG相比，我们的方法达到了分割性能的显着改善。

通过进入肿瘤细胞浓度的空间分布，诊断患有脑肿瘤的患者的目前的治疗计划可显着受益。现有的诊断方式，例如磁共振成像（MRI），对比具有高细胞密度的井区域。然而，它们不会描绘低浓度的区域，这通常可以用作治疗后肿瘤的二次出现的来源。肿瘤生长的数值模拟通过提供肿瘤细胞的全部空间分布估计来补充成像信息。近年来，发表了一种基于医学形象的肿瘤建模的文献语料。它包括描述前向肿瘤生长模型的不同数学形式主义。除了旁边，开发了各种参数推断方案以进行高效的肿瘤模型个性化，即解决逆问题。然而，所有现有方法的统一缺点是模型个性化的时间复杂性，禁止建模潜在集成到临床环境中。在这项工作中，我们介绍了一种方法论从T1GD和Flair MRI医学扫描中介绍了推断脑肿瘤的特异性空间分布。作为\ Textit {Learn-Morph-推断}该方法按照广泛可用的硬件的分钟顺序实现实时性能，并且在不同复杂性的肿瘤模型中，计算时间稳定，例如反应 - 扩散和反应 - 平程 - 扩散模型。我们相信拟议的逆解决方案方法不仅弥合脑肿瘤个性化的临床翻译方式，而且也可以通过其他科学和工程领域来采用。

本文介绍了我们参与FETA挑战2021的方法（团队名称：特拉比特）。认为医学图像分割的卷积神经网络的性能被认为与训练数据的数量正相关。 FETA挑战不会限制参与者仅使用提供的培训数据，还可以使用其他公共可用的来源。然而，开放式胎儿脑数据仍然有限。因此，有利的策略可以扩展训练数据以覆盖更广泛的围产期脑成像来源。除了敌人挑战数据之外，围产期脑部MRIS，目前可公开可用，跨越正常和病理胎儿地图空间以及新生儿扫描。然而，在不同数据集中分段的围产期脑MRIS通常具有不同的注释协议。这使得将这些数据集结合起来训练深度神经网络的挑战。我们最近提出了一系列损失职能，标签集丢失功能，用于部分监督学习。标签集丢失功能允许使用部分分段图像培训深度神经网络，即某些类可以将某些类分为超级类别。我们建议使用标签集丢失功能来通过合并几个公共数据集来改善多级胎儿脑细分的最先进的深度学习管道的分割性能。为了促进可延流性，我们的方法不会引入任何额外的超参数调整。