Quantifying the perceptual similarity of two images is a long-standing problem in low-level computer vision. The natural image domain commonly relies on supervised learning, e.g., a pre-trained VGG, to obtain a latent representation. However, due to domain shift, pre-trained models from the natural image domain might not apply to other image domains, such as medical imaging. Notably, in medical imaging, evaluating the perceptual similarity is exclusively performed by specialists trained extensively in diverse medical fields. Thus, medical imaging remains devoid of task-specific, objective perceptual measures. This work answers the question: Is it necessary to rely on supervised learning to obtain an effective representation that could measure perceptual similarity, or is self-supervision sufficient? To understand whether recent contrastive self-supervised representation (CSR) may come to the rescue, we start with natural images and systematically evaluate CSR as a metric across numerous contemporary architectures and tasks and compare them with existing methods. We find that in the natural image domain, CSR behaves on par with the supervised one on several perceptual tests as a metric, and in the medical domain, CSR better quantifies perceptual similarity concerning the experts' ratings. We also demonstrate that CSR can significantly improve image quality in two image synthesis tasks. Finally, our extensive results suggest that perceptuality is an emergent property of CSR, which can be adapted to many image domains without requiring annotations.

Image segmentation is a largely researched field where neural networks find vast applications in many facets of technology. Some of the most popular approaches to train segmentation networks employ loss functions optimizing pixel-overlap, an objective that is insufficient for many segmentation tasks. In recent years, their limitations fueled a growing interest in topology-aware methods, which aim to recover the correct topology of the segmented structures. However, so far, none of the existing approaches achieve a spatially correct matching between the topological features of ground truth and prediction. In this work, we propose the first topologically and feature-wise accurate metric and loss function for supervised image segmentation, which we term Betti matching. We show how induced matchings guarantee the spatially correct matching between barcodes in a segmentation setting. Furthermore, we propose an efficient algorithm to compute the Betti matching of images. We show that the Betti matching error is an interpretable metric to evaluate the topological correctness of segmentations, which is more sensitive than the well-established Betti number error. Moreover, the differentiability of the Betti matching loss enables its use as a loss function. It improves the topological performance of segmentation networks across six diverse datasets while preserving the volumetric performance. Our code is available in https://github.com/nstucki/Betti-matching.

Recent studies suggest that early stages of diabetic retinopathy (DR) can be diagnosed by monitoring vascular changes in the deep vascular complex. In this work, we investigate a novel method for automated DR grading based on optical coherence tomography angiography (OCTA) images. Our work combines OCTA scans with their vessel segmentations, which then serve as inputs to task specific networks for lesion segmentation, image quality assessment and DR grading. For this, we generate synthetic OCTA images to train a segmentation network that can be directly applied on real OCTA data. We test our approach on MICCAI 2022's DR analysis challenge (DRAC). In our experiments, the proposed method performs equally well as the baseline model.

无监督的异常检测已成为一种流行的方法，可以检测医学图像中的病理，因为它不需要监督或标签进行训练。最常见的是，异常检测模型会生成输入映像的“正常”版本，而Pixel $ l^p $ - 两者的差异用于本地化异常。但是，大多数医学图像中存在的复杂解剖结构的不完善重建通常是由于不完善的重建而发生的。该方法还无法检测到没有与周围组织的强度差异很大的异常。我们建议使用特征映射功能解决此问题，该功能将输入强度图像转换为具有多个通道的空间，在该空间中可以沿着从原始图像提取的不同判别特征地图检测到异常。然后，我们使用结构相似性损失在该空间中训练自动编码器模型，该模型不仅考虑强度差异，而且考虑对比度和结构。我们的方法大大提高了大脑MRI的两个医学数据集的性能。代码和实验可从https://github.com/felime/feature-autoencoder获得

光学相干断层扫描血管造影（OCTA）可以非侵入地对眼睛的循环系统进行图像。为了可靠地表征视网膜脉管系统，有必要自动从这些图像中提取定量指标。这种生物标志物的计算需要对血管进行精确的语义分割。但是，基于深度学习的分割方法主要依赖于使用体素级注释的监督培训，这是昂贵的。在这项工作中，我们提出了一条管道，以合成具有本质上匹配的地面真实标签的大量逼真的八颗图像。从而消除了需要手动注释培训数据的需求。我们提出的方法基于两个新的组成部分：1）基于生理的模拟，该模拟对各种视网膜血管丛进行建模和2）基于物理学的图像增强套件，这些图像增强量模拟了八八章图像采集过程，包括典型文物。在广泛的基准测试实验中，我们通过成功训练视网膜血管分割算法来证明合成数据的实用性。在我们方法的竞争性定量和优越的定性性能的鼓励下，我们认为它构成了一种多功能工具，可以推进对八章图像的定量分析。

人类评分是分割质量的抽象表示。为了近似于稀缺专家数据的人类质量评级，我们训练替代质量估计模型。我们根据Brats注释方案评估复杂的多级分割问题，特别是神经胶质瘤分割。培训数据以15位专家神经放射科学家的质量评级为特征，范围从1到6星，用于各种计算机生成和手动3D注释。即使网络在2D图像上运行并使用稀缺的训练数据，我们也可以在与人类内部内可靠性相当的错误范围内近似分段质量。细分质量预测具有广泛的应用。虽然对分割质量的理解对于成功分割质量算法的成功临床翻译至关重要，但它可以在培训新的分割模型中发挥至关重要的作用。由于推断时间分裂，可以直接在损失函数中或在联合学习设置中作为完全自动的数据集策划机制。

在用于医学图像分析的联合学习中，学习方案的安全至关重要。这种设置通常会被针对联邦使用的私人数据或模型本身完整性的对手所损害。这要求医学成像社区开发机制，以训练私人和强大的对抗数据的协作模型。为了应对这些挑战，我们提出了一个实用的开源框架，以研究结合差异隐私，模型压缩和对抗性训练的有效性，以提高模型在火车和推理时间攻击下针对对抗性样本的鲁棒性。使用我们的框架，我们实现了竞争性模型的性能，模型的大小显着降低以及改进的经验对抗性鲁棒性，而无需严重的性能降解，对医学图像分析至关重要。

来自多个磁共振成像（MRI）方式的脑肿瘤分割是医学图像计算中的具有挑战性的任务。主要挑战在于各种扫描仪和成像协议的普遍性。在本文中，我们探讨了在不增加推理时间的情况下增加模型稳健性的策略。为此目的，我们探索使用不同损失，优化仪和培训验证数据拆分培训的型号的强大合奏。重要的是，我们探讨了U-Net架构的瓶颈中的变压器。虽然我们在瓶颈中发现变压器比平均基线U-Net更差，但是广义的Wasserstein骰子损失一致地产生优异的结果。此外，我们采用了高效的测试时间增强策略，以实现更快和强大的推论。我们的最终集合具有测试时间增强的七个3D U-Nets的平均骰子得分为89.4％，平均HAUSDORFF 95％距离10.0 mm在Brats 2021测试数据集时。我们的代码和培训的型号在https://github.com/lucasfidon/trabit_brats2021上公开提供。

我们为联合学习提出了一个简单的新聚合策略，赢得了米奇联邦肿瘤细分挑战2021（FETS），这是对机器学习界联盟学习的首次挑战。我们的方法解决了如何聚合在不同数据集上培训的多个模型的问题。概念上，我们提出了一种在平均不同模型时选择重量的新方法，从而扩展了最新的艺术状态（FADVG）。实证验证表明，与FEDAVG相比，我们的方法达到了分割性能的显着改善。

通过进入肿瘤细胞浓度的空间分布，诊断患有脑肿瘤的患者的目前的治疗计划可显着受益。现有的诊断方式，例如磁共振成像（MRI），对比具有高细胞密度的井区域。然而，它们不会描绘低浓度的区域，这通常可以用作治疗后肿瘤的二次出现的来源。肿瘤生长的数值模拟通过提供肿瘤细胞的全部空间分布估计来补充成像信息。近年来，发表了一种基于医学形象的肿瘤建模的文献语料。它包括描述前向肿瘤生长模型的不同数学形式主义。除了旁边，开发了各种参数推断方案以进行高效的肿瘤模型个性化，即解决逆问题。然而，所有现有方法的统一缺点是模型个性化的时间复杂性，禁止建模潜在集成到临床环境中。在这项工作中，我们介绍了一种方法论从T1GD和Flair MRI医学扫描中介绍了推断脑肿瘤的特异性空间分布。作为\ Textit {Learn-Morph-推断}该方法按照广泛可用的硬件的分钟顺序实现实时性能，并且在不同复杂性的肿瘤模型中，计算时间稳定，例如反应 - 扩散和反应 - 平程 - 扩散模型。我们相信拟议的逆解决方案方法不仅弥合脑肿瘤个性化的临床翻译方式，而且也可以通过其他科学和工程领域来采用。