磁共振图像（MRI）被广泛用于量化前庭切片瘤和耳蜗。最近，深度学习方法显示了用于分割这些结构的最先进的性能。但是，培训细分模型可能需要目标域中的手动标签，这是昂贵且耗时的。为了克服这个问题，域的适应是一种有效的方法，可以利用来自源域的信息来获得准确的分割，而无需在目标域中进行手动标签。在本文中，我们提出了一个无监督的学习框架，以分割VS和耳蜗。我们的框架从对比增强的T1加权（CET1-W）MRI及其标签中利用信息，并为T2加权MRIS产生分割，而目标域中没有任何标签。我们首先应用了一个发电机来实现图像到图像翻译。接下来，我们从不同模型的集合中集合输出以获得最终的分割。为了应对来自不同站点/扫描仪的MRI，我们在培训过程中应用了各种“在线”增强量，以更好地捕获几何变异性以及图像外观和质量的可变性。我们的方法易于构建和产生有希望的分割，在验证集中，VS和耳蜗的平均骰子得分分别为0.7930和0.7432。

域适应（DA）最近在医学影像社区提出了强烈的兴趣。虽然已经提出了大量DA技术进行了用于图像分割，但大多数这些技术已经在私有数据集或小公共可用数据集上验证。此外，这些数据集主要解决了单级问题。为了解决这些限制，与第24届医学图像计算和计算机辅助干预（Miccai 2021）结合第24届国际会议组织交叉模态域适应（Crossmoda）挑战。 Crossmoda是无监督跨型号DA的第一个大型和多级基准。挑战的目标是分割参与前庭施瓦新瘤（VS）的后续和治疗规划的两个关键脑结构：VS和Cochleas。目前，使用对比度增强的T1（CET1）MRI进行VS患者的诊断和监测。然而，使用诸如高分辨率T2（HRT2）MRI的非对比度序列越来越感兴趣。因此，我们创建了一个无人监督的跨模型分段基准。训练集提供注释CET1（n = 105）和未配对的非注释的HRT2（n = 105）。目的是在测试集中提供的HRT2上自动对HRT2进行单侧VS和双侧耳蜗分割（n = 137）。共有16支球队提交了评估阶段的算法。顶级履行团队达成的表现水平非常高（最佳中位数骰子 - vs：88.4％; Cochleas：85.7％）并接近完全监督（中位数骰子 - vs：92.5％;耳蜗：87.7％）。所有顶级执行方法都使用图像到图像转换方法将源域图像转换为伪目标域图像。然后使用这些生成的图像和为源图像提供的手动注释进行培训分割网络。

自动分割前庭造型瘤（VS）和来自磁共振成像（MRI）的耳蜗可以促进与治疗计划。无监督的分割方法已显示出令人鼓舞的结果，而无需耗时且费力的手动标记过程。在本文中，我们提出了一种在无监督域的适应设置中进行VS和耳蜗分割的方法。具体而言，我们首先开发了跨站点的跨模式未配对的图像翻译策略，以丰富合成数据的多样性。然后，我们设计了一种基于规则的离线增强技术，以进一步最大程度地减少域间隙。最后，我们采用一个自我训练的自我配置分割框架，以获得最终结果。在Crossmoda 2022验证排行榜上，我们的方法已获得竞争性与耳蜗细分性能，平均骰子得分为0.8178 $ \ pm $ 0.0803和0.8433 $ \ pm $ 0.0293。

The crossMoDA challenge aims to automatically segment the vestibular schwannoma (VS) tumor and cochlea regions of unlabeled high-resolution T2 scans by leveraging labeled contrast-enhanced T1 scans. The 2022 edition extends the segmentation task by including multi-institutional scans. In this work, we proposed an unpaired cross-modality segmentation framework using data augmentation and hybrid convolutional networks. Considering heterogeneous distributions and various image sizes for multi-institutional scans, we apply the min-max normalization for scaling the intensities of all scans between -1 and 1, and use the voxel size resampling and center cropping to obtain fixed-size sub-volumes for training. We adopt two data augmentation methods for effectively learning the semantic information and generating realistic target domain scans: generative and online data augmentation. For generative data augmentation, we use CUT and CycleGAN to generate two groups of realistic T2 volumes with different details and appearances for supervised segmentation training. For online data augmentation, we design a random tumor signal reducing method for simulating the heterogeneity of VS tumor signals. Furthermore, we utilize an advanced hybrid convolutional network with multi-dimensional convolutions to adaptively learn sparse inter-slice information and dense intra-slice information for accurate volumetric segmentation of VS tumor and cochlea regions in anisotropic scans. On the crossMoDA2022 validation dataset, our method produces promising results and achieves the mean DSC values of 72.47% and 76.48% and ASSD values of 3.42 mm and 0.53 mm for VS tumor and cochlea regions, respectively.

本研究的目的是申请和评估跨多媒体挑战的开箱即用的深度学习框架。我们使用从对比度增强的T1 MR到高分辨率T2 MR的域改性的剪切模型。作为数据增强，我们生成了带有较低信号强度的前庭施瓦莫纳的额外图像。对于分段任务，我们使用NNU-Net框架。我们的最终提交在验证阶段实现了0.8299的平均骰子分数，测试阶段0.8253。我们的方法在Crossmoda挑战中排名第3。

分割前庭施瓦瘤瘤（VS）肿瘤的自动方法和来自磁共振成像（MRI）的耳蜗对VS治疗计划至关重要。虽然监督方法在VS分割中取得了令人满意的性能，但他们需要专家的完整注释，这是费力且耗时的。在这项工作中，我们的目标是在无监督的域适应设置中解决VS和Cochlea分段问题。我们所提出的方法利用了图像级域对齐，以最大限度地减少域发散和半监督培训，以进一步提高性能。此外，我们建议通过嘈杂的标签校正熔断从多个模型预测的标签。我们对挑战验证排行榜的结果表明，我们无人监督的方法取得了有前途的与科技分割性能，平均骰子得分为0.8261 $ \ PM $ 0.0416;肿瘤的平均骰子值为0.8302 $ \ PM $ 0.0772。这与基于弱监督的方法相当。

深度学习已被广​​泛用于医学图像分割，并且录制了录制了该领域深度学习的成功的大量论文。在本文中，我们使用深层学习技术对医学图像分割的全面主题调查。本文进行了两个原创贡献。首先，与传统调查相比，直接将深度学习的文献分成医学图像分割的文学，并为每组详细介绍了文献，我们根据从粗略到精细的多级结构分类目前流行的文献。其次，本文侧重于监督和弱监督的学习方法，而不包括无监督的方法，因为它们在许多旧调查中引入而且他们目前不受欢迎。对于监督学习方法，我们分析了三个方面的文献：骨干网络的选择，网络块的设计，以及损耗功能的改进。对于虚弱的学习方法，我们根据数据增强，转移学习和交互式分割进行调查文献。与现有调查相比，本调查将文献分类为比例不同，更方便读者了解相关理由，并将引导他们基于深度学习方法思考医学图像分割的适当改进。

多发性硬化症（MS）是中枢神经系统的慢性炎症和退行性疾病，其特征在于，白色和灰质的外观与个体患者的神经症状和标志进行地平整相关。磁共振成像（MRI）提供了详细的体内结构信息，允许定量和分类MS病变，其批判性地通知疾病管理。传统上，MS病变在2D MRI切片上手动注释，一个流程效率低，易于观察室内误差。最近，已经提出了自动统计成像分析技术以基于MRI体素强度检测和分段段病变。然而，它们的有效性受到MRI数据采集技术的异质性和MS病变的外观的限制。通过直接从图像学习复杂的病变表现，深度学习技术已经在MS病变分割任务中取得了显着的突破。在这里，我们提供了全面审查最先进的自动统计和深度学习MS分段方法，并讨论当前和未来的临床应用。此外，我们审查了域适应等技术策略，以增强现实世界临床环境中的MS病变分段。

精确的心脏计算，多种式图像的分析和建模对于心脏病的诊断和治疗是重要的。晚期钆增强磁共振成像（LGE MRI）是一种有希望的技术，可视化和量化心肌梗塞（MI）和心房疤痕。由于LGE MRI的低图像质量和复杂的增强图案，MI和心房疤痕的自动化量可能是具有挑战性的。此外，与带金标准标签的其他序列LGE MRIS相比特别有限，这表示用于开发用于自动分割和LGE MRIS定量的新型算法的另一个障碍。本章旨在总结最先进的基于深度学习的多模态心脏图像分析的先进贡献。首先，我们向基于多序心脏MRI的心肌和病理分割介绍了两个基准工作。其次，提出了两种新的左心房瘢痕分割和从LGE MRI定量的新型框架。第三，我们为跨型心脏图像分割提出了三种无监督的域适应技术。

The existence of completely aligned and paired multi-modal neuroimaging data has proved its effectiveness in diagnosis of brain diseases. However, collecting the full set of well-aligned and paired data is expensive or even impractical, since the practical difficulties may include high cost, long time acquisition, image corruption, and privacy issues. A realistic solution is to explore either an unsupervised learning or a semi-supervised learning to synthesize the absent neuroimaging data. In this paper, we are the first one to comprehensively approach cross-modality neuroimage synthesis task from different perspectives, which include the level of the supervision (especially for weakly-supervised and unsupervised), loss function, evaluation metrics, the range of modality synthesis, datasets (aligned, private and public) and the synthesis-based downstream tasks. To begin with, we highlight several opening challenges for cross-modality neuroimage sysnthesis. Then we summarize the architecture of cross-modality synthesis under various of supervision level. In addition, we provide in-depth analysis of how cross-modality neuroimage synthesis can improve the performance of different downstream tasks. Finally, we re-evaluate the open challenges and point out the future directions for the remaining challenges. All resources are available at https://github.com/M-3LAB/awesome-multimodal-brain-image-systhesis

尽管数据增强和转移学习有所进步，但卷积神经网络（CNNS）难以推广到看不见的域。在分割大脑扫描时，CNN对分辨率和对比度的变化非常敏感：即使在相同的MRI模式内，则性能可能会跨数据集减少。在这里，我们介绍了Synthseg，第一个分段CNN无关紧要对比和分辨率。 Synthseg培训，用从分段上的生成模型采样的合成数据培训。至关重要，我们采用域随机化策略，我们完全随机开启了合成培训数据的对比度和解决。因此，Synthseg可以在没有再培训或微调的情况下对任何目标结构域进行真实扫描，这是首次分析大量的异构临床数据。因为Synthseg仅需要进行培训（无图像），所以它可以从通过不同群体的对象（例如，老化和患病）的自动化方法获得的标签中学习，从而实现广泛的形态变异性的鲁棒性。我们展示了Synthseg在六种方式的5,300扫描和十项决议中，与监督CNN，最先进的域适应和贝叶斯分割相比，它表现出无与伦比的泛化。最后，我们通过将其施加到心脏MRI和CT分割来证明SyntheeG的恒定性。

While deep learning methods hitherto have achieved considerable success in medical image segmentation, they are still hampered by two limitations: (i) reliance on large-scale well-labeled datasets, which are difficult to curate due to the expert-driven and time-consuming nature of pixel-level annotations in clinical practices, and (ii) failure to generalize from one domain to another, especially when the target domain is a different modality with severe domain shifts. Recent unsupervised domain adaptation~(UDA) techniques leverage abundant labeled source data together with unlabeled target data to reduce the domain gap, but these methods degrade significantly with limited source annotations. In this study, we address this underexplored UDA problem, investigating a challenging but valuable realistic scenario, where the source domain not only exhibits domain shift~w.r.t. the target domain but also suffers from label scarcity. In this regard, we propose a novel and generic framework called ``Label-Efficient Unsupervised Domain Adaptation"~(LE-UDA). In LE-UDA, we construct self-ensembling consistency for knowledge transfer between both domains, as well as a self-ensembling adversarial learning module to achieve better feature alignment for UDA. To assess the effectiveness of our method, we conduct extensive experiments on two different tasks for cross-modality segmentation between MRI and CT images. Experimental results demonstrate that the proposed LE-UDA can efficiently leverage limited source labels to improve cross-domain segmentation performance, outperforming state-of-the-art UDA approaches in the literature. Code is available at: https://github.com/jacobzhaoziyuan/LE-UDA.

卷积神经网络（CNN）已经实现了医学图像细分的最先进性能，但需要大量的手动注释进行培训。半监督学习（SSL）方法有望减少注释的要求，但是当数据集大小和注释图像的数量较小时，它们的性能仍然受到限制。利用具有类似解剖结构的现有注释数据集来协助培训，这有可能改善模型的性能。然而，由于目标结构的外观不同甚至成像方式，跨解剖结构域的转移进一步挑战。为了解决这个问题，我们提出了跨解剖结构域适应（CS-CADA）的对比度半监督学习，该学习适应一个模型以在目标结构域中细分相似的结构，这仅需要通过利用一组现有现有的现有的目标域中的限制注释源域中相似结构的注释图像。我们使用特定领域的批归归量表（DSBN）来单独地标准化两个解剖域的特征图，并提出跨域对比度学习策略，以鼓励提取域不变特征。它们被整合到一个自我兼容的均值老师（SE-MT）框架中，以利用具有预测一致性约束的未标记的目标域图像。广泛的实验表明，我们的CS-CADA能够解决具有挑战性的跨解剖结构域移位问题，从而在视网膜血管图像和心脏MR图像的帮助下，在X射线图像中准确分割冠状动脉，并借助底底图像，分别仅给定目标域中的少量注释。

这项工作提出了一个新颖的框架CISFA（对比图像合成和自我监督的特征适应），该框架建立在图像域翻译和无监督的特征适应性上，以进行跨模式生物医学图像分割。与现有作品不同，我们使用单方面的生成模型，并在输入图像的采样贴片和相应的合成图像之间添加加权贴片对比度损失，该图像用作形状约束。此外，我们注意到生成的图像和输入图像共享相似的结构信息，但具有不同的方式。因此，我们在生成的图像和输入图像上强制实施对比损失，以训练分割模型的编码器，以最大程度地减少学到的嵌入空间中成对图像之间的差异。与依靠对抗性学习进行特征适应的现有作品相比，这种方法使编码器能够以更明确的方式学习独立于域的功能。我们对包含腹腔和全心的CT和MRI图像的分割任务进行了广泛评估。实验结果表明，所提出的框架不仅输出了较小的器官形状变形的合成图像，而且还超过了最先进的域适应方法的较大边缘。

对于医学图像分割，想象一下，如果仅使用源域中的MR图像训练模型，它的性能如何直接在目标域中进行CT图像？这种设置，即概括的跨模块分割，拥有其临床潜力，其比其他相关设置更具挑战性，例如域适应。为实现这一目标，我们本文通过利用在我们更广泛的分割期间利用增强的源相似和源不同的图像来提出新的双标准化模块。具体而言，给定单个源域，旨在模拟未经证明的目标域中可能的外观变化，我们首先利用非线性变换来增加源相似和源不同的图像。然后，为了充分利用这两种类型的增强，我们所提出的基于双重定量的模型采用共享骨干但独立的批量归一化层，用于单独归一化。之后，我们提出了一种基于风格的选择方案来自动选择测试阶段的适当路径。在三个公开可用的数据集上进行了广泛的实验，即Brats，跨型心脏和腹部多器官数据集表明我们的方法优于其他最先进的域概括方法。

实现域适应是有价值的，以将学习知识从标记为CT数据集传输到腹部多器官分段的目标未标记的MR DataSet。同时，非常希望避免目标数据集的高注重成本并保护源数据集的隐私。因此，我们提出了一种有效的无核心无监督域适应方法，用于跨型号腹部多器官分段而不访问源数据集。所提出的框架的过程包括两个阶段。在第一阶段，特征映射统计损失用于对准顶部分段网络中的源和目标特征的分布，并使用熵最小化损耗来鼓励高席位细分。从顶部分段网络输出的伪标签用于指导样式补偿网络生成类似源图像。从中间分割网络输出的伪标签用于监督所需模型的学习（底部分段网络）。在第二阶段，循环学习和像素自适应掩模细化用于进一步提高所需模型的性能。通过这种方法，我们在肝脏，肾脏，左肾肾脏和脾脏的分割中实现了令人满意的性能，骰子相似系数分别为0.884,0.891,0.864和0.911。此外，当存在目标注释数据时，所提出的方法可以很容易地扩展到情况。该性能在平均骰子相似度系数的0.888至0.922增加到0.888至0.922，靠近监督学习（0.929），只有一个标记的MR卷。

医疗图像合成引起了人们的关注，因为它可能会产生缺失的图像数据，改善诊断并受益于许多下游任务。但是，到目前为止，开发的合成模型并不适应显示域移位的看不见的数据分布，从而限制了其在临床常规中的适用性。这项工作着重于探索3D图像到图像合成模型的域适应性（DA）。首先，我们强调了分类，分割和合成模型之间DA的技术差异。其次，我们提出了一种基于近似3D分布的2D变异自动编码器的新型有效适应方法。第三，我们介绍了有关适应数据量和关键超参数量的影响的经验研究。我们的结果表明，所提出的方法可以显着提高3D设置中未见域的合成精度。该代码可在https://github.com/winstonhutiger/2d_vae_uda_for_3d_sythesis上公开获得。

Segmenting the fine structure of the mouse brain on magnetic resonance (MR) images is critical for delineating morphological regions, analyzing brain function, and understanding their relationships. Compared to a single MRI modality, multimodal MRI data provide complementary tissue features that can be exploited by deep learning models, resulting in better segmentation results. However, multimodal mouse brain MRI data is often lacking, making automatic segmentation of mouse brain fine structure a very challenging task. To address this issue, it is necessary to fuse multimodal MRI data to produce distinguished contrasts in different brain structures. Hence, we propose a novel disentangled and contrastive GAN-based framework, named MouseGAN++, to synthesize multiple MR modalities from single ones in a structure-preserving manner, thus improving the segmentation performance by imputing missing modalities and multi-modality fusion. Our results demonstrate that the translation performance of our method outperforms the state-of-the-art methods. Using the subsequently learned modality-invariant information as well as the modality-translated images, MouseGAN++ can segment fine brain structures with averaged dice coefficients of 90.0% (T2w) and 87.9% (T1w), respectively, achieving around +10% performance improvement compared to the state-of-the-art algorithms. Our results demonstrate that MouseGAN++, as a simultaneous image synthesis and segmentation method, can be used to fuse cross-modality information in an unpaired manner and yield more robust performance in the absence of multimodal data. We release our method as a mouse brain structural segmentation tool for free academic usage at https://github.com/yu02019.

心肌活力的评估对于患有心肌梗塞的患者的诊断和治疗管理是必不可少的，并且心肌病理学的分类是本评估的关键。这项工作定义了医学图像分析的新任务，即进行心肌病理分割（MYOPS）结合三个序列的心脏磁共振（CMR）图像，该图像首次与Mycai 2020一起在Myops挑战中提出的。挑战提供了45个配对和预对准的CMR图像，允许算法将互补信息与三个CMR序列组合到病理分割。在本文中，我们提供了挑战的详细信息，从十五个参与者的作品调查，并根据五个方面解释他们的方法，即预处理，数据增强，学习策略，模型架构和后处理。此外，我们对不同因素的结果分析了结果，以检查关键障碍和探索解决方案的潜力，以及为未来的研究提供基准。我们得出结论，虽然报告了有前途的结果，但研究仍处于早期阶段，在成功应用于诊所之前需要更深入的探索。请注意，MyOPS数据和评估工具继续通过其主页（www.sdspeople.fudan.edu.cn/zhuangxiahai/0/myops20 /）注册注册。

Glioblastomas是最具侵略性的快速生长的主要脑癌，起源于大脑的胶质细胞。准确鉴定恶性脑肿瘤及其子区域仍然是医学图像分割中最具挑战性问题之一。脑肿瘤分割挑战（Brats）是自动脑胶质细胞瘤分割算法的流行基准，自于其启动。在今年的挑战中，Brats 2021提供了2,000名术前患者的最大多参数（MPMRI）数据集。在本文中，我们提出了两个深度学习框架的新聚合，即在术前MPMRI中的自动胶质母细胞瘤识别的Deepseg和NNU-Net。我们的集合方法获得了92.00,87.33和84.10和Hausdorff距离为3.81,8.91和16.02的骰子相似度分数，用于增强肿瘤，肿瘤核心和全肿瘤区域，单独进行。这些实验结果提供了证据表明它可以在临床上容易地应用，从而助攻脑癌预后，治疗计划和治疗反应监测。