在图像识别中已广泛提出了生成模型，以生成更多图像，其中分布与真实图像相似。它通常会引入一个歧视网络，以区分真实数据与生成的数据。这样的模型利用了一个歧视网络，该网络负责以区分样式从目标数据集中包含的数据传输的数据。但是，这样做的网络着重于强度分布的差异，并可能忽略数据集之间的结构差异。在本文中，我们制定了一个新的图像到图像翻译问题，以确保生成的图像的结构类似于目标数据集中的图像。我们提出了一个简单但功能强大的结构不稳定的对抗（SUA）网络，该网络在执行图像分割时介绍了训练和测试集之间的强度和结构差异。它由空间变换块组成，然后是强度分布渲染模块。提出了空间变换块来减少两个图像之间的结构缝隙，还产生了一个反变形字段，以使最终的分段图像背部扭曲。然后，强度分布渲染模块将变形结构呈现到具有目标强度分布的图像。实验结果表明，所提出的SUA方法具有在多个数据集之间传递强度分布和结构含量的能力。

这项工作提出了一个新颖的框架CISFA（对比图像合成和自我监督的特征适应），该框架建立在图像域翻译和无监督的特征适应性上，以进行跨模式生物医学图像分割。与现有作品不同，我们使用单方面的生成模型，并在输入图像的采样贴片和相应的合成图像之间添加加权贴片对比度损失，该图像用作形状约束。此外，我们注意到生成的图像和输入图像共享相似的结构信息，但具有不同的方式。因此，我们在生成的图像和输入图像上强制实施对比损失，以训练分割模型的编码器，以最大程度地减少学到的嵌入空间中成对图像之间的差异。与依靠对抗性学习进行特征适应的现有作品相比，这种方法使编码器能够以更明确的方式学习独立于域的功能。我们对包含腹腔和全心的CT和MRI图像的分割任务进行了广泛评估。实验结果表明，所提出的框架不仅输出了较小的器官形状变形的合成图像，而且还超过了最先进的域适应方法的较大边缘。

无监督的交叉模式医学图像适应旨在减轻不同成像方式之间的严重域间隙，而无需使用目标域标签。该活动的关键依赖于对齐源和目标域的分布。一种常见的尝试是强制两个域之间的全局对齐，但是，这忽略了致命的局部不平衡域间隙问题，即，一些具有较大域间隙的局部特征很难转移。最近，某些方法进行一致性，重点是地方区域，以提高模型学习的效率。尽管此操作可能会导致上下文中关键信息的缺陷。为了应对这一限制，我们提出了一种新的策略，以减轻医学图像的特征，即全球本地联盟的一致性，以减轻域间隙不平衡。具体而言，功能 - 触发样式转移模块首先合成类似目标的源包含图像，以减少全局域间隙。然后，集成了本地功能掩码，以通过优先考虑具有较大域间隙的判别特征来减少本地特征的“间隙”。全球和局部对齐的这种组合可以精确地将关键区域定位在分割目标中，同时保持整体语义一致性。我们进行了一系列具有两个跨模式适应任务的实验，i，e。心脏子结构和腹部多器官分割。实验结果表明，我们的方法在这两个任务中都达到了最新的性能。

While deep learning methods hitherto have achieved considerable success in medical image segmentation, they are still hampered by two limitations: (i) reliance on large-scale well-labeled datasets, which are difficult to curate due to the expert-driven and time-consuming nature of pixel-level annotations in clinical practices, and (ii) failure to generalize from one domain to another, especially when the target domain is a different modality with severe domain shifts. Recent unsupervised domain adaptation~(UDA) techniques leverage abundant labeled source data together with unlabeled target data to reduce the domain gap, but these methods degrade significantly with limited source annotations. In this study, we address this underexplored UDA problem, investigating a challenging but valuable realistic scenario, where the source domain not only exhibits domain shift~w.r.t. the target domain but also suffers from label scarcity. In this regard, we propose a novel and generic framework called ``Label-Efficient Unsupervised Domain Adaptation"~(LE-UDA). In LE-UDA, we construct self-ensembling consistency for knowledge transfer between both domains, as well as a self-ensembling adversarial learning module to achieve better feature alignment for UDA. To assess the effectiveness of our method, we conduct extensive experiments on two different tasks for cross-modality segmentation between MRI and CT images. Experimental results demonstrate that the proposed LE-UDA can efficiently leverage limited source labels to improve cross-domain segmentation performance, outperforming state-of-the-art UDA approaches in the literature. Code is available at: https://github.com/jacobzhaoziyuan/LE-UDA.

Segmenting the fine structure of the mouse brain on magnetic resonance (MR) images is critical for delineating morphological regions, analyzing brain function, and understanding their relationships. Compared to a single MRI modality, multimodal MRI data provide complementary tissue features that can be exploited by deep learning models, resulting in better segmentation results. However, multimodal mouse brain MRI data is often lacking, making automatic segmentation of mouse brain fine structure a very challenging task. To address this issue, it is necessary to fuse multimodal MRI data to produce distinguished contrasts in different brain structures. Hence, we propose a novel disentangled and contrastive GAN-based framework, named MouseGAN++, to synthesize multiple MR modalities from single ones in a structure-preserving manner, thus improving the segmentation performance by imputing missing modalities and multi-modality fusion. Our results demonstrate that the translation performance of our method outperforms the state-of-the-art methods. Using the subsequently learned modality-invariant information as well as the modality-translated images, MouseGAN++ can segment fine brain structures with averaged dice coefficients of 90.0% (T2w) and 87.9% (T1w), respectively, achieving around +10% performance improvement compared to the state-of-the-art algorithms. Our results demonstrate that MouseGAN++, as a simultaneous image synthesis and segmentation method, can be used to fuse cross-modality information in an unpaired manner and yield more robust performance in the absence of multimodal data. We release our method as a mouse brain structural segmentation tool for free academic usage at https://github.com/yu02019.

实现域适应是有价值的，以将学习知识从标记为CT数据集传输到腹部多器官分段的目标未标记的MR DataSet。同时，非常希望避免目标数据集的高注重成本并保护源数据集的隐私。因此，我们提出了一种有效的无核心无监督域适应方法，用于跨型号腹部多器官分段而不访问源数据集。所提出的框架的过程包括两个阶段。在第一阶段，特征映射统计损失用于对准顶部分段网络中的源和目标特征的分布，并使用熵最小化损耗来鼓励高席位细分。从顶部分段网络输出的伪标签用于指导样式补偿网络生成类似源图像。从中间分割网络输出的伪标签用于监督所需模型的学习（底部分段网络）。在第二阶段，循环学习和像素自适应掩模细化用于进一步提高所需模型的性能。通过这种方法，我们在肝脏，肾脏，左肾肾脏和脾脏的分割中实现了令人满意的性能，骰子相似系数分别为0.884,0.891,0.864和0.911。此外，当存在目标注释数据时，所提出的方法可以很容易地扩展到情况。该性能在平均骰子相似度系数的0.888至0.922增加到0.888至0.922，靠近监督学习（0.929），只有一个标记的MR卷。

域适应是一种解决未经看线环境中缺乏大量标记数据的技术。提出了无监督的域适应，以使模型适用于使用单独标记的源数据和未标记的目标域数据的新模式。虽然已经提出了许多图像空间域适配方法来捕获像素级域移位，但是这种技术可能无法维持分割任务的高电平语义信息。对于生物医学图像的情况，在域之间的图像转换操作期间，诸如血管的细细节可能会丢失。在这项工作中，我们提出了一种模型，它使用周期 - 一致丢失在域之间适应域，同时通过在适应过程中强制执行基于边缘的损耗来维持原始图像的边缘细节。我们通过将其与其他两只眼底血管分割数据集的其他方法进行比较来证明我们的算法的有效性。与SOTA和〜5.2增量相比，我们达到了1.1〜9.2递增的骰子分数。

在偏置数据集上培训的分类模型通常在分发外部的外部样本上表现不佳，因为偏置的表示嵌入到模型中。最近，已经提出了各种脱叠方法来解除偏见的表示，但仅丢弃偏见的特征是具有挑战性的，而不会改变其他相关信息。在本文中，我们提出了一种新的扩展方法，该方法使用不同标记图像的纹理表示明确地生成附加图像来放大训练数据集，并在训练分类器时减轻偏差效果。每个新的生成图像包含来自源图像的类似内容信息，同时从具有不同标签的目标图像传送纹理。我们的模型包括纹理共发生损耗，该损耗确定生成的图像的纹理是否与目标的纹理类似，以及确定所生成和源图像之间的内容细节是否保留的内容细节的空间自相似性丢失。生成和原始训练图像都进一步用于训练能够改善抗偏置表示的鲁棒性的分类器。我们使用具有已知偏差的五个不同的人工设计数据集来展示我们的方法缓解偏差信息的能力。对于所有情况，我们的方法表现优于现有的现有最先进的方法。代码可用：https://github.com/myeongkyunkang/i2i4debias

The existence of completely aligned and paired multi-modal neuroimaging data has proved its effectiveness in diagnosis of brain diseases. However, collecting the full set of well-aligned and paired data is expensive or even impractical, since the practical difficulties may include high cost, long time acquisition, image corruption, and privacy issues. A realistic solution is to explore either an unsupervised learning or a semi-supervised learning to synthesize the absent neuroimaging data. In this paper, we are the first one to comprehensively approach cross-modality neuroimage synthesis task from different perspectives, which include the level of the supervision (especially for weakly-supervised and unsupervised), loss function, evaluation metrics, the range of modality synthesis, datasets (aligned, private and public) and the synthesis-based downstream tasks. To begin with, we highlight several opening challenges for cross-modality neuroimage sysnthesis. Then we summarize the architecture of cross-modality synthesis under various of supervision level. In addition, we provide in-depth analysis of how cross-modality neuroimage synthesis can improve the performance of different downstream tasks. Finally, we re-evaluate the open challenges and point out the future directions for the remaining challenges. All resources are available at https://github.com/M-3LAB/awesome-multimodal-brain-image-systhesis

卷积神经网络（CNN）已经实现了医学图像细分的最先进性能，但需要大量的手动注释进行培训。半监督学习（SSL）方法有望减少注释的要求，但是当数据集大小和注释图像的数量较小时，它们的性能仍然受到限制。利用具有类似解剖结构的现有注释数据集来协助培训，这有可能改善模型的性能。然而，由于目标结构的外观不同甚至成像方式，跨解剖结构域的转移进一步挑战。为了解决这个问题，我们提出了跨解剖结构域适应（CS-CADA）的对比度半监督学习，该学习适应一个模型以在目标结构域中细分相似的结构，这仅需要通过利用一组现有现有的现有的目标域中的限制注释源域中相似结构的注释图像。我们使用特定领域的批归归量表（DSBN）来单独地标准化两个解剖域的特征图，并提出跨域对比度学习策略，以鼓励提取域不变特征。它们被整合到一个自我兼容的均值老师（SE-MT）框架中，以利用具有预测一致性约束的未标记的目标域图像。广泛的实验表明，我们的CS-CADA能够解决具有挑战性的跨解剖结构域移位问题，从而在视网膜血管图像和心脏MR图像的帮助下，在X射线图像中准确分割冠状动脉，并借助底底图像，分别仅给定目标域中的少量注释。

甚至在没有受限，监督的情况下，也提出了甚至在没有受限或有限的情况下学习普遍陈述的方法。使用适度数量的数据可以微调新的目标任务，或者直接在相应任务中实现显着性能的无奈域中使用的良好普遍表示。这种缓解数据和注释要求为计算机愿景和医疗保健的应用提供了诱人的前景。在本辅导纸上，我们激励了对解散的陈述，目前关键理论和详细的实际构建块和学习此类表示的标准的需求。我们讨论医学成像和计算机视觉中的应用，强调了在示例钥匙作品中进行的选择。我们通过呈现剩下的挑战和机会来结束。

具有高分辨率的视网膜光学相干断层扫描术（八八）对于视网膜脉管系统的定量和分析很重要。然而，八颗图像的分辨率与相同采样频率的视野成反比，这不利于临床医生分析较大的血管区域。在本文中，我们提出了一个新型的基于稀疏的域适应超分辨率网络（SASR），以重建现实的6x6 mm2/低分辨率/低分辨率（LR）八八粒图像，以重建高分辨率（HR）表示。更具体地说，我们首先对3x3 mm2/高分辨率（HR）图像进行简单降解，以获得合成的LR图像。然后，采用一种有效的注册方法在6x6 mm2图像中以其相应的3x3 mm2图像区域注册合成LR，以获得裁切的逼真的LR图像。然后，我们提出了一个多级超分辨率模型，用于对合成数据进行全面监督的重建，从而通过生成的对流策略指导现实的LR图像重建现实的LR图像，该策略允许合成和现实的LR图像可以在特征中统一。领域。最后，新型的稀疏边缘感知损失旨在动态优化容器边缘结构。在两个八八集中进行的广泛实验表明，我们的方法的性能优于最先进的超分辨率重建方法。此外，我们还研究了重建结果对视网膜结构分割的性能，这进一步验证了我们方法的有效性。

精确的心脏计算，多种式图像的分析和建模对于心脏病的诊断和治疗是重要的。晚期钆增强磁共振成像（LGE MRI）是一种有希望的技术，可视化和量化心肌梗塞（MI）和心房疤痕。由于LGE MRI的低图像质量和复杂的增强图案，MI和心房疤痕的自动化量可能是具有挑战性的。此外，与带金标准标签的其他序列LGE MRIS相比特别有限，这表示用于开发用于自动分割和LGE MRIS定量的新型算法的另一个障碍。本章旨在总结最先进的基于深度学习的多模态心脏图像分析的先进贡献。首先，我们向基于多序心脏MRI的心肌和病理分割介绍了两个基准工作。其次，提出了两种新的左心房瘢痕分割和从LGE MRI定量的新型框架。第三，我们为跨型心脏图像分割提出了三种无监督的域适应技术。

域适应（DA）最近在医学影像社区提出了强烈的兴趣。虽然已经提出了大量DA技术进行了用于图像分割，但大多数这些技术已经在私有数据集或小公共可用数据集上验证。此外，这些数据集主要解决了单级问题。为了解决这些限制，与第24届医学图像计算和计算机辅助干预（Miccai 2021）结合第24届国际会议组织交叉模态域适应（Crossmoda）挑战。 Crossmoda是无监督跨型号DA的第一个大型和多级基准。挑战的目标是分割参与前庭施瓦新瘤（VS）的后续和治疗规划的两个关键脑结构：VS和Cochleas。目前，使用对比度增强的T1（CET1）MRI进行VS患者的诊断和监测。然而，使用诸如高分辨率T2（HRT2）MRI的非对比度序列越来越感兴趣。因此，我们创建了一个无人监督的跨模型分段基准。训练集提供注释CET1（n = 105）和未配对的非注释的HRT2（n = 105）。目的是在测试集中提供的HRT2上自动对HRT2进行单侧VS和双侧耳蜗分割（n = 137）。共有16支球队提交了评估阶段的算法。顶级履行团队达成的表现水平非常高（最佳中位数骰子 - vs：88.4％; Cochleas：85.7％）并接近完全监督（中位数骰子 - vs：92.5％;耳蜗：87.7％）。所有顶级执行方法都使用图像到图像转换方法将源域图像转换为伪目标域图像。然后使用这些生成的图像和为源图像提供的手动注释进行培训分割网络。

最先进的深度学习方法在分割任务中表现出令人印象深刻的性能。然而，这些方法的成功取决于大量手动标记的掩模，这是昂贵且耗时的收集。在这项工作中，提出了一种新的一致性感知的对抗网络（Cpgan），用于半监督卒中病变细分。拟议的CPGAN可以减少对完全标记的样品的依赖。具体地，设计相似性连接模块（SCM）以捕获多尺度特征的信息。所提出的SCM可以通过加权和选择性地聚合每个位置处的特征。此外，将一致的感知策略引入所提出的模型中，以增强脑卒中病变预测对未标记数据的影响。此外，构建助理网络以鼓励鉴别者学习在训练阶段期间经常被遗忘的有意义的特征表示。助理网络和鉴别者用于共同决定分割结果是否是真实的或假的。 CPGAN在中风（ATLAS）后病变的解剖学描记。实验结果表明，所提出的网络实现了卓越的分割性能。在半监督分割任务中，使用只有五分之二的标记样本的建议的CPGAN优于使用完整标记样本的一些方法。

光学相干断层扫描（OCT）是一种非侵入性技术，可在微米分辨率中捕获视网膜的横截面区域。它已被广泛用作辅助成像参考，以检测与眼睛有关的病理学并预测疾病特征的纵向进展。视网膜层分割是至关重要的特征提取技术之一，其中视网膜层厚度的变化和由于液体的存在而引起的视网膜层变形高度相关，与多种流行性眼部疾病（如糖尿病性视网膜病）和年龄相关的黄斑疾病高度相关。变性（AMD）。但是，这些图像是从具有不同强度分布或换句话说的不同设备中获取的，属于不同的成像域。本文提出了一种分割引导的域适应方法，以将来自多个设备的图像调整为单个图像域，其中可用的最先进的预训练模型可用。它避免了即将推出的新数据集的手动标签的时间消耗以及现有网络的重新培训。网络的语义一致性和全球特征一致性将最大程度地减少许多研究人员报告的幻觉效果，这些效应对周期矛盾的生成对抗网络（Cyclegan）体系结构。

Unsupervised domain adaptation (UDA) aims to learn a model trained on source domain and performs well on unlabeled target domain. In medical image segmentation field, most existing UDA methods depend on adversarial learning to address the domain gap between different image modalities, which is ineffective due to its complicated training process. In this paper, we propose a simple yet effective UDA method based on frequency and spatial domain transfer uner multi-teacher distillation framework. In the frequency domain, we first introduce non-subsampled contourlet transform for identifying domain-invariant and domain-variant frequency components (DIFs and DVFs), and then keep the DIFs unchanged while replacing the DVFs of the source domain images with that of the target domain images to narrow the domain gap. In the spatial domain, we propose a batch momentum update-based histogram matching strategy to reduce the domain-variant image style bias. Experiments on two cross-modality medical image segmentation datasets (cardiac, abdominal) show that our proposed method achieves superior performance compared to state-of-the-art methods.

集成多模式数据以改善医学图像分析，最近受到了极大的关注。但是，由于模态差异，如何使用单个模型来处理来自多种模式的数据仍然是一个开放的问题。在本文中，我们提出了一种新的方案，以实现未配对多模式医学图像的更好的像素级分割。与以前采用模式特异性和模态共享模块的以前方法不同，以适应不同方式的外观差异，同时提取共同的语义信息，我们的方法基于具有精心设计的外部注意模块（EAM）的单个变压器来学习在训练阶段，结构化的语义一致性（即语义类表示及其相关性）。在实践中，可以通过分别在模态级别和图像级别实施一致性正则化来逐步实现上述结构化语义一致性。采用了提出的EAM来学习不同尺度表示的语义一致性，并且一旦模型进行了优化，就可以丢弃。因此，在测试阶段，我们只需要为所有模态预测维护一个变压器，这可以很好地平衡模型的易用性和简单性。为了证明所提出的方法的有效性，我们对两个医学图像分割方案进行了实验：（1）心脏结构分割，（2）腹部多器官分割。广泛的结果表明，所提出的方法的表现优于最新方法，甚至通过极有限的训练样本（例如1或3个注释的CT或MRI图像）以一种特定的方式来实现竞争性能。

深度学习已被广​​泛用于医学图像分割，并且录制了录制了该领域深度学习的成功的大量论文。在本文中，我们使用深层学习技术对医学图像分割的全面主题调查。本文进行了两个原创贡献。首先，与传统调查相比，直接将深度学习的文献分成医学图像分割的文学，并为每组详细介绍了文献，我们根据从粗略到精细的多级结构分类目前流行的文献。其次，本文侧重于监督和弱监督的学习方法，而不包括无监督的方法，因为它们在许多旧调查中引入而且他们目前不受欢迎。对于监督学习方法，我们分析了三个方面的文献：骨干网络的选择，网络块的设计，以及损耗功能的改进。对于虚弱的学习方法，我们根据数据增强，转移学习和交互式分割进行调查文献。与现有调查相比，本调查将文献分类为比例不同，更方便读者了解相关理由，并将引导他们基于深度学习方法思考医学图像分割的适当改进。

创伤性脑损伤（TBI）患者的脑网络分析对于其意识水平评估和预后评估至关重要，这需要分割某些意识相关的大脑区域。但是，由于很难收集TBI患者的手动注释的MR扫描，因此很难构建TBI分割模型。数据增强技术可用于缓解数据稀缺问题。但是，常规数据增强策略（例如空间和强度转化）无法模仿创伤性大脑中的变形和病变，这限制了后续分割任务的性能。为了解决这些问题，我们提出了一种名为TBIGA的新型医学图像授课模型，以通过配对的脑标签图合成TBI MR扫描。我们的TBIGAN方法的主要优势在于，它可以同时生成TBI图像和相应的标签映射，这在以前的医学图像的先前涂上方法中尚未实现。我们首先按照粗到细节的方式在边缘信息的指导下生成成分的图像，然后将合成强度图像用作标签上填充的先验。此外，我们引入了基于注册的模板增强管道，以增加合成图像对的多样性并增强数据增强能力。实验结果表明，提出的TBIGAN方法可以产生具有高质量和有效标签图的足够合成的TBI图像，这可以大大改善与替代方案相比的2D和3D创伤性脑部分割性能。