一种可以推广到看不见的对比和扫描仪设置的器官分割方法可以显着减少对深度学习模型的重新培训的需求。域概括（DG）旨在实现这一目标。但是，大多数用于分割的DG方法都需要训练期间来自多个领域的训练数据。我们提出了一种针对从\ emph {single}域的数据训练的器官分割的新型对抗域的概括方法。我们通过学习对抗结构域合成器（AD）合成新域，并假定合成域覆盖了足够大的合理分布区域，以便可以从合成域中插值看不见的域。我们提出了一个共同的信息正常化程序，以实现合成域中图像之间的语义一致性，可以通过贴片级对比度学习来估计。我们评估了各种器官分割的方法，以进行看不见的模式，扫描协议和扫描仪位点。

无监督的域适应方法最近在各种医学图像分割任务中成功了。报告的作品通常通过对齐域不变特征并最大程度地减少特定于域的差异来解决域移位问题。当特定域之间的差异和不同域之间的差异很小时，该策略效果很好。但是，这些模型对各种成像方式的概括能力仍然是一个重大挑战。本文介绍了UDA-VAE ++，这是一种无监督的域适应框架，用于心脏分割，并具有紧凑的损失函数下限。为了估算这一新的下限，我们使用全局估计器，局部估计器和先前的信息匹配估计器开发了新的结构共同信息估计（SMIE）块，以最大程度地提高重建和分割任务之间的相互信息。具体而言，我们设计了一种新型的顺序重新聚集方案，该方案可以实现从低分辨率潜在空间到高分辨率潜在空间的信息流和方差校正。基准心脏分割数据集的全面实验表明，我们的模型在定性和定量上优于先前的最先进。该代码可在https://github.com/louey233/toward-mutual-information} {https://github.com/louey233/toward-mutual-information中获得

这项工作提出了一个新颖的框架CISFA（对比图像合成和自我监督的特征适应），该框架建立在图像域翻译和无监督的特征适应性上，以进行跨模式生物医学图像分割。与现有作品不同，我们使用单方面的生成模型，并在输入图像的采样贴片和相应的合成图像之间添加加权贴片对比度损失，该图像用作形状约束。此外，我们注意到生成的图像和输入图像共享相似的结构信息，但具有不同的方式。因此，我们在生成的图像和输入图像上强制实施对比损失，以训练分割模型的编码器，以最大程度地减少学到的嵌入空间中成对图像之间的差异。与依靠对抗性学习进行特征适应的现有作品相比，这种方法使编码器能够以更明确的方式学习独立于域的功能。我们对包含腹腔和全心的CT和MRI图像的分割任务进行了广泛评估。实验结果表明，所提出的框架不仅输出了较小的器官形状变形的合成图像，而且还超过了最先进的域适应方法的较大边缘。

对于医学图像分析，在一个或几个领域训练的分割模型由于不同数据采集策略之间的差异而缺乏概括性的能力，无法看不见域。我们认为，分割性能的退化主要归因于过度拟合源域和域移位。为此，我们提出了一种新颖的可推广医学图像分割方法。要具体而言，我们通过将分割模型与自学域特异性图像恢复（DSIR）模块相结合，将方法设计为多任务范式。我们还设计了一个随机的振幅混音（RAM）模块，该模块结合了不同域图像的低级频率信息以合成新图像。为了指导我们的模型对域转移有抵抗力，我们引入了语义一致性损失。我们证明了我们在医学图像中两个可公开的分段基准测试中的方法的性能，这证实了我们的方法可以实现最先进的性能。

在这项工作中，我们提出了基于跨域核分割的基于无监督的域适应性（UDA）方法。核在不同癌症类型的结构和外观上有很大差异，在接受一种癌症类型训练并在另一种癌症上进行测试时，深度学习模型的性能下降。这种结构域的转移变得更加关键，因为准确的分割和核的定量是对患者诊断/预后的重要组织病理学任务，并且在像素水平上对新癌症类型的核注释核需要医疗专家的广泛努力。为了解决这个问题，我们最大程度地提高了标记的源癌类型数据和未标记的目标癌类型数据之间的MI，以转移跨域的核分割知识。我们使用Jensen-Shanon Divergence结合，每对只需要一个负对以进行MI最大化。我们评估了多个建模框架和不同数据集的设置，其中包括20多个癌症型领域的变化并展示了竞争性能。所有最近提出的方法包括用于改善域适应性的多个组件，而我们提出的模块很轻，可以轻松地将其纳入其他方法（实施：https：//github.com/yashsharma/mani）。

深度学习模型通常遭受域移位问题，其中一个源域培训的模型不会概括到其他看不见的域。在这项工作中，我们调查了单源域泛化问题：培训一个深入的网络，在训练数据仅从一个源域中获得的训练数据中的条件，这是在医学成像应用程序中常见的情况下。我们在跨域医学图像分割的背景下解决这个问题。在这种情况下，域移主要由不同的采集过程引起。我们提出了一种简单的因果关系激发数据增强方法，使分段模型暴露于合成域移位的训练示例。具体而言，1）使得深度模型在图像强度和纹理中的差异差异，我们采用了一系列随机加权浅网络。他们使用不同的外观变换来增强训练图像。 2）此外，我们表明图像中物体之间的虚假相关性对域的鲁棒性有害。网络可能被网络作为特定于域的线索进行预测的相关性，并且它们可能会破坏看不见的域。我们通过因果干预删除这些杂散相关性。这是通过分层潜在相关对象的外表来实现的。所提出的方法在三个横域分割任务上验证：跨型号（CT-MRI）腹部图像分割，串序（BSSFP-LGE）心动MRI分割和跨中心前列腺MRI分段。当在看不见的域测试时，所提出的方法与竞争方法相比，与竞争方法相比产生一致的性能。

Segmenting the fine structure of the mouse brain on magnetic resonance (MR) images is critical for delineating morphological regions, analyzing brain function, and understanding their relationships. Compared to a single MRI modality, multimodal MRI data provide complementary tissue features that can be exploited by deep learning models, resulting in better segmentation results. However, multimodal mouse brain MRI data is often lacking, making automatic segmentation of mouse brain fine structure a very challenging task. To address this issue, it is necessary to fuse multimodal MRI data to produce distinguished contrasts in different brain structures. Hence, we propose a novel disentangled and contrastive GAN-based framework, named MouseGAN++, to synthesize multiple MR modalities from single ones in a structure-preserving manner, thus improving the segmentation performance by imputing missing modalities and multi-modality fusion. Our results demonstrate that the translation performance of our method outperforms the state-of-the-art methods. Using the subsequently learned modality-invariant information as well as the modality-translated images, MouseGAN++ can segment fine brain structures with averaged dice coefficients of 90.0% (T2w) and 87.9% (T1w), respectively, achieving around +10% performance improvement compared to the state-of-the-art algorithms. Our results demonstrate that MouseGAN++, as a simultaneous image synthesis and segmentation method, can be used to fuse cross-modality information in an unpaired manner and yield more robust performance in the absence of multimodal data. We release our method as a mouse brain structural segmentation tool for free academic usage at https://github.com/yu02019.

While deep learning methods hitherto have achieved considerable success in medical image segmentation, they are still hampered by two limitations: (i) reliance on large-scale well-labeled datasets, which are difficult to curate due to the expert-driven and time-consuming nature of pixel-level annotations in clinical practices, and (ii) failure to generalize from one domain to another, especially when the target domain is a different modality with severe domain shifts. Recent unsupervised domain adaptation~(UDA) techniques leverage abundant labeled source data together with unlabeled target data to reduce the domain gap, but these methods degrade significantly with limited source annotations. In this study, we address this underexplored UDA problem, investigating a challenging but valuable realistic scenario, where the source domain not only exhibits domain shift~w.r.t. the target domain but also suffers from label scarcity. In this regard, we propose a novel and generic framework called ``Label-Efficient Unsupervised Domain Adaptation"~(LE-UDA). In LE-UDA, we construct self-ensembling consistency for knowledge transfer between both domains, as well as a self-ensembling adversarial learning module to achieve better feature alignment for UDA. To assess the effectiveness of our method, we conduct extensive experiments on two different tasks for cross-modality segmentation between MRI and CT images. Experimental results demonstrate that the proposed LE-UDA can efficiently leverage limited source labels to improve cross-domain segmentation performance, outperforming state-of-the-art UDA approaches in the literature. Code is available at: https://github.com/jacobzhaoziyuan/LE-UDA.

卷积神经网络（CNN）已经实现了医学图像细分的最先进性能，但需要大量的手动注释进行培训。半监督学习（SSL）方法有望减少注释的要求，但是当数据集大小和注释图像的数量较小时，它们的性能仍然受到限制。利用具有类似解剖结构的现有注释数据集来协助培训，这有可能改善模型的性能。然而，由于目标结构的外观不同甚至成像方式，跨解剖结构域的转移进一步挑战。为了解决这个问题，我们提出了跨解剖结构域适应（CS-CADA）的对比度半监督学习，该学习适应一个模型以在目标结构域中细分相似的结构，这仅需要通过利用一组现有现有的现有的目标域中的限制注释源域中相似结构的注释图像。我们使用特定领域的批归归量表（DSBN）来单独地标准化两个解剖域的特征图，并提出跨域对比度学习策略，以鼓励提取域不变特征。它们被整合到一个自我兼容的均值老师（SE-MT）框架中，以利用具有预测一致性约束的未标记的目标域图像。广泛的实验表明，我们的CS-CADA能够解决具有挑战性的跨解剖结构域移位问题，从而在视网膜血管图像和心脏MR图像的帮助下，在X射线图像中准确分割冠状动脉，并借助底底图像，分别仅给定目标域中的少量注释。

域间隙主要由可变的医学图像质量引起的构成，这是训练实验室中的分割模型与应用训练的模型在未见临床数据之间的路径上的主要障碍。为了解决这个问题，已经提出了域泛化方法，但是通常使用静态卷积，并且灵活性较低。在本文中，我们提出了一个基于域和内容自适应卷积（DCAC）的多源域概括模型，以分割不同模式的医学图像。具体而言，我们设计了域自适应卷积（DAC）模块和内容自适应卷积（CAC）模块，并将两者都合并到编码器解码器中。在DAC模块中，动态卷积头是根据输入的预测域代码进行的，以使我们的模型适应看不见的目标域。在CAC模块中，动态卷积头在全局图像特征上进行条件，以使我们的模型适应测试图像。我们针对基线的DCAC模型和针对前列腺分割，COVID-19病变分段和视频杯/视盘分段任务的四种最先进的域概括方法评估了DCAC模型。我们的结果不仅表明所提出的DCAC模型在每个分割任务上都优于所有竞争方法，而且还证明了DAC和CAC模块的有效性。代码可在\ url {https://git.io/dcac}上获得。

医疗图像合成引起了人们的关注，因为它可能会产生缺失的图像数据，改善诊断并受益于许多下游任务。但是，到目前为止，开发的合成模型并不适应显示域移位的看不见的数据分布，从而限制了其在临床常规中的适用性。这项工作着重于探索3D图像到图像合成模型的域适应性（DA）。首先，我们强调了分类，分割和合成模型之间DA的技术差异。其次，我们提出了一种基于近似3D分布的2D变异自动编码器的新型有效适应方法。第三，我们介绍了有关适应数据量和关键超参数量的影响的经验研究。我们的结果表明，所提出的方法可以显着提高3D设置中未见域的合成精度。该代码可在https://github.com/winstonhutiger/2d_vae_uda_for_3d_sythesis上公开获得。

在图像识别中已广泛提出了生成模型，以生成更多图像，其中分布与真实图像相似。它通常会引入一个歧视网络，以区分真实数据与生成的数据。这样的模型利用了一个歧视网络，该网络负责以区分样式从目标数据集中包含的数据传输的数据。但是，这样做的网络着重于强度分布的差异，并可能忽略数据集之间的结构差异。在本文中，我们制定了一个新的图像到图像翻译问题，以确保生成的图像的结构类似于目标数据集中的图像。我们提出了一个简单但功能强大的结构不稳定的对抗（SUA）网络，该网络在执行图像分割时介绍了训练和测试集之间的强度和结构差异。它由空间变换块组成，然后是强度分布渲染模块。提出了空间变换块来减少两个图像之间的结构缝隙，还产生了一个反变形字段，以使最终的分段图像背部扭曲。然后，强度分布渲染模块将变形结构呈现到具有目标强度分布的图像。实验结果表明，所提出的SUA方法具有在多个数据集之间传递强度分布和结构含量的能力。

现代深层神经网络在部署到现实世界应用程序时努力转移知识并跨越不同领域的知识。当前，引入了域的概括（DG），以从多个域中学习通用表示，以提高看不见的域的网络泛化能力。但是，以前的DG方法仅关注数据级的一致性方案，而无需考虑不同一致性方案之间的协同正则化。在本文中，我们通过通过协同整合外在的一致性和内在的一致性来提出一个新型的域概括（HCDG）层次一致性框架。特别是对于外部一致性，我们利用跨多个源域的知识来强制数据级的一致性。为了更好地提高这种一致性，我们将新型的高斯混合策略设计为基于傅立叶的数据增强，称为domainup。对于固有的一致性，我们在双重任务方案下对同一实例执行任务级的一致性。我们在两个医学图像分割任务上评估了提出的HCDG框架，即对眼底图像和前列腺MRI分割的视频杯/圆盘分割。广泛的实验结果表明了我们的HCDG框架的有效性和多功能性。

域的概括通常需要来自多个源域的数据才能进行模型学习。但是，这种强大的假设可能并不总是在实践中成立，尤其是在数据共享高度关注，有时由于隐私问题而高度刺激的医学领域。本文研究了重要但具有挑战性的单个领域概括问题，其中在最坏情况下仅具有一个源域，可以直接概括到不同看不见的目标域。我们提出了一种在医学图像分割中解决此问题的新方法，该方法可以提取并集成了跨域不变的分割的语义形状的先验信息，即使是从单个域数据中也可以很好地捕捉，以促进分布偏移下的分割。此外，进一步设计了具有双偶然性正则化的测试时间适应策略，以促进每个看不见的域下这些形状先验的动态融合，以提高模型的通用性。对两个医学图像分割任务进行的广泛实验证明了我们在各种看不见的领域中的方法的一致改进，以及在最坏情况下，它比最先进的方法相比，它优于最先进的方法。

Objective: Thigh muscle group segmentation is important for assessment of muscle anatomy, metabolic disease and aging. Many efforts have been put into quantifying muscle tissues with magnetic resonance (MR) imaging including manual annotation of individual muscles. However, leveraging publicly available annotations in MR images to achieve muscle group segmentation on single slice computed tomography (CT) thigh images is challenging. Method: We propose an unsupervised domain adaptation pipeline with self-training to transfer labels from 3D MR to single CT slice. First, we transform the image appearance from MR to CT with CycleGAN and feed the synthesized CT images to a segmenter simultaneously. Single CT slices are divided into hard and easy cohorts based on the entropy of pseudo labels inferenced by the segmenter. After refining easy cohort pseudo labels based on anatomical assumption, self-training with easy and hard splits is applied to fine tune the segmenter. Results: On 152 withheld single CT thigh images, the proposed pipeline achieved a mean Dice of 0.888(0.041) across all muscle groups including sartorius, hamstrings, quadriceps femoris and gracilis. muscles Conclusion: To our best knowledge, this is the first pipeline to achieve thigh imaging domain adaptation from MR to CT. The proposed pipeline is effective and robust in extracting muscle groups on 2D single slice CT thigh images.The container is available for public use at https://github.com/MASILab/DA_CT_muscle_seg

Generalization capability to unseen domains is crucial for machine learning models when deploying to real-world conditions. We investigate the challenging problem of domain generalization, i.e., training a model on multi-domain source data such that it can directly generalize to target domains with unknown statistics. We adopt a model-agnostic learning paradigm with gradient-based meta-train and meta-test procedures to expose the optimization to domain shift. Further, we introduce two complementary losses which explicitly regularize the semantic structure of the feature space. Globally, we align a derived soft confusion matrix to preserve general knowledge about inter-class relationships. Locally, we promote domainindependent class-specific cohesion and separation of sample features with a metric-learning component. The effectiveness of our method is demonstrated with new state-of-the-art results on two common object recognition benchmarks. Our method also shows consistent improvement on a medical image segmentation task.

对于医学图像分割，想象一下，如果仅使用源域中的MR图像训练模型，它的性能如何直接在目标域中进行CT图像？这种设置，即概括的跨模块分割，拥有其临床潜力，其比其他相关设置更具挑战性，例如域适应。为实现这一目标，我们本文通过利用在我们更广泛的分割期间利用增强的源相似和源不同的图像来提出新的双标准化模块。具体而言，给定单个源域，旨在模拟未经证明的目标域中可能的外观变化，我们首先利用非线性变换来增加源相似和源不同的图像。然后，为了充分利用这两种类型的增强，我们所提出的基于双重定量的模型采用共享骨干但独立的批量归一化层，用于单独归一化。之后，我们提出了一种基于风格的选择方案来自动选择测试阶段的适当路径。在三个公开可用的数据集上进行了广泛的实验，即Brats，跨型心脏和腹部多器官数据集表明我们的方法优于其他最先进的域概括方法。

对比性自我监督学习方法学会将图像（例如图像）映射到无需标签的情况下将图像映射到非参数表示空间中。尽管非常成功，但当前方法在训练阶段需要大量数据。在目标训练集规模限制的情况下，已知概括是差的。在大型源数据集和目标样本上进行微调进行预处理，容易在几杆方向上过度拟合，在几个弹药方面，只有少量的目标样本可用。在此激励的情况下，我们提出了一种用于自我监督的对比度学习的域适应方法，称为少数最大的学习方法，以解决对目标分布的适应问题，这些问题在几乎没有射击学习下。为了量化表示质量，我们在包括ImageNet，Visda和FastMRI在内的一系列源和目标数据集上评估了很少的最大最大速度，在这些数据集和FastMRI上，很少有最大最大的最大值始终优于其他方法。

形状信息在医学图像中分割器官方面是强大而有价值的先验。但是，当前大多数基于深度学习的分割算法尚未考虑形状信息，这可能导致对纹理的偏见。我们旨在明确地对形状进行建模并使用它来帮助医疗图像分割。先前的方法提出了基于变异的自动编码器（VAE）模型，以了解特定器官的形状分布，并通过将其拟合到学习的形状分布中来自动评估分割预测的质量。我们旨在将VAE纳入当前的分割管道中。具体而言，我们提出了一种基于伪损失和在教师学习范式下的VAE重建损失的新的无监督域适应管道。两种损失都是同时优化的，作为回报，提高了分割任务性能。对三个公共胰腺细分数据集以及两个内部胰腺细分数据集进行了广泛的实验，显示了一致的改进，骰子分数中至少有2.8分的增益，这表明了我们方法在挑战无监督的域适应性方案中对医学图像分割的有效性。我们希望这项工作能够在医学成像中提高形状分析和几何学习。

实现域适应是有价值的，以将学习知识从标记为CT数据集传输到腹部多器官分段的目标未标记的MR DataSet。同时，非常希望避免目标数据集的高注重成本并保护源数据集的隐私。因此，我们提出了一种有效的无核心无监督域适应方法，用于跨型号腹部多器官分段而不访问源数据集。所提出的框架的过程包括两个阶段。在第一阶段，特征映射统计损失用于对准顶部分段网络中的源和目标特征的分布，并使用熵最小化损耗来鼓励高席位细分。从顶部分段网络输出的伪标签用于指导样式补偿网络生成类似源图像。从中间分割网络输出的伪标签用于监督所需模型的学习（底部分段网络）。在第二阶段，循环学习和像素自适应掩模细化用于进一步提高所需模型的性能。通过这种方法，我们在肝脏，肾脏，左肾肾脏和脾脏的分割中实现了令人满意的性能，骰子相似系数分别为0.884,0.891,0.864和0.911。此外，当存在目标注释数据时，所提出的方法可以很容易地扩展到情况。该性能在平均骰子相似度系数的0.888至0.922增加到0.888至0.922，靠近监督学习（0.929），只有一个标记的MR卷。