监督PIX2PIX和无监督的周期一致性是两个模式，主导医学图像到图像转换的领域。但是，两种模式都是理想的。 PIX2PIX模式具有出色的性能。但是它需要配对且良好的像素 - 明智的对齐图像，这可能并不总是可以实现由于获取配对图像的次数之间的呼吸运动或解剖学变化。循环一致性模式与训练数据不那么严格，并且在未配对或未对齐的图像上运行良好。但它的表现可能不是最佳的。为了打破现有模式的困境，我们提出了一种称为中文的新的无监督模式，用于医学图像到图像转换。它基于“损失校正”理论。在登录中，未对准的目标图像被认为是嘈杂的标签，并且发电机接受了额外的登记网络，以适应性地拟合未对准的噪声分布。目标是搜索图像到图像转换和注册任务的常见最佳解决方案。我们将登上regan纳入一些最先进的图像到图像形象翻译方法，并证明了Regan可以很容易地与这些方法结合，以改善他们的性能。如我们模式中简单的Cyclegan，即使使用较少的网络参数，也会超越最新的漂亮。根据我们的结果，Reggan以错位或未配对数据上的对齐数据和周期一致性的PIX2PIX两者都表现优惠。 Reggan对噪音不敏感，这使得它可以更好地选择各种场景，特别是对于医学图像到图像转换任务，其中不可用的井像素对齐数据

完全排列和配对的多模式神经成像数据的存在证明了其在诊断脑疾病中的有效性。但是，收集完整的一组良好的配对数据是不切实际的，因为实际困难可能包括高成本，长期获取，图像腐败和隐私问题。以前，未配对的神经影像数据（称为泥）通常被视为嘈杂的标签。但是，这种基于嘈杂的标签的方法在严重发生扭曲的数据时无法完成。例如，旋转角度不同。在本文中，我们提出了一种新的联邦自制学习（FEDMED），以用于脑形象合成。制定了仿射变换损失（ATL），以利用严重扭曲的图像，而无需违反医院的隐私立法。然后，我们引入了一种新的数据增强程序，以进行自我监督训练，并将其送入三个辅助头，即辅助旋转，辅助翻译和辅助缩放头。所提出的方法证明了在严重错误和未配对的数据设置下，我们合成结果的质量的高级性能，并且比其他基于GAN的算法更好。提出的方法还减少了对可变形注册的需求，同时鼓励利用未对准和未配对的数据。与其他最先进的方法相比，实验结果验证了我们学习范式的出色表现。

Magnetic resonance (MR) and computer tomography (CT) images are two typical types of medical images that provide mutually-complementary information for accurate clinical diagnosis and treatment. However, obtaining both images may be limited due to some considerations such as cost, radiation dose and modality missing. Recently, medical image synthesis has aroused gaining research interest to cope with this limitation. In this paper, we propose a bidirectional learning model, denoted as dual contrast cycleGAN (DC-cycleGAN), to synthesize medical images from unpaired data. Specifically, a dual contrast loss is introduced into the discriminators to indirectly build constraints between real source and synthetic images by taking advantage of samples from the source domain as negative samples and enforce the synthetic images to fall far away from the source domain. In addition, cross-entropy and structural similarity index (SSIM) are integrated into the DC-cycleGAN in order to consider both the luminance and structure of samples when synthesizing images. The experimental results indicate that DC-cycleGAN is able to produce promising results as compared with other cycleGAN-based medical image synthesis methods such as cycleGAN, RegGAN, DualGAN, and NiceGAN. The code will be available at https://github.com/JiayuanWang-JW/DC-cycleGAN.

Deformable image registration, i.e., the task of aligning multiple images into one coordinate system by non-linear transformation, serves as an essential preprocessing step for neuroimaging data. Recent research on deformable image registration is mainly focused on improving the registration accuracy using multi-stage alignment methods, where the source image is repeatedly deformed in stages by a same neural network until it is well-aligned with the target image. Conventional methods for multi-stage registration can often blur the source image as the pixel/voxel values are repeatedly interpolated from the image generated by the previous stage. However, maintaining image quality such as sharpness during image registration is crucial to medical data analysis. In this paper, we study the problem of anti-blur deformable image registration and propose a novel solution, called Anti-Blur Network (ABN), for multi-stage image registration. Specifically, we use a pair of short-term registration and long-term memory networks to learn the nonlinear deformations at each stage, where the short-term registration network learns how to improve the registration accuracy incrementally and the long-term memory network combines all the previous deformations to allow an interpolation to perform on the raw image directly and preserve image sharpness. Extensive experiments on both natural and medical image datasets demonstrated that ABN can accurately register images while preserving their sharpness. Our code and data can be found at https://github.com/anonymous3214/ABN

The existence of completely aligned and paired multi-modal neuroimaging data has proved its effectiveness in diagnosis of brain diseases. However, collecting the full set of well-aligned and paired data is expensive or even impractical, since the practical difficulties may include high cost, long time acquisition, image corruption, and privacy issues. A realistic solution is to explore either an unsupervised learning or a semi-supervised learning to synthesize the absent neuroimaging data. In this paper, we are the first one to comprehensively approach cross-modality neuroimage synthesis task from different perspectives, which include the level of the supervision (especially for weakly-supervised and unsupervised), loss function, evaluation metrics, the range of modality synthesis, datasets (aligned, private and public) and the synthesis-based downstream tasks. To begin with, we highlight several opening challenges for cross-modality neuroimage sysnthesis. Then we summarize the architecture of cross-modality synthesis under various of supervision level. In addition, we provide in-depth analysis of how cross-modality neuroimage synthesis can improve the performance of different downstream tasks. Finally, we re-evaluate the open challenges and point out the future directions for the remaining challenges. All resources are available at https://github.com/M-3LAB/awesome-multimodal-brain-image-systhesis

跨模式图像合成是一个主动研究主题，具有多个医学临床相关的应用。最近，允许对配对但未对准数据进行培训的方法开始出现。但是，没有适用于广泛的现实世界数据集的健壮且良好的方法。在这项工作中，我们通过引入新的变形均衡性鼓励损失函数，对跨模式图像合成问题的问题提出了一个通用解决方案。该方法包括对图像合成网络的联合培训以及单独的注册网络，并允许在输入上进行对抗训练，即使使用未对准数据。这项工作通过允许对更困难的数据集进行跨模式图像合成网络的毫不费力培训来降低新的临床应用程序的标准，并为开发新的基于通用学习的跨模式注册算法开发机会。

Segmenting the fine structure of the mouse brain on magnetic resonance (MR) images is critical for delineating morphological regions, analyzing brain function, and understanding their relationships. Compared to a single MRI modality, multimodal MRI data provide complementary tissue features that can be exploited by deep learning models, resulting in better segmentation results. However, multimodal mouse brain MRI data is often lacking, making automatic segmentation of mouse brain fine structure a very challenging task. To address this issue, it is necessary to fuse multimodal MRI data to produce distinguished contrasts in different brain structures. Hence, we propose a novel disentangled and contrastive GAN-based framework, named MouseGAN++, to synthesize multiple MR modalities from single ones in a structure-preserving manner, thus improving the segmentation performance by imputing missing modalities and multi-modality fusion. Our results demonstrate that the translation performance of our method outperforms the state-of-the-art methods. Using the subsequently learned modality-invariant information as well as the modality-translated images, MouseGAN++ can segment fine brain structures with averaged dice coefficients of 90.0% (T2w) and 87.9% (T1w), respectively, achieving around +10% performance improvement compared to the state-of-the-art algorithms. Our results demonstrate that MouseGAN++, as a simultaneous image synthesis and segmentation method, can be used to fuse cross-modality information in an unpaired manner and yield more robust performance in the absence of multimodal data. We release our method as a mouse brain structural segmentation tool for free academic usage at https://github.com/yu02019.

在图像识别中已广泛提出了生成模型，以生成更多图像，其中分布与真实图像相似。它通常会引入一个歧视网络，以区分真实数据与生成的数据。这样的模型利用了一个歧视网络，该网络负责以区分样式从目标数据集中包含的数据传输的数据。但是，这样做的网络着重于强度分布的差异，并可能忽略数据集之间的结构差异。在本文中，我们制定了一个新的图像到图像翻译问题，以确保生成的图像的结构类似于目标数据集中的图像。我们提出了一个简单但功能强大的结构不稳定的对抗（SUA）网络，该网络在执行图像分割时介绍了训练和测试集之间的强度和结构差异。它由空间变换块组成，然后是强度分布渲染模块。提出了空间变换块来减少两个图像之间的结构缝隙，还产生了一个反变形字段，以使最终的分段图像背部扭曲。然后，强度分布渲染模块将变形结构呈现到具有目标强度分布的图像。实验结果表明，所提出的SUA方法具有在多个数据集之间传递强度分布和结构含量的能力。

可变形图像注册在医学图像分析的各种任务中起着至关重要的作用。从常规能源优化或深层网络中得出的成功的注册算法需要从计算机专家那里进行巨大努力来井设计注册能源，或者仔细调整特定类型的医疗数据类型的网络架构。为了解决上述问题，本文提出了一种自动学习注册算法（Autoreg），该算法（Autoreg）合作优化了建筑及其相应的培训目标，使非计算机专家，例如医疗/临床用户，以方便地查找现有的注册各种情况的算法。具体而言，我们建立了一个三级框架，以自动搜索机制和合作优化来推导注册网络体系结构和目标。我们对多站点卷数据集和各种注册任务进行图像注册实验。广泛的结果表明，我们的自动化可能会自动学习给定量的最佳深度注册网络并实现最先进的性能，也比主流UNET体系结构显着提高了计算效率（从0.558到0.558至0.270秒，对于3D图像对相同的配置）。

生成的对抗网络（GANS）最近引入了执行图像到图像翻译的有效方法。这些模型可以应用于图像到图像到图像转换中的各种域而不改变任何参数。在本文中，我们调查并分析了八个图像到图像生成的对策网络：PIX2PX，Cyclegan，Cogan，Stargan，Munit，Stargan2，Da-Gan，以及自我关注GaN。这些模型中的每一个都呈现了最先进的结果，并引入了构建图像到图像的新技术。除了对模型的调查外，我们还调查了他们接受培训的18个数据集，并在其上进行了评估的9个指标。最后，我们在常见的一组指标和数据集中呈现6种这些模型的受控实验的结果。结果混合并显示，在某些数据集，任务和指标上，某些型号优于其他型号。本文的最后一部分讨论了这些结果并建立了未来研究领域。由于研究人员继续创新新的图像到图像GAN，因此他们非常重要地了解现有方法，数据集和指标。本文提供了全面的概述和讨论，以帮助构建此基础。

无监督的图像传输可用于医疗应用内和模式间转移，其中大量配对训练数据不丰富。为了确保从输入到目标域的结构映射，现有的未配对医疗图像转移的方法通常基于周期矛盾，由于学习了反向映射，导致了其他计算资源和不稳定。本文介绍了一种新颖的单向域映射方法，在整个培训过程中不需要配对数据。通过采用GAN体系结构和基于贴片不变性的新颖发电机损失来确保合理的转移。更确切地说，对发电机的输出进行了评估和比较，并在不同的尺度上进行了比较，这使人们对高频细节以及隐式数据增强进行了越来越多的关注。这个新颖的术语还提供了通过对斑块残差建模输入依赖性量表图来预测不确定性的机会。提出的方法在三个著名的医疗数据库上进行了全面评估。这些数据集的卓越精度与未配对图像转移的四种不同的最新方法相比，这表明了这种方法对不确定性感知的医学图像翻译的巨大潜力。建议的框架的实施在此处发布：https：//github.com/anger-man/unsupervise-image-image-transfer-and-uq。

图像去噪是许多领域下游任务的先决条件。低剂量和光子计数计算断层扫描（CT）去噪可以在最小化辐射剂量下优化诊断性能。监督深层去噪方法是流行的，但需要成对的清洁或嘈杂的样本通常在实践中不可用。受独立噪声假设的限制，电流无监督的去噪方法不能处理与CT图像中的相关噪声。在这里，我们提出了一种基于类似的类似性的无人监督的无监督的深度去噪方法，称为Coxing2Sim，以非局部和非线性方式起作用，不仅抑制独立而且还具有相关的噪音。从理论上讲，噪声2SIM在温和条件下渐近相当于监督学习方法。通过实验，Nosie2SIM从嘈杂的低剂量CT和光子计数CT图像中的内在特征，从视觉上，定量和统计上有效地或甚至优于实际数据集的监督学习方法。 Coke2Sim是一般无监督的去噪方法，在不同的应用中具有很大的潜力。

磁共振图像（MRI）被广泛用于量化前庭切片瘤和耳蜗。最近，深度学习方法显示了用于分割这些结构的最先进的性能。但是，培训细分模型可能需要目标域中的手动标签，这是昂贵且耗时的。为了克服这个问题，域的适应是一种有效的方法，可以利用来自源域的信息来获得准确的分割，而无需在目标域中进行手动标签。在本文中，我们提出了一个无监督的学习框架，以分割VS和耳蜗。我们的框架从对比增强的T1加权（CET1-W）MRI及其标签中利用信息，并为T2加权MRIS产生分割，而目标域中没有任何标签。我们首先应用了一个发电机来实现图像到图像翻译。接下来，我们从不同模型的集合中集合输出以获得最终的分割。为了应对来自不同站点/扫描仪的MRI，我们在培训过程中应用了各种“在线”增强量，以更好地捕获几何变异性以及图像外观和质量的可变性。我们的方法易于构建和产生有希望的分割，在验证集中，VS和耳蜗的平均骰子得分分别为0.7930和0.7432。

在过去的十年中，卷积神经网络（Convnets）主导了医学图像分析领域。然而，发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点，在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者，因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中，我们呈现透射帧，一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形，具有两个散晶变体，确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型：患者间脑MRI注册和幻影到CT注册。定性和定量结果表明，传输和其变体导致基线方法的实质性改进，展示了用于医学图像配准的变压器的有效性。

With the development of convolutional neural networks, hundreds of deep learning based dehazing methods have been proposed. In this paper, we provide a comprehensive survey on supervised, semi-supervised, and unsupervised single image dehazing. We first discuss the physical model, datasets, network modules, loss functions, and evaluation metrics that are commonly used. Then, the main contributions of various dehazing algorithms are categorized and summarized. Further, quantitative and qualitative experiments of various baseline methods are carried out. Finally, the unsolved issues and challenges that can inspire the future research are pointed out. A collection of useful dehazing materials is available at \url{https://github.com/Xiaofeng-life/AwesomeDehazing}.

生成的对抗网络（GAN）是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族，该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下，与传统的生成方法相比，GAN在捕获空间复杂，非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献，包括阿尔茨海默氏病，脑肿瘤，脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释，并进一步讨论了在神经影像学中利用gans的主要挑战，开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策，并有助于更好地理解脑部疾病的结构和功能模式，从而弥合先进的深度学习方法和神经病学研究之间的差距。

神经网络在医疗图像分割任务上的成功通常依赖于大型标记的数据集用于模型培训。但是，由于数据共享和隐私问题，获取和手动标记大型医疗图像集是资源密集的，昂贵的，有时是不切实际的。为了应对这一挑战，我们提出了一个通用的对抗数据增强框架Advchain，旨在提高培训数据对医疗图像分割任务的多样性和有效性。 AdvChain通过动态数据增强来增强数据，从而产生随机链接的光线像和几何转换，以类似于现实而又具有挑战性的成像变化以扩展训练数据。通过在培训期间共同优化数据增强模型和分割网络，可以生成具有挑战性的示例，以增强下游任务的网络可推广性。所提出的对抗数据增强不依赖生成网络，可以用作通用分割网络中的插件模块。它在计算上是有效的，适用于低声监督和半监督学习。我们在两个MR图像分割任务上分析和评估该方法：心脏分割和前列腺分割具有有限的标记数据。结果表明，所提出的方法可以减轻对标记数据的需求，同时提高模型泛化能力，表明其在医学成像应用中的实际价值。

While deep learning methods hitherto have achieved considerable success in medical image segmentation, they are still hampered by two limitations: (i) reliance on large-scale well-labeled datasets, which are difficult to curate due to the expert-driven and time-consuming nature of pixel-level annotations in clinical practices, and (ii) failure to generalize from one domain to another, especially when the target domain is a different modality with severe domain shifts. Recent unsupervised domain adaptation~(UDA) techniques leverage abundant labeled source data together with unlabeled target data to reduce the domain gap, but these methods degrade significantly with limited source annotations. In this study, we address this underexplored UDA problem, investigating a challenging but valuable realistic scenario, where the source domain not only exhibits domain shift~w.r.t. the target domain but also suffers from label scarcity. In this regard, we propose a novel and generic framework called ``Label-Efficient Unsupervised Domain Adaptation"~(LE-UDA). In LE-UDA, we construct self-ensembling consistency for knowledge transfer between both domains, as well as a self-ensembling adversarial learning module to achieve better feature alignment for UDA. To assess the effectiveness of our method, we conduct extensive experiments on two different tasks for cross-modality segmentation between MRI and CT images. Experimental results demonstrate that the proposed LE-UDA can efficiently leverage limited source labels to improve cross-domain segmentation performance, outperforming state-of-the-art UDA approaches in the literature. Code is available at: https://github.com/jacobzhaoziyuan/LE-UDA.

域适应（DA）最近在医学影像社区提出了强烈的兴趣。虽然已经提出了大量DA技术进行了用于图像分割，但大多数这些技术已经在私有数据集或小公共可用数据集上验证。此外，这些数据集主要解决了单级问题。为了解决这些限制，与第24届医学图像计算和计算机辅助干预（Miccai 2021）结合第24届国际会议组织交叉模态域适应（Crossmoda）挑战。 Crossmoda是无监督跨型号DA的第一个大型和多级基准。挑战的目标是分割参与前庭施瓦新瘤（VS）的后续和治疗规划的两个关键脑结构：VS和Cochleas。目前，使用对比度增强的T1（CET1）MRI进行VS患者的诊断和监测。然而，使用诸如高分辨率T2（HRT2）MRI的非对比度序列越来越感兴趣。因此，我们创建了一个无人监督的跨模型分段基准。训练集提供注释CET1（n = 105）和未配对的非注释的HRT2（n = 105）。目的是在测试集中提供的HRT2上自动对HRT2进行单侧VS和双侧耳蜗分割（n = 137）。共有16支球队提交了评估阶段的算法。顶级履行团队达成的表现水平非常高（最佳中位数骰子 - vs：88.4％; Cochleas：85.7％）并接近完全监督（中位数骰子 - vs：92.5％;耳蜗：87.7％）。所有顶级执行方法都使用图像到图像转换方法将源域图像转换为伪目标域图像。然后使用这些生成的图像和为源图像提供的手动注释进行培训分割网络。