主观认知下降（SCD）是阿尔茨海默氏病（AD）的临床前阶段，甚至在轻度认知障碍（MCI）之前就发生。渐进式SCD将转换为MCI，并有可能进一步发展为AD。因此，通过神经成像技术（例如，结构MRI）对进行性SCD的早期鉴定对于AD的早期干预具有巨大的临床价值。但是，现有的基于MRI的机器/深度学习方法通​​常会遇到小样本大小的问题，这对相关的神经影像学分析构成了巨大挑战。我们旨在解决本文的主要问题是如何利用相关领域（例如AD/NC）协助SCD的进展预测。同时，我们担心哪些大脑区域与进行性SCD的识别更加紧密相关。为此，我们提出了一个注意引导自动编码器模型，以进行有效的跨域适应，以促进知识转移从AD到SCD。所提出的模型由四个关键组成部分组成：1）用于学习不同域的共享子空间表示的功能编码模块，2）用于自动定义大脑中定义的兴趣障碍区域的注意模块，3）用于重构的解码模块原始输入，4）用于鉴定脑疾病的分类模块。通过对这四个模块的联合培训，可以学习域不变功能。同时，注意机制可以强调与脑部疾病相关的区域。公开可用的ADNI数据集和私人CLAS数据集的广泛实验证明了该方法的有效性。提出的模型直接可以在CPU上仅5-10秒进行训练和测试，并且适用于具有小数据集的医疗任务。

域适应性（DA）是基于现代机器学习的医学数据分析的重要技术，旨在减少不同医疗数据集之间的分布差异。适当的域适应方法可以通过从多个站点/中心获取的数据来显着增强统计能力。为此，我们开发了用于医疗数据分析（DomainAtm）的域适应工具箱 - 一个开放式软件包，旨在快速促进和轻松自定义用于医疗数据分析的域适应方法。该域名在MATLAB中实现，并具有用户友好的图形接口，它由一系列流行的数据适应算法组成，这些算法已广泛应用于医学图像分析和计算机视觉。借助域名，研究人员能够促进对医学数据分析的不同适应方法的快速特征级别和图像级适应，可视化和性能评估。更重要的是，域名使用户能够通过脚本编写，大大增强其效用和可扩展性来开发和测试自己的适应方法。三个示例实验表明了概述和域的概述特征和用法，并证明了其有效性，简单性和灵活性。该软件，源代码和手册可在线获得。

Late-life depression (LLD) is a highly prevalent mood disorder occurring in older adults and is frequently accompanied by cognitive impairment (CI). Studies have shown that LLD may increase the risk of Alzheimer's disease (AD). However, the heterogeneity of presentation of geriatric depression suggests that multiple biological mechanisms may underlie it. Current biological research on LLD progression incorporates machine learning that combines neuroimaging data with clinical observations. There are few studies on incident cognitive diagnostic outcomes in LLD based on structural MRI (sMRI). In this paper, we describe the development of a hybrid representation learning (HRL) framework for predicting cognitive diagnosis over 5 years based on T1-weighted sMRI data. Specifically, we first extract prediction-oriented MRI features via a deep neural network, and then integrate them with handcrafted MRI features via a Transformer encoder for cognitive diagnosis prediction. Two tasks are investigated in this work, including (1) identifying cognitively normal subjects with LLD and never-depressed older healthy subjects, and (2) identifying LLD subjects who developed CI (or even AD) and those who stayed cognitively normal over five years. To the best of our knowledge, this is among the first attempts to study the complex heterogeneous progression of LLD based on task-oriented and handcrafted MRI features. We validate the proposed HRL on 294 subjects with T1-weighted MRIs from two clinically harmonized studies. Experimental results suggest that the HRL outperforms several classical machine learning and state-of-the-art deep learning methods in LLD identification and prediction tasks.

生成的对抗网络（GAN）是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族，该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下，与传统的生成方法相比，GAN在捕获空间复杂，非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献，包括阿尔茨海默氏病，脑肿瘤，脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释，并进一步讨论了在神经影像学中利用gans的主要挑战，开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策，并有助于更好地理解脑部疾病的结构和功能模式，从而弥合先进的深度学习方法和神经病学研究之间的差距。

虽然在许多域内生成并提供了大量的未标记数据，但对视觉数据的自动理解的需求高于以往任何时候。大多数现有机器学习模型通常依赖于大量标记的训练数据来实现高性能。不幸的是，在现实世界的应用中，不能满足这种要求。标签的数量有限，手动注释数据昂贵且耗时。通常需要将知识从现有标记域传输到新域。但是，模型性能因域之间的差异（域移位或数据集偏差）而劣化。为了克服注释的负担，域适应（DA）旨在在将知识从一个域转移到另一个类似但不同的域中时减轻域移位问题。无监督的DA（UDA）处理标记的源域和未标记的目标域。 UDA的主要目标是减少标记的源数据和未标记的目标数据之间的域差异，并在培训期间在两个域中学习域不变的表示。在本文中，我们首先定义UDA问题。其次，我们从传统方法和基于深度学习的方法中概述了不同类别的UDA的最先进的方法。最后，我们收集常用的基准数据集和UDA最先进方法的报告结果对视觉识别问题。

诊断阿尔茨海默病（AD）的早期阶段（AD）对于及时治疗至关重要以缓慢进一步恶化。可视化广告早期阶段的形态特征是巨大的临床价值。在这项工作中，提出了一种新的多向感知生成的对抗网络（MP-GaN）来可视化表明不同阶段患者的广告严重程度的形态特征。具体地，通过将​​新的多向映射机制引入模型中，所提出的MP-GaN可以有效地捕获突出全局特征。因此，通过利用来自发电机的类别辨别图，所提出的模型可以通过源域和预定义目标域之间的MR图像变换清楚地描绘微妙的病变。此外，通过集成对抗性损失，分类损失，周期一致性损失和\ emph {l} 1惩罚，MP-GaN中的单个发电机可以学习多类的类鉴别映射。对阿尔茨海默病神经影像倡议（ADNI）数据集进行了广泛的实验结果表明，与现有方法相比，MP-GAN实现了卓越的性能。由MP-GaN可视化的病变也与临床医人观察到的一致。

工作记忆（WM）表示在脑海中存储的信息，是人类认知领域的一个基本研究主题。可以监测大脑的电活动的脑电图（EEG）已被广泛用于测量WM的水平。但是，关键的挑战之一是个体差异可能会导致无效的结果，尤其是当既定模型符合陌生主题时。在这项工作中，我们提出了一个具有空间注意力（CS-DASA）的跨主题深层适应模型，以概括跨科目的工作负载分类。首先，我们将EEG时间序列转换为包含空间，光谱和时间信息的多帧EEG图像。首先，CS-DASA中的主题共享模块从源和目标主题中接收多帧的EEG图像数据，并学习了共同的特征表示。然后，在特定于主题的模块中，实现了最大平均差异，以测量重现的内核希尔伯特空间中的域分布差异，这可以为域适应增加有效的罚款损失。此外，采用主题对象的空间注意机制专注于目标图像数据的判别空间特征。在包含13个受试者的公共WM EEG数据集上进行的实验表明，所提出的模型能够达到比现有最新方法更好的性能。

基于深度学习的路面裂缝检测方法通常需要大规模标签，具有详细的裂缝位置信息来学习准确的预测。然而，在实践中，由于路面裂缝的各种视觉模式，裂缝位置很难被手动注释。在本文中，我们提出了一种基于深域适应的裂缝检测网络（DDACDN），其学会利用源域知识来预测目标域中的多类别裂缝位置信息，其中仅是图像级标签可用的。具体地，DDACDN首先通过双分支权重共享骨干网络从源和目标域中提取裂缝特征。并且在实现跨域自适应的努力中，通过从每个域的特征空间聚合三尺度特征来构建中间域，以使来自源域的裂缝特征适应目标域。最后，该网络涉及两个域的知识，并接受识别和本地化路面裂缝的培训。为了便于准确的培训和验证域适应，我们使用两个具有挑战性的路面裂缝数据集CQu-BPDD和RDD2020。此外，我们构建了一个名为CQu-BPMDD的新型大型沥青路面多标签疾病数据集，其中包含38994个高分辨率路面疾病图像，以进一步评估模型的稳健性。广泛的实验表明，DDACDN优于最先进的路面裂纹检测方法，以预测目标结构域的裂缝位置。

睡眠分期在诊断和治疗睡眠障碍中非常重要。最近，已经提出了许多数据驱动的深度学习模型，用于自动睡眠分期。他们主要在一个大型公共标签的睡眠数据集上训练该模型，并在较小的主题上对其进行测试。但是，他们通常认为火车和测试数据是从相同的分布中绘制的，这可能在现实世界中不存在。最近已经开发了无监督的域适应性（UDA）来处理此域移位问题。但是，以前用于睡眠分期的UDA方法具有两个主要局限性。首先，他们依靠一个完全共享的模型来对齐，该模型可能会在功能提取过程中丢失特定于域的信息。其次，它们仅在全球范围内将源和目标分布对齐，而无需考虑目标域中的类信息，从而阻碍了测试时模型的分类性能。在这项工作中，我们提出了一个名为Adast的新型对抗性学习框架，以解决未标记的目标域中的域转移问题。首先，我们开发了一个未共享的注意机制，以保留两个领域中的域特异性特征。其次，我们设计了一种迭代自我训练策略，以通过目标域伪标签提高目标域上的分类性能。我们还建议双重分类器，以提高伪标签的鲁棒性和质量。在六个跨域场景上的实验结果验证了我们提出的框架的功效及其优于最先进的UDA方法。源代码可在https://github.com/emadeldeen24/adast上获得。

域移位，训练与测试数据特征之间的不匹配，导致多源成像方案中的预测性能显着降低。在医学成像中，不同网站的人口，扫描仪和采集协议的异质性提出了一个重要的领域移位挑战，并限制了机器学习模型的广泛临床采用。统一方法旨在学习数据不变的表示这些差异是解决域移位的普遍工具，但它们通常会导致预测精度的劣化。本文对问题进行了不同的视角：我们拥抱这种不和谐的数据并设计一个简单但有效的解决域名框架。根据我们的理论参数，关键的想法是在源数据上构建备用分类器并将此模型调整为新数据。可以为站点内域适应微调分类器。我们还可以在目标数据上处理我们无法访问地面真理标签的情况;我们展示如何使用辅助任务来适应;这些任务雇用协变量，如年龄，性别和种族，这很容易获得，但仍然与主要任务相关联。我们在大规模现实世界3D脑MRI数据集上展示了站点内部域适应和站点间域推广的大量改进，用于分类阿尔茨海默病和精神分裂症。

深度学习已成为解决不同领域中现实世界中问题的首选方法，部分原因是它能够从数据中学习并在广泛的应用程序上实现令人印象深刻的性能。但是，它的成功通常取决于两个假设：（i）精确模型拟合需要大量标记的数据集，并且（ii）培训和测试数据是独立的且分布相同的。因此，不能保证它在看不见的目标域上的性能，尤其是在适应阶段遇到分布数据的数据时。目标域中数据的性能下降是部署深层神经网络的关键问题，这些网络已成功地在源域中的数据训练。通过利用标记的源域数据和未标记的目标域数据来执行目标域中的各种任务，提出了无监督的域适应（UDA）来对抗这一点。 UDA在自然图像处理，视频分析，自然语言处理，时间序列数据分析，医学图像分析等方面取得了令人鼓舞的结果。在本综述中，作为一个快速发展的主题，我们对其方法和应用程序进行了系统的比较。此外，还讨论了UDA与其紧密相关的任务的联系，例如域的概括和分布外检测。此外，突出显示了当前方法和可能有希望的方向的缺陷。

Deep domain adaptation has emerged as a new learning technique to address the lack of massive amounts of labeled data. Compared to conventional methods, which learn shared feature subspaces or reuse important source instances with shallow representations, deep domain adaptation methods leverage deep networks to learn more transferable representations by embedding domain adaptation in the pipeline of deep learning. There have been comprehensive surveys for shallow domain adaptation, but few timely reviews the emerging deep learning based methods. In this paper, we provide a comprehensive survey of deep domain adaptation methods for computer vision applications with four major contributions. First, we present a taxonomy of different deep domain adaptation scenarios according to the properties of data that define how two domains are diverged. Second, we summarize deep domain adaptation approaches into several categories based on training loss, and analyze and compare briefly the state-of-the-art methods under these categories. Third, we overview the computer vision applications that go beyond image classification, such as face recognition, semantic segmentation and object detection. Fourth, some potential deficiencies of current methods and several future directions are highlighted.

无监督的域适应（UDA）显示出近年来工作条件下的轴承故障诊断的显着结果。但是，大多数UDA方法都不考虑数据的几何结构。此外，通常应用全局域适应技术，这忽略了子域之间的关系。本文通过呈现新的深亚域适应图卷积神经网络（DSAGCN）来解决提到的挑战，具有两个关键特性：首先，采用图形卷积神经网络（GCNN）来模拟数据结构。二，对抗域适应和局部最大平均差异（LMMD）方法同时应用，以对准子域的分布并降低相关子域和全局域之间的结构差异。 CWRU和Paderborn轴承数据集用于验证DSAGCN方法的比较模型之间的效率和优越性。实验结果表明，将结构化子域与域适应方法对准，以获得无监督故障诊断的准确数据驱动模型。

最近的智能故障诊断（IFD）的进展大大依赖于深度代表学习和大量标记数据。然而，机器通常以各种工作条件操作，或者目标任务具有不同的分布，其中包含用于训练的收集数据（域移位问题）。此外，目标域中的新收集的测试数据通常是未标记的，导致基于无监督的深度转移学习（基于UDTL为基础的）IFD问题。虽然它已经实现了巨大的发展，但标准和开放的源代码框架以及基于UDTL的IFD的比较研究尚未建立。在本文中，我们根据不同的任务，构建新的分类系统并对基于UDTL的IFD进行全面审查。对一些典型方法和数据集的比较分析显示了基于UDTL的IFD中的一些开放和基本问题，这很少研究，包括特征，骨干，负转移，物理前导等的可转移性，强调UDTL的重要性和再现性 - 基于IFD，整个测试框架将发布给研究界以促进未来的研究。总之，发布的框架和比较研究可以作为扩展界面和基本结果，以便对基于UDTL的IFD进行新的研究。代码框架可用于\ url {https:/github.com/zhaozhibin/udtl}。

脑电图（EEG）解码旨在识别基于非侵入性测量的脑活动的神经处理的感知，语义和认知含量。当应用于在静态，受控的实验室环境中获取的数据时，传统的EEG解码方法取得了适度的成功。然而，开放世界的环境是一个更现实的环境，在影响EEG录音的情况下，可以意外地出现，显着削弱了现有方法的鲁棒性。近年来，由于其在特征提取的卓越容量，深入学习（DL）被出现为潜在的解决方案。它克服了使用浅架构提取的“手工制作”功能或功能的限制，但通常需要大量的昂贵，专业标记的数据 - 并不总是可获得的。结合具有域特定知识的DL可能允许开发即使具有小样本数据，也可以开发用于解码大脑活动的鲁棒方法。虽然已经提出了各种DL方法来解决EEG解码中的一些挑战，但目前缺乏系统的教程概述，特别是对于开放世界应用程序。因此，本文为开放世界EEG解码提供了对DL方法的全面调查，并确定了有前途的研究方向，以激发现实世界应用中的脑电图解码的未来研究。

阿尔茨海默病（AD）是一种不可逆的神经发电疾病的大脑。疾病可能会导致记忆力损失，难以沟通和迷失化。对于阿尔茨海默病的诊断，通常需要一系列尺度来临床评估诊断，这不仅增加了医生的工作量，而且还使诊断结果高度主观。因此，对于阿尔茨海默病，成像手段寻找早期诊断标志物已成为一个首要任务。在本文中，我们提出了一种新颖的3DMGNET架构，该架构是多基体和卷积神经网络的统一框架，以诊断阿尔茨海默病（AD）。该模型使用Open DataSet（ADNI DataSet）培训，然后使用较小的DataSet进行测试。最后，该模型为AD VS NC分类实现了92.133％的精度，并显着降低了模型参数。

FDG-PET揭示了具有轻度认知障碍（MCI）和Alzheimer疾病（AD）的个体的脑代谢改变。通过计算机辅助诊断（CAD）技术源自FDG-PET的一些生物标志物已被证明可以准确诊断正常控制（NC），MCI和AD。然而，使用FDG-PET图像鉴定早期MCI（EMCI）和晚期MCI（LMCI）的研究仍然不足。与基于FMRI和DTI图像的研究相比，FDG-PET图像中区域间表示特征的研究不足。此外，考虑到不同个体的可变性，一些与两个类非常相似的硬样品限制了分类性能。为了解决这些问题，本文提出了一种新的双线性池和度量学习网络（BMNet），其可以通过构造嵌入空间来提取区域间表示特征并区分硬样品。为了验证所提出的方法，我们从ADNI收集998个FDG-PET图像。在常见的预处理步骤之后，根据自动解剖地标（AAL）模板从每个FDG-PET图像中提取90个特征，然后被发送到所提出的网络。对多种两类分类进行了广泛的5倍交叉验证实验。实验表明，在向基线模型中添加双线性池模块和度量损耗后，大多数度量都会得到改善。具体而言，在EMCI和LMCI之间的分类任务中，在添加三维度量损失后，特异性提高了6.38％，并且使用双线性池模块后，负预测值（NPV）在3.45％后提高了3.45％。

The primary goal of this work is to study the effectiveness of an unsupervised domain adaptation approach for various applications such as binary classification and anomaly detection in the context of Alzheimer's disease (AD) detection for the OASIS datasets. We also explore image reconstruction and image synthesis for analyzing and generating 3D structural MRI data to establish performance benchmarks for anomaly detection. We successfully demonstrate that domain adaptation improves the performance of AD detection when implemented in both supervised and unsupervised settings. Additionally, the proposed methodology achieves state-of-the-art performance for binary classification on the OASIS-1 dataset.

Diabetic Retinopathy (DR) is a leading cause of vision loss in the world, and early DR detection is necessary to prevent vision loss and support an appropriate treatment. In this work, we leverage interactive machine learning and introduce a joint learning framework, termed DRG-Net, to effectively learn both disease grading and multi-lesion segmentation. Our DRG-Net consists of two modules: (i) DRG-AI-System to classify DR Grading, localize lesion areas, and provide visual explanations; (ii) DRG-Expert-Interaction to receive feedback from user-expert and improve the DRG-AI-System. To deal with sparse data, we utilize transfer learning mechanisms to extract invariant feature representations by using Wasserstein distance and adversarial learning-based entropy minimization. Besides, we propose a novel attention strategy at both low- and high-level features to automatically select the most significant lesion information and provide explainable properties. In terms of human interaction, we further develop DRG-Net as a tool that enables expert users to correct the system's predictions, which may then be used to update the system as a whole. Moreover, thanks to the attention mechanism and loss functions constraint between lesion features and classification features, our approach can be robust given a certain level of noise in the feedback of users. We have benchmarked DRG-Net on the two largest DR datasets, i.e., IDRID and FGADR, and compared it to various state-of-the-art deep learning networks. In addition to outperforming other SOTA approaches, DRG-Net is effectively updated using user feedback, even in a weakly-supervised manner.

The existence of completely aligned and paired multi-modal neuroimaging data has proved its effectiveness in diagnosis of brain diseases. However, collecting the full set of well-aligned and paired data is expensive or even impractical, since the practical difficulties may include high cost, long time acquisition, image corruption, and privacy issues. A realistic solution is to explore either an unsupervised learning or a semi-supervised learning to synthesize the absent neuroimaging data. In this paper, we are the first one to comprehensively approach cross-modality neuroimage synthesis task from different perspectives, which include the level of the supervision (especially for weakly-supervised and unsupervised), loss function, evaluation metrics, the range of modality synthesis, datasets (aligned, private and public) and the synthesis-based downstream tasks. To begin with, we highlight several opening challenges for cross-modality neuroimage sysnthesis. Then we summarize the architecture of cross-modality synthesis under various of supervision level. In addition, we provide in-depth analysis of how cross-modality neuroimage synthesis can improve the performance of different downstream tasks. Finally, we re-evaluate the open challenges and point out the future directions for the remaining challenges. All resources are available at https://github.com/M-3LAB/awesome-multimodal-brain-image-systhesis