不同类型的神经影像数据的跨模式融合显示了预测阿尔茨海默氏病（AD）进展的巨大希望。但是，在神经成像中应用的大多数现有方法无法有效地融合来自多模式神经图像的功能和结构信息。在这项工作中，提出了一种新型的跨模式变压器生成对抗网络（CT-GAN），以融合包含在静止状态功能磁共振成像（RS-FMRI）中的功能信息（RS-FMRI），并包含在扩散张量图像（DTI）中包含的结构信息。开发的双重注意机制可以有效地匹配功能信息，并最大程度地提高从RS-FMRI和DTI提取互补信息的能力。通过捕获结构特征和功能特征之间的深层互补信息，提出的CT-GAN可以检测到与AD相关的大脑连接性，可以用作AD的生物标志物。实验结果表明，所提出的模型不仅可以改善分类性能，而且还可以有效地检测与广告相关的大脑连接性。

For decades, a variety of predictive approaches have been proposed and evaluated in terms of their prediction capability for Alzheimer's Disease (AD) and its precursor - mild cognitive impairment (MCI). Most of them focused on prediction or identification of statistical differences among different clinical groups or phases (e.g., longitudinal studies). The continuous nature of AD development and transition states between successive AD related stages have been overlooked, especially in binary or multi-class classification. Though a few progression models of AD have been studied recently, they were mainly designed to determine and compare the order of specific biomarkers. How to effectively predict the individual patient's status within a wide spectrum of continuous AD progression has been largely overlooked. In this work, we developed a novel learning-based embedding framework to encode the intrinsic relations among AD related clinical stages by a set of meaningful embedding vectors in the latent space (Disease2Vec). We named this process as disease embedding. By disease em-bedding, the framework generates a disease embedding tree (DETree) which effectively represents different clinical stages as a tree trajectory reflecting AD progression and thus can be used to predict clinical status by projecting individuals onto this continuous trajectory. Through this model, DETree can not only perform efficient and accurate prediction for patients at any stages of AD development (across five clinical groups instead of typical two groups), but also provide richer status information by examining the projecting locations within a wide and continuous AD progression process.

功能磁共振成像（fMRI）的功能连通性网络（FCN）数据越来越多地用于诊断脑疾病。然而，最新的研究用来使用单个脑部分析地图集以一定的空间尺度构建FCN，该空间尺度很大程度上忽略了层次范围内不同空间尺度的功能相互作用。在这项研究中，我们提出了一个新型框架，以对脑部疾病诊断进行多尺度FCN分析。我们首先使用一组定义明确的多尺地图像来计算多尺度FCN。然后，我们利用多尺度地图集中各个区域之间具有生物学意义的大脑分层关系，以跨多个空间尺度进行淋巴结池，即“ Atlas指导的池”。因此，我们提出了一个基于多尺度的层次图形卷积网络（MAHGCN），该网络（MAHGCN）建立在图形卷积和ATLAS引导的池上，以全面地从多尺度FCN中详细提取诊断信息。关于1792名受试者的神经影像数据的实验证明了我们提出的方法在诊断阿尔茨海默氏病（AD），AD的前驱阶段（即轻度认知障碍[MCI]）以及自闭症谱系障碍（ASD），，AD的前瞻性阶段（即，轻度认知障碍[MCI]），，精度分别为88.9％，78.6％和72.7％。所有结果都显示出我们提出的方法比其他竞争方法具有显着优势。这项研究不仅证明了使用深度学习增强的静止状态fMRI诊断的可行性，而且还强调，值得探索多尺度脑层次结构中的功能相互作用，并将其整合到深度学习网络体系结构中，以更好地理解有关的神经病理学。脑疾病。

生成的对抗网络（GAN）是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族，该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下，与传统的生成方法相比，GAN在捕获空间复杂，非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献，包括阿尔茨海默氏病，脑肿瘤，脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释，并进一步讨论了在神经影像学中利用gans的主要挑战，开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策，并有助于更好地理解脑部疾病的结构和功能模式，从而弥合先进的深度学习方法和神经病学研究之间的差距。

无创医学神经影像学已经对大脑连通性产生了许多发现。开发了几种实质技术绘制形态，结构和功能性脑连接性，以创建人脑中神经元活动的全面路线图。依靠其非欧国人数据类型，图形神经网络（GNN）提供了一种学习深图结构的巧妙方法，并且它正在迅速成为最先进的方法，从而导致各种网络神经科学任务的性能增强。在这里，我们回顾了当前基于GNN的方法，突出了它们在与脑图有关的几种应用中使用的方式，例如缺失的脑图合成和疾病分类。最后，我们通过绘制了通往网络神经科学领域中更好地应用GNN模型在神经系统障碍诊断和人群图整合中的路径。我们工作中引用的论文列表可在https://github.com/basiralab/gnns-inns-intwork-neuroscience上找到。

在神经影像分析中，功能磁共振成像（fMRI）可以很好地评估没有明显结构病变的脑疾病的大脑功能变化。到目前为止，大多数基于研究的FMRI研究将功能连接性作为疾病分类的基本特征。但是，功能连接通常是根据感兴趣的预定义区域的时间序列计算的，并忽略了每个体素中包含的详细信息，这可能会导致诊断模型的性能恶化。另一个方法论上的缺点是训练深模型的样本量有限。在这项研究中，我们提出了Brainformer，这是一种用于单个FMRI体积的脑疾病分类的一般混合变压器架构，以充分利用素食细节，并具有足够的数据尺寸和尺寸。脑形形式是通过对每个体素内的局部提示进行建模的3D卷积，并捕获两个全球注意力障碍的遥远地区之间的全球关系。局部和全局线索通过单流模型在脑形中汇总。为了处理多站点数据，我们提出了一个归一化层，以将数据标准化为相同的分布。最后，利用一种基于梯度的定位图可视化方法来定位可能的疾病相关生物标志物。我们在五个独立获取的数据集上评估了脑形形成器，包括Abide，ADNI，MPILMBB，ADHD-200和ECHO，以及自闭症疾病，阿尔茨海默氏病，抑郁症，注意力缺陷多动障碍和头痛疾病。结果证明了脑形对多种脑疾病的诊断的有效性和普遍性。脑形物可以在临床实践中促进基于神经成像的精确诊断，并激励FMRI分析中的未来研究。代码可在以下网址获得：https：//github.com/ziyaozhangforpcl/brainformer。

已经有几项尝试使用基于脑FMRI信号进行深入学习来对认知障碍疾病进行分类。但是，深度学习是一种隐藏的黑匣子模型，使得很难解释分类过程。为了解决这个问题，我们提出了一个新颖的分析框架，该框架解释了深度学习过程所产生的分类。我们首先通过基于其相似的信号模式嵌入功能来得出关注区域（ROI）功能连接网络（FCN）。然后，使用配备自我注意力的深度学习模型，我们根据其FCN对疾病进行分类。最后，为了解释分类结果，我们采用潜在的空间响应相互作用网络模型来识别与其他疾病相比表现出不同连接模式的重要功能。该提出的框架在四种类型的认知障碍中的应用表明，我们的方法对于确定重要的ROI功能有效。

诊断阿尔茨海默病（AD）的早期阶段（AD）对于及时治疗至关重要以缓慢进一步恶化。可视化广告早期阶段的形态特征是巨大的临床价值。在这项工作中，提出了一种新的多向感知生成的对抗网络（MP-GaN）来可视化表明不同阶段患者的广告严重程度的形态特征。具体地，通过将​​新的多向映射机制引入模型中，所提出的MP-GaN可以有效地捕获突出全局特征。因此，通过利用来自发电机的类别辨别图，所提出的模型可以通过源域和预定义目标域之间的MR图像变换清楚地描绘微妙的病变。此外，通过集成对抗性损失，分类损失，周期一致性损失和\ emph {l} 1惩罚，MP-GaN中的单个发电机可以学习多类的类鉴别映射。对阿尔茨海默病神经影像倡议（ADNI）数据集进行了广泛的实验结果表明，与现有方法相比，MP-GAN实现了卓越的性能。由MP-GaN可视化的病变也与临床医人观察到的一致。

主观认知下降（SCD）是阿尔茨海默氏病（AD）的临床前阶段，甚至在轻度认知障碍（MCI）之前就发生。渐进式SCD将转换为MCI，并有可能进一步发展为AD。因此，通过神经成像技术（例如，结构MRI）对进行性SCD的早期鉴定对于AD的早期干预具有巨大的临床价值。但是，现有的基于MRI的机器/深度学习方法通​​常会遇到小样本大小的问题，这对相关的神经影像学分析构成了巨大挑战。我们旨在解决本文的主要问题是如何利用相关领域（例如AD/NC）协助SCD的进展预测。同时，我们担心哪些大脑区域与进行性SCD的识别更加紧密相关。为此，我们提出了一个注意引导自动编码器模型，以进行有效的跨域适应，以促进知识转移从AD到SCD。所提出的模型由四个关键组成部分组成：1）用于学习不同域的共享子空间表示的功能编码模块，2）用于自动定义大脑中定义的兴趣障碍区域的注意模块，3）用于重构的解码模块原始输入，4）用于鉴定脑疾病的分类模块。通过对这四个模块的联合培训，可以学习域不变功能。同时，注意机制可以强调与脑部疾病相关的区域。公开可用的ADNI数据集和私人CLAS数据集的广泛实验证明了该方法的有效性。提出的模型直接可以在CPU上仅5-10秒进行训练和测试，并且适用于具有小数据集的医疗任务。

纵向和多模式数据中固有的纵向变化和互补信息在阿尔茨海默氏病（AD）预测中起重要作用，尤其是在确定即将患有AD的轻度认知障碍受试者方面。但是，纵向和多模式数据可能缺少数据，这阻碍了这些数据的有效应用。此外，以前的纵向研究需要现有的纵向数据才能实现预测，但是预计在临床实践中，将在患者的基线访问（BL）上进行AD预测。因此，我们提出了一个多视图插补和交叉注意网络（MCNET），以在统一的框架中整合数据归档和AD预测，并实现准确的AD预测。首先，提出了一种多视图插补方法与对抗性学习相结合，该方法可以处理各种缺失的数据情况并减少插补错误。其次，引入了两个跨注意区块，以利用纵向和多模式数据中的潜在关联。最后，为数据插补，纵向分类和AD预测任务而建立了多任务学习模型。当对模型进行适当训练时，可以通过BL数据利用从纵向数据中学到的疾病进展信息以改善AD预测。在BL处的两个独立的测试集和单模数据对所提出的方法进行了测试，以验证其对AD预测的有效性和灵活性。结果表明，MCNET的表现优于几种最新方法。此外，提出了MCNET的解释性。因此，我们的MCNET是一种在纵向和多模式数据分析的AD预测中具有巨大应用潜力的工具。代码可在https://github.com/meiyan88/mcnet上找到。

Graph neural networks (GNNs) have been successfully applied to early mild cognitive impairment (EMCI) detection, with the usage of elaborately designed features constructed from blood oxygen level-dependent (BOLD) time series. However, few works explored the feasibility of using BOLD signals directly as features. Meanwhile, existing GNN-based methods primarily rely on hand-crafted explicit brain topology as the adjacency matrix, which is not optimal and ignores the implicit topological organization of the brain. In this paper, we propose a spatial temporal graph convolutional network with a novel graph structure self-learning mechanism for EMCI detection. The proposed spatial temporal graph convolution block directly exploits BOLD time series as input features, which provides an interesting view for rsfMRI-based preclinical AD diagnosis. Moreover, our model can adaptively learn the optimal topological structure and refine edge weights with the graph structure self-learning mechanism. Results on the Alzheimer's Disease Neuroimaging Initiative (ADNI) database show that our method outperforms state-of-the-art approaches. Biomarkers consistent with previous studies can be extracted from the model, proving the reliable interpretability of our method.

在这里，我们提出了一种用于多模式神经影像融合学习（HGM）的异质图形神经网络。传统的基于GNN的模型通常假设大脑网络是具有单一类型节点和边缘的均匀图形。然而，巨大的文献已经显示出人脑的异质性，特别是在两个半球之间。均匀脑网络不足以模拟复杂的脑状态。因此，在这项工作中，我们首先用多型节点（即左右半球节点）和多型边缘（即半球形边缘）来模拟大脑网络作为异质图。此外，我们还提出了一种基于Hetergoneou Brain网络的自我监督的预训练策略，以解决由于复杂的模型和小样本大小而过度的问题。我们在两个数据集合的结果显示出拟议模型的优越性，以疾病预测任务的其他多模型方法。此外，消融实验表明，我们具有预训练策略的模型可以减轻训练样本大小有限的问题。

阿尔茨海默病（AD）是一种不可逆的神经发电疾病的大脑。疾病可能会导致记忆力损失，难以沟通和迷失化。对于阿尔茨海默病的诊断，通常需要一系列尺度来临床评估诊断，这不仅增加了医生的工作量，而且还使诊断结果高度主观。因此，对于阿尔茨海默病，成像手段寻找早期诊断标志物已成为一个首要任务。在本文中，我们提出了一种新颖的3DMGNET架构，该架构是多基体和卷积神经网络的统一框架，以诊断阿尔茨海默病（AD）。该模型使用Open DataSet（ADNI DataSet）培训，然后使用较小的DataSet进行测试。最后，该模型为AD VS NC分类实现了92.133％的精度，并显着降低了模型参数。

阿尔茨海默氏病（AD）是最常见的神经退行性疾病，具有最复杂的病原体之一，使有效且临床上可行的决策变得困难。这项研究的目的是开发一个新型的多模式深度学习框架，以帮助医疗专业人员进行AD诊断。我们提出了一个多模式的阿尔茨海默氏病诊断框架（MADDI），以准确检测成像，遗传和临床数据中的AD和轻度认知障碍（MCI）。 Maddi是新颖的，因为我们使用跨模式的注意力，它捕获了模态之间的相互作用 - 这种域中未探讨的方法。我们执行多级分类，这是一项艰巨的任务，考虑到MCI和AD之间的相似之处。我们与以前的最先进模型进行比较，评估注意力的重要性，并检查每种模式对模型性能的贡献。 Maddi在持有的测试集中对MCI，AD和控件进行了96.88％的精度分类。在检查不同注意力方案的贡献时，我们发现跨模式关注与自我注意力的组合表现出了最佳状态，并且模型中没有注意力层表现最差，而F1分数差异为7.9％。我们的实验强调了结构化临床数据的重要性，以帮助机器学习模型将其背景化和解释其余模式化。广泛的消融研究表明，未访问结构化临床信息的任何多模式混合物都遭受了明显的性能损失。这项研究证明了通过跨模式的注意组合多种输入方式的优点，以提供高度准确的AD诊断决策支持。

Brain network provides important insights for the diagnosis of many brain disorders, and how to effectively model the brain structure has become one of the core issues in the domain of brain imaging analysis. Recently, various computational methods have been proposed to estimate the causal relationship (i.e., effective connectivity) between brain regions. Compared with traditional correlation-based methods, effective connectivity can provide the direction of information flow, which may provide additional information for the diagnosis of brain diseases. However, existing methods either ignore the fact that there is a temporal-lag in the information transmission across brain regions, or simply set the temporal-lag value between all brain regions to a fixed value. To overcome these issues, we design an effective temporal-lag neural network (termed ETLN) to simultaneously infer the causal relationships and the temporal-lag values between brain regions, which can be trained in an end-to-end manner. In addition, we also introduce three mechanisms to better guide the modeling of brain networks. The evaluation results on the Alzheimer's Disease Neuroimaging Initiative (ADNI) database demonstrate the effectiveness of the proposed method.

图理论分析已成为建模大脑功能和解剖连接性的标准工具。随着连接组学的出现，主要的图形或感兴趣的网络是结构连接组（源自DTI拖拉术）和功能连接组（源自静止状态fMRI）。但是，大多数已发表的连接组研究都集中在结构或功能连接上，但是在同一数据集中可用的情况下，它们之间的互补信息可以共同利用以提高我们对大脑的理解。为此，我们提出了一个功能约束的结构图变量自动编码器（FCS-GVAE），能够以无监督的方式合并功能和结构连接的信息。这导致了一个关节的低维嵌入，该嵌入建立了一个统一的空间坐标系，用于在不同受试者之间进行比较。我们使用公开可用的OASIS-3阿尔茨海默氏病（AD）数据集评估我们的方法，并表明为最佳编码功能性脑动力学而言，有必要的配方是必要的。此外，所提出的联合嵌入方法比不使用互补连接信息的方法更准确地区分不同的患者子选集。

Common measures of brain functional connectivity (FC) including covariance and correlation matrices are semi-positive definite (SPD) matrices residing on a cone-shape Riemannian manifold. Despite its remarkable success for Euclidean-valued data generation, use of standard generative adversarial networks (GANs) to generate manifold-valued FC data neglects its inherent SPD structure and hence the inter-relatedness of edges in real FC. We propose a novel graph-regularized manifold-aware conditional Wasserstein GAN (GR-SPD-GAN) for FC data generation on the SPD manifold that can preserve the global FC structure. Specifically, we optimize a generalized Wasserstein distance between the real and generated SPD data under an adversarial training, conditioned on the class labels. The resulting generator can synthesize new SPD-valued FC matrices associated with different classes of brain networks, e.g., brain disorder or healthy control. Furthermore, we introduce additional population graph-based regularization terms on both the SPD manifold and its tangent space to encourage the generator to respect the inter-subject similarity of FC patterns in the real data. This also helps in avoiding mode collapse and produces more stable GAN training. Evaluated on resting-state functional magnetic resonance imaging (fMRI) data of major depressive disorder (MDD), qualitative and quantitative results show that the proposed GR-SPD-GAN clearly outperforms several state-of-the-art GANs in generating more realistic fMRI-based FC samples. When applied to FC data augmentation for MDD identification, classification models trained on augmented data generated by our approach achieved the largest margin of improvement in classification accuracy among the competing GANs over baselines without data augmentation.

Mapping the connectome of the human brain using structural or functional connectivity has become one of the most pervasive paradigms for neuroimaging analysis. Recently, Graph Neural Networks (GNNs) motivated from geometric deep learning have attracted broad interest due to their established power for modeling complex networked data. Despite their superior performance in many fields, there has not yet been a systematic study of how to design effective GNNs for brain network analysis. To bridge this gap, we present BrainGB, a benchmark for brain network analysis with GNNs. BrainGB standardizes the process by (1) summarizing brain network construction pipelines for both functional and structural neuroimaging modalities and (2) modularizing the implementation of GNN designs. We conduct extensive experiments on datasets across cohorts and modalities and recommend a set of general recipes for effective GNN designs on brain networks. To support open and reproducible research on GNN-based brain network analysis, we host the BrainGB website at https://braingb.us with models, tutorials, examples, as well as an out-of-box Python package. We hope that this work will provide useful empirical evidence and offer insights for future research in this novel and promising direction.

医生经常基于患者的图像扫描，例如磁共振成像（MRI），以及患者的电子健康记录（EHR），如年龄，性别，血压等。尽管在计算机视觉或自然语言研究领域的图像或文本分析中提出了大量的自动方法，但已经为医学图像的融合和医疗问题的EHR数据进行了更少的研究。在现有的早期或中间融合方法中，两种方式的特征串联仍然是一个主流。为了更好地利用图像和EHR数据，我们提出了一种多模态注意力模块，该模块使用EHR数据来帮助选择传统CNN的图像特征提取过程期间的重要区域。此外，我们建议将多头Machnib纳入门控多媒体单元（GMU），使其能够在不同子空间中平行熔断图像和EHR特征。在两个模块的帮助下，可以使用两个模态增强现有的CNN架构。预测脑内出血患者的Glasgow结果规模（GOS）和分类Alzheimer病的实验表明，该方法可以自动关注任务相关领域，并通过更好地利用图像和EHR功能来实现更好的结果。

准确诊断自闭症谱系障碍（ASD），随后有效康复对该疾病的管理至关重要。人工智能（AI）技术可以帮助医生应用自动诊断和康复程序。 AI技术包括传统机器学习（ML）方法和深度学习（DL）技术。常规ML方法采用各种特征提取和分类技术，但在DL中，特征提取和分类过程是智能的，一体地完成的。诊断ASD的DL方法已经专注于基于神经影像动物的方法。神经成像技术是无侵入性疾病标志物，可能对ASD诊断有用。结构和功能神经影像技术提供了关于大脑的结构（解剖结构和结构连接）和功能（活性和功能连接）的实质性信息。由于大脑的复杂结构和功能，提出了在不利用像DL这样的强大AI技术的情况下使用神经影像数据进行ASD诊断的最佳程序可能是具有挑战性的。本文研究了借助DL网络进行以区分ASD进行的研究。还评估了用于支持ASD患者的康复工具，用于利用DL网络的支持患者。最后，我们将在ASD的自动检测和康复中提出重要挑战，并提出了一些未来的作品。