人的大脑位于复杂的神经生物学系统的核心,神经元,电路和子系统以神秘的方式相互作用。长期以来,了解大脑的结构和功能机制一直是神经科学研究和临床障碍疗法的引人入胜的追求。将人脑作为网络的连接映射是神经科学中最普遍的范例之一。图神经网络(GNN)最近已成为建模复杂网络数据的潜在方法。另一方面,深层模型的可解释性低,从而阻止了他们在医疗保健等决策环境中的使用。为了弥合这一差距,我们提出了一个可解释的框架,以分析特定的利益区域(ROI)和突出的联系。提出的框架由两个模块组成:疾病预测的面向脑网络的主链模型和全球共享的解释发生器,该模型突出了包括疾病特异性的生物标志物,包括显着的ROI和重要连接。我们在三个现实世界中的脑疾病数据集上进行实验。结果证明了我们的框架可以获得出色的性能并确定有意义的生物标志物。这项工作的所有代码均可在https://github.com/hennyjie/ibgnn.git上获得。
translated by 谷歌翻译
Mapping the connectome of the human brain using structural or functional connectivity has become one of the most pervasive paradigms for neuroimaging analysis. Recently, Graph Neural Networks (GNNs) motivated from geometric deep learning have attracted broad interest due to their established power for modeling complex networked data. Despite their superior performance in many fields, there has not yet been a systematic study of how to design effective GNNs for brain network analysis. To bridge this gap, we present BrainGB, a benchmark for brain network analysis with GNNs. BrainGB standardizes the process by (1) summarizing brain network construction pipelines for both functional and structural neuroimaging modalities and (2) modularizing the implementation of GNN designs. We conduct extensive experiments on datasets across cohorts and modalities and recommend a set of general recipes for effective GNN designs on brain networks. To support open and reproducible research on GNN-based brain network analysis, we host the BrainGB website at https://braingb.us with models, tutorials, examples, as well as an out-of-box Python package. We hope that this work will provide useful empirical evidence and offer insights for future research in this novel and promising direction.
translated by 谷歌翻译
无创医学神经影像学已经对大脑连通性产生了许多发现。开发了几种实质技术绘制形态,结构和功能性脑连接性,以创建人脑中神经元活动的全面路线图。依靠其非欧国人数据类型,图形神经网络(GNN)提供了一种学习深图结构的巧妙方法,并且它正在迅速成为最先进的方法,从而导致各种网络神经科学任务的性能增强。在这里,我们回顾了当前基于GNN的方法,突出了它们在与脑图有关的几种应用中使用的方式,例如缺失的脑图合成和疾病分类。最后,我们通过绘制了通往网络神经科学领域中更好地应用GNN模型在神经系统障碍诊断和人群图整合中的路径。我们工作中引用的论文列表可在https://github.com/basiralab/gnns-inns-intwork-neuroscience上找到。
translated by 谷歌翻译
大脑网络将大脑区域之间的复杂连接性描述为图形结构,这为研究脑连接素提供了强大的手段。近年来,图形神经网络已成为使用结构化数据的普遍学习范式。但是,由于数据获取的成本相对较高,大多数大脑网络数据集的样本量受到限制,这阻碍了足够的培训中的深度学习模型。受元学习的启发,该论文以有限的培训示例快速学习新概念,研究了在跨数据库中分析脑连接组的数据有效培训策略。具体而言,我们建议在大型样本大小的数据集上进行元训练模型,并将知识转移到小数据集中。此外,我们还探索了两种面向脑网络的设计,包括Atlas转换和自适应任务重新启动。与其他训练前策略相比,我们的基于元学习的方法实现了更高和稳定的性能,这证明了我们提出的解决方案的有效性。该框架还能够以数据驱动的方式获得有关数据集和疾病之间相似之处的新见解。
translated by 谷歌翻译
在这里,我们提出了一种用于多模式神经影像融合学习(HGM)的异质图形神经网络。传统的基于GNN的模型通常假设大脑网络是具有单一类型节点和边缘的均匀图形。然而,巨大的文献已经显示出人脑的异质性,特别是在两个半球之间。均匀脑网络不足以模拟复杂的脑状态。因此,在这项工作中,我们首先用多型节点(即左右半球节点)和多型边缘(即半球形边缘)来模拟大脑网络作为异质图。此外,我们还提出了一种基于Hetergoneou Brain网络的自我监督的预训练策略,以解决由于复杂的模型和小样本大小而过度的问题。我们在两个数据集合的结果显示出拟议模型的优越性,以疾病预测任务的其他多模型方法。此外,消融实验表明,我们具有预训练策略的模型可以减轻训练样本大小有限的问题。
translated by 谷歌翻译
最近,大脑网络已被广泛采用来研究脑动力学,脑发育和脑部疾病。大脑功能网络上的图表学习技术可以促进发现用于临床表型和神经退行性疾病的新型生物标志物。但是,当前的图形学习技术在大脑网络挖掘上存在几个问题。首先,大多数当前的图形学习模型都是为无符号图设计的,这阻碍了对许多签名网络数据(例如大脑功能网络)的分析。同时,大脑网络数据的不足限制了临床表型预测的模型性能。此外,当前的图形学习模型很少是可以解释的,这可能无法为模型结果提供生物学见解。在这里,我们提出了一个可解释的层次签名的图形表示模型,以从大脑功能网络中提取图形表示,可用于不同的预测任务。为了进一步提高模型性能,我们还提出了一种新策略,以增强功能性脑网络数据以进行对比学习。我们使用HCP和OASIS的数据评估了有关不同分类和回归任务的框架。我们来自广泛的实验的结果表明,与几种最新技术相比,该模型的优越性。此外,我们使用从这些预测任务得出的图形显着性图来证明表型生物标志物的检测和解释。
translated by 谷歌翻译
Neuroomaging的最新进展以及网络数据统计学习中的算法创新提供了一种独特的途径,可以集成大脑结构和功能,从而有助于揭示系统水平的一些大脑组织原则。在此方向上,我们通过曲线图编码器 - 解码器系统制定了一种模拟脑结构连接(SC)和功能连接(FC)之间的关系的监督图形表示学习框架,其中SC用作预测经验FC的输入。训练图卷积编码器捕获模拟实际神经通信的大脑区域之间的直接和间接相互作用,以及集成结构网络拓扑和节点(即,区域特定的)属性的信息。编码器学习节点级SC嵌入,它们组合以生成用于重建经验FC网络的(全大脑)图级表示。所提出的端到端模型利用多目标损失函数来共同重建FC网络,并学习用于下游主题的SC-To-Fc映射的判别图表表示(即,图形级)分类。综合实验表明,所述关系的学习表现从受试者的脑网络的内在属性中捕获有价值的信息,并导致提高对来自人类连接项目的大量重型饮酒者和非饮酒者的准确性提高。我们的工作提供了关于脑网络之间关系的新见解,支持使用图形表示学习的有希望的前景,了解有关人脑活动和功能的更多信息。
translated by 谷歌翻译
已经有几项尝试使用基于脑FMRI信号进行深入学习来对认知障碍疾病进行分类。但是,深度学习是一种隐藏的黑匣子模型,使得很难解释分类过程。为了解决这个问题,我们提出了一个新颖的分析框架,该框架解释了深度学习过程所产生的分类。我们首先通过基于其相似的信号模式嵌入功能来得出关注区域(ROI)功能连接网络(FCN)。然后,使用配备自我注意力的深度学习模型,我们根据其FCN对疾病进行分类。最后,为了解释分类结果,我们采用潜在的空间响应相互作用网络模型来识别与其他疾病相比表现出不同连接模式的重要功能。该提出的框架在四种类型的认知障碍中的应用表明,我们的方法对于确定重要的ROI功能有效。
translated by 谷歌翻译
在大脑中找到适当的动态活动的适当表示对于许多下游应用至关重要。由于其高度动态的性质,暂时平均fMRI(功能磁共振成像)只能提供狭窄的脑活动视图。以前的作品缺乏学习和解释大脑体系结构中潜在动态的能力。本文构建了一个有效的图形神经网络模型,该模型均包含了从DWI(扩散加权成像)获得的区域映射的fMRI序列和结构连接性作为输入。我们通过学习样品水平的自适应邻接矩阵并进行新型多分辨率内群平滑来发现潜在大脑动力学的良好表示。我们还将输入归因于具有集成梯度的输入,这使我们能够针对每个任务推断(1)高度涉及的大脑连接和子网络,(2)成像序列的时间键帧,这些成像序列表征了任务,以及(3)歧视单个主体的子网络。这种识别特征在异质任务和个人中表征信号状态的关键子网的能力对神经科学和其他科学领域至关重要。广泛的实验和消融研究表明,我们提出的方法在空间 - 周期性图信号建模中的优越性和效率,具有对脑动力学的深刻解释。
translated by 谷歌翻译
图表卷积神经网络(GCNS)广泛用于图形分析。具体地,在医学应用中,GCNS可用于群体图中的疾病预测,其中曲线图节点代表个体,边缘代表个体相似度。然而,GCNS依赖于大量数据,这是对单一医学机构收集的具有挑战性。此外,大多数医疗机构继续面临的危急挑战是用不完全的数据信息分离地解决疾病预测。为了解决这些问题,联合学习(FL)允许隔离本地机构协作,没有数据共享的全局模型。在这项工作中,我们提出了一个框架FEDNI,通过FL释放网络染色和机构间数据。具体地,我们首先使用图形生成的对冲网络(GaN)联接捕获缺少节点和边缘预测器来完成本地网络的缺失信息。然后我们使用联合图形学习平台跨过机构训练全局GCN节点分类器。新颖的设计使我们能够通过利用联合学习和图表学习方法来构建更准确的机器学习模型。我们证明,我们的联邦模式优于本地和基线流动方法,在两个公共神经影像数据集中具有显着的边缘。
translated by 谷歌翻译
扩散张量成像(DTI)已被用于研究神经退行性疾病对神经途径的影响,这可能导致这些疾病的更可靠和早期诊断,以及更好地了解它们如何影响大脑。我们介绍了一种基于标记为DTI光纤数据和相应统计数据的智能视觉分析系统,用于研究患者组。系统的AI增强界面通过组织和整体分析空间引导用户,包括统计特征空间,物理空间和不同组的患者的空间。我们使用自定义机器学习管道来帮助缩小此大型分析空间,然后通过一系列链接可视化务实拨动它。我们使用来自Parkinson进展标记倡议的研究数据库的实际数据进行多种案例研究。
translated by 谷歌翻译
功能连接(FC)研究已经证明了通过FMRI相关矩阵的无向加权图来研究脑及其疾病的总体价值。然而,与FC的大多数工作都取决于连接的方式,还取决于FC矩阵的手册后HOC分析。在这项工作中,我们提出了一个深入的学习架构Braingnn,它可以学习连接结构,作为学习对象的一部分。它同时将图形神经网络应用于此学习图,并学习选择对预测任务重要的大脑区域的稀疏子集。我们展示了在精神分裂症FMRI数据集中的模型的最先进的分类性能,并证明了内省如何导致紊乱的相关结果。模型学到的图表表现出强烈的阶级歧视,相关地区的稀疏子集与精神分裂症文献一致。
translated by 谷歌翻译
现代神经影像学技术,例如扩散张量成像(DTI)和功能性磁共振成像(fMRI),使我们能够将人脑建模为脑网络或连接组。捕获大脑网络的结构信息和分层模式对于理解大脑功能和疾病状态至关重要。最近,图形神经网络(GNN)的有前途的网络表示能力促使许多基于GNN的方法用于脑网络分析。具体而言,这些方法应用功能聚合和全局池来将大脑网络实例转换为有意义的低维表示,用于下游大脑网络分析任务。但是,现有的基于GNN的方法通常忽略了不同受试者的大脑网络可能需要各种聚合迭代,并将GNN与固定数量的层一起学习所有大脑网络。因此,如何完全释放GNN促进大脑网络分析的潜力仍然是不平凡的。为了解决这个问题,我们提出了一个新颖的大脑网络表示框架,即BN-GNN,该框架搜索每个大脑网络的最佳GNN体系结构。具体而言,BN-GNN使用深度加固学习(DRL)来训练元派利,以自动确定给定脑网络所需的最佳特征聚合数(反映在GNN层的数量中)。在八个现实世界大脑网络数据集上进行的广泛实验表明,我们提出的BN-GNN提高了传统GNN在不同大脑网络分析任务上的性能。
translated by 谷歌翻译
Graph neural networks (GNNs) have been successfully applied to early mild cognitive impairment (EMCI) detection, with the usage of elaborately designed features constructed from blood oxygen level-dependent (BOLD) time series. However, few works explored the feasibility of using BOLD signals directly as features. Meanwhile, existing GNN-based methods primarily rely on hand-crafted explicit brain topology as the adjacency matrix, which is not optimal and ignores the implicit topological organization of the brain. In this paper, we propose a spatial temporal graph convolutional network with a novel graph structure self-learning mechanism for EMCI detection. The proposed spatial temporal graph convolution block directly exploits BOLD time series as input features, which provides an interesting view for rsfMRI-based preclinical AD diagnosis. Moreover, our model can adaptively learn the optimal topological structure and refine edge weights with the graph structure self-learning mechanism. Results on the Alzheimer's Disease Neuroimaging Initiative (ADNI) database show that our method outperforms state-of-the-art approaches. Biomarkers consistent with previous studies can be extracted from the model, proving the reliable interpretability of our method.
translated by 谷歌翻译
近年来,来自神经影像数据的脑疾病的单一受试者预测引起了人们的关注。然而,对于某些异质性疾病,例如严重抑郁症(MDD)和自闭症谱系障碍(ASD),大规模多站点数据集对预测模型的性能仍然很差。我们提出了一个两阶段的框架,以改善静止状态功能磁共振成像(RS-FMRI)的异质精神疾病的诊断。首先,我们建议对健康个体的数据进行自我监督的掩盖预测任务,以利用临床数据集中健康对照与患者之间的差异。接下来,我们在学习的判别性表示方面培训了一个有监督的分类器。为了建模RS-FMRI数据,我们开发Graph-S4;最近提出的状态空间模型S4扩展到图形设置,其中底层图结构未提前知道。我们表明,将框架和Graph-S4结合起来可以显着提高基于神经成像的MDD和ASD的基于神经影像学的单个主题预测模型和三个开源多中心RS-FMRI临床数据集的诊断性能。
translated by 谷歌翻译
阿尔茨海默氏病的准确诊断和预后对于开发新疗法和降低相关成本至关重要。最近,随着卷积神经网络的进步,已经提出了深度学习方法,以使用结构MRI自动化这两个任务。但是,这些方法通常缺乏解释性和泛化,预后表现有限。在本文中,我们提出了一个旨在克服这些局限性的新型深框架。我们的管道包括两个阶段。在第一阶段,使用125个3D U-NET来估计整个大脑的体voxelwise等级得分。然后将所得的3D地图融合,以构建一个可解释的3D分级图,以指示结构水平的疾病严重程度。结果,临床医生可以使用该地图来检测受疾病影响的大脑结构。在第二阶段,分级图和受试者的年龄用于使用图卷积神经网络进行分类。基于216名受试者的实验结果表明,与在不同数据集上进行AD诊断和预后的最新方法相比,我们的深框架的竞争性能。此外,我们发现,使用大量的U-NET处理不同的重叠大脑区域,可以提高所提出方法的概括能力。
translated by 谷歌翻译
训练单次学习模型的核心挑战是数据空间可用镜头的有限代表性。特别是在网络神经科学领域,大脑被表示为图,这种模型在对大脑状态进行分类时可能会导致低性能(例如,典型与自闭症)。为了应对这一点,大多数现有作品都涉及数据增强步骤,以增加培训集的规模,其多样性和代表性。尽管有效,但这种增强方法仅限于生成与输入镜头相同的样品(例如,从单个射击矩阵中产生大脑连接矩阵)。据我们所知,从单个脑图中产生大脑多编码捕获多种类型的连通性的问题仍然无法解决。在本文中,我们空前提出了一个混合图神经网络(GNN)架构,即多编码发电机网络或短暂的多gnemphnet,包括两个子网络:(1)将大脑多机的输入人群集成到单个gnn中模板图,即连接脑神庙(CBT)和(2)一个反向一对多的U-NET网络,该网络在每个训练步骤中都采用了学习的CBT并输出重建后的输入多数法文人群。两个网络都使用循环损失以端到端的方式训练。实验结果表明,与每个班级的单个CBT训练相比,对在增强大脑多数式的训练进行训练时,我们的多gnetet会提高独立分类器的性能。我们希望我们的框架能够阐明单个图的未来对多编码增强的研究。我们的Multigraphgnet源代码可在https://github.com/basiralab/multigraphgnet上获得。
translated by 谷歌翻译
在这项工作中,我们使用功能磁共振成像(fMRI)专注于具有挑战性的任务,神经疾病分类。在基于人群的疾病分析中,图卷积神经网络(GCN)取得了显着的成功。但是,这些成就与丰富的标记数据密不可分,对虚假信号敏感。为了改善在标签有效的设置下的fMRI表示学习和分类,我们建议在GCN上使用新颖的,理论驱动的自我监督学习(SSL)框架,即在FMRI分析门上用于时间自我监督学习的CCA。具体而言,要求设计合适有效的SSL策略来提取fMRI的形成和鲁棒特征。为此,我们研究了FMRI动态功能连接(FC)的几种新的图表增强策略,用于SSL培训。此外,我们利用规范相关分析(CCA)在不同的时间嵌入中,并呈现理论含义。因此,这产生了一个新颖的两步GCN学习程序,该过程包括在未标记的fMRI人群图上的(i)SSL组成,并且(ii)在小标记的fMRI数据集上进行了微调,以进行分类任务。我们的方法在两个独立的fMRI数据集上进行了测试,这表明自闭症和痴呆症诊断方面表现出色。
translated by 谷歌翻译
For decades, a variety of predictive approaches have been proposed and evaluated in terms of their prediction capability for Alzheimer's Disease (AD) and its precursor - mild cognitive impairment (MCI). Most of them focused on prediction or identification of statistical differences among different clinical groups or phases (e.g., longitudinal studies). The continuous nature of AD development and transition states between successive AD related stages have been overlooked, especially in binary or multi-class classification. Though a few progression models of AD have been studied recently, they were mainly designed to determine and compare the order of specific biomarkers. How to effectively predict the individual patient's status within a wide spectrum of continuous AD progression has been largely overlooked. In this work, we developed a novel learning-based embedding framework to encode the intrinsic relations among AD related clinical stages by a set of meaningful embedding vectors in the latent space (Disease2Vec). We named this process as disease embedding. By disease em-bedding, the framework generates a disease embedding tree (DETree) which effectively represents different clinical stages as a tree trajectory reflecting AD progression and thus can be used to predict clinical status by projecting individuals onto this continuous trajectory. Through this model, DETree can not only perform efficient and accurate prediction for patients at any stages of AD development (across five clinical groups instead of typical two groups), but also provide richer status information by examining the projecting locations within a wide and continuous AD progression process.
translated by 谷歌翻译
Graph Neural Networks (GNNs) are a powerful tool for machine learning on graphs. GNNs combine node feature information with the graph structure by recursively passing neural messages along edges of the input graph. However, incorporating both graph structure and feature information leads to complex models and explaining predictions made by GNNs remains unsolved. Here we propose GNNEXPLAINER, the first general, model-agnostic approach for providing interpretable explanations for predictions of any GNN-based model on any graph-based machine learning task. Given an instance, GNNEXPLAINER identifies a compact subgraph structure and a small subset of node features that have a crucial role in GNN's prediction. Further, GNNEXPLAINER can generate consistent and concise explanations for an entire class of instances. We formulate GNNEXPLAINER as an optimization task that maximizes the mutual information between a GNN's prediction and distribution of possible subgraph structures. Experiments on synthetic and real-world graphs show that our approach can identify important graph structures as well as node features, and outperforms alternative baseline approaches by up to 43.0% in explanation accuracy. GNNEXPLAINER provides a variety of benefits, from the ability to visualize semantically relevant structures to interpretability, to giving insights into errors of faulty GNNs.
translated by 谷歌翻译