近年来,来自神经影像数据的脑疾病的单一受试者预测引起了人们的关注。然而,对于某些异质性疾病,例如严重抑郁症(MDD)和自闭症谱系障碍(ASD),大规模多站点数据集对预测模型的性能仍然很差。我们提出了一个两阶段的框架,以改善静止状态功能磁共振成像(RS-FMRI)的异质精神疾病的诊断。首先,我们建议对健康个体的数据进行自我监督的掩盖预测任务,以利用临床数据集中健康对照与患者之间的差异。接下来,我们在学习的判别性表示方面培训了一个有监督的分类器。为了建模RS-FMRI数据,我们开发Graph-S4;最近提出的状态空间模型S4扩展到图形设置,其中底层图结构未提前知道。我们表明,将框架和Graph-S4结合起来可以显着提高基于神经成像的MDD和ASD的基于神经影像学的单个主题预测模型和三个开源多中心RS-FMRI临床数据集的诊断性能。
translated by 谷歌翻译
静息状态脑功能活性对非成像表型的单个主体映射是神经影像学的主要目标。当今应用的绝大多数学习方法都取决于静态表示或短期时间相关性。这与动态性的大脑活动性质不符,并且表现出短期和长期依赖性。此外,在单个任务/数据集上已经开发并验证了新的复杂的深度学习方法。这些模型在研究不同目标的研究中的应用通常需要详尽的超参数搜索,模型工程以及反复试验,以通过更简单的线性模型获得竞争结果。反过来,这限制了他们在快速发展的研究领域中的采用和阻碍公平的基准测试。为此,我们提出了fMRI-S4;一种用于分类表型和精神疾病的多功能深度学习模型,该模型来自静止状态功能磁共振成像扫描时间的时间。 fMRI-S4使用1D卷积和最近引入的状态空间模型S4捕获信号中的短距离和长范围时间依赖性。所提出的体系结构在任务/数据集中具有轻巧,样本效率且健壮。我们在三个多站点RS-FMRI数据集上验证了fMRI-S4诊断重大抑郁症(MDD),自闭症谱系障碍(ASD)和性别分类的任务。我们证明fMRI-S4可以在所有三个任务上均优于现有方法,并且可以作为插件和游戏模型进行培训,而无需针对每种设置进行特殊的超散件调整
translated by 谷歌翻译
在这项工作中,我们使用功能磁共振成像(fMRI)专注于具有挑战性的任务,神经疾病分类。在基于人群的疾病分析中,图卷积神经网络(GCN)取得了显着的成功。但是,这些成就与丰富的标记数据密不可分,对虚假信号敏感。为了改善在标签有效的设置下的fMRI表示学习和分类,我们建议在GCN上使用新颖的,理论驱动的自我监督学习(SSL)框架,即在FMRI分析门上用于时间自我监督学习的CCA。具体而言,要求设计合适有效的SSL策略来提取fMRI的形成和鲁棒特征。为此,我们研究了FMRI动态功能连接(FC)的几种新的图表增强策略,用于SSL培训。此外,我们利用规范相关分析(CCA)在不同的时间嵌入中,并呈现理论含义。因此,这产生了一个新颖的两步GCN学习程序,该过程包括在未标记的fMRI人群图上的(i)SSL组成,并且(ii)在小标记的fMRI数据集上进行了微调,以进行分类任务。我们的方法在两个独立的fMRI数据集上进行了测试,这表明自闭症和痴呆症诊断方面表现出色。
translated by 谷歌翻译
大脑网络将大脑区域之间的复杂连接性描述为图形结构,这为研究脑连接素提供了强大的手段。近年来,图形神经网络已成为使用结构化数据的普遍学习范式。但是,由于数据获取的成本相对较高,大多数大脑网络数据集的样本量受到限制,这阻碍了足够的培训中的深度学习模型。受元学习的启发,该论文以有限的培训示例快速学习新概念,研究了在跨数据库中分析脑连接组的数据有效培训策略。具体而言,我们建议在大型样本大小的数据集上进行元训练模型,并将知识转移到小数据集中。此外,我们还探索了两种面向脑网络的设计,包括Atlas转换和自适应任务重新启动。与其他训练前策略相比,我们的基于元学习的方法实现了更高和稳定的性能,这证明了我们提出的解决方案的有效性。该框架还能够以数据驱动的方式获得有关数据集和疾病之间相似之处的新见解。
translated by 谷歌翻译
Mapping the connectome of the human brain using structural or functional connectivity has become one of the most pervasive paradigms for neuroimaging analysis. Recently, Graph Neural Networks (GNNs) motivated from geometric deep learning have attracted broad interest due to their established power for modeling complex networked data. Despite their superior performance in many fields, there has not yet been a systematic study of how to design effective GNNs for brain network analysis. To bridge this gap, we present BrainGB, a benchmark for brain network analysis with GNNs. BrainGB standardizes the process by (1) summarizing brain network construction pipelines for both functional and structural neuroimaging modalities and (2) modularizing the implementation of GNN designs. We conduct extensive experiments on datasets across cohorts and modalities and recommend a set of general recipes for effective GNN designs on brain networks. To support open and reproducible research on GNN-based brain network analysis, we host the BrainGB website at https://braingb.us with models, tutorials, examples, as well as an out-of-box Python package. We hope that this work will provide useful empirical evidence and offer insights for future research in this novel and promising direction.
translated by 谷歌翻译
在这里,我们提出了一种用于多模式神经影像融合学习(HGM)的异质图形神经网络。传统的基于GNN的模型通常假设大脑网络是具有单一类型节点和边缘的均匀图形。然而,巨大的文献已经显示出人脑的异质性,特别是在两个半球之间。均匀脑网络不足以模拟复杂的脑状态。因此,在这项工作中,我们首先用多型节点(即左右半球节点)和多型边缘(即半球形边缘)来模拟大脑网络作为异质图。此外,我们还提出了一种基于Hetergoneou Brain网络的自我监督的预训练策略,以解决由于复杂的模型和小样本大小而过度的问题。我们在两个数据集合的结果显示出拟议模型的优越性,以疾病预测任务的其他多模型方法。此外,消融实验表明,我们具有预训练策略的模型可以减轻训练样本大小有限的问题。
translated by 谷歌翻译
Graph neural networks (GNNs) have been successfully applied to early mild cognitive impairment (EMCI) detection, with the usage of elaborately designed features constructed from blood oxygen level-dependent (BOLD) time series. However, few works explored the feasibility of using BOLD signals directly as features. Meanwhile, existing GNN-based methods primarily rely on hand-crafted explicit brain topology as the adjacency matrix, which is not optimal and ignores the implicit topological organization of the brain. In this paper, we propose a spatial temporal graph convolutional network with a novel graph structure self-learning mechanism for EMCI detection. The proposed spatial temporal graph convolution block directly exploits BOLD time series as input features, which provides an interesting view for rsfMRI-based preclinical AD diagnosis. Moreover, our model can adaptively learn the optimal topological structure and refine edge weights with the graph structure self-learning mechanism. Results on the Alzheimer's Disease Neuroimaging Initiative (ADNI) database show that our method outperforms state-of-the-art approaches. Biomarkers consistent with previous studies can be extracted from the model, proving the reliable interpretability of our method.
translated by 谷歌翻译
生成的对抗网络(GAN)是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族,该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下,与传统的生成方法相比,GAN在捕获空间复杂,非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献,包括阿尔茨海默氏病,脑肿瘤,脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释,并进一步讨论了在神经影像学中利用gans的主要挑战,开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策,并有助于更好地理解脑部疾病的结构和功能模式,从而弥合先进的深度学习方法和神经病学研究之间的差距。
translated by 谷歌翻译
机器学习在医学图像分析中发挥着越来越重要的作用,产卵在神经影像症的临床应用中的新进展。之前有一些关于机器学习和癫痫的综述,它们主要专注于电生理信号,如脑电图(EEG)和立体脑电图(SEENG),同时忽略癫痫研究中神经影像的潜力。 NeuroImaging在确认癫痫区域的范围内具有重要的优点,这对于手术后的前诊所评估和评估至关重要。然而,脑电图难以定位大脑中的准确癫痫病变区。在这篇综述中,我们强调了癫痫诊断和预后在癫痫诊断和预后的背景下神经影像学和机器学习的相互作用。我们首先概述癫痫诊所,MRI,DWI,FMRI和PET中使用的癫痫和典型的神经影像姿态。然后,我们在将机器学习方法应用于神经影像数据的方法:i)将手动特征工程和分类器的传统机器学习方法阐述了两种方法,即卷积神经网络和自动化器等深度学习方法。随后,详细地研究了对癫痫,定位和横向化任务等分割,本地化和横向化任务的应用,以及与诊断和预后直接相关的任务。最后,我们讨论了目前的成就,挑战和潜在的未来方向,希望为癫痫的计算机辅助诊断和预后铺平道路。
translated by 谷歌翻译
研究了自闭症数据集,以确定自闭症和健康组之间的差异。为此,分析了这两组的静止状态功能磁共振成像(RS-FMRI)数据,并创建了大脑区域之间的连接网络。开发了几个分类框架,以区分组之间的连接模式。比较了统计推断和精度的最佳模型,并分析了精度和模型解释性之间的权衡。最后,据报道,分类精度措施证明了我们框架的性能。我们的最佳模型可以以71%的精度将自闭症和健康的患者分类为多站点I数据。
translated by 谷歌翻译
Neuroomaging的最新进展以及网络数据统计学习中的算法创新提供了一种独特的途径,可以集成大脑结构和功能,从而有助于揭示系统水平的一些大脑组织原则。在此方向上,我们通过曲线图编码器 - 解码器系统制定了一种模拟脑结构连接(SC)和功能连接(FC)之间的关系的监督图形表示学习框架,其中SC用作预测经验FC的输入。训练图卷积编码器捕获模拟实际神经通信的大脑区域之间的直接和间接相互作用,以及集成结构网络拓扑和节点(即,区域特定的)属性的信息。编码器学习节点级SC嵌入,它们组合以生成用于重建经验FC网络的(全大脑)图级表示。所提出的端到端模型利用多目标损失函数来共同重建FC网络,并学习用于下游主题的SC-To-Fc映射的判别图表表示(即,图形级)分类。综合实验表明,所述关系的学习表现从受试者的脑网络的内在属性中捕获有价值的信息,并导致提高对来自人类连接项目的大量重型饮酒者和非饮酒者的准确性提高。我们的工作提供了关于脑网络之间关系的新见解,支持使用图形表示学习的有希望的前景,了解有关人脑活动和功能的更多信息。
translated by 谷歌翻译
Late-life depression (LLD) is a highly prevalent mood disorder occurring in older adults and is frequently accompanied by cognitive impairment (CI). Studies have shown that LLD may increase the risk of Alzheimer's disease (AD). However, the heterogeneity of presentation of geriatric depression suggests that multiple biological mechanisms may underlie it. Current biological research on LLD progression incorporates machine learning that combines neuroimaging data with clinical observations. There are few studies on incident cognitive diagnostic outcomes in LLD based on structural MRI (sMRI). In this paper, we describe the development of a hybrid representation learning (HRL) framework for predicting cognitive diagnosis over 5 years based on T1-weighted sMRI data. Specifically, we first extract prediction-oriented MRI features via a deep neural network, and then integrate them with handcrafted MRI features via a Transformer encoder for cognitive diagnosis prediction. Two tasks are investigated in this work, including (1) identifying cognitively normal subjects with LLD and never-depressed older healthy subjects, and (2) identifying LLD subjects who developed CI (or even AD) and those who stayed cognitively normal over five years. To the best of our knowledge, this is among the first attempts to study the complex heterogeneous progression of LLD based on task-oriented and handcrafted MRI features. We validate the proposed HRL on 294 subjects with T1-weighted MRIs from two clinically harmonized studies. Experimental results suggest that the HRL outperforms several classical machine learning and state-of-the-art deep learning methods in LLD identification and prediction tasks.
translated by 谷歌翻译
理解神经动力学的空间和时间特征之间的相互作用可以有助于我们对人脑中信息处理的理解。图形神经网络(GNN)提供了一种新的可能性,可以解释图形结构化信号,如在复杂的大脑网络中观察到的那些。在我们的研究中,我们比较不同的时空GNN架构,并研究他们复制在功能MRI(FMRI)研究中获得的神经活动分布的能力。我们评估GNN模型在MRI研究中各种场景的性能,并将其与VAR模型进行比较,目前主要用于定向功能连接分析。我们表明,即使当可用数据稀缺时,基于基于解剖学基板的局部功能相互作用,基于GNN的方法也能够鲁棒地规模到大型网络研究。通过包括作为信息衬底的解剖连接以进行信息传播,这种GNN还提供了关于指向连接性分析的多模阶视角,提供了研究脑网络中的时空动态的新颖可能性。
translated by 谷歌翻译
预训练在机器学习的不同领域表现出成功,例如计算机视觉,自然语言处理(NLP)和医学成像。但是,尚未完全探索用于临床数据分析。记录了大量的临床记录,但是对于在小型医院收集的数据或处理罕见疾病的数据仍可能稀缺数据和标签。在这种情况下,对较大的未标记临床数据进行预训练可以提高性能。在本文中,我们提出了专为异质的多模式临床数据设计的新型无监督的预训练技术,用于通过蒙版语言建模(MLM)启发的患者预测,通过利用对人群图的深度学习来启发。为此,我们进一步提出了一个基于图形转换器的网络,该网络旨在处理异质临床数据。通过将基于掩盖的预训练与基于变压器的网络相结合,我们将基于掩盖的其他域中训练的成功转化为异质临床数据。我们使用三个医学数据集Tadpole,Mimic-III和一个败血症预测数据集,在自我监督和转移学习设置中展示了我们的预训练方法的好处。我们发现,我们提出的培训方法有助于对患者和人群水平的数据进行建模,并提高所有数据集中不同微调任务的性能。
translated by 谷歌翻译
我们介绍了用于分析功能磁共振成像(FMRI)数据的TFF变压器框架。TFF采用基于变压器的架构和两阶段培训方法。首先,自我监督培训适用于FMRI扫描的集合,其中模型培训用于重建3D卷数据。其次,预训练模型在特定任务上进行了微调,利用地面真理标签。我们的结果显示了各种FMRI任务的最先进的性能,包括年龄和性别预测,以及精神分裂症认可。
translated by 谷歌翻译
无创医学神经影像学已经对大脑连通性产生了许多发现。开发了几种实质技术绘制形态,结构和功能性脑连接性,以创建人脑中神经元活动的全面路线图。依靠其非欧国人数据类型,图形神经网络(GNN)提供了一种学习深图结构的巧妙方法,并且它正在迅速成为最先进的方法,从而导致各种网络神经科学任务的性能增强。在这里,我们回顾了当前基于GNN的方法,突出了它们在与脑图有关的几种应用中使用的方式,例如缺失的脑图合成和疾病分类。最后,我们通过绘制了通往网络神经科学领域中更好地应用GNN模型在神经系统障碍诊断和人群图整合中的路径。我们工作中引用的论文列表可在https://github.com/basiralab/gnns-inns-intwork-neuroscience上找到。
translated by 谷歌翻译
功能磁共振成像(fMRI)的功能连通性网络(FCN)数据越来越多地用于诊断脑疾病。然而,最新的研究用来使用单个脑部分析地图集以一定的空间尺度构建FCN,该空间尺度很大程度上忽略了层次范围内不同空间尺度的功能相互作用。在这项研究中,我们提出了一个新型框架,以对脑部疾病诊断进行多尺度FCN分析。我们首先使用一组定义明确的多尺地图像来计算多尺度FCN。然后,我们利用多尺度地图集中各个区域之间具有生物学意义的大脑分层关系,以跨多个空间尺度进行淋巴结池,即“ Atlas指导的池”。因此,我们提出了一个基于多尺度的层次图形卷积网络(MAHGCN),该网络(MAHGCN)建立在图形卷积和ATLAS引导的池上,以全面地从多尺度FCN中详细提取诊断信息。关于1792名受试者的神经影像数据的实验证明了我们提出的方法在诊断阿尔茨海默氏病(AD),AD的前驱阶段(即轻度认知障碍[MCI])以及自闭症谱系障碍(ASD),,AD的前瞻性阶段(即,轻度认知障碍[MCI]),,精度分别为88.9%,78.6%和72.7%。所有结果都显示出我们提出的方法比其他竞争方法具有显着优势。这项研究不仅证明了使用深度学习增强的静止状态fMRI诊断的可行性,而且还强调,值得探索多尺度脑层次结构中的功能相互作用,并将其整合到深度学习网络体系结构中,以更好地理解有关的神经病理学。脑疾病。
translated by 谷歌翻译
在大脑中找到适当的动态活动的适当表示对于许多下游应用至关重要。由于其高度动态的性质,暂时平均fMRI(功能磁共振成像)只能提供狭窄的脑活动视图。以前的作品缺乏学习和解释大脑体系结构中潜在动态的能力。本文构建了一个有效的图形神经网络模型,该模型均包含了从DWI(扩散加权成像)获得的区域映射的fMRI序列和结构连接性作为输入。我们通过学习样品水平的自适应邻接矩阵并进行新型多分辨率内群平滑来发现潜在大脑动力学的良好表示。我们还将输入归因于具有集成梯度的输入,这使我们能够针对每个任务推断(1)高度涉及的大脑连接和子网络,(2)成像序列的时间键帧,这些成像序列表征了任务,以及(3)歧视单个主体的子网络。这种识别特征在异质任务和个人中表征信号状态的关键子网的能力对神经科学和其他科学领域至关重要。广泛的实验和消融研究表明,我们提出的方法在空间 - 周期性图信号建模中的优越性和效率,具有对脑动力学的深刻解释。
translated by 谷歌翻译
Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.
translated by 谷歌翻译
Covid-19大流行是人类的祸害,宣称全世界超过500万人的生活。虽然疫苗正在全世界分布,但表观需要实惠的筛选技术,以便为无法获得传统医学的世界服务。人工智能可以提供利用咳嗽声音作为主要筛选模式的解决方案。本文介绍了多种模型,这些模型在学术文献目前呈现的最大评估数据集上取得了相对尊敬的性能。此外,我们还显示性能随着培训数据规模而增加,表明世界各地的数据收集,以帮助使用非传统方式对抗Covid-19大流行。
translated by 谷歌翻译