功能磁共振成像（fMRI）的功能连通性网络（FCN）数据越来越多地用于诊断脑疾病。然而，最新的研究用来使用单个脑部分析地图集以一定的空间尺度构建FCN，该空间尺度很大程度上忽略了层次范围内不同空间尺度的功能相互作用。在这项研究中，我们提出了一个新型框架，以对脑部疾病诊断进行多尺度FCN分析。我们首先使用一组定义明确的多尺地图像来计算多尺度FCN。然后，我们利用多尺度地图集中各个区域之间具有生物学意义的大脑分层关系，以跨多个空间尺度进行淋巴结池，即“ Atlas指导的池”。因此，我们提出了一个基于多尺度的层次图形卷积网络（MAHGCN），该网络（MAHGCN）建立在图形卷积和ATLAS引导的池上，以全面地从多尺度FCN中详细提取诊断信息。关于1792名受试者的神经影像数据的实验证明了我们提出的方法在诊断阿尔茨海默氏病（AD），AD的前驱阶段（即轻度认知障碍[MCI]）以及自闭症谱系障碍（ASD），，AD的前瞻性阶段（即，轻度认知障碍[MCI]），，精度分别为88.9％，78.6％和72.7％。所有结果都显示出我们提出的方法比其他竞争方法具有显着优势。这项研究不仅证明了使用深度学习增强的静止状态fMRI诊断的可行性，而且还强调，值得探索多尺度脑层次结构中的功能相互作用，并将其整合到深度学习网络体系结构中，以更好地理解有关的神经病理学。脑疾病。

阿尔茨海默氏病的准确诊断和预后对于开发新疗法和降低相关成本至关重要。最近，随着卷积神经网络的进步，已经提出了深度学习方法，以使用结构MRI自动化这两个任务。但是，这些方法通常缺乏解释性和泛化，预后表现有限。在本文中，我们提出了一个旨在克服这些局限性的新型深框架。我们的管道包括两个阶段。在第一阶段，使用125个3D U-NET来估计整个大脑的体voxelwise等级得分。然后将所得的3D地图融合，以构建一个可解释的3D分级图，以指示结构水平的疾病严重程度。结果，临床医生可以使用该地图来检测受疾病影响的大脑结构。在第二阶段，分级图和受试者的年龄用于使用图卷积神经网络进行分类。基于216名受试者的实验结果表明，与在不同数据集上进行AD诊断和预后的最新方法相比，我们的深框架的竞争性能。此外，我们发现，使用大量的U-NET处理不同的重叠大脑区域，可以提高所提出方法的概括能力。

Late-life depression (LLD) is a highly prevalent mood disorder occurring in older adults and is frequently accompanied by cognitive impairment (CI). Studies have shown that LLD may increase the risk of Alzheimer's disease (AD). However, the heterogeneity of presentation of geriatric depression suggests that multiple biological mechanisms may underlie it. Current biological research on LLD progression incorporates machine learning that combines neuroimaging data with clinical observations. There are few studies on incident cognitive diagnostic outcomes in LLD based on structural MRI (sMRI). In this paper, we describe the development of a hybrid representation learning (HRL) framework for predicting cognitive diagnosis over 5 years based on T1-weighted sMRI data. Specifically, we first extract prediction-oriented MRI features via a deep neural network, and then integrate them with handcrafted MRI features via a Transformer encoder for cognitive diagnosis prediction. Two tasks are investigated in this work, including (1) identifying cognitively normal subjects with LLD and never-depressed older healthy subjects, and (2) identifying LLD subjects who developed CI (or even AD) and those who stayed cognitively normal over five years. To the best of our knowledge, this is among the first attempts to study the complex heterogeneous progression of LLD based on task-oriented and handcrafted MRI features. We validate the proposed HRL on 294 subjects with T1-weighted MRIs from two clinically harmonized studies. Experimental results suggest that the HRL outperforms several classical machine learning and state-of-the-art deep learning methods in LLD identification and prediction tasks.

Neuroomaging的最新进展以及网络数据统计学习中的算法创新提供了一种独特的途径，可以集成大脑结构和功能，从而有助于揭示系统水平的一些大脑组织原则。在此方向上，我们通过曲线图编码器 - 解码器系统制定了一种模拟脑结构连接（SC）和功能连接（FC）之间的关系的监督图形表示学习框架，其中SC用作预测经验FC的输入。训练图卷积编码器捕获模拟实际神经通信的大脑区域之间的直接和间接相互作用，以及集成结构网络拓扑和节点（即，区域特定的）属性的信息。编码器学习节点级SC嵌入，它们组合以生成用于重建经验FC网络的（全大脑）图级表示。所提出的端到端模型利用多目标损失函数来共同重建FC网络，并学习用于下游主题的SC-To-Fc映射的判别图表表示（即，图形级）分类。综合实验表明，所述关系的学习表现从受试者的脑网络的内在属性中捕获有价值的信息，并导致提高对来自人类连接项目的大量重型饮酒者和非饮酒者的准确性提高。我们的工作提供了关于脑网络之间关系的新见解，支持使用图形表示学习的有希望的前景，了解有关人脑活动和功能的更多信息。

Mapping the connectome of the human brain using structural or functional connectivity has become one of the most pervasive paradigms for neuroimaging analysis. Recently, Graph Neural Networks (GNNs) motivated from geometric deep learning have attracted broad interest due to their established power for modeling complex networked data. Despite their superior performance in many fields, there has not yet been a systematic study of how to design effective GNNs for brain network analysis. To bridge this gap, we present BrainGB, a benchmark for brain network analysis with GNNs. BrainGB standardizes the process by (1) summarizing brain network construction pipelines for both functional and structural neuroimaging modalities and (2) modularizing the implementation of GNN designs. We conduct extensive experiments on datasets across cohorts and modalities and recommend a set of general recipes for effective GNN designs on brain networks. To support open and reproducible research on GNN-based brain network analysis, we host the BrainGB website at https://braingb.us with models, tutorials, examples, as well as an out-of-box Python package. We hope that this work will provide useful empirical evidence and offer insights for future research in this novel and promising direction.

在大脑中找到适当的动态活动的适当表示对于许多下游应用至关重要。由于其高度动态的性质，暂时平均fMRI（功能磁共振成像）只能提供狭窄的脑活动视图。以前的作品缺乏学习和解释大脑体系结构中潜在动态的能力。本文构建了一个有效的图形神经网络模型，该模型均包含了从DWI（扩散加权成像）获得的区域映射的fMRI序列和结构连接性作为输入。我们通过学习样品水平的自适应邻接矩阵并进行新型多分辨率内群平滑来发现潜在大脑动力学的良好表示。我们还将输入归因于具有集成梯度的输入，这使我们能够针对每个任务推断（1）高度涉及的大脑连接和子网络，（2）成像序列的时间键帧，这些成像序列表征了任务，以及（3）歧视单个主体的子网络。这种识别特征在异质任务和个人中表征信号状态的关键子网的能力对神经科学和其他科学领域至关重要。广泛的实验和消融研究表明，我们提出的方法在空间 - 周期性图信号建模中的优越性和效率，具有对脑动力学的深刻解释。

Graph neural networks (GNNs) have been successfully applied to early mild cognitive impairment (EMCI) detection, with the usage of elaborately designed features constructed from blood oxygen level-dependent (BOLD) time series. However, few works explored the feasibility of using BOLD signals directly as features. Meanwhile, existing GNN-based methods primarily rely on hand-crafted explicit brain topology as the adjacency matrix, which is not optimal and ignores the implicit topological organization of the brain. In this paper, we propose a spatial temporal graph convolutional network with a novel graph structure self-learning mechanism for EMCI detection. The proposed spatial temporal graph convolution block directly exploits BOLD time series as input features, which provides an interesting view for rsfMRI-based preclinical AD diagnosis. Moreover, our model can adaptively learn the optimal topological structure and refine edge weights with the graph structure self-learning mechanism. Results on the Alzheimer's Disease Neuroimaging Initiative (ADNI) database show that our method outperforms state-of-the-art approaches. Biomarkers consistent with previous studies can be extracted from the model, proving the reliable interpretability of our method.

无创医学神经影像学已经对大脑连通性产生了许多发现。开发了几种实质技术绘制形态，结构和功能性脑连接性，以创建人脑中神经元活动的全面路线图。依靠其非欧国人数据类型，图形神经网络（GNN）提供了一种学习深图结构的巧妙方法，并且它正在迅速成为最先进的方法，从而导致各种网络神经科学任务的性能增强。在这里，我们回顾了当前基于GNN的方法，突出了它们在与脑图有关的几种应用中使用的方式，例如缺失的脑图合成和疾病分类。最后，我们通过绘制了通往网络神经科学领域中更好地应用GNN模型在神经系统障碍诊断和人群图整合中的路径。我们工作中引用的论文列表可在https://github.com/basiralab/gnns-inns-intwork-neuroscience上找到。

已经有几项尝试使用基于脑FMRI信号进行深入学习来对认知障碍疾病进行分类。但是，深度学习是一种隐藏的黑匣子模型，使得很难解释分类过程。为了解决这个问题，我们提出了一个新颖的分析框架，该框架解释了深度学习过程所产生的分类。我们首先通过基于其相似的信号模式嵌入功能来得出关注区域（ROI）功能连接网络（FCN）。然后，使用配备自我注意力的深度学习模型，我们根据其FCN对疾病进行分类。最后，为了解释分类结果，我们采用潜在的空间响应相互作用网络模型来识别与其他疾病相比表现出不同连接模式的重要功能。该提出的框架在四种类型的认知障碍中的应用表明，我们的方法对于确定重要的ROI功能有效。

在这里，我们提出了一种用于多模式神经影像融合学习（HGM）的异质图形神经网络。传统的基于GNN的模型通常假设大脑网络是具有单一类型节点和边缘的均匀图形。然而，巨大的文献已经显示出人脑的异质性，特别是在两个半球之间。均匀脑网络不足以模拟复杂的脑状态。因此，在这项工作中，我们首先用多型节点（即左右半球节点）和多型边缘（即半球形边缘）来模拟大脑网络作为异质图。此外，我们还提出了一种基于Hetergoneou Brain网络的自我监督的预训练策略，以解决由于复杂的模型和小样本大小而过度的问题。我们在两个数据集合的结果显示出拟议模型的优越性，以疾病预测任务的其他多模型方法。此外，消融实验表明，我们具有预训练策略的模型可以减轻训练样本大小有限的问题。

Neuropsychological studies suggest that co-operative activities among different brain functional areas drive high-level cognitive processes. To learn the brain activities within and among different functional areas of the brain, we propose LGGNet, a novel neurologically inspired graph neural network, to learn local-global-graph representations of electroencephalography (EEG) for Brain-Computer Interface (BCI). The input layer of LGGNet comprises a series of temporal convolutions with multi-scale 1D convolutional kernels and kernel-level attentive fusion. It captures temporal dynamics of EEG which then serves as input to the proposed local and global graph-filtering layers. Using a defined neurophysiologically meaningful set of local and global graphs, LGGNet models the complex relations within and among functional areas of the brain. Under the robust nested cross-validation settings, the proposed method is evaluated on three publicly available datasets for four types of cognitive classification tasks, namely, the attention, fatigue, emotion, and preference classification tasks. LGGNet is compared with state-of-the-art methods, such as DeepConvNet, EEGNet, R2G-STNN, TSception, RGNN, AMCNN-DGCN, HRNN and GraphNet. The results show that LGGNet outperforms these methods, and the improvements are statistically significant (p<0.05) in most cases. The results show that bringing neuroscience prior knowledge into neural network design yields an improvement of classification performance. The source code can be found at https://github.com/yi-ding-cs/LGG

诊断阿尔茨海默氏病（AD）涉及故意诊断过程，这是由于其先天性的不可逆性特征和微妙而逐渐发展。这些特征使AD生物标志物从结构性脑成像（例如结构MRI）扫描非常具有挑战性。此外，很有可能与正常衰老纠缠在一起。我们通过使用临床引导的原型学习，通过可解释的AD可能性图估计（XADLIME）提出了一种新颖的深度学习方法，用于在3D SMRIS上进行AD进展模型。具体而言，我们在潜在临床特征的簇上建立了一组拓扑感知的原型，发现了AD光谱歧管。然后，我们测量潜在临床特征和完善的原型之间的相似性，估计“伪”可能性图。通过将此伪图视为丰富的参考，我们采用估计网络来估算3D SMRI扫描的AD可能性图。此外，我们通过从两个角度揭示了可理解的概述：临床和形态学，促进了这种可能性图的解释性。在推断期间，这张估计的似然图可以替代看不见的SMRI扫描，以有效地执行下游任务，同时提供彻底的可解释状态。

在神经影像分析中，功能磁共振成像（fMRI）可以很好地评估没有明显结构病变的脑疾病的大脑功能变化。到目前为止，大多数基于研究的FMRI研究将功能连接性作为疾病分类的基本特征。但是，功能连接通常是根据感兴趣的预定义区域的时间序列计算的，并忽略了每个体素中包含的详细信息，这可能会导致诊断模型的性能恶化。另一个方法论上的缺点是训练深模型的样本量有限。在这项研究中，我们提出了Brainformer，这是一种用于单个FMRI体积的脑疾病分类的一般混合变压器架构，以充分利用素食细节，并具有足够的数据尺寸和尺寸。脑形形式是通过对每个体素内的局部提示进行建模的3D卷积，并捕获两个全球注意力障碍的遥远地区之间的全球关系。局部和全局线索通过单流模型在脑形中汇总。为了处理多站点数据，我们提出了一个归一化层，以将数据标准化为相同的分布。最后，利用一种基于梯度的定位图可视化方法来定位可能的疾病相关生物标志物。我们在五个独立获取的数据集上评估了脑形形成器，包括Abide，ADNI，MPILMBB，ADHD-200和ECHO，以及自闭症疾病，阿尔茨海默氏病，抑郁症，注意力缺陷多动障碍和头痛疾病。结果证明了脑形对多种脑疾病的诊断的有效性和普遍性。脑形物可以在临床实践中促进基于神经成像的精确诊断，并激励FMRI分析中的未来研究。代码可在以下网址获得：https：//github.com/ziyaozhangforpcl/brainformer。

近年来，来自神经影像数据的脑疾病的单一受试者预测引起了人们的关注。然而，对于某些异质性疾病，例如严重抑郁症（MDD）和自闭症谱系障碍（ASD），大规模多站点数据集对预测模型的性能仍然很差。我们提出了一个两阶段的框架，以改善静止状态功能磁共振成像（RS-FMRI）的异质精神疾病的诊断。首先，我们建议对健康个体的数据进行自我监督的掩盖预测任务，以利用临床数据集中健康对照与患者之间的差异。接下来，我们在学习的判别性表示方面培训了一个有监督的分类器。为了建模RS-FMRI数据，我们开发Graph-S4；最近提出的状态空间模型S4扩展到图形设置，其中底层图结构未提前知道。我们表明，将框架和Graph-S4结合起来可以显着提高基于神经成像的MDD和ASD的基于神经影像学的单个主题预测模型和三个开源多中心RS-FMRI临床数据集的诊断性能。

背景：虽然卷积神经网络（CNN）实现了检测基于磁共振成像（MRI）扫描的阿尔茨海默病（AD）痴呆的高诊断准确性，但它们尚未应用于临床常规。这是一个重要原因是缺乏模型可理解性。最近开发的用于导出CNN相关性图的可视化方法可能有助于填补这种差距。我们调查了具有更高准确性的模型还依赖于先前知识预定义的判别脑区域。方法：我们培训了CNN，用于检测痴呆症和Amnestic认知障碍（MCI）患者的N = 663 T1加权MRI扫描的AD，并通过交叉验证和三个独立样本验证模型的准确性= 1655例。我们评估了相关评分和海马体积的关联，以验证这种方法的临床效用。为了提高模型可理解性，我们实现了3D CNN相关性图的交互式可视化。结果：跨三个独立数据集，组分离表现出广告痴呆症与控制的高精度（AUC $ \ GEQUQ $ 0.92）和MCI与控制的中等精度（AUC $ \约0.75美元）。相关性图表明海马萎缩被认为是广告检测的最具信息性因素，其其他皮质和皮质区域中的萎缩额外贡献。海马内的相关评分与海马体积高度相关（Pearson的r $ \大约$ -0.86，p <0.001）。结论：相关性地图突出了我们假设先验的地区的萎缩。这加强了CNN模型的可理解性，这些模型基于扫描和诊断标签以纯粹的数据驱动方式培训。

主要的神经影像学研究推动了1.0 mm以下的3T MRI采集分辨率，以改善结构定义和形态学。然而，只有很少的时间 - 密集的自动化图像分析管道已被验证为高分辨率（雇用）设置。另一方面，有效的深度学习方法很少支持多个固定分辨率（通常1.0 mm）。此外，缺乏标准的杂交数据分辨率以及具有足够覆盖的扫描仪，年龄，疾病或遗传方差的多样化数据的有限可用性会带来额外的，未解决的挑战培训网络。将分辨率独立于基于深度学习的分割，即在一系列不同的体素大小上以其本地分辨率进行分辨率的能力，承诺克服这些挑战，但目前没有这种方法。我们现在通过向决议独立的分割任务（VINN）引入VINOSEIZED独立的神经网络（VINN）来填补这个差距，并呈现FastSurfervinn，（i）建立并实施决议独立，以获得深度学习作为同时支持0.7-1.0 mm的第一种方法分割，（ii）显着优于跨决议的最先进方法，（iii）减轻雇用数据集中存在的数据不平衡问题。总体而言，内部分辨率 - 独立性相互益处雇用和1.0 mm MRI分割。通过我们严格验证的FastSurfervinn，我们将为不同的神经视线镜分析分发一个快速工具。此外，VINN架构表示更广泛应用的有效分辨率的分段方法

准确诊断自闭症谱系障碍（ASD），随后有效康复对该疾病的管理至关重要。人工智能（AI）技术可以帮助医生应用自动诊断和康复程序。 AI技术包括传统机器学习（ML）方法和深度学习（DL）技术。常规ML方法采用各种特征提取和分类技术，但在DL中，特征提取和分类过程是智能的，一体地完成的。诊断ASD的DL方法已经专注于基于神经影像动物的方法。神经成像技术是无侵入性疾病标志物，可能对ASD诊断有用。结构和功能神经影像技术提供了关于大脑的结构（解剖结构和结构连接）和功能（活性和功能连接）的实质性信息。由于大脑的复杂结构和功能，提出了在不利用像DL这样的强大AI技术的情况下使用神经影像数据进行ASD诊断的最佳程序可能是具有挑战性的。本文研究了借助DL网络进行以区分ASD进行的研究。还评估了用于支持ASD患者的康复工具，用于利用DL网络的支持患者。最后，我们将在ASD的自动检测和康复中提出重要挑战，并提出了一些未来的作品。

精神分裂症是一种慢性神经精神疾病，会引起大脑内部的不同结构改变。我们假设将深度学习应用于结构性神经影像学数据集可以检测到与疾病相关的改变，并提高分类和诊断准确性。我们使用单一可用的，常规的T1加权MRI扫描测试了这一假设，我们使用标准后处理方法从中提取了3D全脑结构。然后在三个开放数据集上开发，优化和评估了一个深度学习模型，并对精神分裂症患者进行T1加权MRI扫描。我们提出的模型优于基准模型，该模型还使用3D CNN体系结构对结构MR图像进行了训练。我们的模型几乎能够完美地（ROC曲线下的区域= 0.987），将精神分裂症患者与看不见的结构MRI扫描中的健康对照区分开。区域分析将皮质下区域和心室局部作为最预测的大脑区域。皮层结构在人类的认知，情感和社会功能中起关键作用，这些区域的结构异常与精神分裂症有关。我们的发现证实了精神分裂症与皮质下大脑结构的广泛改变有关，皮层结构信息在诊断分类中提供了突出的特征。总之，这些结果进一步证明了深度学习的潜力，以改善精神分裂症的诊断，并从单个标准的T1加权脑MRI中确定其结构性神经影像学特征。

Accurate diagnosis and prognosis of Alzheimer's disease are crucial to develop new therapies and reduce the associated costs. Recently, with the advances of convolutional neural networks, methods have been proposed to automate these two tasks using structural MRI. However, these methods often suffer from lack of interpretability, generalization, and can be limited in terms of performance. In this paper, we propose a novel deep framework designed to overcome these limitations. Our framework consists of two stages. In the first stage, we propose a deep grading model to extract meaningful features. To enhance the robustness of these features against domain shift, we introduce an innovative collective artificial intelligence strategy for training and evaluating steps. In the second stage, we use a graph convolutional neural network to better capture AD signatures. Our experiments based on 2074 subjects show the competitive performance of our deep framework compared to state-of-the-art methods on different datasets for both AD diagnosis and prognosis.

膝关节骨关节炎（OA）是最常见的骨关节炎和伤残原因。软骨缺陷被认为是膝关节OA的主要表现，其通过磁共振成像（MRI）可见。因此，对膝关节软骨缺陷的早期检测和评估对于保护膝关节OA患者来说是重要的。通过这种方式，通过将卷积神经网络（CNNS）应用于膝关节MRI，已经在膝关节软骨缺陷评估中进行了许多尝试。然而，软骨的生理特性可能阻碍这种努力：软骨是薄的弯曲层，这意味着只有膝关节MRI中的一小部分体素可以有助于软骨缺陷评估;异构扫描方案进一步挑战CNN在临床实践中的可行性;基于CNN的膝关节软骨评估结果缺乏解释性。为了解决这些挑战，我们将软骨结构和外观模拟到膝关节MRI进入图表表示，该图表能够处理高度多样化的临床数据。然后，由软骨图表示指导，我们设计了一种具有自我关注机制的非欧几里德深度学习网络，提取本地和全局中的软骨功能，并通过可视化结果导出最终评估。我们的综合实验表明，该方法在膝关节软骨缺陷评估中产生了卓越的性能，以及其方便的可解释性3D可视化。