深度学习模型已使高维功能MRI（fMRI）数据的分析能够跃升。然而，许多以前的方法对各种时间尺度的上下文表示次优敏感。在这里，我们提出了螺栓，这是一种血氧级依赖性变压器模型，用于分析多变量fMRI时间序列。螺栓利用了一系列具有新型融合窗户注意机制的变压器编码器。编码是在时间序列中在时间重叠的窗口上执行的，以捕获本地表示。为了暂时地集成信息，在每个窗口中的基本令牌和来自附近窗口的边缘令牌之间计算交叉窗口的注意力。要逐渐从本地表示，窗口重叠的程度以及边缘令牌的数量在整个级联反应中逐渐增加。最后，采用了一种新颖的跨窗口正则化来使整个时间序列之间的高级分类特征对齐。大规模公共数据集的全面实验证明了螺栓与最先进方法的出色性能。此外，解释性分析以确定具有里程碑意义的时间点和区域，这些时间点和区域最大程度地促进模型的决策证实了文献中突出的神经科学发现。

监测普遍的空气传播疾病，例如COVID-19的特征涉及呼吸评估。虽然听诊是一种症状监测的主流方法，但其诊断效用受到专用医院就诊的需求而受到阻碍。基于便携式设备上呼吸道声音的记录，持续的远程监视是一种有希望的替代方法，可以帮助筛选Covid-19。在这项研究中，我们介绍了一种新型的深度学习方法，可以将Covid-19患者与健康对照组区分开，鉴于咳嗽或呼吸声的音频记录。所提出的方法利用新型的层次谱图变压器（HST）在呼吸声的光谱图表示上。 HST在频谱图中体现了在本地窗口上的自我发挥机制，并且窗口大小在模型阶段逐渐生长，以捕获本地环境。将HST与最新的常规和深度学习基线进行比较。在跨国数据集上进行的全面演示表明，HST优于竞争方法，在检测COVID-19案例中，在接收器操作特征曲线（AUC）下达到了97％以上的面积。

在过去的十年中，卷积神经网络（Convnets）主导了医学图像分析领域。然而，发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点，在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者，因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中，我们呈现透射帧，一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形，具有两个散晶变体，确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型：患者间脑MRI注册和幻影到CT注册。定性和定量结果表明，传输和其变体导致基线方法的实质性改进，展示了用于医学图像配准的变压器的有效性。

变形金刚占据了自然语言处理领域，最近影响了计算机视觉区域。在医学图像分析领域中，变压器也已成功应用于全栈临床应用，包括图像合成/重建，注册，分割，检测和诊断。我们的论文旨在促进变压器在医学图像分析领域的认识和应用。具体而言，我们首先概述了内置在变压器和其他基本组件中的注意机制的核心概念。其次，我们回顾了针对医疗图像应用程序量身定制的各种变压器体系结构，并讨论其局限性。在这篇综述中，我们调查了围绕在不同学习范式中使用变压器，提高模型效率及其与其他技术的耦合的关键挑战。我们希望这篇评论可以为读者提供医学图像分析领域的读者的全面图片。

Late-life depression (LLD) is a highly prevalent mood disorder occurring in older adults and is frequently accompanied by cognitive impairment (CI). Studies have shown that LLD may increase the risk of Alzheimer's disease (AD). However, the heterogeneity of presentation of geriatric depression suggests that multiple biological mechanisms may underlie it. Current biological research on LLD progression incorporates machine learning that combines neuroimaging data with clinical observations. There are few studies on incident cognitive diagnostic outcomes in LLD based on structural MRI (sMRI). In this paper, we describe the development of a hybrid representation learning (HRL) framework for predicting cognitive diagnosis over 5 years based on T1-weighted sMRI data. Specifically, we first extract prediction-oriented MRI features via a deep neural network, and then integrate them with handcrafted MRI features via a Transformer encoder for cognitive diagnosis prediction. Two tasks are investigated in this work, including (1) identifying cognitively normal subjects with LLD and never-depressed older healthy subjects, and (2) identifying LLD subjects who developed CI (or even AD) and those who stayed cognitively normal over five years. To the best of our knowledge, this is among the first attempts to study the complex heterogeneous progression of LLD based on task-oriented and handcrafted MRI features. We validate the proposed HRL on 294 subjects with T1-weighted MRIs from two clinically harmonized studies. Experimental results suggest that the HRL outperforms several classical machine learning and state-of-the-art deep learning methods in LLD identification and prediction tasks.

大脑区域之间的功能连通性（FC）通常是通过应用于功能磁共振成像（FMRI）数据的统计依赖度量来估计的。所得的功能连接矩阵（FCM）通常用于表示脑图的邻接矩阵。最近，图形神经网络（GNN）已成功应用于FCM，以学习脑图表示。但是，现有GNN方法的一个普遍局限性是，它们要求在模型训练之前知道图形邻接矩阵。因此，隐含地假设数据的基础依赖性结构已知。不幸的是，对于fMRI而言，情况并非如此，因为哪种统计度量的选择最能代表数据的依赖性结构是非平凡的。同样，大多数GNN应用于功能磁共振成像，FC都会随着时间的推移而静态，这与神经科学的证据相反，表明功能性脑网络是随时间变化且动态的。这些复合问题可能会对GNN学习脑图表示的能力产生不利影响。作为解决方案，我们提出了动态大脑图结构学习（DBGSL），这是一种学习fMRI数据最佳时变依赖性结构的监督方法。具体而言，DBGSL通过应用于大脑区域嵌入的时空注意力从fMRI时间表中学习了动态图。然后将所得的图馈送到空间GNN中，以学习分类的图表。大型休息状态以及性别分类任务的fMRI数据集的实验表明，DBGSL可以实现最新的性能。此外，对学习动态图的分析突出了与现有神经科学文献的发现相符的预测相关大脑区域。

在神经影像分析中，功能磁共振成像（fMRI）可以很好地评估没有明显结构病变的脑疾病的大脑功能变化。到目前为止，大多数基于研究的FMRI研究将功能连接性作为疾病分类的基本特征。但是，功能连接通常是根据感兴趣的预定义区域的时间序列计算的，并忽略了每个体素中包含的详细信息，这可能会导致诊断模型的性能恶化。另一个方法论上的缺点是训练深模型的样本量有限。在这项研究中，我们提出了Brainformer，这是一种用于单个FMRI体积的脑疾病分类的一般混合变压器架构，以充分利用素食细节，并具有足够的数据尺寸和尺寸。脑形形式是通过对每个体素内的局部提示进行建模的3D卷积，并捕获两个全球注意力障碍的遥远地区之间的全球关系。局部和全局线索通过单流模型在脑形中汇总。为了处理多站点数据，我们提出了一个归一化层，以将数据标准化为相同的分布。最后，利用一种基于梯度的定位图可视化方法来定位可能的疾病相关生物标志物。我们在五个独立获取的数据集上评估了脑形形成器，包括Abide，ADNI，MPILMBB，ADHD-200和ECHO，以及自闭症疾病，阿尔茨海默氏病，抑郁症，注意力缺陷多动障碍和头痛疾病。结果证明了脑形对多种脑疾病的诊断的有效性和普遍性。脑形物可以在临床实践中促进基于神经成像的精确诊断，并激励FMRI分析中的未来研究。代码可在以下网址获得：https：//github.com/ziyaozhangforpcl/brainformer。

Mapping the connectome of the human brain using structural or functional connectivity has become one of the most pervasive paradigms for neuroimaging analysis. Recently, Graph Neural Networks (GNNs) motivated from geometric deep learning have attracted broad interest due to their established power for modeling complex networked data. Despite their superior performance in many fields, there has not yet been a systematic study of how to design effective GNNs for brain network analysis. To bridge this gap, we present BrainGB, a benchmark for brain network analysis with GNNs. BrainGB standardizes the process by (1) summarizing brain network construction pipelines for both functional and structural neuroimaging modalities and (2) modularizing the implementation of GNN designs. We conduct extensive experiments on datasets across cohorts and modalities and recommend a set of general recipes for effective GNN designs on brain networks. To support open and reproducible research on GNN-based brain network analysis, we host the BrainGB website at https://braingb.us with models, tutorials, examples, as well as an out-of-box Python package. We hope that this work will provide useful empirical evidence and offer insights for future research in this novel and promising direction.

我们介绍了用于分析功能磁共振成像（FMRI）数据的TFF变压器框架。TFF采用基于变压器的架构和两阶段培训方法。首先，自我监督培训适用于FMRI扫描的集合，其中模型培训用于重建3D卷数据。其次，预训练模型在特定任务上进行了微调，利用地面真理标签。我们的结果显示了各种FMRI任务的最先进的性能，包括年龄和性别预测，以及精神分裂症认可。

在大脑中找到适当的动态活动的适当表示对于许多下游应用至关重要。由于其高度动态的性质，暂时平均fMRI（功能磁共振成像）只能提供狭窄的脑活动视图。以前的作品缺乏学习和解释大脑体系结构中潜在动态的能力。本文构建了一个有效的图形神经网络模型，该模型均包含了从DWI（扩散加权成像）获得的区域映射的fMRI序列和结构连接性作为输入。我们通过学习样品水平的自适应邻接矩阵并进行新型多分辨率内群平滑来发现潜在大脑动力学的良好表示。我们还将输入归因于具有集成梯度的输入，这使我们能够针对每个任务推断（1）高度涉及的大脑连接和子网络，（2）成像序列的时间键帧，这些成像序列表征了任务，以及（3）歧视单个主体的子网络。这种识别特征在异质任务和个人中表征信号状态的关键子网的能力对神经科学和其他科学领域至关重要。广泛的实验和消融研究表明，我们提出的方法在空间 - 周期性图信号建模中的优越性和效率，具有对脑动力学的深刻解释。

Neuroimaging-based prediction methods for intelligence and cognitive abilities have seen a rapid development in literature. Among different neuroimaging modalities, prediction based on functional connectivity (FC) has shown great promise. Most literature has focused on prediction using static FC, but there are limited investigations on the merits of such analysis compared to prediction based on dynamic FC or region level functional magnetic resonance imaging (fMRI) times series that encode temporal variability. To account for the temporal dynamics in fMRI data, we propose a deep neural network involving bi-directional long short-term memory (bi-LSTM) approach that also incorporates feature selection mechanism. The proposed pipeline is implemented via an efficient GPU computation framework and applied to predict intelligence scores based on region level fMRI time series as well as dynamic FC. We compare the prediction performance for different intelligence measures based on static FC, dynamic FC, and region level time series acquired from the Adolescent Brain Cognitive Development (ABCD) study involving close to 7000 individuals. Our detailed analysis illustrates that static FC consistently has inferior prediction performance compared to region level time series or dynamic FC for unimodal rest and task fMRI experiments, and in almost all cases using a combination of task and rest features. In addition, the proposed bi-LSTM pipeline based on region level time series identifies several shared and differential important brain regions across task and rest fMRI experiments that drive intelligence prediction. A test-retest analysis of the selected features shows strong reliability across cross-validation folds. Given the large sample size from ABCD study, our results provide strong evidence that superior prediction of intelligence can be achieved by accounting for temporal variations in fMRI.

我们首次建议使用基于多个实例学习的无卷积变压器模型，称为多个实例神经图像变压器（Minit），以分类T1Weighted（T1W）MRIS。我们首先介绍了为神经图像采用的几种变压器模型。这些模型从输入体积提取非重叠的3D块，并对其线性投影进行多头自我注意。另一方面，Minit将输入MRI的每个非重叠的3D块视为其自己的实例，将其进一步分为非重叠的3D贴片，并在其上计算了多头自我注意力。作为概念验证，我们通过训练模型来评估模型的功效，以确定两个公共数据集的T1W-MRIS：青少年脑认知发展（ABCD）和青少年酒精和神经发展联盟（NCANDA）（NCANDA） 。博学的注意力图突出了有助于识别脑形态计量学性别差异的体素。该代码可在https://github.com/singlaayush/minit上找到。

研究了自闭症数据集，以确定自闭症和健康组之间的差异。为此，分析了这两组的静止状态功能磁共振成像（RS-FMRI）数据，并创建了大脑区域之间的连接网络。开发了几个分类框架，以区分组之间的连接模式。比较了统计推断和精度的最佳模型，并分析了精度和模型解释性之间的权衡。最后，据报道，分类精度措施证明了我们框架的性能。我们的最佳模型可以以71％的精度将自闭症和健康的患者分类为多站点I数据。

Transformer-based models, capable of learning better global dependencies, have recently demonstrated exceptional representation learning capabilities in computer vision and medical image analysis. Transformer reformats the image into separate patches and realize global communication via the self-attention mechanism. However, positional information between patches is hard to preserve in such 1D sequences, and loss of it can lead to sub-optimal performance when dealing with large amounts of heterogeneous tissues of various sizes in 3D medical image segmentation. Additionally, current methods are not robust and efficient for heavy-duty medical segmentation tasks such as predicting a large number of tissue classes or modeling globally inter-connected tissues structures. Inspired by the nested hierarchical structures in vision transformer, we proposed a novel 3D medical image segmentation method (UNesT), employing a simplified and faster-converging transformer encoder design that achieves local communication among spatially adjacent patch sequences by aggregating them hierarchically. We extensively validate our method on multiple challenging datasets, consisting anatomies of 133 structures in brain, 14 organs in abdomen, 4 hierarchical components in kidney, and inter-connected kidney tumors). We show that UNesT consistently achieves state-of-the-art performance and evaluate its generalizability and data efficiency. Particularly, the model achieves whole brain segmentation task complete ROI with 133 tissue classes in single network, outperforms prior state-of-the-art method SLANT27 ensembled with 27 network tiles, our model performance increases the mean DSC score of the publicly available Colin and CANDI dataset from 0.7264 to 0.7444 and from 0.6968 to 0.7025, respectively.

理解神经动力学的空间和时间特征之间的相互作用可以有助于我们对人脑中信息处理的理解。图形神经网络（GNN）提供了一种新的可能性，可以解释图形结构化信号，如在复杂的大脑网络中观察到的那些。在我们的研究中，我们比较不同的时空GNN架构，并研究他们复制在功能MRI（FMRI）研究中获得的神经活动分布的能力。我们评估GNN模型在MRI研究中各种场景的性能，并将其与VAR模型进行比较，目前主要用于定向功能连接分析。我们表明，即使当可用数据稀缺时，基于基于解剖学基板的局部功能相互作用，基于GNN的方法也能够鲁棒地规模到大型网络研究。通过包括作为信息衬底的解剖连接以进行信息传播，这种GNN还提供了关于指向连接性分析的多模阶视角，提供了研究脑网络中的时空动态的新颖可能性。

变压器是一种基于关注的编码器解码器架构，彻底改变了自然语言处理领域。灵感来自这一重大成就，最近在将变形式架构调整到计算机视觉（CV）领域的一些开创性作品，这已经证明了他们对各种简历任务的有效性。依靠竞争力的建模能力，与现代卷积神经网络相比在本文中，我们已经为三百不同的视觉变压器进行了全面的审查，用于三个基本的CV任务（分类，检测和分割），提出了根据其动机，结构和使用情况组织这些方法的分类。 。由于培训设置和面向任务的差异，我们还在不同的配置上进行了评估了这些方法，以便于易于和直观的比较而不是各种基准。此外，我们已经揭示了一系列必不可少的，但可能使变压器能够从众多架构中脱颖而出，例如松弛的高级语义嵌入，以弥合视觉和顺序变压器之间的差距。最后，提出了三个未来的未来研究方向进行进一步投资。

功能磁共振成像（fMRI）的功能连通性网络（FCN）数据越来越多地用于诊断脑疾病。然而，最新的研究用来使用单个脑部分析地图集以一定的空间尺度构建FCN，该空间尺度很大程度上忽略了层次范围内不同空间尺度的功能相互作用。在这项研究中，我们提出了一个新型框架，以对脑部疾病诊断进行多尺度FCN分析。我们首先使用一组定义明确的多尺地图像来计算多尺度FCN。然后，我们利用多尺度地图集中各个区域之间具有生物学意义的大脑分层关系，以跨多个空间尺度进行淋巴结池，即“ Atlas指导的池”。因此，我们提出了一个基于多尺度的层次图形卷积网络（MAHGCN），该网络（MAHGCN）建立在图形卷积和ATLAS引导的池上，以全面地从多尺度FCN中详细提取诊断信息。关于1792名受试者的神经影像数据的实验证明了我们提出的方法在诊断阿尔茨海默氏病（AD），AD的前驱阶段（即轻度认知障碍[MCI]）以及自闭症谱系障碍（ASD），，AD的前瞻性阶段（即，轻度认知障碍[MCI]），，精度分别为88.9％，78.6％和72.7％。所有结果都显示出我们提出的方法比其他竞争方法具有显着优势。这项研究不仅证明了使用深度学习增强的静止状态fMRI诊断的可行性，而且还强调，值得探索多尺度脑层次结构中的功能相互作用，并将其整合到深度学习网络体系结构中，以更好地理解有关的神经病理学。脑疾病。

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

变压器在自然语言处理中的成功最近引起了计算机视觉领域的关注。由于能够学习长期依赖性，变压器已被用作广泛使用的卷积运算符的替代品。事实证明，这种替代者在许多任务中都取得了成功，其中几种最先进的方法依靠变压器来更好地学习。在计算机视觉中，3D字段还见证了使用变压器来增加3D卷积神经网络和多层感知器网络的增加。尽管许多调查都集中在视力中的变压器上，但由于与2D视觉相比，由于数据表示和处理的差异，3D视觉需要特别注意。在这项工作中，我们介绍了针对不同3D视觉任务的100多种变压器方法的系统和彻底审查，包括分类，细分，检测，完成，姿势估计等。我们在3D Vision中讨论了变形金刚的设计，该设计使其可以使用各种3D表示形式处理数据。对于每个应用程序，我们强调了基于变压器的方法的关键属性和贡献。为了评估这些方法的竞争力，我们将它们的性能与12个3D基准测试的常见非转化方法进行了比较。我们通过讨论3D视觉中变压器的不同开放方向和挑战来结束调查。除了提出的论文外，我们的目标是频繁更新最新的相关论文及其相应的实现：https：//github.com/lahoud/3d-vision-transformers。

根据诊断各种疾病的胸部X射线图像的可观增长，以及收集广泛的数据集，使用深神经网络进行了自动诊断程序，已经占据了专家的思想。计算机视觉中的大多数可用方法都使用CNN主链来获得分类问题的高精度。然而，最近的研究表明，在NLP中成为事实上方法的变压器也可以优于许多基于CNN的模型。本文提出了一个基于SWIN变压器的多标签分类深模型，作为实现最新诊断分类的骨干。它利用了头部体系结构来利用多层感知器（也称为MLP）。我们评估了我们的模型，该模型称为“ Chest X-Ray14”，最广泛，最大的X射线数据集之一，该数据集由30,000多名14例著名胸部疾病的患者组成100,000多个额叶/背景图像。我们的模型已经用几个数量的MLP层用于头部设置，每个模型都在所有类别上都达到了竞争性的AUC分数。胸部X射线14的全面实验表明，与以前的SOTA平均AUC为0.799相比，三层头的平均AUC得分为0.810，其平均AUC得分为0.810。我们建议对现有方法进行公平基准测试的实验设置，该设置可以用作未来研究的基础。最后，我们通过确认所提出的方法参与胸部的病理相关区域，从而跟进了结果。