Using 3D CNNs on high resolution medical volumes is very computationally demanding, especially for large datasets like the UK Biobank which aims to scan 100,000 subjects. Here we demonstrate that using 2D CNNs on a few 2D projections (representing mean and standard deviation across axial, sagittal and coronal slices) of the 3D volumes leads to reasonable test accuracy when predicting the age from brain volumes. Using our approach, one training epoch with 20,324 subjects takes 40 - 70 seconds using a single GPU, which is almost 100 times faster compared to a small 3D CNN. These results are important for researchers who do not have access to expensive GPU hardware for 3D CNNs.

Accurate diagnosis of Alzheimer's disease (AD) is both challenging and time consuming. With a systematic approach for early detection and diagnosis of AD, steps can be taken towards the treatment and prevention of the disease. This study explores the practical application of deep learning models for diagnosis of AD. Due to computational complexity, large training times and limited availability of labelled dataset, a 3D full brain CNN (convolutional neural network) is not commonly used, and researchers often prefer 2D CNN variants. In this study, full brain 3D version of well-known 2D CNNs were designed, trained and tested for diagnosis of various stages of AD. Deep learning approach shows good performance in differentiating various stages of AD for more than 1500 full brain volumes. Along with classification, the deep learning model is capable of extracting features which are key in differentiating the various categories. The extracted features align with meaningful anatomical landmarks, that are currently considered important in identification of AD by experts. An ensemble of all the algorithm was also tested and the performance of the ensemble algorithm was superior to any individual algorithm, further improving diagnosis ability. The 3D versions of the trained CNNs and their ensemble have the potential to be incorporated in software packages that can be used by physicians/radiologists to assist them in better diagnosis of AD.

Over the years, Machine Learning models have been successfully employed on neuroimaging data for accurately predicting brain age. Deviations from the healthy brain aging pattern are associated to the accelerated brain aging and brain abnormalities. Hence, efficient and accurate diagnosis techniques are required for eliciting accurate brain age estimations. Several contributions have been reported in the past for this purpose, resorting to different data-driven modeling methods. Recently, deep neural networks (also referred to as deep learning) have become prevalent in manifold neuroimaging studies, including brain age estimation. In this review, we offer a comprehensive analysis of the literature related to the adoption of deep learning for brain age estimation with neuroimaging data. We detail and analyze different deep learning architectures used for this application, pausing at research works published to date quantitatively exploring their application. We also examine different brain age estimation frameworks, comparatively exposing their advantages and weaknesses. Finally, the review concludes with an outlook towards future directions that should be followed by prospective studies. The ultimate goal of this paper is to establish a common and informed reference for newcomers and experienced researchers willing to approach brain age estimation by using deep learning models

背景：虽然卷积神经网络（CNN）实现了检测基于磁共振成像（MRI）扫描的阿尔茨海默病（AD）痴呆的高诊断准确性，但它们尚未应用于临床常规。这是一个重要原因是缺乏模型可理解性。最近开发的用于导出CNN相关性图的可视化方法可能有助于填补这种差距。我们调查了具有更高准确性的模型还依赖于先前知识预定义的判别脑区域。方法：我们培训了CNN，用于检测痴呆症和Amnestic认知障碍（MCI）患者的N = 663 T1加权MRI扫描的AD，并通过交叉验证和三个独立样本验证模型的准确性= 1655例。我们评估了相关评分和海马体积的关联，以验证这种方法的临床效用。为了提高模型可理解性，我们实现了3D CNN相关性图的交互式可视化。结果：跨三个独立数据集，组分离表现出广告痴呆症与控制的高精度（AUC $ \ GEQUQ $ 0.92）和MCI与控制的中等精度（AUC $ \约0.75美元）。相关性图表明海马萎缩被认为是广告检测的最具信息性因素，其其他皮质和皮质区域中的萎缩额外贡献。海马内的相关评分与海马体积高度相关（Pearson的r $ \大约$ -0.86，p <0.001）。结论：相关性地图突出了我们假设先验的地区的萎缩。这加强了CNN模型的可理解性，这些模型基于扫描和诊断标签以纯粹的数据驱动方式培训。

临床实践中使用的医学图像是异质的，与学术研究中研究的扫描质量不同。在解剖学，伪影或成像参数不寻常或方案不同的极端情况下，预处理会分解。最需要对这些变化的方法可靠。提出了一种新颖的深度学习方法，以将人脑快速分割为132个区域。提出的模型使用有效的U-NET型网络，并从不同视图和分层关系的交点上受益，以在端到端训练期间融合正交2D平面和脑标签。部署了弱监督的学习，以利用部分标记的数据来进行整个大脑分割和颅内体积（ICV）的估计。此外，数据增强用于通过生成具有较高的脑扫描的磁共振成像（MRI）数据来扩展模型训练，同时保持数据隐私。提出的方法可以应用于脑MRI数据，包括头骨或任何其他工件，而无需预处理图像或性能下降。与最新的一些实验相比，使用了不同的Atlases的几项实验，以评估受过训练模型的分割性能，并且与不同内部和不同内部和不同内部方法的现有方法相比，结果显示了较高的分割精度和鲁棒性。间域数据集。

在对光学相干断层扫描（OCT）数据进行深度学习的应用时，通常是使用源自体积数据的2D图像训练分类网络。鉴于OCT系统的千分尺分辨率，在可见的结构和噪声中，连续图像通常非常相似。因此，不适当的数据拆分可能会导致训练和测试集之间的重叠，其中很大一部分文献忽略了这一方面。在这项研究中，使用三个OCT开放式访问数据集，Kermany's和Srinivasan的Ophthalmology数据集以及AIIMS乳房组织数据集证明了三个分类任务的数据集对模型评估的影响。结果表明，分类性能在MATTHEWS相关系数（准确性：5％至30％）方面膨胀了0.07，对于在数据集中测试的模型不当，突出了数据集处理对模型评估的相当大影响。这项研究旨在提高人们对数据集分裂的重要性的认识，因为在对OCT数据上实施深度学习方面的研究兴趣增加。

卷积神经网络已使基于医学图像的诊断有了重大改进。但是，越来越明显的是，这些模型在面对虚假的相关性和数据集转移时易受性能降解，例如，领导者（例如，代表性不足的患者群体的表现不足）。在本文中，我们比较了ADNI MRI数据集上的两个分类方案：使用手动选择的体积特征的简单逻辑回归模型，以及对3D MRI数据训练的卷积神经网络。我们在面对不同的数据集拆分，训练集的性别组成和疾病阶段的情况下评估了受过训练的模型的鲁棒性。与其他成像方式中的早期工作相反，我们没有观察到培训数据集中多数组的模型性能的明确模式。取而代之的是，尽管逻辑回归对数据集组成完全可靠，但我们发现，在培训数据集中包括更多女性受试者时，男性和女性受试者的CNN性能通常会提高。我们假设这可能是由于两性病理学的固有差异。此外，在我们的分析中，Logistic回归模型优于3D CNN，强调了基于先验知识的手动特征规范的实用性，以及需要更强大的自动功能选择。

检测软骨损失对于诊断骨和类风湿关节炎至关重要。到目前为止，已经有大量自动分割工具用于大型关节的磁共振图像中的软骨评估。与膝盖或臀部相比，手腕软骨具有更复杂的结构，因此为大型关节开发的自动工具预计不会用于手腕软骨分割。在这方面，全自动手腕软骨分割方法将具有很高的临床感兴趣。我们评估了U-NET体系结构的四个优化变体的性能，并截断了其深度和注意力层（U-NET_AL）。将相应的结果与我们先前设计的基于斑块的卷积神经网络（CNN）的结果进行了比较。基于使用几个形态学（2D DSC，3D DSC，精度）和体积指标的比较分析进行了比较分析评估分割质量。这四个网络在分割均匀性和质量方面优于基于补丁的CNN。使用U-NET_AL计算的中值3D DSC值（0.817）明显大于其他网络计算的相应DSC值。此外，相对于地面真相，U-NET_AL CNN提供了最低的平均体积误差（17％）和最高的Pearson相关系数（0.765）。值得注意的是，使用U-NET_AL计算出的可重复性大于手动分割的可重复性。 U-NET卷积神经网络具有额外的注意层，可提供最佳的手腕软骨分割性能。为了在临床条件下使用，可以在代表一组特定患者的数据集上微调训练的网络。软骨体积测量的误差应使用非MRI方法独立评估。

扩散加权图像（DWIS）中的噪声降低了扩散张量磁共振成像（DTI）导出的微结构参数的准确性和精度，并导致延长的采集时间来实现改进的信噪比（SNR）。基于深度学习的图像去噪使用卷积神经网络（CNNS）具有卓越的性能，但通常需要额外的高SNR数据来监督CNN的培训，这降低了实际可行性。我们开发了一个自我监督的深度学习的方法，标题为“SDNDTI”，用于去噪DTI数据，这不需要额外的高SNR数据进行培训。具体地，SDNDTI将多向DTI数据划分为许多子集，每个子​​集中沿着沿着最佳选择的扩散编码方向组成的六个DWI卷，该编码方向是对张力配件的稳健，然后沿着拟合的扩散张量沿所有获取的方向合成DWI体积使用数据的每个子集作为CNN的输入数据。另一方面，SDNDTI沿着使用所有获取的数据作为训练目标的扩散张量，沿着获取的扩散编码方向合成DWI卷。 SDNDTI使用深3维CNN从合成的DWI卷中的每个子集中消除噪声，以匹配清洁器目标DWI卷的质量，通过平均所有去噪数据的所有子集实现更高的SNR。 SDNDTI的去噪功效在于人类连接项目（HCP）提供的两种数据集和衰老中的寿命HCP。 SDNDTI结果保留了图像清晰度和纹理细节，并大大改善了原始数据的影响。 SDNDTI的结果与来自最先进的传统去噪算法包括BM4D，AONLM和MPPCA的常规去噪算法的结果相当。

我们介绍了用于分析功能磁共振成像（FMRI）数据的TFF变压器框架。TFF采用基于变压器的架构和两阶段培训方法。首先，自我监督培训适用于FMRI扫描的集合，其中模型培训用于重建3D卷数据。其次，预训练模型在特定任务上进行了微调，利用地面真理标签。我们的结果显示了各种FMRI任务的最先进的性能，包括年龄和性别预测，以及精神分裂症认可。

用于预测神经影像数据的深度学习算法在各种应用中显示出巨大的希望。先前的工作表明，利用数据的3D结构的深度学习模型可以在几个学习任务上胜过标准机器学习。但是，该领域的大多数先前研究都集中在成年人的神经影像学数据上。在一项大型纵向发展研究的青少年大脑和认知发展（ABCD）数据集中，我们检查了结构性MRI数据，以预测性别并确定与性别相关的大脑结构变化。结果表明，性别预测准确性异常高（> 97％），训练时期> 200，并且这种准确性随着年龄的增长而增加。大脑区域被确定为研究的任务中最歧视性的，包括主要的额叶区域和颞叶。当评估年龄增加两年的性别预测变化时，揭示了一组更广泛的视觉，扣带和孤立区域。我们的发现表明，即使在较小的年龄范围内，也显示出与性别相关的结构变化模式。这表明，通过查看这些变化与不同的行为和环境因素如何相关，可以研究青春期大脑如何变化。

在几乎不可预测且通常严重的主题运动的情况下获得的多个MR Slices的胎儿大脑的体积重建是一项具有挑战性的任务，对切片转换的初始化非常敏感。我们建议使用经过合成转换数据训练的变压器提出了一种新型的切片到体积的注册方法，该数据将MR Slices的多个堆栈模拟为序列。通过注意机制，我们的模型会自动检测切片之间的相关性，并使用来自其他切片的信息预测一个切片的转换。我们还估计了基础3D卷，以帮助切片到体积的注册，并交替更新音量和转换以提高准确性。合成数据的结果表明，与现有的最新方法相比，我们的方法可实现较低的注册误差和更好的重建质量。还进行了使用现实世界中MRI数据的实验，以证明该模型在严重的胎儿运动下提高3D重建质量的能力。

We present VoxelMorph, a fast learning-based framework for deformable, pairwise medical image registration. Traditional registration methods optimize an objective function for each pair of images, which can be time-consuming for large datasets or rich deformation models. In contrast to this approach, and building on recent learning-based methods, we formulate registration as a function that maps an input image pair to a deformation field that aligns these images. We parameterize the function via a convolutional neural network (CNN), and optimize the parameters of the neural network on a set of images. Given a new pair of scans, VoxelMorph rapidly computes a deformation field by directly evaluating the function. In this work, we explore two different training strategies. In the first (unsupervised) setting, we train the model to maximize standard image matching objective functions that are based on the image intensities. In the second setting, we leverage auxiliary segmentations available in the training data. We demonstrate that the unsupervised model's accuracy is comparable to state-of-the-art methods, while operating orders of magnitude faster. We also show that VoxelMorph trained with auxiliary data improves registration accuracy at test time, and evaluate the effect of training set size on registration. Our method promises to speed up medical image analysis and processing pipelines, while facilitating novel directions in learning-based registration and its applications. Our code is freely available at http://voxelmorph.csail.mit.edu.

主要的神经影像学研究推动了1.0 mm以下的3T MRI采集分辨率，以改善结构定义和形态学。然而，只有很少的时间 - 密集的自动化图像分析管道已被验证为高分辨率（雇用）设置。另一方面，有效的深度学习方法很少支持多个固定分辨率（通常1.0 mm）。此外，缺乏标准的杂交数据分辨率以及具有足够覆盖的扫描仪，年龄，疾病或遗传方差的多样化数据的有限可用性会带来额外的，未解决的挑战培训网络。将分辨率独立于基于深度学习的分割，即在一系列不同的体素大小上以其本地分辨率进行分辨率的能力，承诺克服这些挑战，但目前没有这种方法。我们现在通过向决议独立的分割任务（VINN）引入VINOSEIZED独立的神经网络（VINN）来填补这个差距，并呈现FastSurfervinn，（i）建立并实施决议独立，以获得深度学习作为同时支持0.7-1.0 mm的第一种方法分割，（ii）显着优于跨决议的最先进方法，（iii）减轻雇用数据集中存在的数据不平衡问题。总体而言，内部分辨率 - 独立性相互益处雇用和1.0 mm MRI分割。通过我们严格验证的FastSurfervinn，我们将为不同的神经视线镜分析分发一个快速工具。此外，VINN架构表示更广泛应用的有效分辨率的分段方法

当小鼠脑中的解剖结构要注册为参考地图集时，小鼠脑显微镜图像的精确鉴定是至关重要的第一步。从业人员通常依赖于假定存在完整图像的图像或工具的手动比较。这项工作探索了暹罗网络，作为找到给定的部分2D小鼠脑图像的相应2D参考地图集板的方法。暹罗网络是一类卷积神经网络（CNN），它们使用重量共享路径来获得低维输入图像的低维嵌入。部分小鼠脑图像和参考地图集板之间的对应关系是基于使用对比度学习从暹罗网络获得的脑切片和地图集的低维嵌入之间的距离。实验表明，当训练和测试图像来自相同的来源时，暹罗CNN可以精确地使用艾伦小鼠脑图鉴定脑切片。他们分别获得了25％和100％的前1位和前5个精度，仅需7.2秒即可识别29张图像。

确定大脑是否正常发展是儿科神经加理学和神经内科的关键组成部分。婴儿的脑磁共振成像（MRI）展示了超越髓鞘的特定发展模式。虽然放射科医师使用髓鞘模式，脑形态和尺寸特征来确定年龄充足的脑成熟度，但这需要多年的儿科神经皮层经验。没有标准化标准，在三岁之前的MRI中大脑结构成熟度的视觉估计仍然是观察者间和观察者内的差异。大脑发育年龄的更客观估计可以帮助医生们早先识别许多神经发育病症和疾病。然而，这种数据自然是难以获得的，并且观察者地面真理由于评估的主观性而不是黄金标准。在这种光明中，我们探讨了解决这项任务的一般可行性，以及不同方法的效用，包括在T1加权，T2加权的融合中培训的两维卷积神经网络（CNN）和三维卷积神经网络（CNN）质子密度（Pd）来自84个个体受试者的加权序列分为来自出生于3岁的4岁群体。以最佳性能的方法，在中央轴向厚板上使用2D CNN实现0.90 [95％CI：0.86-0.94]的精度。我们讨论了与3D网络的比较，并展示了如何对仅使用一个序列（T1W）的性能。总之，尽管3D CNN方法的理论优势，但在有限数据的情况下，这种方法差不多达到更简单的架构。代码可以在https://github.com/shabanian2018/age_mri-classification中找到

我们提出了一种新颖的神经网络架构，称为Autoatlas，用于3D脑磁共振成像（MRI）卷的完全无监督分区和表示学习。 Autoatlas由两个神经网络组件组成：一个神经网络基于卷中的本地纹理执行多标签分区，以及第二神经网络以压缩每个分区内包含的信息。我们通过优化旨在促进每个分区的准确重建的损耗功能同时培训这两种组件，同时鼓励空间平滑和连续的分区，并劝阻相对小的隔板。我们表明分区适应脑组织的主题特定结构变化，同时始终出现在跨对象的类似空间位置。 Autoatlas还产生非常低的维度功能，表示每个分区的本地纹理。我们展示了使用导出的特征表示的与每个对象相关联的元数据的预测，并使用从释放释放解剖局派生的特征进行比较预测结果。由于我们的功能本质上与不同的分区相关联，我们可以映射兴趣的值，例如分区特定的特征重要性分数到大脑上以进行可视化。

Many clinical and research studies of the human brain require an accurate structural MRI segmentation. While traditional atlas-based methods can be applied to volumes from any acquisition site, recent deep learning algorithms ensure very high accuracy only when tested on data from the same sites exploited in training (i.e., internal data). The performance degradation experienced on external data (i.e., unseen volumes from unseen sites) is due to the inter-site variabilities in intensity distributions induced by different MR scanner models, acquisition parameters, and unique artefacts. To mitigate this site-dependency, often referred to as the scanner effect, we propose LOD-Brain, a 3D convolutional neural network with progressive levels-of-detail (LOD) able to segment brain data from any site. Coarser network levels are responsible to learn a robust anatomical prior useful for identifying brain structures and their locations, while finer levels refine the model to handle site-specific intensity distributions and anatomical variations. We ensure robustness across sites by training the model on an unprecedented rich dataset aggregating data from open repositories: almost 27,000 T1w volumes from around 160 acquisition sites, at 1.5 - 3T, from a population spanning from 8 to 90 years old. Extensive tests demonstrate that LOD-Brain produces state-of-the-art results, with no significant difference in performance between internal and external sites, and robust to challenging anatomical variations. Its portability opens the way for large scale application across different healthcare institutions, patient populations, and imaging technology manufacturers. Code, model, and demo are available at the project website.

精神分裂症是一种慢性神经精神疾病，会引起大脑内部的不同结构改变。我们假设将深度学习应用于结构性神经影像学数据集可以检测到与疾病相关的改变，并提高分类和诊断准确性。我们使用单一可用的，常规的T1加权MRI扫描测试了这一假设，我们使用标准后处理方法从中提取了3D全脑结构。然后在三个开放数据集上开发，优化和评估了一个深度学习模型，并对精神分裂症患者进行T1加权MRI扫描。我们提出的模型优于基准模型，该模型还使用3D CNN体系结构对结构MR图像进行了训练。我们的模型几乎能够完美地（ROC曲线下的区域= 0.987），将精神分裂症患者与看不见的结构MRI扫描中的健康对照区分开。区域分析将皮质下区域和心室局部作为最预测的大脑区域。皮层结构在人类的认知，情感和社会功能中起关键作用，这些区域的结构异常与精神分裂症有关。我们的发现证实了精神分裂症与皮质下大脑结构的广泛改变有关，皮层结构信息在诊断分类中提供了突出的特征。总之，这些结果进一步证明了深度学习的潜力，以改善精神分裂症的诊断，并从单个标准的T1加权脑MRI中确定其结构性神经影像学特征。

从磁共振成像（MRI）数据（称为颅骨条状）中去除非脑信号是许多神经图像分析流的组成部分。尽管它们很丰富，但通常是针对具有特定采集特性的图像量身定制的，即近乎各向异性的分辨率和T1加权（T1W）MRI对比度，这些分辨率在研究环境中很普遍。结果，现有的工具倾向于适应其他图像类型，例如在诊所常见的快速旋转回声（FSE）MRI中获得的厚切片。尽管近年来基于学习的大脑提取方法已获得吸引力，但这些方法面临着类似的负担，因为它们仅对训练过程中看到的图像类型有效。为了在成像协议的景观中实现强大的颅骨缠身，我们引入了Synthstrip，这是一种快速，基于学习的脑萃取工具。通过利用解剖学分割来生成具有解剖学，强度分布和远远超过现实医学图像范围的完全合成训练数据集，Synthstrip学会了成功推广到各种真实获得的大脑图像，从而消除了使用训练数据的需求目标对比。我们证明了合成条的功效对受试者人群的各种图像采集和决议的功效，从新生儿到成人。我们显示出与流行的颅骨基线的准确性的实质性提高 - 所有这些基线都采用单个训练有素的模型。我们的方法和标记的评估数据可在https://w3id.org/synthstrip上获得。