膝关节骨关节炎（OA）是最常见的骨关节炎和伤残原因。软骨缺陷被认为是膝关节OA的主要表现，其通过磁共振成像（MRI）可见。因此，对膝关节软骨缺陷的早期检测和评估对于保护膝关节OA患者来说是重要的。通过这种方式，通过将卷积神经网络（CNNS）应用于膝关节MRI，已经在膝关节软骨缺陷评估中进行了许多尝试。然而，软骨的生理特性可能阻碍这种努力：软骨是薄的弯曲层，这意味着只有膝关节MRI中的一小部分体素可以有助于软骨缺陷评估;异构扫描方案进一步挑战CNN在临床实践中的可行性;基于CNN的膝关节软骨评估结果缺乏解释性。为了解决这些挑战，我们将软骨结构和外观模拟到膝关节MRI进入图表表示，该图表能够处理高度多样化的临床数据。然后，由软骨图表示指导，我们设计了一种具有自我关注机制的非欧几里德深度学习网络，提取本地和全局中的软骨功能，并通过可视化结果导出最终评估。我们的综合实验表明，该方法在膝关节软骨缺陷评估中产生了卓越的性能，以及其方便的可解释性3D可视化。

Late-life depression (LLD) is a highly prevalent mood disorder occurring in older adults and is frequently accompanied by cognitive impairment (CI). Studies have shown that LLD may increase the risk of Alzheimer's disease (AD). However, the heterogeneity of presentation of geriatric depression suggests that multiple biological mechanisms may underlie it. Current biological research on LLD progression incorporates machine learning that combines neuroimaging data with clinical observations. There are few studies on incident cognitive diagnostic outcomes in LLD based on structural MRI (sMRI). In this paper, we describe the development of a hybrid representation learning (HRL) framework for predicting cognitive diagnosis over 5 years based on T1-weighted sMRI data. Specifically, we first extract prediction-oriented MRI features via a deep neural network, and then integrate them with handcrafted MRI features via a Transformer encoder for cognitive diagnosis prediction. Two tasks are investigated in this work, including (1) identifying cognitively normal subjects with LLD and never-depressed older healthy subjects, and (2) identifying LLD subjects who developed CI (or even AD) and those who stayed cognitively normal over five years. To the best of our knowledge, this is among the first attempts to study the complex heterogeneous progression of LLD based on task-oriented and handcrafted MRI features. We validate the proposed HRL on 294 subjects with T1-weighted MRIs from two clinically harmonized studies. Experimental results suggest that the HRL outperforms several classical machine learning and state-of-the-art deep learning methods in LLD identification and prediction tasks.

前列腺癌是美国男性癌症死亡的第二大原因。前列腺MRI的诊断通常依赖于准确的前列腺区域分割。但是，最新的自动分割方法通常无法产生前列腺区域的含有良好的体积分割，因为某些切片的前列腺MRI（例如碱基和顶点片）比其他切片更难分割。可以通过考虑相邻切片之间的跨片段关系来克服这一困难，但是当前的方法不能完全学习和利用这种关系。在本文中，我们提出了一种新型的跨板夹心注意机制，我们在变压器模块中使用该机制，以系统地学习不同尺度的跨斜纹关系。该模块可以在任何基于Skip Connections的现有基于学习的细分框架中使用。实验表明，我们的跨板块注意力能够捕获前列腺区域分割中的跨板片信息，并提高当前最新方法的性能。我们的方法提高了外围区域的分割精度，从而使所有前列腺切片（Apex，Mid-Gland和Base）的分割结果保持一致。

在神经影像分析中，功能磁共振成像（fMRI）可以很好地评估没有明显结构病变的脑疾病的大脑功能变化。到目前为止，大多数基于研究的FMRI研究将功能连接性作为疾病分类的基本特征。但是，功能连接通常是根据感兴趣的预定义区域的时间序列计算的，并忽略了每个体素中包含的详细信息，这可能会导致诊断模型的性能恶化。另一个方法论上的缺点是训练深模型的样本量有限。在这项研究中，我们提出了Brainformer，这是一种用于单个FMRI体积的脑疾病分类的一般混合变压器架构，以充分利用素食细节，并具有足够的数据尺寸和尺寸。脑形形式是通过对每个体素内的局部提示进行建模的3D卷积，并捕获两个全球注意力障碍的遥远地区之间的全球关系。局部和全局线索通过单流模型在脑形中汇总。为了处理多站点数据，我们提出了一个归一化层，以将数据标准化为相同的分布。最后，利用一种基于梯度的定位图可视化方法来定位可能的疾病相关生物标志物。我们在五个独立获取的数据集上评估了脑形形成器，包括Abide，ADNI，MPILMBB，ADHD-200和ECHO，以及自闭症疾病，阿尔茨海默氏病，抑郁症，注意力缺陷多动障碍和头痛疾病。结果证明了脑形对多种脑疾病的诊断的有效性和普遍性。脑形物可以在临床实践中促进基于神经成像的精确诊断，并激励FMRI分析中的未来研究。代码可在以下网址获得：https：//github.com/ziyaozhangforpcl/brainformer。

Transformer-based models, capable of learning better global dependencies, have recently demonstrated exceptional representation learning capabilities in computer vision and medical image analysis. Transformer reformats the image into separate patches and realize global communication via the self-attention mechanism. However, positional information between patches is hard to preserve in such 1D sequences, and loss of it can lead to sub-optimal performance when dealing with large amounts of heterogeneous tissues of various sizes in 3D medical image segmentation. Additionally, current methods are not robust and efficient for heavy-duty medical segmentation tasks such as predicting a large number of tissue classes or modeling globally inter-connected tissues structures. Inspired by the nested hierarchical structures in vision transformer, we proposed a novel 3D medical image segmentation method (UNesT), employing a simplified and faster-converging transformer encoder design that achieves local communication among spatially adjacent patch sequences by aggregating them hierarchically. We extensively validate our method on multiple challenging datasets, consisting anatomies of 133 structures in brain, 14 organs in abdomen, 4 hierarchical components in kidney, and inter-connected kidney tumors). We show that UNesT consistently achieves state-of-the-art performance and evaluate its generalizability and data efficiency. Particularly, the model achieves whole brain segmentation task complete ROI with 133 tissue classes in single network, outperforms prior state-of-the-art method SLANT27 ensembled with 27 network tiles, our model performance increases the mean DSC score of the publicly available Colin and CANDI dataset from 0.7264 to 0.7444 and from 0.6968 to 0.7025, respectively.

变形金刚占据了自然语言处理领域，最近影响了计算机视觉区域。在医学图像分析领域中，变压器也已成功应用于全栈临床应用，包括图像合成/重建，注册，分割，检测和诊断。我们的论文旨在促进变压器在医学图像分析领域的认识和应用。具体而言，我们首先概述了内置在变压器和其他基本组件中的注意机制的核心概念。其次，我们回顾了针对医疗图像应用程序量身定制的各种变压器体系结构，并讨论其局限性。在这篇综述中，我们调查了围绕在不同学习范式中使用变压器，提高模型效率及其与其他技术的耦合的关键挑战。我们希望这篇评论可以为读者提供医学图像分析领域的读者的全面图片。

作为新一代神经体系结构的变形金刚在自然语言处理和计算机视觉方面表现出色。但是，现有的视觉变形金刚努力使用有限的医学数据学习，并且无法概括各种医学图像任务。为了应对这些挑战，我们将Medformer作为数据量表变压器呈现为可推广的医学图像分割。关键设计结合了理想的电感偏差，线性复杂性的层次建模以及以空间和语义全局方式以线性复杂性的关注以及多尺度特征融合。 Medformer可以在不预训练的情况下学习微小至大规模的数据。广泛的实验表明，Medformer作为一般分割主链的潜力，在三个具有多种模式（例如CT和MRI）和多样化的医学靶标（例如，健康器官，疾病，疾病组织和肿瘤）的三个公共数据集上优于CNN和视觉变压器。我们将模型和评估管道公开可用，为促进广泛的下游临床应用提供固体基线和无偏比较。

机器学习和计算机视觉技术近年来由于其自动化，适合性和产生惊人结果的能力而迅速发展。因此，在本文中，我们调查了2014年至2022年之间发表的关键研究，展示了不同的机器学习算法研究人员用来分割肝脏，肝肿瘤和肝脉管结构的研究。我们根据感兴趣的组织（肝果，肝肿瘤或肝毒剂）对被调查的研究进行了划分，强调了同时解决多个任务的研究。此外，机器学习算法被归类为受监督或无监督的，如果属于某个方案的工作量很大，则将进一步分区。此外，对文献和包含上述组织面具的网站发现的不同数据集和挑战进行了彻底讨论，强调了组织者的原始贡献和其他研究人员的贡献。同样，在我们的评论中提到了文献中过度使用的指标，这强调了它们与手头的任务的相关性。最后，强调创新研究人员应对需要解决的差距的关键挑战和未来的方向，例如许多关于船舶分割挑战的研究的稀缺性以及为什么需要早日处理他们的缺席。

随着深度学习方法的进步，如深度卷积神经网络，残余神经网络，对抗网络的进步。 U-Net架构最广泛利用生物医学图像分割，以解决目标区域或子区域的识别和检测的自动化。在最近的研究中，基于U-Net的方法在不同应用中显示了最先进的性能，以便在脑肿瘤，肺癌，阿尔茨海默，乳腺癌等疾病的早期诊断和治疗中发育计算机辅助诊断系统等，使用各种方式。本文通过描述U-Net框架来提出这些方法的成功，然后通过执行1）型号的U-Net变体进行综合分析，2）模特内分类，建立更好的见解相关的挑战和解决方案。此外，本文还强调了基于U-Net框架在持续的大流行病，严重急性呼吸综合征冠状病毒2（SARS-COV-2）中的贡献也称为Covid-19。最后，分析了这些U-Net变体的优点和相似性以及生物医学图像分割所涉及的挑战，以发现该领域的未来未来的研究方向。

功能磁共振成像（fMRI）的功能连通性网络（FCN）数据越来越多地用于诊断脑疾病。然而，最新的研究用来使用单个脑部分析地图集以一定的空间尺度构建FCN，该空间尺度很大程度上忽略了层次范围内不同空间尺度的功能相互作用。在这项研究中，我们提出了一个新型框架，以对脑部疾病诊断进行多尺度FCN分析。我们首先使用一组定义明确的多尺地图像来计算多尺度FCN。然后，我们利用多尺度地图集中各个区域之间具有生物学意义的大脑分层关系，以跨多个空间尺度进行淋巴结池，即“ Atlas指导的池”。因此，我们提出了一个基于多尺度的层次图形卷积网络（MAHGCN），该网络（MAHGCN）建立在图形卷积和ATLAS引导的池上，以全面地从多尺度FCN中详细提取诊断信息。关于1792名受试者的神经影像数据的实验证明了我们提出的方法在诊断阿尔茨海默氏病（AD），AD的前驱阶段（即轻度认知障碍[MCI]）以及自闭症谱系障碍（ASD），，AD的前瞻性阶段（即，轻度认知障碍[MCI]），，精度分别为88.9％，78.6％和72.7％。所有结果都显示出我们提出的方法比其他竞争方法具有显着优势。这项研究不仅证明了使用深度学习增强的静止状态fMRI诊断的可行性，而且还强调，值得探索多尺度脑层次结构中的功能相互作用，并将其整合到深度学习网络体系结构中，以更好地理解有关的神经病理学。脑疾病。

深度学习已被广​​泛用于医学图像分割，并且录制了录制了该领域深度学习的成功的大量论文。在本文中，我们使用深层学习技术对医学图像分割的全面主题调查。本文进行了两个原创贡献。首先，与传统调查相比，直接将深度学习的文献分成医学图像分割的文学，并为每组详细介绍了文献，我们根据从粗略到精细的多级结构分类目前流行的文献。其次，本文侧重于监督和弱监督的学习方法，而不包括无监督的方法，因为它们在许多旧调查中引入而且他们目前不受欢迎。对于监督学习方法，我们分析了三个方面的文献：骨干网络的选择，网络块的设计，以及损耗功能的改进。对于虚弱的学习方法，我们根据数据增强，转移学习和交互式分割进行调查文献。与现有调查相比，本调查将文献分类为比例不同，更方便读者了解相关理由，并将引导他们基于深度学习方法思考医学图像分割的适当改进。

估计来自图像的3D人形和姿势的能力在许多环境中都可以是有用的。最近的方法探索了使用图形卷积网络并取得了有希望的结果。 3D形状由网格表示的事实是一个无向图形，使得图形卷积网络自然适合该问题。但是，图形卷积网络具有有限的表示功率。从图中的节点中的信息传递给连接的邻居，并且信息的传播需要连续的图形卷积。为了克服这种限制，我们提出了一种双尺度图形方法。我们使用从密集图中衍生的粗糙图来估计人类的3D姿势，以及密集图来估计3D形状。与密集图相比，粗糙图中的信息可以在更长的距离上传播。此外，有关姿势的信息可以指导恢复本地形状细节，反之亦然。我们认识到，粗糙和密集之间的连接本身是图形，并引入图形融合块以在具有不同尺度之间的图形之间交换信息。我们培训我们的模型端到端，并表明我们可以为几个评估数据集实现最先进的结果。

在这里，我们提出了一种用于多模式神经影像融合学习（HGM）的异质图形神经网络。传统的基于GNN的模型通常假设大脑网络是具有单一类型节点和边缘的均匀图形。然而，巨大的文献已经显示出人脑的异质性，特别是在两个半球之间。均匀脑网络不足以模拟复杂的脑状态。因此，在这项工作中，我们首先用多型节点（即左右半球节点）和多型边缘（即半球形边缘）来模拟大脑网络作为异质图。此外，我们还提出了一种基于Hetergoneou Brain网络的自我监督的预训练策略，以解决由于复杂的模型和小样本大小而过度的问题。我们在两个数据集合的结果显示出拟议模型的优越性，以疾病预测任务的其他多模型方法。此外，消融实验表明，我们具有预训练策略的模型可以减轻训练样本大小有限的问题。

在临床实践中，放射科医生经常使用属性，例如病变的形态学和外观特征，以帮助疾病诊断。有效地建模属性以及所有涉及属性的关系可以提高医学图像诊断算法的概括能力和可验证性。在本文中，我们介绍了一种用于基于可验证属性的医学图像诊断的混合神经培养基推理算法。在我们的混合算法中，有两个平行分支，一个贝叶斯网络分支执行概率因果关系推理，图形卷积网络分支执行了使用特征表示的更通用的关系建模和推理。这两个分支之间的紧密耦合是通过跨网络注意机制及其分类结果的融合来实现的。我们已成功地将混合推理算法应用于两个具有挑战性的医学图像诊断任务。在LIDC-IDRI基准数据集上，用于CT图像中肺结核的良性恶性分类，我们的方法达到了95.36 \％的新最新精度，AUC为96.54 \％。我们的方法还可以在内部胸部X射线图像数据集上提高3.24 \％的精度，以诊断结核病。我们的消融研究表明，在非常有限的培训数据下，与纯神经网络体系结构相比，我们的混合算法的概括性能要好得多。

Mapping the connectome of the human brain using structural or functional connectivity has become one of the most pervasive paradigms for neuroimaging analysis. Recently, Graph Neural Networks (GNNs) motivated from geometric deep learning have attracted broad interest due to their established power for modeling complex networked data. Despite their superior performance in many fields, there has not yet been a systematic study of how to design effective GNNs for brain network analysis. To bridge this gap, we present BrainGB, a benchmark for brain network analysis with GNNs. BrainGB standardizes the process by (1) summarizing brain network construction pipelines for both functional and structural neuroimaging modalities and (2) modularizing the implementation of GNN designs. We conduct extensive experiments on datasets across cohorts and modalities and recommend a set of general recipes for effective GNN designs on brain networks. To support open and reproducible research on GNN-based brain network analysis, we host the BrainGB website at https://braingb.us with models, tutorials, examples, as well as an out-of-box Python package. We hope that this work will provide useful empirical evidence and offer insights for future research in this novel and promising direction.

阿尔茨海默氏病的准确诊断和预后对于开发新疗法和降低相关成本至关重要。最近，随着卷积神经网络的进步，已经提出了深度学习方法，以使用结构MRI自动化这两个任务。但是，这些方法通常缺乏解释性和泛化，预后表现有限。在本文中，我们提出了一个旨在克服这些局限性的新型深框架。我们的管道包括两个阶段。在第一阶段，使用125个3D U-NET来估计整个大脑的体voxelwise等级得分。然后将所得的3D地图融合，以构建一个可解释的3D分级图，以指示结构水平的疾病严重程度。结果，临床医生可以使用该地图来检测受疾病影响的大脑结构。在第二阶段，分级图和受试者的年龄用于使用图卷积神经网络进行分类。基于216名受试者的实验结果表明，与在不同数据集上进行AD诊断和预后的最新方法相比，我们的深框架的竞争性能。此外，我们发现，使用大量的U-NET处理不同的重叠大脑区域，可以提高所提出方法的概括能力。

无创医学神经影像学已经对大脑连通性产生了许多发现。开发了几种实质技术绘制形态，结构和功能性脑连接性，以创建人脑中神经元活动的全面路线图。依靠其非欧国人数据类型，图形神经网络（GNN）提供了一种学习深图结构的巧妙方法，并且它正在迅速成为最先进的方法，从而导致各种网络神经科学任务的性能增强。在这里，我们回顾了当前基于GNN的方法，突出了它们在与脑图有关的几种应用中使用的方式，例如缺失的脑图合成和疾病分类。最后，我们通过绘制了通往网络神经科学领域中更好地应用GNN模型在神经系统障碍诊断和人群图整合中的路径。我们工作中引用的论文列表可在https://github.com/basiralab/gnns-inns-intwork-neuroscience上找到。

晚期钆增强磁共振成像（LGE MRI）通常用于可视化和量化左心房（LA）疤痕。疤痕的位置和程度提供了心理生理学和心房颤动进展的重要信息（AF）。因此，LGE MRI的La Scar分段和量化可用于AF患者的计算机辅助诊断和治疗分层。由于手动描绘可能是耗时的，并且经过专家内和专家间变异性，因此非常需要自动化这种计算，这然而仍然仍然具有挑战性和研究。本文旨在为La腔，墙壁，瘢痕和消融差距分割和LGE MRI的定量提供系统审查，以及AF研究的相关文献。具体而言，我们首先总结AF相关的成像技术，特别是LGE MRI。然后，我们详细介绍了四个计算任务的方法，并总结了每个任务中应用的验证策略。最后，概述了未来可能的未来发展，简要调查了上述方法的潜在临床应用。审查表明，该主题的研究仍处于早期阶段。虽然已经提出了几种方法，但特别是对于LA分割，由于与图像采集的高度变化相关的性能问题和图像采集差异有关的性能问题，仍有很大的算法发展。

前列腺癌是男性癌症死亡的最常见原因之一。对非侵入性和准确诊断方法的需求不断增长，促进目前在临床实践中的标准前列腺癌风险评估。尽管如此，从多游幂磁共振图像中开发前列腺癌诊断中的计算机辅助癌症诊断仍然是一个挑战。在这项工作中，我们提出了一种新的深度学习方法，可以通过构建两阶段多数量多流卷积神经网络（CNN）基于架构架构的相应磁共振图像中的前列腺病变自动分类。在不实现复杂的图像预处理步骤或第三方软件的情况下，我们的框架在接收器操作特性（ROC）曲线值为0.87的接收器下实现了该区域的分类性能。结果表现出大部分提交的方法，并分享了普罗妥克斯挑战组织者报告的最高价值。我们拟议的基于CNN的框架反映了辅助前列腺癌中的医学图像解释并减少不必要的活组织检查的可能性。

Gigapixel Medical图像提供了大量的数据，包括形态学纹理和空间信息。由于组织学的数据量表较大，​​深度学习方法作为特征提取器起着越来越重要的作用。现有的解决方案在很大程度上依赖卷积神经网络（CNN）进行全局像素级分析，从而使潜在的局部几何结构（例如肿瘤微环境中的细胞之间的相互作用均未探索。事实证明，医学图像中的拓扑结构与肿瘤进化密切相关，可以很好地表征图。为了获得下游肿瘤学任务的更全面的表示，我们提出了一个融合框架，以增强CNN捕获的全局图像级表示，并使用图形神经网络（GNN）学习的细胞级空间信息的几何形状。融合层优化了全局图像和单元图的协作特征之间的集成。已经开发了两种融合策略：一种具有MLP的融合策略，这很简单，但通过微调而有效，而Transformer获得了融合多个网络的冠军。我们评估了从大型患者群体和胃癌策划的组织学数据集中的融合策略，以完成三个生物标志物预测任务。两种型号的表现都优于普通CNN或GNN，在各种网络骨架上达到了超过5％的AUC提高。实验结果在医学图像分析中将图像水平的形态特征与细胞空间关系相结合的必要性。代码可在https://github.com/yiqings/hegnnenhancecnn上找到。