从单个放射学图像中学到的功能无法提供有关随着时间的流逝可能发生的病变以及多少变化的信息。从重复图像计算出的时间相关特征可以捕获这些变化，并通过其时间行为来识别恶性病变。但是，纵向医学成像提出了数据获取的稀疏，不规则时间间隔的独特挑战。虽然自我注意事项已被证明是时间序列和自然图像的一种多功能，有效的学习机制，但尚未探索其在稀疏，不规则采样的空​​间特征之间解释时间距离的潜力。在这项工作中，我们通过使用（1）连续时间的矢量嵌入和（2）时间强调自我注意力的权重来提出两种解释时间距离视觉变压器（VIT）。这两种算法是根据合成肺结节的良性与恶性肺癌区分和肺筛查计算机断层扫描研究（NLST）评估的。与标准VIT相比，评估合成结节的时间段VIT的实验表明，在对不规则采样的纵向图像进行分类方面有了基本改进。在从NLST筛选胸部CTS的交叉验证中，我们的方法（分别为0.785和0.786 AUC）显着超过了横截面方法（0.734 AUC）（0.734 AUC），并匹配领先的纵向医学成像算法（0.779 AUC）在良好的良性上的判别性能与恶性分类。这项工作代表了第一个基于自我注意的框架，用于对纵向医学图像进行分类。我们的代码可从https://github.com/tom1193/time-distance-transformer获得。

变形金刚占据了自然语言处理领域，最近影响了计算机视觉区域。在医学图像分析领域中，变压器也已成功应用于全栈临床应用，包括图像合成/重建，注册，分割，检测和诊断。我们的论文旨在促进变压器在医学图像分析领域的认识和应用。具体而言，我们首先概述了内置在变压器和其他基本组件中的注意机制的核心概念。其次，我们回顾了针对医疗图像应用程序量身定制的各种变压器体系结构，并讨论其局限性。在这篇综述中，我们调查了围绕在不同学习范式中使用变压器，提高模型效率及其与其他技术的耦合的关键挑战。我们希望这篇评论可以为读者提供医学图像分析领域的读者的全面图片。

Multimodal deep learning has been used to predict clinical endpoints and diagnoses from clinical routine data. However, these models suffer from scaling issues: they have to learn pairwise interactions between each piece of information in each data type, thereby escalating model complexity beyond manageable scales. This has so far precluded a widespread use of multimodal deep learning. Here, we present a new technical approach of "learnable synergies", in which the model only selects relevant interactions between data modalities and keeps an "internal memory" of relevant data. Our approach is easily scalable and naturally adapts to multimodal data inputs from clinical routine. We demonstrate this approach on three large multimodal datasets from radiology and ophthalmology and show that it outperforms state-of-the-art models in clinically relevant diagnosis tasks. Our new approach is transferable and will allow the application of multimodal deep learning to a broad set of clinically relevant problems.

当肿瘤学家估计癌症患者的生存时，他们依靠多模式数据。尽管文献中已经提出了一些多模式的深度学习方法，但大多数人都依靠拥有两个或多个独立的网络，这些网络在整个模型的稍后阶段共享知识。另一方面，肿瘤学家在分析中没有这样做，而是通过多种来源（例如医学图像和患者病史）融合大脑中的信息。这项工作提出了一种深度学习方法，可以在量化癌症和估计患者生存时模仿肿瘤学家的分析行为。我们提出了TMSS，这是一种基于端到端变压器的多模式网络，用于分割和生存预测，该网络利用了变压器的优越性，这在于其能力处理不同模态的能力。该模型经过训练并验证了从头部和颈部肿瘤分割的训练数据集上的分割和预后任务以及PET/CT图像挑战（Hecktor）中的结果预测。我们表明，所提出的预后模型显着优于最先进的方法，其一致性指数为0.763 +/- 0.14，而与独立段模型相当的骰子得分为0.772 +/- 0.030。该代码公开可用。

在深度学习方法进行自动医学图像分析的最新成功之前，从业者使用手工制作的放射线特征来定量描述当地的医学图像斑块。但是，提取区分性放射素特征取决于准确的病理定位，这在现实世界中很难获得。尽管疾病分类和胸部X射线的定位方面取得了进步，但许多方法未能纳入临床知名的领域知识。由于这些原因，我们提出了一个放射素引导的变压器（RGT），该变压器（RGT）与\ textit {global}图像信息与\ textit {local}知识引导的放射线信息信息提供准确的心肺病理学定位和分类\ textit {无需任何界限盒{ }。 RGT由图像变压器分支，放射线变压器分支以及聚集图像和放射线信息的融合层组成。 RGT使用对图像分支的自我注意事项，提取了一个边界框来计算放射线特征，该特征由放射线分支进一步处理。然后通过交叉注意层融合学习的图像和放射线特征。因此，RGT利用了一种新型的端到端反馈回路，该回路只能使用图像水平疾病标签引导精确的病理定位。 NIH CHESTXRAR数据集的实验表明，RGT的表现优于弱监督疾病定位的先前作品（在各个相交联合阈值的平均余量为3.6 \％）和分类（在接收器操作方下平均1.1 \％\％\％\％曲线）。接受代码和训练有素的模型将在接受后发布。

人工智能（AI）技术具有重要潜力，可以实现有效，鲁棒和自动的图像表型，包括识别细微图案。基于AI的检测搜索图像空间基于模式和特征来找到兴趣区域。存在一种良性的肿瘤组织学，可以通过使用图像特征的基于AI的分类方法来识别。图像从图像中提取可用于的可覆盖方式，可以通过显式（手工/工程化）和深度辐射谱系框架来探索途径。辐射瘤分析有可能用作非侵入性技术，以准确表征肿瘤，以改善诊断和治疗监测。这项工作介绍基于AI的技术，专注于肿瘤宠物和PET / CT成像，用于不同的检测，分类和预测/预测任务。我们还讨论了所需的努力，使AI技术转换为常规临床工作流程，以及潜在的改进和互补技术，例如在电子健康记录和神经象征性AI技术上使用自然语言处理。

深度卷积神经网络（CNN）已被广泛用于各种医学成像任务。但是，由于卷积操作的内在局部性，CNN通常不能很好地对远距离依赖性进行建模，这对于准确识别或映射从未注册的多个乳房X线照片计算出的相应乳腺病变特征很重要。这促使我们利用多视觉视觉变形金刚的结构来捕获一项检查中同一患者的多个乳房X线照片的远程关系。为此，我们采用局部变压器块来分别学习从两侧（右/左）乳房的两视图（CC/MLO）获得的四个乳房X线照片中。来自不同视图和侧面的输出被串联并馈入全球变压器块，以共同学习四个代表左乳房和右乳房两种不同视图的图像之间的贴片关系。为了评估提出的模型，我们回顾性地组装了一个涉及949套乳房X线照片的数据集，其中包括470例恶性病例和479例正常情况或良性病例。我们使用五倍的交叉验证方法训练和评估了模型。没有任何艰苦的预处理步骤（例如，最佳的窗户裁剪，胸壁或胸肌去除，两视图图像注册等），我们的四个图像（两视频两侧）基于变压器的模型可实现案例分类性能在ROC曲线下的面积（AUC = 0.818），该区域的表现明显优于AUC = 0.784，而最先进的多视图CNN（p = 0.009）实现了0.784。它还胜过两个单方面模型，分别达到0.724（CC视图）和0.769（MLO视图）。该研究表明，使用变压器开发出高性能的计算机辅助诊断方案，这些方案结合了四个乳房X线照片。

Learning good representation of giga-pixel level whole slide pathology images (WSI) for downstream tasks is critical. Previous studies employ multiple instance learning (MIL) to represent WSIs as bags of sampled patches because, for most occasions, only slide-level labels are available, and only a tiny region of the WSI is disease-positive area. However, WSI representation learning still remains an open problem due to: (1) patch sampling on a higher resolution may be incapable of depicting microenvironment information such as the relative position between the tumor cells and surrounding tissues, while patches at lower resolution lose the fine-grained detail; (2) extracting patches from giant WSI results in large bag size, which tremendously increases the computational cost. To solve the problems, this paper proposes a hierarchical-based multimodal transformer framework that learns a hierarchical mapping between pathology images and corresponding genes. Precisely, we randomly extract instant-level patch features from WSIs with different magnification. Then a co-attention mapping between imaging and genomics is learned to uncover the pairwise interaction and reduce the space complexity of imaging features. Such early fusion makes it computationally feasible to use MIL Transformer for the survival prediction task. Our architecture requires fewer GPU resources compared with benchmark methods while maintaining better WSI representation ability. We evaluate our approach on five cancer types from the Cancer Genome Atlas database and achieved an average c-index of $0.673$, outperforming the state-of-the-art multimodality methods.

肺癌是全球癌症死亡的主要原因，肺腺癌是最普遍的肺癌形式。 EGFR阳性肺腺癌已被证明对TKI治疗的反应率很高，这是肺癌分子测试的基本性质。尽管目前的指南考虑必要测试，但很大一部分患者并未常规化，导致数百万的人未接受最佳治疗肺癌。测序是EGFR突变分子测试的黄金标准，但是结果可能需要数周的时间才能回来，这在时间限制的情况下并不理想。能够快速，便宜地检测EGFR突变的替代筛查工具的开发，同时保存组织以进行测序可以帮助减少受比较治疗的患者的数量。我们提出了一种多模式方法，该方法将病理图像和临床变量整合在一起，以预测EGFR突变状态，迄今为止最大的临床队列中的AUC为84％。这样的计算模型可以以很少的额外成本进行大部分部署。它的临床应用可以减少中国接受亚最佳治疗的患者数量53.1％，在美国将高达96.6％的患者减少96.6％。

早期检测改善了胰腺导管腺癌（PDAC）中的预后，但挑战，因为病变通常很小，并且在对比增强的计算断层扫描扫描（CE-CT）上定义很差。深度学习可以促进PDAC诊断，但是当前模型仍然无法识别小（<2cm）病变。在这项研究中，最先进的深度学习模型用于开发用于PDAC检测的自动框架，专注于小病变。另外，研究了整合周围解剖学的影响。 CE-CT来自119个病理验证的PDAC患者的群组和123名没有PDAC患者的队列用于训练NNUNET用于自动病变检测和分割（\ TEXTIT {NNUNET \ _t}）。训练了两种额外的鼻塞，以研究解剖学积分的影响：（1）分割胰腺和肿瘤（\ yryit {nnunet \ _tp}），（2）分割胰腺，肿瘤和多周围的解剖结构（\ textit {nnunet \_多发性硬化症}）。外部可公开的测试集用于比较三个网络的性能。 \ Textit {nnunet \ _ms}实现了最佳性能，在整个测试集的接收器操作特性曲线下的区域为0.91，肿瘤的0.88 <2cm，显示最先进的深度学习可以检测到小型PDAC和解剖信息的好处。

最近，蒙面图像建模（MIM）由于其能力从大量未标记的数据中学习而引起了人们的关注，并且已被证明对涉及自然图像的各种视觉任务有效。同时，由于未标记的图像的数量高，预计3D医学图像中的自我监督学习的潜力预计将是巨大的，以及质量标签的费用和困难。但是，MIM对医学图像的适用性仍然不确定。在本文中，我们证明了掩盖的图像建模方法还可以推进3D医学图像分析，除了自然图像。我们研究掩盖图像建模策略如何从3D医学图像分割的角度利用性能作为代表性的下游任务：i）与天真的对比度学习相比，蒙版的图像建模方法可以加快监督培训的收敛性，甚至更快（1.40美元$ \ times $ \ times $ $ $ ）并最终产生更高的骰子分数； ii）预测具有较高掩盖比和相对较小的贴片大小的原始体素值是用于医学图像建模的非平凡的自我监督借口任务； iii）重建的轻质解码器或投影头设计对于3D医学图像上的掩盖图像建模非常有力，该图像加快了训练并降低成本； iv）最后，我们还研究了在不同的实际情况下使用不同图像分辨率和标记的数据比率的MIM方法的有效性。

Chromosome analysis is essential for diagnosing genetic disorders. For hematologic malignancies, identification of somatic clonal aberrations by karyotype analysis remains the standard of care. However, karyotyping is costly and time-consuming because of the largely manual process and the expertise required in identifying and annotating aberrations. Efforts to automate karyotype analysis to date fell short in aberration detection. Using a training set of ~10k patient specimens and ~50k karyograms from over 5 years from the Fred Hutchinson Cancer Center, we created a labeled set of images representing individual chromosomes. These individual chromosomes were used to train and assess deep learning models for classifying the 24 human chromosomes and identifying chromosomal aberrations. The top-accuracy models utilized the recently introduced Topological Vision Transformers (TopViTs) with 2-level-block-Toeplitz masking, to incorporate structural inductive bias. TopViT outperformed CNN (Inception) models with >99.3% accuracy for chromosome identification, and exhibited accuracies >99% for aberration detection in most aberrations. Notably, we were able to show high-quality performance even in "few shot" learning scenarios. Incorporating the definition of clonality substantially improved both precision and recall (sensitivity). When applied to "zero shot" scenarios, the model captured aberrations without training, with perfect precision at >50% recall. Together these results show that modern deep learning models can approach expert-level performance for chromosome aberration detection. To our knowledge, this is the first study demonstrating the downstream effectiveness of TopViTs. These results open up exciting opportunities for not only expediting patient results but providing a scalable technology for early screening of low-abundance chromosomal lesions.

尽管深度学习预测模型在歧视不同阶层方面已经成功，但它们通常会遭受跨越包括医疗保健在内的具有挑战性领域的校准不良。此外，长尾分布在深度学习分类问题（包括临床疾病预测）中构成了巨大挑战。最近提出了一些方法来校准计算机视觉中的深入预测，但是没有发现代表模型如何在不同挑战性的环境中起作用。在本文中，我们通过对四个高影响力校准模型的比较研究来弥合从计算机视觉到医学成像的置信度校准。我们的研究是在不同的情况下进行的（自然图像分类和肺癌风险估计），包括在平衡与不平衡训练集以及计算机视觉与医学成像中进行。我们的结果支持关键发现：（1）我们获得了新的结​​论，这些结论未在不同的学习环境中进行研究，例如，结合两个校准模型，这些模型都可以减轻过度启发的预测，从而导致了不足的预测，并且来自计算机视觉模型的更简单的校准模型域往往更容易被医学成像化。 （2）我们强调了一般计算机视觉任务和医学成像预测之间的差距，例如，校准方法是通用计算机视觉任务的理想选择，实际上可能会损坏医学成像预测的校准。 （3）我们还加强了自然图像分类设置的先前结论。我们认为，这项研究的优点可以指导读者选择校准模型，并了解一般计算机视觉和医学成像域之间的差距。

作为新一代神经体系结构的变形金刚在自然语言处理和计算机视觉方面表现出色。但是，现有的视觉变形金刚努力使用有限的医学数据学习，并且无法概括各种医学图像任务。为了应对这些挑战，我们将Medformer作为数据量表变压器呈现为可推广的医学图像分割。关键设计结合了理想的电感偏差，线性复杂性的层次建模以及以空间和语义全局方式以线性复杂性的关注以及多尺度特征融合。 Medformer可以在不预训练的情况下学习微小至大规模的数据。广泛的实验表明，Medformer作为一般分割主链的潜力，在三个具有多种模式（例如CT和MRI）和多样化的医学靶标（例如，健康器官，疾病，疾病组织和肿瘤）的三个公共数据集上优于CNN和视觉变压器。我们将模型和评估管道公开可用，为促进广泛的下游临床应用提供固体基线和无偏比较。

肺癌近年来一直是最普遍的疾病之一。根据该领域的研究，每年在美国确定超过20万个案件。不受控制的繁殖和肺细胞的生长导致恶性肿瘤形成。最近，深入学习算法，特别是卷积神经网络（CNN），已成为自动诊断疾病的高级方式。本文的目的是审查不同的模型，导致诊断早期肺癌的不同准确性和敏感性，并帮助该领域的医生和研究人员。这项工作的主要目的是确定基于深度学习的肺癌存在的挑战。经过系统地编写了调查，这些调查结合了定期的映射和文献综述，从2016年到2021年审查该领域的32次会议和期刊文章。在分析和审查条款后，正在回答条款中提出的问题。由于对相关文章的完全审查和系统化，本领域，这项研究优于该领域的其他综述文章。

This paper focuses on the task of survival time analysis for lung cancer. Although much progress has been made in this problem in recent years, the performance of existing methods is still far from satisfactory. Traditional and some deep learning-based survival time analyses for lung cancer are mostly based on textual clinical information such as staging, age, histology, etc. Unlike existing methods that predicting on the single modality, we observe that a human clinician usually takes multimodal data such as text clinical data and visual scans to estimate survival time. Motivated by this, in this work, we contribute a smart cross-modality network for survival analysis network named Lite-ProSENet that simulates a human's manner of decision making. Extensive experiments were conducted using data from 422 NSCLC patients from The Cancer Imaging Archive (TCIA). The results show that our Lite-ProSENet outperforms favorably again all comparison methods and achieves the new state of the art with the 89.3% on concordance. The code will be made publicly available.

肺癌是全世界癌症死亡的主要原因，具有各种组织学类型，其中肺腺癌（Luac）最近是最普遍的。肺腺癌被归类为预侵入性，微创和侵入性腺癌。及时，准确地了解肺结核的侵袭性导致适当的治疗计划，并降低了不必要或晚期手术的风险。目前，主要成像模型评估和预测Luacs的侵袭性是胸部CT。然而，基于CT图像的结果是主观的并且与手术切除后提供的地面真理审查相比，患有低精度。本文开发了一种基于预测变压器的框架，称为“CAE变压器”，以对Luacs进行分类。 CAE变换器利用卷积自动编码器（CAE）来自动从CT切片中提取信息性功能，然后将其馈送到修改的变压器模型以捕获全局切片关系。我们的内部数据集114个病理证明的副实体结节（SSN）的实验结果证明了CAE变压器在直方图/基于射频的模型上的优越性及其基于深度学习的对应物，实现了87.73％，灵敏度的准确性使用10倍交叉验证，88.67％，特异性为86.33％和0.913的AUC。

乳腺癌是女性可能发生的最严重的癌症之一。通过分析组织学图像（HIS）来自动诊断乳腺癌对患者及其预后很重要。他的分类为临床医生提供了对疾病的准确了解，并使他们可以更有效地治疗患者。深度学习（DL）方法已成功地用于各种领域，尤其是医学成像，因为它们有能力自动提取功能。这项研究旨在使用他的乳腺癌对不同类型的乳腺癌进行分类。在这项研究中，我们提出了一个增强的胶囊网络，该网络使用RES2NET块和四个额外的卷积层提取多尺度特征。此外，由于使用了小的卷积内核和RES2NET块，因此所提出的方法具有较少的参数。结果，新方法的表现优于旧方法，因为它会自动学习最佳功能。测试结果表明该模型的表现优于先前的DL方法。

肺癌是癌症相关死亡率的主要原因。尽管新技术（例如图像分割）对于改善检测和较早诊断至关重要，但治疗该疾病仍然存在重大挑战。特别是，尽管治愈性分辨率增加，但许多术后患者仍会出现复发性病变。因此，非常需要预后工具，可以更准确地预测患者复发的风险。在本文中，我们探讨了卷积神经网络（CNN）在术前计算机断层扫描（CT）图像中存在的分割和复发风险预测。首先，随着医学图像分割的最新进展扩展，剩余的U-NET用于本地化和表征每个结节。然后，确定的肿瘤将传递给第二个CNN进行复发风险预测。该系统的最终结果是通过随机的森林分类器产生的，该分类器合成具有临床属性的第二个网络的预测。分割阶段使用LIDC-IDRI数据集，并获得70.3％的骰子得分。复发风险阶段使用了国家癌症研究所的NLST数据集，并获得了73.0％的AUC。我们提出的框架表明，首先，自动结节分割方法可以概括地为各种多任务系统提供管道，其次，深度学习和图像处理具有改善当前预后工具的潜力。据我们所知，这是第一个完全自动化的细分和复发风险预测系统。

随着计算机技术的开发，人工智能已经出现了各种模型。在自然语言处理（NLP）成功之后，变压器模型已应用于计算机视觉（CV）。放射科医生在当今迅速发展的医疗领域中继续面临多重挑战，例如增加工作量和增加的诊断需求。尽管以前有一些常规的肺癌检测方法，但仍需要提高其准确性，尤其是在现实的诊断情况下。本文创造性地提出了一种基于有效变压器的分割方法，并将其应用于医学图像分析。该算法通过分析肺癌数据来完成肺癌分类和细分的任务，并旨在为医务人员提供有效的技术支持。此外，我们在各个方面进行了评估并比较了结果。对于分类任务，通过定期培训和SWIN-B在两项决议中通过预训练的最高准确性可高达82.3％。对于分割任务，我们使用预训练来帮助模型提高实验的准确性。这三个模型的准确性达到95％以上。实验表明该算法可以很好地应用于肺癌分类和分割任务。