骨质疏松症是一种常见疾病，可增加骨折风险。髋部骨折，尤其是在老年人中，导致发病率增加，生活质量降低和死亡率增加。骨质疏松症在骨折前是一种沉默的疾病，通常仍未被诊断和治疗。通过双能X射线吸收法（DXA）评估的面骨矿物质密度（ABMD）是骨质疏松诊断的金标准方法，因此也用于未来的骨折预测（Pregnosticic）。但是，所需的特殊设备在任何地方都没有广泛可用，特别是对于发展中国家的患者而言。我们提出了一个深度学习分类模型（形式），该模型可以直接预测计算机断层扫描（CT）数据的普通X光片（X射线）或2D投影图像。我们的方法是完全自动化的，因此非常适合机会性筛查设置，确定了更广泛的人群中的高风险患者而没有额外的筛查。对男性骨质疏松症（MROS）研究的X射线和CT投影进行了训练和评估。使用了3108张X射线（89个事件髋部骨折）或2150 CTS（80个入射髋部骨折），并使用了80/20分。我们显示，表格可以正确预测10年的髋部骨折风险，而验证AUC为81.44 +-3.11％ / 81.04 +-5.54％（平均 +-STD），包括其他信息，例如年龄，BMI，秋季历史和健康背景， X射线和CT队列的5倍交叉验证。我们的方法显着（p <0.01）在X射线队列上分别优于以70.19 +-6.58和74.72 +-7.21为70.19 +-6.58和74.72 +-7.21的\ frax等先前的方法。我们的模型在两个基于髋关节ABMD的预测上都跑赢了。我们有信心形式可以在早期阶段改善骨质疏松症的诊断。

快速准确地检测该疾病可以大大帮助减少任何国家医疗机构对任何大流行期间死亡率降低死亡率的压力。这项工作的目的是使用新型的机器学习框架创建多模式系统，该框架同时使用胸部X射线（CXR）图像和临床数据来预测COVID-19患者的严重程度。此外，该研究还提出了一种基于nom图的评分技术，用于预测高危患者死亡的可能性。这项研究使用了25种生物标志物和CXR图像，以预测意大利第一波Covid-19（3月至6月2020年3月至6月）在930名Covid-19患者中的风险。提出的多模式堆叠技术分别产生了89.03％，90.44％和89.03％的精度，灵敏度和F1分数，以识别低风险或高危患者。与CXR图像或临床数据相比，这种多模式方法可提高准确性6％。最后，使用多元逻辑回归的列线图评分系统 - 用于对第一阶段确定的高风险患者的死亡风险进行分层。使用随机森林特征选择模型将乳酸脱氢酶（LDH），O2百分比，白细胞（WBC）计数，年龄和C反应蛋白（CRP）鉴定为有用的预测指标。开发了五个预测因素参数和基于CXR图像的列函数评分，以量化死亡的概率并将其分为两个风险组：分别存活（<50％）和死亡（> = 50％）。多模式技术能够预测F1评分为92.88％的高危患者的死亡概率。开发和验证队列曲线下的面积分别为0.981和0.939。

目的：基于深度学习的放射素学（DLR）在医学图像分析中取得了巨大的成功，并被认为是依赖手工特征的常规放射线学的替代。在这项研究中，我们旨在探索DLR使用预处理PET/CT预测鼻咽癌（NPC）中5年无进展生存期（PFS）的能力。方法：总共招募了257名患者（内部/外部队列中的170/87），具有晚期NPC（TNM III期或IVA）。我们开发了一个端到端的多模式DLR模型，其中优化了3D卷积神经网络以从预处理PET/CT图像中提取深度特征，并预测了5年PFS的概率。作为高级临床特征，TNM阶段可以集成到我们的DLR模型中，以进一步提高预后性能。为了比较常规放射素学和DLR，提取了1456个手工制作的特征，并从54种特征选择方法和9种分类方法的54个交叉组合中选择了最佳常规放射线方法。此外，使用临床特征，常规放射线学签名和DLR签名进行风险组分层。结果：我们使用PET和CT的多模式DLR模型比最佳常规放射线方法获得了更高的预后性能。此外，多模式DLR模型仅使用PET或仅CT优于单模式DLR模型。对于风险组分层，常规的放射线学签名和DLR签名使内部和外部队列中的高风险患者群体之间有显着差异，而外部队列中的临床特征则失败。结论：我们的研究确定了高级NPC中生存预测的潜在预后工具，表明DLR可以为当前TNM分期提供互补值。

2019年12月，一个名为Covid-19的新型病毒导致了迄今为止的巨大因果关系。与新的冠状病毒的战斗在西班牙语流感后令人振奋和恐怖。虽然前线医生和医学研究人员在控制高度典型病毒的传播方面取得了重大进展，但技术也证明了在战斗中的重要性。此外，许多医疗应用中已采用人工智能，以诊断许多疾病，甚至陷入困境的经验丰富的医生。因此，本调查纸探讨了提议的方法，可以提前援助医生和研究人员，廉价的疾病诊断方法。大多数发展中国家难以使用传统方式进行测试，但机器和深度学习可以采用显着的方式。另一方面，对不同类型的医学图像的访问已经激励了研究人员。结果，提出了一种庞大的技术数量。本文首先详细调了人工智能域中传统方法的背景知识。在此之后，我们会收集常用的数据集及其用例日期。此外，我们还显示了采用深入学习的机器学习的研究人员的百分比。因此，我们对这种情况进行了彻底的分析。最后，在研究挑战中，我们详细阐述了Covid-19研究中面临的问题，我们解决了我们的理解，以建立一个明亮健康的环境。

机器学习和深度学习方法对医学的计算机辅助预测成为必需的，在乳房X光检查领域也具有越来越多的应用。通常，这些算法训练，针对特定任务，例如，病变的分类或乳房X乳线图的病理学状态的预测。为了获得患者的综合视图，随后整合或组合所有针对同一任务培训的模型。在这项工作中，我们提出了一种管道方法，我们首先培训一组个人，任务特定的模型，随后调查其融合，与标准模型合并策略相反。我们使用混合患者模型的深度学习模型融合模型预测和高级功能，以在患者水平上构建更强的预测因子。为此，我们提出了一种多分支深度学习模型，其跨不同任务和乳房X光检查有效地融合了功能，以获得全面的患者级预测。我们在公共乳房X线摄影数据，即DDSM及其策划版本CBIS-DDSM上培训并评估我们的全部管道，并报告AUC评分为0.962，以预测任何病变和0.791的存在，以预测患者水平对恶性病变的存在。总体而言，与标准模型合并相比，我们的融合方法将显着提高AUC得分高达0.04。此外，通过提供与放射功能相关的特定于任务的模型结果，提供了与放射性特征相关的任务特定模型结果，我们的管道旨在密切支持放射科学家的阅读工作流程。

Pneumonia, a respiratory infection brought on by bacteria or viruses, affects a large number of people, especially in developing and impoverished countries where high levels of pollution, unclean living conditions, and overcrowding are frequently observed, along with insufficient medical infrastructure. Pleural effusion, a condition in which fluids fill the lung and complicate breathing, is brought on by pneumonia. Early detection of pneumonia is essential for ensuring curative care and boosting survival rates. The approach most usually used to diagnose pneumonia is chest X-ray imaging. The purpose of this work is to develop a method for the automatic diagnosis of bacterial and viral pneumonia in digital x-ray pictures. This article first presents the authors' technique, and then gives a comprehensive report on recent developments in the field of reliable diagnosis of pneumonia. In this study, here tuned a state-of-the-art deep convolutional neural network to classify plant diseases based on images and tested its performance. Deep learning architecture is compared empirically. VGG19, ResNet with 152v2, Resnext101, Seresnet152, Mobilenettv2, and DenseNet with 201 layers are among the architectures tested. Experiment data consists of two groups, sick and healthy X-ray pictures. To take appropriate action against plant diseases as soon as possible, rapid disease identification models are preferred. DenseNet201 has shown no overfitting or performance degradation in our experiments, and its accuracy tends to increase as the number of epochs increases. Further, DenseNet201 achieves state-of-the-art performance with a significantly a smaller number of parameters and within a reasonable computing time. This architecture outperforms the competition in terms of testing accuracy, scoring 95%. Each architecture was trained using Keras, using Theano as the backend.

2型糖尿病（T2DM）的早期诊断对于及时的治疗干预措施和生活方式改变至关重要。随着医学成像数据在许多患者群体中变得更广泛可用，我们试图研究是否可以在表格学习分类器模型中利用图像衍生的表型数据来预测T2DM的发病率，而无需使用侵入性血液实验室测量。我们表明，使用图像衍生表型的神经网络和决策树模型都可以预测患者T2DM状态的召回评分高达87.6％。我们还提出了与“ Syntha1c编码器”相同的结构的新颖使用，这些结构能够输出模仿血液血红蛋白A1C经验实验室测量值的可解释值。最后，我们证明了T2DM风险预测模型对输入矢量成分中小扰动的敏感性可用于预测从以前看不见的患者人群中取样的协变量的性能。

本文提出了第二版的头部和颈部肿瘤（Hecktor）挑战的概述，作为第24届医学图像计算和计算机辅助干预（Miccai）2021的卫星活动。挑战由三个任务组成与患有头颈癌（H＆N）的患者的PET / CT图像的自动分析有关，专注于oropharynx地区。任务1是FDG-PET / CT图像中H＆N主肿瘤肿瘤体积（GTVT）的自动分割。任务2是来自同一FDG-PET / CT的进展自由生存（PFS）的自动预测。最后，任务3与任务2的任务2与参与者提供的地面真理GTVT注释相同。这些数据从六个中心收集，总共325个图像，分为224个培训和101个测试用例。通过103个注册团队和448个结果提交的重要参与，突出了对挑战的兴趣。在第一任务中获得0.7591的骰子相似度系数（DSC），分别在任务2和3中的0.7196和0.6978的一致性指数（C-Index）。在所有任务中，发现这种方法的简单性是确保泛化性能的关键。 PFS预测性能在任务2和3中的比较表明，提供GTVT轮廓对于实现最佳结果，这表明可以使用完全自动方法。这可能避免了对GTVT轮廓的需求，用于可重复和大规模的辐射瘤研究的开头途径，包括千元潜在的受试者。

骨质疏松症是一种常见的慢性代谢骨病，通常是由于对骨矿物密度（BMD）检查有限的有限获得而被诊断和妥善治疗，例如。通过双能X射线吸收测定法（DXA）。在本文中，我们提出了一种方法来预测来自胸X射线（CXR）的BMD，最常见的和低成本的医学成像考试之一。我们的方法首先自动检测来自CXR的局部和全球骨骼结构的感兴趣区域（ROI）。然后，开发了一种具有变压器编码器的多ROI深模型，以利用胸部X射线图像中的本地和全局信息以进行准确的BMD估计。我们的方法在13719 CXR患者病例中进行评估，并通过金标准DXA测量其实际BMD评分。该模型预测的BMD与地面真理（Pearson相关系数0.889腰腰1）具有强烈的相关性。当施用骨质疏松症筛查时，它实现了高分类性能（腰腰1的AUC 0.963）。作为现场使用CXR扫描预测BMD的第一次努力，所提出的算法在早期骨质疏松症筛查和公共卫生促进中具有很强的潜力。

人工智能（AI）技术具有重要潜力，可以实现有效，鲁棒和自动的图像表型，包括识别细微图案。基于AI的检测搜索图像空间基于模式和特征来找到兴趣区域。存在一种良性的肿瘤组织学，可以通过使用图像特征的基于AI的分类方法来识别。图像从图像中提取可用于的可覆盖方式，可以通过显式（手工/工程化）和深度辐射谱系框架来探索途径。辐射瘤分析有可能用作非侵入性技术，以准确表征肿瘤，以改善诊断和治疗监测。这项工作介绍基于AI的技术，专注于肿瘤宠物和PET / CT成像，用于不同的检测，分类和预测/预测任务。我们还讨论了所需的努力，使AI技术转换为常规临床工作流程，以及潜在的改进和互补技术，例如在电子健康记录和神经象征性AI技术上使用自然语言处理。

肺癌是全球癌症死亡的主要原因，肺腺癌是最普遍的肺癌形式。 EGFR阳性肺腺癌已被证明对TKI治疗的反应率很高，这是肺癌分子测试的基本性质。尽管目前的指南考虑必要测试，但很大一部分患者并未常规化，导致数百万的人未接受最佳治疗肺癌。测序是EGFR突变分子测试的黄金标准，但是结果可能需要数周的时间才能回来，这在时间限制的情况下并不理想。能够快速，便宜地检测EGFR突变的替代筛查工具的开发，同时保存组织以进行测序可以帮助减少受比较治疗的患者的数量。我们提出了一种多模式方法，该方法将病理图像和临床变量整合在一起，以预测EGFR突变状态，迄今为止最大的临床队列中的AUC为84％。这样的计算模型可以以很少的额外成本进行大部分部署。它的临床应用可以减少中国接受亚最佳治疗的患者数量53.1％，在美国将高达96.6％的患者减少96.6％。

最近显示外部眼睛照片显示出糖尿病性视网膜疾病和HBA1C升高的迹象。在本文中，我们评估外部眼睛照片是否包含有关其他系统性医疗状况的信息。我们开发了一个深度学习系统（DLS），该系统将外部眼睛的照片作为输入，并预测多个全身参数，例如与肝脏有关的参数（白蛋白，AST）；肾脏（EGFR使用无种族的2021 CKD-EPI肌酐方程，尿液ACR）；骨与矿物质（钙）;甲状腺（TSH）;和血数（HGB，WBC，血小板）。开发利用了49,015例糖尿病患者的151,237张图像，在加利福尼亚州洛杉矶县的11个地点接受糖尿病眼镜筛查。评估重点是9个预先指定的全身参数，并利用了3个验证集（a，b，c），涵盖了28,869名患有和没有糖尿病的患者，在加利福尼亚州洛杉矶县和大亚特兰大地区的3个独立地点进行了眼睛筛查。我们将结合了可用临床人口统计学变量的基线模型（例如年龄，性别，种族/种族，糖尿病年）进行了比较。相对于基线，DLS在检测AST> 36，钙<8.6，egfr <60，HGB <11，血小板<150，ACR> = 300和WBC <4时，在检测AST> 36，钙<8.6，Egfr <60，HGB <60，HGB <60，calcium <8.6，Egfr <60，calcium <8.6和wbc <4时，达到了统计学上的显着性能，并且类似于开发集的人口），其中DLS的AUC超过基线的AUC，增长了5.2-19.4％。在验证集B和C方面，与开发集相比，患者人群的差异很大，DLS的表现优于ACR> = 300的基线，而HGB <11升至7.3-13.2％。我们的发现提供了进一步的证据，表明外部眼睛照片包含跨越多器官系统的全身健康生物标志物。需要进一步的工作来研究这些生物标志物是否以及如何转化为临床影响。

肺癌是癌症相关死亡率的主要原因。尽管新技术（例如图像分割）对于改善检测和较早诊断至关重要，但治疗该疾病仍然存在重大挑战。特别是，尽管治愈性分辨率增加，但许多术后患者仍会出现复发性病变。因此，非常需要预后工具，可以更准确地预测患者复发的风险。在本文中，我们探讨了卷积神经网络（CNN）在术前计算机断层扫描（CT）图像中存在的分割和复发风险预测。首先，随着医学图像分割的最新进展扩展，剩余的U-NET用于本地化和表征每个结节。然后，确定的肿瘤将传递给第二个CNN进行复发风险预测。该系统的最终结果是通过随机的森林分类器产生的，该分类器合成具有临床属性的第二个网络的预测。分割阶段使用LIDC-IDRI数据集，并获得70.3％的骰子得分。复发风险阶段使用了国家癌症研究所的NLST数据集，并获得了73.0％的AUC。我们提出的框架表明，首先，自动结节分割方法可以概括地为各种多任务系统提供管道，其次，深度学习和图像处理具有改善当前预后工具的潜力。据我们所知，这是第一个完全自动化的细分和复发风险预测系统。

放射线学使用定量医学成像特征来预测临床结果。目前，在新的临床应用中，必须通过启发式试验和纠正过程手动完成各种可用选项的最佳放射组方法。在这项研究中，我们提出了一个框架，以自动优化每个应用程序的放射线工作流程的构建。为此，我们将放射线学作为模块化工作流程，并为每个组件包含大量的常见算法。为了优化每个应用程序的工作流程，我们使用随机搜索和结合使用自动化机器学习。我们在十二个不同的临床应用中评估我们的方法，从而在曲线下导致以下区域：1）脂肪肉瘤（0.83）； 2）脱粘型纤维瘤病（0.82）; 3）原发性肝肿瘤（0.80）; 4）胃肠道肿瘤（0.77）； 5）结直肠肝转移（0.61）; 6）黑色素瘤转移（0.45）; 7）肝细胞癌（0.75）; 8）肠系膜纤维化（0.80）; 9）前列腺癌（0.72）； 10）神经胶质瘤（0.71）; 11）阿尔茨海默氏病（0.87）;和12）头颈癌（0.84）。我们表明，我们的框架具有比较人类专家的竞争性能，优于放射线基线，并且表现相似或优于贝叶斯优化和更高级的合奏方法。最后，我们的方法完全自动优化了放射线工作流的构建，从而简化了在新应用程序中对放射线生物标志物的搜索。为了促进可重复性和未来的研究，我们公开发布了六个数据集，框架的软件实施以及重现这项研究的代码。

视网膜光学相干断层扫描（OCT）和光学相干断层扫描（OCTA）是（早期）诊断阿尔茨海默氏病（AD）的有前途的工具。这些非侵入性成像技术比替代神经影像工具更具成本效益，更容易获得。但是，即使对于训练有素的从业人员来说，解释和分类OCT设备进行的多层扫描也是耗时和挑战。关于机器学习和深度学习方法的调查，涉及对诸如青光眼等各种疾病的OCT扫描自动分析。但是，目前的文献缺乏对使用OCT或OCTA诊断阿尔茨海默氏病或​​认知障碍的广泛调查。这促使我们进行了针对需要介绍该问题的机器/深度学习科学家或从业者的全面调查。本文包含1）对阿尔茨海默氏病和认知障碍的医学背景介绍及其使用OCT和八八片成像方式的诊断，2）从自动分析的角度审查有关该问题的各种技术建议和子问题的回顾，3 ）对最近的深度学习研究和可用的OCT/OCTA数据集的系统综述，旨在诊断阿尔茨海默氏病和认知障碍。对于后者，我们使用发布或灭亡软件来搜索来自Scopus，PubMed和Web Science等各种来源的相关研究。我们遵循PRISMA方法筛选了3073参考的初始库，并确定了直接针对AD诊断的十项相关研究（n = 10，3073分）。我们认为缺乏开放的OCT/OCTA数据集（关于阿尔茨海默氏病）是阻碍该领域进展的主要问题。

这项研究的目的是开发一个强大的基于深度学习的框架，以区分Covid-19，社区获得的肺炎（CAP）和基于使用各种方案和放射剂量在不同成像中心获得的胸部CT扫描的正常病例和正常情况。我们表明，虽然我们的建议模型是在使用特定扫描协议仅从一个成像中心获取的相对较小的数据集上训练的，但该模型在使用不同技术参数的多个扫描仪获得的异质测试集上表现良好。我们还表明，可以通过无监督的方法来更新模型，以应对火车和测试集之间的数据移动，并在从其他中心接收新的外部数据集时增强模型的鲁棒性。我们采用了合奏体系结构来汇总该模型的多个版本的预测。为了初始培训和开发目的，使用了171 Covid-19、60 CAP和76个正常情况的内部数据集，其中包含使用恒定的标准辐射剂量扫描方案从一个成像中心获得的体积CT扫描。为了评估模型，我们回顾了四个不同的测试集，以研究数据特征对模型性能的转移的影响。在测试用例中，有与火车组相似的CT扫描，以及嘈杂的低剂量和超低剂量CT扫描。此外，从患有心血管疾病或手术病史的患者中获得了一些测试CT扫描。这项研究中使用的整个测试数据集包含51 covid-19、28 CAP和51例正常情况。实验结果表明，我们提出的框架在所有测试集上的表现良好，达到96.15％的总准确度（95％CI：[91.25-98.74]），COVID-119，COVID-96.08％（95％CI：[86.54-99.5]，95％），[86.54-99.5]，），，），敏感性。帽敏感性为92.86％（95％CI：[76.50-99.19]）。

早期检测改善了胰腺导管腺癌（PDAC）中的预后，但挑战，因为病变通常很小，并且在对比增强的计算断层扫描扫描（CE-CT）上定义很差。深度学习可以促进PDAC诊断，但是当前模型仍然无法识别小（<2cm）病变。在这项研究中，最先进的深度学习模型用于开发用于PDAC检测的自动框架，专注于小病变。另外，研究了整合周围解剖学的影响。 CE-CT来自119个病理验证的PDAC患者的群组和123名没有PDAC患者的队列用于训练NNUNET用于自动病变检测和分割（\ TEXTIT {NNUNET \ _t}）。训练了两种额外的鼻塞，以研究解剖学积分的影响：（1）分割胰腺和肿瘤（\ yryit {nnunet \ _tp}），（2）分割胰腺，肿瘤和多周围的解剖结构（\ textit {nnunet \_多发性硬化症}）。外部可公开的测试集用于比较三个网络的性能。 \ Textit {nnunet \ _ms}实现了最佳性能，在整个测试集的接收器操作特性曲线下的区域为0.91，肿瘤的0.88 <2cm，显示最先进的深度学习可以检测到小型PDAC和解剖信息的好处。

逆转录 - 聚合酶链反应（RT-PCR）目前是Covid-19诊断中的金标准。然而，它可以花几天来提供诊断，假负率相对较高。成像，特别是胸部计算断层扫描（CT），可以有助于诊断和评估这种疾病。然而，表明标准剂量CT扫描对患者提供了显着的辐射负担，尤其是需要多次扫描的患者。在这项研究中，我们考虑低剂量和超低剂量（LDCT和ULDCT）扫描方案，其减少靠近单个X射线的辐射曝光，同时保持可接受的分辨率以进行诊断目的。由于胸部放射学专业知识可能不会在大流行期间广泛使用，我们使用LDCT / ULDCT扫描的收集的数据集进行人工智能（AI）基础的框架，以研究AI模型可以提供人为级性能的假设。 AI模型使用了两个阶段胶囊网络架构，可以快速对Covid-19，社区获得的肺炎（帽）和正常情况进行分类，使用LDCT / ULDCT扫描。 AI模型实现Covid-19敏感性为89.5％+ - 0.11，帽敏感性为95％+ \ - 0.11，正常情况敏感性（特异性）85.7％+ - 0.16，精度为90％+ \ - 0.06。通过纳入临床数据（人口统计和症状），性能进一步改善了Covid-19敏感性为94.3％+ \ - PM 0.05，帽敏感性为96.7％+ \ - 0.07，正常情况敏感性（特异性）91％+ - 0.09，精度为94.1％+ \ - 0.03。所提出的AI模型基于降低辐射暴露的LDCT / ULDCT扫描来实现人级诊断。我们认为，所提出的AI模型有可能协助放射科医师准确，并迅速诊断Covid-19感染，并帮助控制大流行期间的传输链。

脑转移性疾病的治疗决策依赖于主要器官位点的知识，目前用活组织检查和组织学进行。在这里，我们开发了一种具有全脑MRI数据的准确非侵入性数字组织学的新型深度学习方法。我们的IRB批准的单网回顾性研究由患者（n = 1,399）组成，提及MRI治疗规划和伽马刀放射牢房超过19年。对比增强的T1加权和T2加权流体减毒的反转恢复脑MRI考试（n = 1,582）被预处理，并输入肿瘤细分，模态转移和主要部位分类的建议深度学习工作流程为五个课程之一（肺，乳腺，黑色素瘤，肾等）。十倍的交叉验证产生的总体AUC为0.947（95％CI：0.938,0.955），肺类AUC，0.899（95％CI：0.884,0.915），乳房类AUC为0.990（95％CI：0.983,0.997） ，黑色素瘤ACAC为0.882（95％CI：0.858,0.906），肾类AUC为0.870（95％CI：0.823,0.918），以及0.885的其他AUC（95％CI：0.843,0.949）。这些数据确定全脑成像特征是判别的，以便准确诊断恶性肿瘤的主要器官位点。我们的端到端深度射出方法具有巨大的分类来自全脑MRI图像的转移性肿瘤类型。进一步的细化可以提供一种无价的临床工具，以加快对精密治疗和改进的结果的原发性癌症现场鉴定。

当肿瘤学家估计癌症患者的生存时，他们依靠多模式数据。尽管文献中已经提出了一些多模式的深度学习方法，但大多数人都依靠拥有两个或多个独立的网络，这些网络在整个模型的稍后阶段共享知识。另一方面，肿瘤学家在分析中没有这样做，而是通过多种来源（例如医学图像和患者病史）融合大脑中的信息。这项工作提出了一种深度学习方法，可以在量化癌症和估计患者生存时模仿肿瘤学家的分析行为。我们提出了TMSS，这是一种基于端到端变压器的多模式网络，用于分割和生存预测，该网络利用了变压器的优越性，这在于其能力处理不同模态的能力。该模型经过训练并验证了从头部和颈部肿瘤分割的训练数据集上的分割和预后任务以及PET/CT图像挑战（Hecktor）中的结果预测。我们表明，所提出的预后模型显着优于最先进的方法，其一致性指数为0.763 +/- 0.14，而与独立段模型相当的骰子得分为0.772 +/- 0.030。该代码公开可用。