患者定期继续在其他设施中进行评估或治疗，而不是他们开始他们，以前的成像研究作为CD-ROM，并要求新医院的临床工作人员将这些研究导入其本地数据库。然而，在不同的设施之间，命名法，内容甚至医疗程序之间的标准可能会有所不同，通常需要人为干预，以准确地将所接受的研究在受援所在医院的标准中进行分类。在这项研究中，作者呈现MOMO（模态映射和编排），一种基于深入的学习方法，用于利用元数据子字符串匹配和神经网络集合来自动化该映射过程，培训以识别七种不同的76个最常见的成像研究方式。进行回顾性研究以测量该算法可以提供的准确性。为此，从当地医院的PACS数据库检索了一组11,934个与现有标签的成像系列，以培训神经网络。一套843个完全匿名的外部研究被手动标记为评估我们算法的性能。另外，进行烧蚀研究以测量算法中网络集合的性能影响，并进行商业产品的比较性能测试。与商业产品相比（预测功率为82.86％，精度为82.86％，1.36％的小错误），单独的神经网络集合单独使用较低的准确度进行分类任务（预测功率为99.05％，精度为72.69％，较小误差10.3％）。然而，MOMO以准确性大的裕度优于大幅度，并且具有增加的预测功率（预测功率为99.29％，精度为92.71％，2.63％的小错误）。

目的：基于深度学习的放射素学（DLR）在医学图像分析中取得了巨大的成功，并被认为是依赖手工特征的常规放射线学的替代。在这项研究中，我们旨在探索DLR使用预处理PET/CT预测鼻咽癌（NPC）中5年无进展生存期（PFS）的能力。方法：总共招募了257名患者（内部/外部队列中的170/87），具有晚期NPC（TNM III期或IVA）。我们开发了一个端到端的多模式DLR模型，其中优化了3D卷积神经网络以从预处理PET/CT图像中提取深度特征，并预测了5年PFS的概率。作为高级临床特征，TNM阶段可以集成到我们的DLR模型中，以进一步提高预后性能。为了比较常规放射素学和DLR，提取了1456个手工制作的特征，并从54种特征选择方法和9种分类方法的54个交叉组合中选择了最佳常规放射线方法。此外，使用临床特征，常规放射线学签名和DLR签名进行风险组分层。结果：我们使用PET和CT的多模式DLR模型比最佳常规放射线方法获得了更高的预后性能。此外，多模式DLR模型仅使用PET或仅CT优于单模式DLR模型。对于风险组分层，常规的放射线学签名和DLR签名使内部和外部队列中的高风险患者群体之间有显着差异，而外部队列中的临床特征则失败。结论：我们的研究确定了高级NPC中生存预测的潜在预后工具，表明DLR可以为当前TNM分期提供互补值。

深度学习进展到几乎所有医疗领域中最重要的技术之一。特别是在与医学成像有关的领域中，它起着重要作用。然而，在介入放疗（近距离放射治疗）中，深度学习仍处于早期阶段。在这篇综述中，首先，我们研究并审查了深度学习在介入放射疗法和直接相关领域的所有过程中的作用。此外，我们总结了最新的发展。为了重现深度学习算法的结果，必须提供源代码和培训数据。因此，这项工作的第二个重点是分析开源，开放数据和开放模型的可用性。在我们的分析中，我们能够证明深度学习在某些介入放射疗法领域已经起着主要作用，但在其他方面仍然很少出现。然而，随着年份的影响，它的影响正在增加，部分自我推广，但也受到密切相关领域的影响。开源，数据和模型的数量正在增长，但仍然很少，并且在不同的研究小组之间分布不均。不愿发布代码，数据和模型限制了可重复性，并将评估限制为单一机构数据集。总结，深度学习将积极改变介入放射疗法的工作流程，但是在可再现的结果和标准化评估方法方面，有改进的余地。

人工智能（AI）技术具有重要潜力，可以实现有效，鲁棒和自动的图像表型，包括识别细微图案。基于AI的检测搜索图像空间基于模式和特征来找到兴趣区域。存在一种良性的肿瘤组织学，可以通过使用图像特征的基于AI的分类方法来识别。图像从图像中提取可用于的可覆盖方式，可以通过显式（手工/工程化）和深度辐射谱系框架来探索途径。辐射瘤分析有可能用作非侵入性技术，以准确表征肿瘤，以改善诊断和治疗监测。这项工作介绍基于AI的技术，专注于肿瘤宠物和PET / CT成像，用于不同的检测，分类和预测/预测任务。我们还讨论了所需的努力，使AI技术转换为常规临床工作流程，以及潜在的改进和互补技术，例如在电子健康记录和神经象征性AI技术上使用自然语言处理。

放射线学使用定量医学成像特征来预测临床结果。目前，在新的临床应用中，必须通过启发式试验和纠正过程手动完成各种可用选项的最佳放射组方法。在这项研究中，我们提出了一个框架，以自动优化每个应用程序的放射线工作流程的构建。为此，我们将放射线学作为模块化工作流程，并为每个组件包含大量的常见算法。为了优化每个应用程序的工作流程，我们使用随机搜索和结合使用自动化机器学习。我们在十二个不同的临床应用中评估我们的方法，从而在曲线下导致以下区域：1）脂肪肉瘤（0.83）； 2）脱粘型纤维瘤病（0.82）; 3）原发性肝肿瘤（0.80）; 4）胃肠道肿瘤（0.77）； 5）结直肠肝转移（0.61）; 6）黑色素瘤转移（0.45）; 7）肝细胞癌（0.75）; 8）肠系膜纤维化（0.80）; 9）前列腺癌（0.72）； 10）神经胶质瘤（0.71）; 11）阿尔茨海默氏病（0.87）;和12）头颈癌（0.84）。我们表明，我们的框架具有比较人类专家的竞争性能，优于放射线基线，并且表现相似或优于贝叶斯优化和更高级的合奏方法。最后，我们的方法完全自动优化了放射线工作流的构建，从而简化了在新应用程序中对放射线生物标志物的搜索。为了促进可重复性和未来的研究，我们公开发布了六个数据集，框架的软件实施以及重现这项研究的代码。

从历史上看，患者数据集已用于开发和验证PET/MRI和PET/CT的各种重建算法。为了使这种算法开发，无需获得数百个患者检查，在本文中，我们展示了一种深度学习技术，可以从丰富的全身MRI中产生合成但逼真的全身宠物纹状体。具体来说，我们使用56 $^{18} $ F-FDG-PET/MRI考试的数据集训练3D残差UNET来预测全身T1加权MRI的生理PET摄取。在训练中，我们实施了平衡的损失函数，以在较大的动态范围内产生逼真的吸收，并沿着层析成像线的响应线对模仿宠物的获取产生计算的损失。预测的PET图像预计会产生合成宠物飞行时间（TOF）正式图，可与供应商提供的PET重建算法一起使用，包括使用基于CT的衰减校正（CTAC）和基于MR的衰减校正（MRAC（MRAC） ）。由此产生的合成数据概括了生理学$^{18} $ f-fdg摄取，例如高摄取量位于大脑和膀胱，以及肝脏，肾脏，心脏和肌肉的吸收。为了模拟高摄取的异常，我们还插入合成病变。我们证明，该合成PET数据可以与实际PET数据互换使用，用于比较CT和基于MR的衰减校正方法的PET量化任务，与使用真实数据相比，在平均值中实现了$ \ leq 7.6 \％$误差。这些结果共同表明，所提出的合成PET数据管道可以合理地用于开发，评估和验证PET/MRI重建方法。

本文提出了第二版的头部和颈部肿瘤（Hecktor）挑战的概述，作为第24届医学图像计算和计算机辅助干预（Miccai）2021的卫星活动。挑战由三个任务组成与患有头颈癌（H＆N）的患者的PET / CT图像的自动分析有关，专注于oropharynx地区。任务1是FDG-PET / CT图像中H＆N主肿瘤肿瘤体积（GTVT）的自动分割。任务2是来自同一FDG-PET / CT的进展自由生存（PFS）的自动预测。最后，任务3与任务2的任务2与参与者提供的地面真理GTVT注释相同。这些数据从六个中心收集，总共325个图像，分为224个培训和101个测试用例。通过103个注册团队和448个结果提交的重要参与，突出了对挑战的兴趣。在第一任务中获得0.7591的骰子相似度系数（DSC），分别在任务2和3中的0.7196和0.6978的一致性指数（C-Index）。在所有任务中，发现这种方法的简单性是确保泛化性能的关键。 PFS预测性能在任务2和3中的比较表明，提供GTVT轮廓对于实现最佳结果，这表明可以使用完全自动方法。这可能避免了对GTVT轮廓的需求，用于可重复和大规模的辐射瘤研究的开头途径，包括千元潜在的受试者。

计算机辅助方法为诊断和预测脑疾病显示了附加的价值，因此可以支持临床护理和治疗计划中的决策。本章将洞悉方法的类型，其工作，输入数据（例如认知测试，成像和遗传数据）及其提供的输出类型。我们将专注于诊断的特定用例，即估计患者的当前“状况”，例如痴呆症的早期检测和诊断，对脑肿瘤的鉴别诊断以及中风的决策。关于预测，即对患者的未来“状况”的估计，我们将缩小用例，例如预测多发性硬化症中的疾病病程，并预测脑癌治疗后患者的结局。此外，根据这些用例，我们将评估当前的最新方法，并强调当前对这些方法进行基准测试的努力以及其中的开放科学的重要性。最后，我们评估了计算机辅助方法的当前临床影响，并讨论了增加临床影响所需的下一步。

阿尔茨海默氏病（AD）是最常见的神经退行性疾病，具有最复杂的病原体之一，使有效且临床上可行的决策变得困难。这项研究的目的是开发一个新型的多模式深度学习框架，以帮助医疗专业人员进行AD诊断。我们提出了一个多模式的阿尔茨海默氏病诊断框架（MADDI），以准确检测成像，遗传和临床数据中的AD和轻度认知障碍（MCI）。 Maddi是新颖的，因为我们使用跨模式的注意力，它捕获了模态之间的相互作用 - 这种域中未探讨的方法。我们执行多级分类，这是一项艰巨的任务，考虑到MCI和AD之间的相似之处。我们与以前的最先进模型进行比较，评估注意力的重要性，并检查每种模式对模型性能的贡献。 Maddi在持有的测试集中对MCI，AD和控件进行了96.88％的精度分类。在检查不同注意力方案的贡献时，我们发现跨模式关注与自我注意力的组合表现出了最佳状态，并且模型中没有注意力层表现最差，而F1分数差异为7.9％。我们的实验强调了结构化临床数据的重要性，以帮助机器学习模型将其背景化和解释其余模式化。广泛的消融研究表明，未访问结构化临床信息的任何多模式混合物都遭受了明显的性能损失。这项研究证明了通过跨模式的注意组合多种输入方式的优点，以提供高度准确的AD诊断决策支持。

在本文中，我们回顾了同时正电子发射断层扫描（PET） /磁共振成像（MRI）系统的物理和数据驱动的重建技术，这些技术在癌症，神经系统疾病和心脏病方面具有显着优势。这些重建方法利用结构或统计的先验，以及基于物理学的宠物系统响应的描述。但是，由于正向问题的嵌套表示，直接的PET/MRI重建是一个非线性问题。我们阐明了多方面的方法如何适应3D PET/MRI重建的混合数据和物理驱动的机器学习，总结了过去5年中重要的深度学习发展，以解决衰减校正，散射，低光子数和数据一致性。我们还描述了这些多模式方法的应用如何扩展到PET/MRI以提高放射治疗计划的准确性。最后，我们讨论了遵循物理和深度学习的计算成像和下一代探测器硬件的最新趋势，以扩展当前最新趋势的机会。

肿瘤分割是放疗治疗计划的基本步骤。为了确定口咽癌患者（OPC）原发性肿瘤（GTVP）的准确分割，需要同时评估不同图像模态，并从不同方向探索每个图像体积。此外，分割的手动固定边界忽略了肿瘤描述中已知的空间不确定性。这项研究提出了一种新型的自动深度学习（DL）模型，以在注册的FDG PET/CT图像上进行逐片自适应GTVP分割的辐射肿瘤学家。我们包括138名在我们研究所接受过（化学）辐射治疗的OPC患者。我们的DL框架利用了间和板板的上下文。连续3片的串联FDG PET/CT图像和GTVP轮廓的序列用作输入。进行了3倍的交叉验证，进行了3​​次，对从113例患者的轴向（a），矢状（s）和冠状（c）平面提取的序列进行了训练。由于体积中的连续序列包含重叠的切片，因此每个切片产生了平均的三个结果预测。在A，S和C平面中，输出显示具有预测肿瘤的概率不同的区域。使用平均骰子得分系数（DSC）评估了25名患者的模型性能。预测是最接近地面真理的概率阈值（在A中为0.70，s为0.70，在s中为0.77，在C平面中为0.80）。提出的DL模型的有希望的结果表明，注册的FDG PET/CT图像上的概率图可以指导逐片自适应GTVP分割中的辐射肿瘤学家。

深度学习对医学成像产生了极大的兴趣，特别是在使用卷积神经网络（CNN）来开发自动诊断工具方面。其非侵入性获取的设施使视网膜底面成像适合这种自动化方法。使用CNN分析底面图像的最新工作依靠访问大量数据进行培训和验证 - 成千上万的图像。但是，数据驻留和数据隐私限制阻碍了这种方法在患者机密性是任务的医疗环境中的适用性。在这里，我们展示了小型数据集上DL的性能的结果，以从眼睛图像中对患者性别进行分类 - 直到最近，底眼前图像中才出现或可量化的特征。我们微调了一个RESNET-152模型，其最后一层已修改以进行二进制分类。在几个实验中，我们使用一个私人（DOV）和一个公共（ODIR）数据源评估在小数据集上下文中的性能。我们的模型使用大约2500张底面图像开发，实现了高达0.72的AUC评分（95％CI：[0.67，0.77]）。尽管与文献中的先前工作相比，数据集大小降低了近1000倍，但这仅仅是降低25％的性能。即使从视网膜图像中进行性别分类等艰巨的任务，我们也会发现使用非常小的数据集可以进行分类。此外，我们在DOV和ODIR之间进行了域适应实验。探索数据策展对培训和概括性的影响；并调查模型结合在小型开发数据集中最大化CNN分类器性能。

肺癌是全球癌症死亡的主要原因，肺腺癌是最普遍的肺癌形式。 EGFR阳性肺腺癌已被证明对TKI治疗的反应率很高，这是肺癌分子测试的基本性质。尽管目前的指南考虑必要测试，但很大一部分患者并未常规化，导致数百万的人未接受最佳治疗肺癌。测序是EGFR突变分子测试的黄金标准，但是结果可能需要数周的时间才能回来，这在时间限制的情况下并不理想。能够快速，便宜地检测EGFR突变的替代筛查工具的开发，同时保存组织以进行测序可以帮助减少受比较治疗的患者的数量。我们提出了一种多模式方法，该方法将病理图像和临床变量整合在一起，以预测EGFR突变状态，迄今为止最大的临床队列中的AUC为84％。这样的计算模型可以以很少的额外成本进行大部分部署。它的临床应用可以减少中国接受亚最佳治疗的患者数量53.1％，在美国将高达96.6％的患者减少96.6％。

阿尔茨海默氏病（AD）是痴呆症的最常见形式，由于痴呆症的多因素病因，通常难以诊断。关于基于神经成像的基于神经成像的深度神经网络（DNN）的著作表明，结构磁共振图像（SMRI）和氟脱氧葡萄糖正电子发射层析成像（FDG-PET）可提高健康对照和受试者的研究人群的精度。与广告。但是，这一结果与既定的临床知识冲突，即FDG-PET比SMRI更好地捕获AD特定的病理。因此，我们提出了一个框架，用于对基于FDG-PET和SMRI进行多模式DNN的系统评估，并重新评估单模式DNN和多模式DNN，用于二进制健康与AD，以及三向健康/轻度的健康/轻度认知障碍/广告分类。我们的实验表明，使用FDG-PET的单模式网络的性能优于MRI（准确性0.91 vs 0.87），并且在组合时不会显示出改进。这符合有关AD生物标志物的既定临床知识，但提出了有关多模式DNN的真正好处的问题。我们认为，未来关于多模式融合的工作应系统地评估我们提出的评估框架后的个人模式的贡献。最后，我们鼓励社区超越健康与AD分类，并专注于痴呆症的鉴别诊断，在这种诊断中，在这种诊断中，融合了多模式图像信息与临床需求相符。

Color fundus photography and Optical Coherence Tomography (OCT) are the two most cost-effective tools for glaucoma screening. Both two modalities of images have prominent biomarkers to indicate glaucoma suspected. Clinically, it is often recommended to take both of the screenings for a more accurate and reliable diagnosis. However, although numerous algorithms are proposed based on fundus images or OCT volumes in computer-aided diagnosis, there are still few methods leveraging both of the modalities for the glaucoma assessment. Inspired by the success of Retinal Fundus Glaucoma Challenge (REFUGE) we held previously, we set up the Glaucoma grAding from Multi-Modality imAges (GAMMA) Challenge to encourage the development of fundus \& OCT-based glaucoma grading. The primary task of the challenge is to grade glaucoma from both the 2D fundus images and 3D OCT scanning volumes. As part of GAMMA, we have publicly released a glaucoma annotated dataset with both 2D fundus color photography and 3D OCT volumes, which is the first multi-modality dataset for glaucoma grading. In addition, an evaluation framework is also established to evaluate the performance of the submitted methods. During the challenge, 1272 results were submitted, and finally, top-10 teams were selected to the final stage. We analysis their results and summarize their methods in the paper. Since all these teams submitted their source code in the challenge, a detailed ablation study is also conducted to verify the effectiveness of the particular modules proposed. We find many of the proposed techniques are practical for the clinical diagnosis of glaucoma. As the first in-depth study of fundus \& OCT multi-modality glaucoma grading, we believe the GAMMA Challenge will be an essential starting point for future research.

Pneumonia, a respiratory infection brought on by bacteria or viruses, affects a large number of people, especially in developing and impoverished countries where high levels of pollution, unclean living conditions, and overcrowding are frequently observed, along with insufficient medical infrastructure. Pleural effusion, a condition in which fluids fill the lung and complicate breathing, is brought on by pneumonia. Early detection of pneumonia is essential for ensuring curative care and boosting survival rates. The approach most usually used to diagnose pneumonia is chest X-ray imaging. The purpose of this work is to develop a method for the automatic diagnosis of bacterial and viral pneumonia in digital x-ray pictures. This article first presents the authors' technique, and then gives a comprehensive report on recent developments in the field of reliable diagnosis of pneumonia. In this study, here tuned a state-of-the-art deep convolutional neural network to classify plant diseases based on images and tested its performance. Deep learning architecture is compared empirically. VGG19, ResNet with 152v2, Resnext101, Seresnet152, Mobilenettv2, and DenseNet with 201 layers are among the architectures tested. Experiment data consists of two groups, sick and healthy X-ray pictures. To take appropriate action against plant diseases as soon as possible, rapid disease identification models are preferred. DenseNet201 has shown no overfitting or performance degradation in our experiments, and its accuracy tends to increase as the number of epochs increases. Further, DenseNet201 achieves state-of-the-art performance with a significantly a smaller number of parameters and within a reasonable computing time. This architecture outperforms the competition in terms of testing accuracy, scoring 95%. Each architecture was trained using Keras, using Theano as the backend.

2019年12月，一个名为Covid-19的新型病毒导致了迄今为止的巨大因果关系。与新的冠状病毒的战斗在西班牙语流感后令人振奋和恐怖。虽然前线医生和医学研究人员在控制高度典型病毒的传播方面取得了重大进展，但技术也证明了在战斗中的重要性。此外，许多医疗应用中已采用人工智能，以诊断许多疾病，甚至陷入困境的经验丰富的医生。因此，本调查纸探讨了提议的方法，可以提前援助医生和研究人员，廉价的疾病诊断方法。大多数发展中国家难以使用传统方式进行测试，但机器和深度学习可以采用显着的方式。另一方面，对不同类型的医学图像的访问已经激励了研究人员。结果，提出了一种庞大的技术数量。本文首先详细调了人工智能域中传统方法的背景知识。在此之后，我们会收集常用的数据集及其用例日期。此外，我们还显示了采用深入学习的机器学习的研究人员的百分比。因此，我们对这种情况进行了彻底的分析。最后，在研究挑战中，我们详细阐述了Covid-19研究中面临的问题，我们解决了我们的理解，以建立一个明亮健康的环境。

这项研究的目的是开发一个强大的基于深度学习的框架，以区分Covid-19，社区获得的肺炎（CAP）和基于使用各种方案和放射剂量在不同成像中心获得的胸部CT扫描的正常病例和正常情况。我们表明，虽然我们的建议模型是在使用特定扫描协议仅从一个成像中心获取的相对较小的数据集上训练的，但该模型在使用不同技术参数的多个扫描仪获得的异质测试集上表现良好。我们还表明，可以通过无监督的方法来更新模型，以应对火车和测试集之间的数据移动，并在从其他中心接收新的外部数据集时增强模型的鲁棒性。我们采用了合奏体系结构来汇总该模型的多个版本的预测。为了初始培训和开发目的，使用了171 Covid-19、60 CAP和76个正常情况的内部数据集，其中包含使用恒定的标准辐射剂量扫描方案从一个成像中心获得的体积CT扫描。为了评估模型，我们回顾了四个不同的测试集，以研究数据特征对模型性能的转移的影响。在测试用例中，有与火车组相似的CT扫描，以及嘈杂的低剂量和超低剂量CT扫描。此外，从患有心血管疾病或手术病史的患者中获得了一些测试CT扫描。这项研究中使用的整个测试数据集包含51 covid-19、28 CAP和51例正常情况。实验结果表明，我们提出的框架在所有测试集上的表现良好，达到96.15％的总准确度（95％CI：[91.25-98.74]），COVID-119，COVID-96.08％（95％CI：[86.54-99.5]，95％），[86.54-99.5]，），，），敏感性。帽敏感性为92.86％（95％CI：[76.50-99.19]）。

前列腺癌是男性癌症死亡的最常见原因之一。对非侵入性和准确诊断方法的需求不断增长，促进目前在临床实践中的标准前列腺癌风险评估。尽管如此，从多游幂磁共振图像中开发前列腺癌诊断中的计算机辅助癌症诊断仍然是一个挑战。在这项工作中，我们提出了一种新的深度学习方法，可以通过构建两阶段多数量多流卷积神经网络（CNN）基于架构架构的相应磁共振图像中的前列腺病变自动分类。在不实现复杂的图像预处理步骤或第三方软件的情况下，我们的框架在接收器操作特性（ROC）曲线值为0.87的接收器下实现了该区域的分类性能。结果表现出大部分提交的方法，并分享了普罗妥克斯挑战组织者报告的最高价值。我们拟议的基于CNN的框架反映了辅助前列腺癌中的医学图像解释并减少不必要的活组织检查的可能性。

视网膜光学相干断层扫描（OCT）和光学相干断层扫描（OCTA）是（早期）诊断阿尔茨海默氏病（AD）的有前途的工具。这些非侵入性成像技术比替代神经影像工具更具成本效益，更容易获得。但是，即使对于训练有素的从业人员来说，解释和分类OCT设备进行的多层扫描也是耗时和挑战。关于机器学习和深度学习方法的调查，涉及对诸如青光眼等各种疾病的OCT扫描自动分析。但是，目前的文献缺乏对使用OCT或OCTA诊断阿尔茨海默氏病或​​认知障碍的广泛调查。这促使我们进行了针对需要介绍该问题的机器/深度学习科学家或从业者的全面调查。本文包含1）对阿尔茨海默氏病和认知障碍的医学背景介绍及其使用OCT和八八片成像方式的诊断，2）从自动分析的角度审查有关该问题的各种技术建议和子问题的回顾，3 ）对最近的深度学习研究和可用的OCT/OCTA数据集的系统综述，旨在诊断阿尔茨海默氏病和认知障碍。对于后者，我们使用发布或灭亡软件来搜索来自Scopus，PubMed和Web Science等各种来源的相关研究。我们遵循PRISMA方法筛选了3073参考的初始库，并确定了直接针对AD诊断的十项相关研究（n = 10，3073分）。我们认为缺乏开放的OCT/OCTA数据集（关于阿尔茨海默氏病）是阻碍该领域进展的主要问题。