当肿瘤学家估计癌症患者的生存时，他们依靠多模式数据。尽管文献中已经提出了一些多模式的深度学习方法，但大多数人都依靠拥有两个或多个独立的网络，这些网络在整个模型的稍后阶段共享知识。另一方面，肿瘤学家在分析中没有这样做，而是通过多种来源（例如医学图像和患者病史）融合大脑中的信息。这项工作提出了一种深度学习方法，可以在量化癌症和估计患者生存时模仿肿瘤学家的分析行为。我们提出了TMSS，这是一种基于端到端变压器的多模式网络，用于分割和生存预测，该网络利用了变压器的优越性，这在于其能力处理不同模态的能力。该模型经过训练并验证了从头部和颈部肿瘤分割的训练数据集上的分割和预后任务以及PET/CT图像挑战（Hecktor）中的结果预测。我们表明，所提出的预后模型显着优于最先进的方法，其一致性指数为0.763 +/- 0.14，而与独立段模型相当的骰子得分为0.772 +/- 0.030。该代码公开可用。

Outcome prediction is crucial for head and neck cancer patients as it can provide prognostic information for early treatment planning. Radiomics methods have been widely used for outcome prediction from medical images. However, these methods are limited by their reliance on intractable manual segmentation of tumor regions. Recently, deep learning methods have been proposed to perform end-to-end outcome prediction so as to remove the reliance on manual segmentation. Unfortunately, without segmentation masks, these methods will take the whole image as input, such that makes them difficult to focus on tumor regions and potentially unable to fully leverage the prognostic information within the tumor regions. In this study, we propose a radiomics-enhanced deep multi-task framework for outcome prediction from PET/CT images, in the context of HEad and neCK TumOR segmentation and outcome prediction challenge (HECKTOR 2022). In our framework, our novelty is to incorporate radiomics as an enhancement to our recently proposed Deep Multi-task Survival model (DeepMTS). The DeepMTS jointly learns to predict the survival risk scores of patients and the segmentation masks of tumor regions. Radiomics features are extracted from the predicted tumor regions and combined with the predicted survival risk scores for final outcome prediction, through which the prognostic information in tumor regions can be further leveraged. Our method achieved a C-index of 0.681 on the testing set, placing the 2nd on the leaderboard with only 0.00068 lower in C-index than the 1st place.

对于头颈癌（HNC）患者管理，自动总肿瘤量（GTV）细分和准确的治疗前癌症复发预测对于协助医师设计个性化管理计划非常重要，这有可能改善治疗结果和治疗结果和HNC患者的生活质量。在本文中，我们基于HNC患者的组合预处理正电子发射断层扫描/计算机发射断层扫描（PET/CT）扫描，开发了一种自动原发性肿瘤（GTVP）和淋巴结（GTVN）分割方法。我们从分段的肿瘤体积中提取了放射素学特征，并构建了多模式肿瘤复发生存率（RFS）预测模型，该模型融合了预测由单独的CT放射线学，PET放射线学和临床模型融合在一起。我们进行了5倍的交叉验证，以训练和评估MICCAI 2022头和颈部肿瘤分割和结果预测挑战（Hecktor）数据集的方法。 GTVP和GTVN分割的测试队列的集合预测分别达到0.77和0.73，RFS预测的C-指数值为0.67。该代码公开可用（https://github.com/wangkaiwan/hecktor-2022-airt）。我们团队的名字叫艾特。

头部和颈部（H \＆N）肿瘤的分割和患者结果的预测对于患者的疾病诊断和治疗监测至关重要。强大的深度学习模型的当前发展受到缺乏大型多中心，多模态数据的阻碍，质量注释。 Miccai 2021头部和颈部肿瘤（Hecktor）分割和结果预测挑战产生了一种平台，用于比较氟 - 脱氧葡萄糖（FDG）-PET上的初级总体目标体积的分段方法和计算的断层摄影图像和预测H中的无进展生存对于细分任务，我们提出了一种基于编码器 - 解码器架构的新网络，具有完整的和跳过连接，以利用全尺度的低级和高级语义。此外，我们使用条件随机字段作为优化预测分段映射的后处理步骤。我们训练了多个用于肿瘤体积分割的神经网络，并且这些分段被整合在交叉验证中实现了0.75的平均骰子相似度系数，并在挑战测试数据集中实现了0.76。为了预测患者进展免费生存任务，我们提出了一种组合临床，辐射和深层学习特征的Cox比例危害回归。我们的生存预测模型在交叉验证中实现了0.82的一致性指数，并在挑战测试数据集中获得0.62。

本文提出了第二版的头部和颈部肿瘤（Hecktor）挑战的概述，作为第24届医学图像计算和计算机辅助干预（Miccai）2021的卫星活动。挑战由三个任务组成与患有头颈癌（H＆N）的患者的PET / CT图像的自动分析有关，专注于oropharynx地区。任务1是FDG-PET / CT图像中H＆N主肿瘤肿瘤体积（GTVT）的自动分割。任务2是来自同一FDG-PET / CT的进展自由生存（PFS）的自动预测。最后，任务3与任务2的任务2与参与者提供的地面真理GTVT注释相同。这些数据从六个中心收集，总共325个图像，分为224个培训和101个测试用例。通过103个注册团队和448个结果提交的重要参与，突出了对挑战的兴趣。在第一任务中获得0.7591的骰子相似度系数（DSC），分别在任务2和3中的0.7196和0.6978的一致性指数（C-Index）。在所有任务中，发现这种方法的简单性是确保泛化性能的关键。 PFS预测性能在任务2和3中的比较表明，提供GTVT轮廓对于实现最佳结果，这表明可以使用完全自动方法。这可能避免了对GTVT轮廓的需求，用于可重复和大规模的辐射瘤研究的开头途径，包括千元潜在的受试者。

目的：基于深度学习的放射素学（DLR）在医学图像分析中取得了巨大的成功，并被认为是依赖手工特征的常规放射线学的替代。在这项研究中，我们旨在探索DLR使用预处理PET/CT预测鼻咽癌（NPC）中5年无进展生存期（PFS）的能力。方法：总共招募了257名患者（内部/外部队列中的170/87），具有晚期NPC（TNM III期或IVA）。我们开发了一个端到端的多模式DLR模型，其中优化了3D卷积神经网络以从预处理PET/CT图像中提取深度特征，并预测了5年PFS的概率。作为高级临床特征，TNM阶段可以集成到我们的DLR模型中，以进一步提高预后性能。为了比较常规放射素学和DLR，提取了1456个手工制作的特征，并从54种特征选择方法和9种分类方法的54个交叉组合中选择了最佳常规放射线方法。此外，使用临床特征，常规放射线学签名和DLR签名进行风险组分层。结果：我们使用PET和CT的多模式DLR模型比最佳常规放射线方法获得了更高的预后性能。此外，多模式DLR模型仅使用PET或仅CT优于单模式DLR模型。对于风险组分层，常规的放射线学签名和DLR签名使内部和外部队列中的高风险患者群体之间有显着差异，而外部队列中的临床特征则失败。结论：我们的研究确定了高级NPC中生存预测的潜在预后工具，表明DLR可以为当前TNM分期提供互补值。

肿瘤分割是放疗治疗计划的基本步骤。为了确定口咽癌患者（OPC）原发性肿瘤（GTVP）的准确分割，需要同时评估不同图像模态，并从不同方向探索每个图像体积。此外，分割的手动固定边界忽略了肿瘤描述中已知的空间不确定性。这项研究提出了一种新型的自动深度学习（DL）模型，以在注册的FDG PET/CT图像上进行逐片自适应GTVP分割的辐射肿瘤学家。我们包括138名在我们研究所接受过（化学）辐射治疗的OPC患者。我们的DL框架利用了间和板板的上下文。连续3片的串联FDG PET/CT图像和GTVP轮廓的序列用作输入。进行了3倍的交叉验证，进行了3​​次，对从113例患者的轴向（a），矢状（s）和冠状（c）平面提取的序列进行了训练。由于体积中的连续序列包含重叠的切片，因此每个切片产生了平均的三个结果预测。在A，S和C平面中，输出显示具有预测肿瘤的概率不同的区域。使用平均骰子得分系数（DSC）评估了25名患者的模型性能。预测是最接近地面真理的概率阈值（在A中为0.70，s为0.70，在s中为0.77，在C平面中为0.80）。提出的DL模型的有希望的结果表明，注册的FDG PET/CT图像上的概率图可以指导逐片自适应GTVP分割中的辐射肿瘤学家。

鼻咽癌（NPC）是由鼻咽引起的恶性上皮癌。生存预测是NPC患者的主要关注点，因为它提供了早期的预后信息来计划治疗。最近，基于深度学习的深层生存模型已经证明了胜过基于传统放射素学的生存预测模型的潜力。深度存活模型通常使用覆盖整个目标区域的图像贴片（例如，NPC的鼻咽）或仅包含分段肿瘤区域作为输入。但是，使用整个目标区域的模型还将包括非相关的背景信息，而使用分段肿瘤区域的模型将无视原发性肿瘤不存在的潜在预后信息（例如，局部淋巴结转移和相邻的组织侵入）。在这项研究中，我们提出了一个3D端到端的深层多任务生存模型（DEEPMTS），用于从预处理PET/CT的晚期NPC中进行关节存活预测和肿瘤分割。我们的新颖性是引入硬分段分割主链，以指导与原发性肿瘤相关的局部特征的提取，从而减少了非相关背景信息的干扰。此外，我们还引入了一个级联的生存网络，以捕获原发性肿瘤中存在的预后信息，并进一步利用从分段主链中得出的全球肿瘤信息（例如，肿瘤的大小，形状和位置）。我们使用两个临床数据集进行的实验表明，我们的DEEPMT始终超过传统的基于放射线学的生存预测模型和现有的深层生存模型。

多模式性荧光脱氧葡萄糖（FDG）正电子发射断层扫描 /计算机断层扫描（PET / CT）已常规用于评估常见癌症，例如肺癌，淋巴瘤和黑色素瘤。这主要归因于以下事实：PET/CT结合了对PET肿瘤检测的高灵敏度和CT的解剖学信息。在PET/CT图像评估中，自动肿瘤分割是重要的一步，近年来，基于深度学习的方法已成为最新方法。不幸的是，现有的方法倾向于过度细分肿瘤区域，并包括正常摄取器官，炎症和其他感染等区域。在这项研究中，我们引入了一个假阳性还原网络以克服这一限制。我们首先引入了一个自制的预训练的全球分割模块，以使用自我监督的预训练的编码器粗糙地描绘候选肿瘤区域。然后，通过局部细化模块去除假阳性来完善候选肿瘤区域。我们对MICCAI 2022自动病变分割的实验在全身FDG-PET/CT（AUTOPET）挑战数据集中表明，我们的方法在初步测试数据中获得了0.9324的骰子得分，并在排行榜上排名第一。我们的方法在最终测试数据的前7位方法中也排名，最终排名将在2022 MICCAI AUTOPET研讨会期间宣布。我们的代码可在以下网址提供：https：//github.com/yigepeng/autopet_false_posisity_reduction。

This paper focuses on the task of survival time analysis for lung cancer. Although much progress has been made in this problem in recent years, the performance of existing methods is still far from satisfactory. Traditional and some deep learning-based survival time analyses for lung cancer are mostly based on textual clinical information such as staging, age, histology, etc. Unlike existing methods that predicting on the single modality, we observe that a human clinician usually takes multimodal data such as text clinical data and visual scans to estimate survival time. Motivated by this, in this work, we contribute a smart cross-modality network for survival analysis network named Lite-ProSENet that simulates a human's manner of decision making. Extensive experiments were conducted using data from 422 NSCLC patients from The Cancer Imaging Archive (TCIA). The results show that our Lite-ProSENet outperforms favorably again all comparison methods and achieves the new state of the art with the 89.3% on concordance. The code will be made publicly available.

Achieving accurate and automated tumor segmentation plays an important role in both clinical practice and radiomics research. Segmentation in medicine is now often performed manually by experts, which is a laborious, expensive and error-prone task. Manual annotation relies heavily on the experience and knowledge of these experts. In addition, there is much intra- and interobserver variation. Therefore, it is of great significance to develop a method that can automatically segment tumor target regions. In this paper, we propose a deep learning segmentation method based on multimodal positron emission tomography-computed tomography (PET-CT), which combines the high sensitivity of PET and the precise anatomical information of CT. We design an improved spatial attention network(ISA-Net) to increase the accuracy of PET or CT in detecting tumors, which uses multi-scale convolution operation to extract feature information and can highlight the tumor region location information and suppress the non-tumor region location information. In addition, our network uses dual-channel inputs in the coding stage and fuses them in the decoding stage, which can take advantage of the differences and complementarities between PET and CT. We validated the proposed ISA-Net method on two clinical datasets, a soft tissue sarcoma(STS) and a head and neck tumor(HECKTOR) dataset, and compared with other attention methods for tumor segmentation. The DSC score of 0.8378 on STS dataset and 0.8076 on HECKTOR dataset show that ISA-Net method achieves better segmentation performance and has better generalization. Conclusions: The method proposed in this paper is based on multi-modal medical image tumor segmentation, which can effectively utilize the difference and complementarity of different modes. The method can also be applied to other multi-modal data or single-modal data by proper adjustment.

头颈肿瘤分割挑战（Hecktor）2022为研究人员提供了一个平台，可以将其解决方案与3D CT和PET图像的肿瘤和淋巴结分割。在这项工作中，我们描述了针对Hecktor 2022分割任务的解决方案。我们将所有图像重新样本为共同的分辨率，在头颈部和颈部区域周围的作物，并从Monai训练Segresnet语义分割网络。我们使用5倍的交叉验证来选择最佳模型检查点。最终提交是3次运行中的15个型号的合奏。我们的解决方案（NVAUTO团队名称）以0.78802的汇总骰子得分在Hecktor22挑战排行榜上获得第一名。

Head and neck cancers are the fifth most common cancer worldwide, and recently, analysis of Positron Emission Tomography (PET) and Computed Tomography (CT) images has been proposed to identify patients with a prognosis. Even though the results look promising, more research is needed to further validate and improve the results. This paper presents the work done by team MLC for the 2022 version of the HECKTOR grand challenge held at MICCAI 2022. For Task 1, the automatic segmentation task, our approach was, in contrast to earlier solutions using 3D segmentation, to keep it as simple as possible using a 2D model, analyzing every slice as a standalone image. In addition, we were interested in understanding how different modalities influence the results. We proposed two approaches; one using only the CT scans to make predictions and another using a combination of the CT and PET scans. For Task 2, the prediction of recurrence-free survival, we first proposed two approaches, one where we only use patient data and one where we combined the patient data with segmentations from the image model. For the prediction of the first two approaches, we used Random Forest. In our third approach, we combined patient data and image data using XGBoost. Low kidney function might worsen cancer prognosis. In this approach, we therefore estimated the kidney function of the patients and included it as a feature. Overall, we conclude that our simple methods were not able to compete with the highest-ranking submissions, but we still obtained reasonably good scores. We also got interesting insights into how the combination of different modalities can influence the segmentation and predictions.

脑转移性疾病的治疗决策依赖于主要器官位点的知识，目前用活组织检查和组织学进行。在这里，我们开发了一种具有全脑MRI数据的准确非侵入性数字组织学的新型深度学习方法。我们的IRB批准的单网回顾性研究由患者（n = 1,399）组成，提及MRI治疗规划和伽马刀放射牢房超过19年。对比增强的T1加权和T2加权流体减毒的反转恢复脑MRI考试（n = 1,582）被预处理，并输入肿瘤细分，模态转移和主要部位分类的建议深度学习工作流程为五个课程之一（肺，乳腺，黑色素瘤，肾等）。十倍的交叉验证产生的总体AUC为0.947（95％CI：0.938,0.955），肺类AUC，0.899（95％CI：0.884,0.915），乳房类AUC为0.990（95％CI：0.983,0.997） ，黑色素瘤ACAC为0.882（95％CI：0.858,0.906），肾类AUC为0.870（95％CI：0.823,0.918），以及0.885的其他AUC（95％CI：0.843,0.949）。这些数据确定全脑成像特征是判别的，以便准确诊断恶性肿瘤的主要器官位点。我们的端到端深度射出方法具有巨大的分类来自全脑MRI图像的转移性肿瘤类型。进一步的细化可以提供一种无价的临床工具，以加快对精密治疗和改进的结果的原发性癌症现场鉴定。

随着时间的流逝，肿瘤体积和肿瘤特征的变化是癌症治疗的重要生物标志物。在这种情况下，FDG-PET/CT扫描通常用于癌症的分期和重新分期，因为放射性标记的荧光脱氧葡萄糖在高代谢的地区进行了。不幸的是，这些具有高代谢的区域不是针对肿瘤的特异性，也可以代表正常功能器官，炎症或感染的生理吸收，在这些扫描中使详细且可靠的肿瘤分割成为一项苛刻的任务。 AUTOPET挑战赛解决了这一研究差距，该挑战提供了来自900名患者的FDG-PET/CT扫描的公共数据集，以鼓励该领域进一步改善。我们对这一挑战的贡献是由两个最先进的分割模型组成的合奏，即NN-UNET和SWIN UNETR，并以最大强度投影分类器的形式增强，该分类器的作用像是门控机制。如果它预测了病变的存在，则两种分割都是通过晚期融合方法组合的。我们的解决方案在我们的交叉验证中诊断出患有肺癌，黑色素瘤和淋巴瘤的患者的骰子得分为72.12 \％。代码：https：//github.com/heiligerl/autopet_submission

阿尔茨海默氏病（AD）是最常见的神经退行性疾病，具有最复杂的病原体之一，使有效且临床上可行的决策变得困难。这项研究的目的是开发一个新型的多模式深度学习框架，以帮助医疗专业人员进行AD诊断。我们提出了一个多模式的阿尔茨海默氏病诊断框架（MADDI），以准确检测成像，遗传和临床数据中的AD和轻度认知障碍（MCI）。 Maddi是新颖的，因为我们使用跨模式的注意力，它捕获了模态之间的相互作用 - 这种域中未探讨的方法。我们执行多级分类，这是一项艰巨的任务，考虑到MCI和AD之间的相似之处。我们与以前的最先进模型进行比较，评估注意力的重要性，并检查每种模式对模型性能的贡献。 Maddi在持有的测试集中对MCI，AD和控件进行了96.88％的精度分类。在检查不同注意力方案的贡献时，我们发现跨模式关注与自我注意力的组合表现出了最佳状态，并且模型中没有注意力层表现最差，而F1分数差异为7.9％。我们的实验强调了结构化临床数据的重要性，以帮助机器学习模型将其背景化和解释其余模式化。广泛的消融研究表明，未访问结构化临床信息的任何多模式混合物都遭受了明显的性能损失。这项研究证明了通过跨模式的注意组合多种输入方式的优点，以提供高度准确的AD诊断决策支持。

Fully Convolutional Neural Networks (FCNNs) with contracting and expanding paths have shown prominence for the majority of medical image segmentation applications since the past decade. In FCNNs, the encoder plays an integral role by learning both global and local features and contextual representations which can be utilized for semantic output prediction by the decoder. Despite their success, the locality of convolutional layers in FCNNs, limits the capability of learning long-range spatial dependencies. Inspired by the recent success of transformers for Natural Language Processing (NLP) in long-range sequence learning, we reformulate the task of volumetric (3D) medical image segmentation as a sequence-to-sequence prediction problem. We introduce a novel architecture, dubbed as UNEt TRansformers (UNETR), that utilizes a transformer as the encoder to learn sequence representations of the input volume and effectively capture the global multi-scale information, while also following the successful "U-shaped" network design for the encoder and decoder. The transformer encoder is directly connected to a decoder via skip connections at different resolutions to compute the final semantic segmentation output. We have validated the performance of our method on the Multi Atlas Labeling Beyond The Cranial Vault (BTCV) dataset for multiorgan segmentation and the Medical Segmentation Decathlon (MSD) dataset for brain tumor and spleen segmentation tasks. Our benchmarks demonstrate new state-of-the-art performance on the BTCV leaderboard. Code: https://monai.io/research/unetr

肺癌是癌症相关死亡率的主要原因。尽管新技术（例如图像分割）对于改善检测和较早诊断至关重要，但治疗该疾病仍然存在重大挑战。特别是，尽管治愈性分辨率增加，但许多术后患者仍会出现复发性病变。因此，非常需要预后工具，可以更准确地预测患者复发的风险。在本文中，我们探讨了卷积神经网络（CNN）在术前计算机断层扫描（CT）图像中存在的分割和复发风险预测。首先，随着医学图像分割的最新进展扩展，剩余的U-NET用于本地化和表征每个结节。然后，确定的肿瘤将传递给第二个CNN进行复发风险预测。该系统的最终结果是通过随机的森林分类器产生的，该分类器合成具有临床属性的第二个网络的预测。分割阶段使用LIDC-IDRI数据集，并获得70.3％的骰子得分。复发风险阶段使用了国家癌症研究所的NLST数据集，并获得了73.0％的AUC。我们提出的框架表明，首先，自动结节分割方法可以概括地为各种多任务系统提供管道，其次，深度学习和图像处理具有改善当前预后工具的潜力。据我们所知，这是第一个完全自动化的细分和复发风险预测系统。

人工智能（AI）技术具有重要潜力，可以实现有效，鲁棒和自动的图像表型，包括识别细微图案。基于AI的检测搜索图像空间基于模式和特征来找到兴趣区域。存在一种良性的肿瘤组织学，可以通过使用图像特征的基于AI的分类方法来识别。图像从图像中提取可用于的可覆盖方式，可以通过显式（手工/工程化）和深度辐射谱系框架来探索途径。辐射瘤分析有可能用作非侵入性技术，以准确表征肿瘤，以改善诊断和治疗监测。这项工作介绍基于AI的技术，专注于肿瘤宠物和PET / CT成像，用于不同的检测，分类和预测/预测任务。我们还讨论了所需的努力，使AI技术转换为常规临床工作流程，以及潜在的改进和互补技术，例如在电子健康记录和神经象征性AI技术上使用自然语言处理。

机器学习和计算机视觉技术近年来由于其自动化，适合性和产生惊人结果的能力而迅速发展。因此，在本文中，我们调查了2014年至2022年之间发表的关键研究，展示了不同的机器学习算法研究人员用来分割肝脏，肝肿瘤和肝脉管结构的研究。我们根据感兴趣的组织（肝果，肝肿瘤或肝毒剂）对被调查的研究进行了划分，强调了同时解决多个任务的研究。此外，机器学习算法被归类为受监督或无监督的，如果属于某个方案的工作量很大，则将进一步分区。此外，对文献和包含上述组织面具的网站发现的不同数据集和挑战进行了彻底讨论，强调了组织者的原始贡献和其他研究人员的贡献。同样，在我们的评论中提到了文献中过度使用的指标，这强调了它们与手头的任务的相关性。最后，强调创新研究人员应对需要解决的差距的关键挑战和未来的方向，例如许多关于船舶分割挑战的研究的稀缺性以及为什么需要早日处理他们的缺席。