本文提出了第二版的头部和颈部肿瘤（Hecktor）挑战的概述，作为第24届医学图像计算和计算机辅助干预（Miccai）2021的卫星活动。挑战由三个任务组成与患有头颈癌（H＆N）的患者的PET / CT图像的自动分析有关，专注于oropharynx地区。任务1是FDG-PET / CT图像中H＆N主肿瘤肿瘤体积（GTVT）的自动分割。任务2是来自同一FDG-PET / CT的进展自由生存（PFS）的自动预测。最后，任务3与任务2的任务2与参与者提供的地面真理GTVT注释相同。这些数据从六个中心收集，总共325个图像，分为224个培训和101个测试用例。通过103个注册团队和448个结果提交的重要参与，突出了对挑战的兴趣。在第一任务中获得0.7591的骰子相似度系数（DSC），分别在任务2和3中的0.7196和0.6978的一致性指数（C-Index）。在所有任务中，发现这种方法的简单性是确保泛化性能的关键。 PFS预测性能在任务2和3中的比较表明，提供GTVT轮廓对于实现最佳结果，这表明可以使用完全自动方法。这可能避免了对GTVT轮廓的需求，用于可重复和大规模的辐射瘤研究的开头途径，包括千元潜在的受试者。

头部和颈部（H \＆N）肿瘤的分割和患者结果的预测对于患者的疾病诊断和治疗监测至关重要。强大的深度学习模型的当前发展受到缺乏大型多中心，多模态数据的阻碍，质量注释。 Miccai 2021头部和颈部肿瘤（Hecktor）分割和结果预测挑战产生了一种平台，用于比较氟 - 脱氧葡萄糖（FDG）-PET上的初级总体目标体积的分段方法和计算的断层摄影图像和预测H中的无进展生存对于细分任务，我们提出了一种基于编码器 - 解码器架构的新网络，具有完整的和跳过连接，以利用全尺度的低级和高级语义。此外，我们使用条件随机字段作为优化预测分段映射的后处理步骤。我们训练了多个用于肿瘤体积分割的神经网络，并且这些分段被整合在交叉验证中实现了0.75的平均骰子相似度系数，并在挑战测试数据集中实现了0.76。为了预测患者进展免费生存任务，我们提出了一种组合临床，辐射和深层学习特征的Cox比例危害回归。我们的生存预测模型在交叉验证中实现了0.82的一致性指数，并在挑战测试数据集中获得0.62。

肿瘤分割是放疗治疗计划的基本步骤。为了确定口咽癌患者（OPC）原发性肿瘤（GTVP）的准确分割，需要同时评估不同图像模态，并从不同方向探索每个图像体积。此外，分割的手动固定边界忽略了肿瘤描述中已知的空间不确定性。这项研究提出了一种新型的自动深度学习（DL）模型，以在注册的FDG PET/CT图像上进行逐片自适应GTVP分割的辐射肿瘤学家。我们包括138名在我们研究所接受过（化学）辐射治疗的OPC患者。我们的DL框架利用了间和板板的上下文。连续3片的串联FDG PET/CT图像和GTVP轮廓的序列用作输入。进行了3倍的交叉验证，进行了3​​次，对从113例患者的轴向（a），矢状（s）和冠状（c）平面提取的序列进行了训练。由于体积中的连续序列包含重叠的切片，因此每个切片产生了平均的三个结果预测。在A，S和C平面中，输出显示具有预测肿瘤的概率不同的区域。使用平均骰子得分系数（DSC）评估了25名患者的模型性能。预测是最接近地面真理的概率阈值（在A中为0.70，s为0.70，在s中为0.77，在C平面中为0.80）。提出的DL模型的有希望的结果表明，注册的FDG PET/CT图像上的概率图可以指导逐片自适应GTVP分割中的辐射肿瘤学家。

Outcome prediction is crucial for head and neck cancer patients as it can provide prognostic information for early treatment planning. Radiomics methods have been widely used for outcome prediction from medical images. However, these methods are limited by their reliance on intractable manual segmentation of tumor regions. Recently, deep learning methods have been proposed to perform end-to-end outcome prediction so as to remove the reliance on manual segmentation. Unfortunately, without segmentation masks, these methods will take the whole image as input, such that makes them difficult to focus on tumor regions and potentially unable to fully leverage the prognostic information within the tumor regions. In this study, we propose a radiomics-enhanced deep multi-task framework for outcome prediction from PET/CT images, in the context of HEad and neCK TumOR segmentation and outcome prediction challenge (HECKTOR 2022). In our framework, our novelty is to incorporate radiomics as an enhancement to our recently proposed Deep Multi-task Survival model (DeepMTS). The DeepMTS jointly learns to predict the survival risk scores of patients and the segmentation masks of tumor regions. Radiomics features are extracted from the predicted tumor regions and combined with the predicted survival risk scores for final outcome prediction, through which the prognostic information in tumor regions can be further leveraged. Our method achieved a C-index of 0.681 on the testing set, placing the 2nd on the leaderboard with only 0.00068 lower in C-index than the 1st place.

目的：基于深度学习的放射素学（DLR）在医学图像分析中取得了巨大的成功，并被认为是依赖手工特征的常规放射线学的替代。在这项研究中，我们旨在探索DLR使用预处理PET/CT预测鼻咽癌（NPC）中5年无进展生存期（PFS）的能力。方法：总共招募了257名患者（内部/外部队列中的170/87），具有晚期NPC（TNM III期或IVA）。我们开发了一个端到端的多模式DLR模型，其中优化了3D卷积神经网络以从预处理PET/CT图像中提取深度特征，并预测了5年PFS的概率。作为高级临床特征，TNM阶段可以集成到我们的DLR模型中，以进一步提高预后性能。为了比较常规放射素学和DLR，提取了1456个手工制作的特征，并从54种特征选择方法和9种分类方法的54个交叉组合中选择了最佳常规放射线方法。此外，使用临床特征，常规放射线学签名和DLR签名进行风险组分层。结果：我们使用PET和CT的多模式DLR模型比最佳常规放射线方法获得了更高的预后性能。此外，多模式DLR模型仅使用PET或仅CT优于单模式DLR模型。对于风险组分层，常规的放射线学签名和DLR签名使内部和外部队列中的高风险患者群体之间有显着差异，而外部队列中的临床特征则失败。结论：我们的研究确定了高级NPC中生存预测的潜在预后工具，表明DLR可以为当前TNM分期提供互补值。

肺癌是最致命的癌症之一，部分诊断和治疗取决于肿瘤的准确描绘。目前是最常见的方法的人以人为本的分割，须遵守观察者间变异性，并且考虑到专家只能提供注释的事实，也是耗时的。最近展示了有前途的结果，自动和半自动肿瘤分割方法。然而，随着不同的研究人员使用各种数据集和性能指标验证了其算法，可靠地评估这些方法仍然是一个开放的挑战。通过2018年IEEE视频和图像处理（VIP）杯竞赛创建的计算机断层摄影扫描（LOTUS）基准测试的肺起源肿瘤分割的目标是提供唯一的数据集和预定义的指标，因此不同的研究人员可以开发和以统一的方式评估他们的方法。 2018年VIP杯始于42个国家的全球参与，以获得竞争数据。在注册阶段，有129名成员组成了来自10个国家的28个团队，其中9个团队将其达到最后阶段，6队成功完成了所有必要的任务。简而言之，竞争期间提出的所有算法都是基于深度学习模型与假阳性降低技术相结合。三种决赛选手开发的方法表明，有希望的肿瘤细分导致导致越来越大的努力应降低假阳性率。本次竞争稿件概述了VIP-Cup挑战，以及所提出的算法和结果。

对于头颈癌（HNC）患者管理，自动总肿瘤量（GTV）细分和准确的治疗前癌症复发预测对于协助医师设计个性化管理计划非常重要，这有可能改善治疗结果和治疗结果和HNC患者的生活质量。在本文中，我们基于HNC患者的组合预处理正电子发射断层扫描/计算机发射断层扫描（PET/CT）扫描，开发了一种自动原发性肿瘤（GTVP）和淋巴结（GTVN）分割方法。我们从分段的肿瘤体积中提取了放射素学特征，并构建了多模式肿瘤复发生存率（RFS）预测模型，该模型融合了预测由单独的CT放射线学，PET放射线学和临床模型融合在一起。我们进行了5倍的交叉验证，以训练和评估MICCAI 2022头和颈部肿瘤分割和结果预测挑战（Hecktor）数据集的方法。 GTVP和GTVN分割的测试队列的集合预测分别达到0.77和0.73，RFS预测的C-指数值为0.67。该代码公开可用（https://github.com/wangkaiwan/hecktor-2022-airt）。我们团队的名字叫艾特。

域适应（DA）最近在医学影像社区提出了强烈的兴趣。虽然已经提出了大量DA技术进行了用于图像分割，但大多数这些技术已经在私有数据集或小公共可用数据集上验证。此外，这些数据集主要解决了单级问题。为了解决这些限制，与第24届医学图像计算和计算机辅助干预（Miccai 2021）结合第24届国际会议组织交叉模态域适应（Crossmoda）挑战。 Crossmoda是无监督跨型号DA的第一个大型和多级基准。挑战的目标是分割参与前庭施瓦新瘤（VS）的后续和治疗规划的两个关键脑结构：VS和Cochleas。目前，使用对比度增强的T1（CET1）MRI进行VS患者的诊断和监测。然而，使用诸如高分辨率T2（HRT2）MRI的非对比度序列越来越感兴趣。因此，我们创建了一个无人监督的跨模型分段基准。训练集提供注释CET1（n = 105）和未配对的非注释的HRT2（n = 105）。目的是在测试集中提供的HRT2上自动对HRT2进行单侧VS和双侧耳蜗分割（n = 137）。共有16支球队提交了评估阶段的算法。顶级履行团队达成的表现水平非常高（最佳中位数骰子 - vs：88.4％; Cochleas：85.7％）并接近完全监督（中位数骰子 - vs：92.5％;耳蜗：87.7％）。所有顶级执行方法都使用图像到图像转换方法将源域图像转换为伪目标域图像。然后使用这些生成的图像和为源图像提供的手动注释进行培训分割网络。

机器学习和计算机视觉技术近年来由于其自动化，适合性和产生惊人结果的能力而迅速发展。因此，在本文中，我们调查了2014年至2022年之间发表的关键研究，展示了不同的机器学习算法研究人员用来分割肝脏，肝肿瘤和肝脉管结构的研究。我们根据感兴趣的组织（肝果，肝肿瘤或肝毒剂）对被调查的研究进行了划分，强调了同时解决多个任务的研究。此外，机器学习算法被归类为受监督或无监督的，如果属于某个方案的工作量很大，则将进一步分区。此外，对文献和包含上述组织面具的网站发现的不同数据集和挑战进行了彻底讨论，强调了组织者的原始贡献和其他研究人员的贡献。同样，在我们的评论中提到了文献中过度使用的指标，这强调了它们与手头的任务的相关性。最后，强调创新研究人员应对需要解决的差距的关键挑战和未来的方向，例如许多关于船舶分割挑战的研究的稀缺性以及为什么需要早日处理他们的缺席。

人工智能（AI）技术具有重要潜力，可以实现有效，鲁棒和自动的图像表型，包括识别细微图案。基于AI的检测搜索图像空间基于模式和特征来找到兴趣区域。存在一种良性的肿瘤组织学，可以通过使用图像特征的基于AI的分类方法来识别。图像从图像中提取可用于的可覆盖方式，可以通过显式（手工/工程化）和深度辐射谱系框架来探索途径。辐射瘤分析有可能用作非侵入性技术，以准确表征肿瘤，以改善诊断和治疗监测。这项工作介绍基于AI的技术，专注于肿瘤宠物和PET / CT成像，用于不同的检测，分类和预测/预测任务。我们还讨论了所需的努力，使AI技术转换为常规临床工作流程，以及潜在的改进和互补技术，例如在电子健康记录和神经象征性AI技术上使用自然语言处理。

Achieving accurate and automated tumor segmentation plays an important role in both clinical practice and radiomics research. Segmentation in medicine is now often performed manually by experts, which is a laborious, expensive and error-prone task. Manual annotation relies heavily on the experience and knowledge of these experts. In addition, there is much intra- and interobserver variation. Therefore, it is of great significance to develop a method that can automatically segment tumor target regions. In this paper, we propose a deep learning segmentation method based on multimodal positron emission tomography-computed tomography (PET-CT), which combines the high sensitivity of PET and the precise anatomical information of CT. We design an improved spatial attention network(ISA-Net) to increase the accuracy of PET or CT in detecting tumors, which uses multi-scale convolution operation to extract feature information and can highlight the tumor region location information and suppress the non-tumor region location information. In addition, our network uses dual-channel inputs in the coding stage and fuses them in the decoding stage, which can take advantage of the differences and complementarities between PET and CT. We validated the proposed ISA-Net method on two clinical datasets, a soft tissue sarcoma(STS) and a head and neck tumor(HECKTOR) dataset, and compared with other attention methods for tumor segmentation. The DSC score of 0.8378 on STS dataset and 0.8076 on HECKTOR dataset show that ISA-Net method achieves better segmentation performance and has better generalization. Conclusions: The method proposed in this paper is based on multi-modal medical image tumor segmentation, which can effectively utilize the difference and complementarity of different modes. The method can also be applied to other multi-modal data or single-modal data by proper adjustment.

最近关于Covid-19的研究表明，CT成像提供了评估疾病进展和协助诊断的有用信息，以及帮助理解疾病。有越来越多的研究，建议使用深度学习来使用胸部CT扫描提供快速准确地定量Covid-19。兴趣的主要任务是胸部CT扫描的肺和肺病变的自动分割，确认或疑似Covid-19患者。在这项研究中，我们使用多中心数据集比较12个深度学习算法，包括开源和内部开发的算法。结果表明，合并不同的方法可以提高肺部分割，二元病变分割和多种子病变分割的总体测试集性能，从而分别为0.982,0.724和0.469的平均骰子分别。将得到的二元病变分段为91.3ml的平均绝对体积误差。通常，区分不同病变类型的任务更加困难，分别具有152mL的平均绝对体积差，分别为整合和磨碎玻璃不透明度为0.369和0.523的平均骰子分数。所有方法都以平均体积误差进行二元病变分割，该分段优于人类评估者的视觉评估，表明这些方法足以用于临床实践中使用的大规模评估。

随着深度学习方法的进步，如深度卷积神经网络，残余神经网络，对抗网络的进步。 U-Net架构最广泛利用生物医学图像分割，以解决目标区域或子区域的识别和检测的自动化。在最近的研究中，基于U-Net的方法在不同应用中显示了最先进的性能，以便在脑肿瘤，肺癌，阿尔茨海默，乳腺癌等疾病的早期诊断和治疗中发育计算机辅助诊断系统等，使用各种方式。本文通过描述U-Net框架来提出这些方法的成功，然后通过执行1）型号的U-Net变体进行综合分析，2）模特内分类，建立更好的见解相关的挑战和解决方案。此外，本文还强调了基于U-Net框架在持续的大流行病，严重急性呼吸综合征冠状病毒2（SARS-COV-2）中的贡献也称为Covid-19。最后，分析了这些U-Net变体的优点和相似性以及生物医学图像分割所涉及的挑战，以发现该领域的未来未来的研究方向。

心肌活力的评估对于患有心肌梗塞的患者的诊断和治疗管理是必不可少的，并且心肌病理学的分类是本评估的关键。这项工作定义了医学图像分析的新任务，即进行心肌病理分割（MYOPS）结合三个序列的心脏磁共振（CMR）图像，该图像首次与Mycai 2020一起在Myops挑战中提出的。挑战提供了45个配对和预对准的CMR图像，允许算法将互补信息与三个CMR序列组合到病理分割。在本文中，我们提供了挑战的详细信息，从十五个参与者的作品调查，并根据五个方面解释他们的方法，即预处理，数据增强，学习策略，模型架构和后处理。此外，我们对不同因素的结果分析了结果，以检查关键障碍和探索解决方案的潜力，以及为未来的研究提供基准。我们得出结论，虽然报告了有前途的结果，但研究仍处于早期阶段，在成功应用于诊所之前需要更深入的探索。请注意，MyOPS数据和评估工具继续通过其主页（www.sdspeople.fudan.edu.cn/zhuangxiahai/0/myops20 /）注册注册。

多发性硬化症（MS）是中枢神经系统的慢性炎症和退行性疾病，其特征在于，白色和灰质的外观与个体患者的神经症状和标志进行地平整相关。磁共振成像（MRI）提供了详细的体内结构信息，允许定量和分类MS病变，其批判性地通知疾病管理。传统上，MS病变在2D MRI切片上手动注释，一个流程效率低，易于观察室内误差。最近，已经提出了自动统计成像分析技术以基于MRI体素强度检测和分段段病变。然而，它们的有效性受到MRI数据采集技术的异质性和MS病变的外观的限制。通过直接从图像学习复杂的病变表现，深度学习技术已经在MS病变分割任务中取得了显着的突破。在这里，我们提供了全面审查最先进的自动统计和深度学习MS分段方法，并讨论当前和未来的临床应用。此外，我们审查了域适应等技术策略，以增强现实世界临床环境中的MS病变分段。

当肿瘤学家估计癌症患者的生存时，他们依靠多模式数据。尽管文献中已经提出了一些多模式的深度学习方法，但大多数人都依靠拥有两个或多个独立的网络，这些网络在整个模型的稍后阶段共享知识。另一方面，肿瘤学家在分析中没有这样做，而是通过多种来源（例如医学图像和患者病史）融合大脑中的信息。这项工作提出了一种深度学习方法，可以在量化癌症和估计患者生存时模仿肿瘤学家的分析行为。我们提出了TMSS，这是一种基于端到端变压器的多模式网络，用于分割和生存预测，该网络利用了变压器的优越性，这在于其能力处理不同模态的能力。该模型经过训练并验证了从头部和颈部肿瘤分割的训练数据集上的分割和预后任务以及PET/CT图像挑战（Hecktor）中的结果预测。我们表明，所提出的预后模型显着优于最先进的方法，其一致性指数为0.763 +/- 0.14，而与独立段模型相当的骰子得分为0.772 +/- 0.030。该代码公开可用。

鼻咽癌（NPC）是由鼻咽引起的恶性上皮癌。生存预测是NPC患者的主要关注点，因为它提供了早期的预后信息来计划治疗。最近，基于深度学习的深层生存模型已经证明了胜过基于传统放射素学的生存预测模型的潜力。深度存活模型通常使用覆盖整个目标区域的图像贴片（例如，NPC的鼻咽）或仅包含分段肿瘤区域作为输入。但是，使用整个目标区域的模型还将包括非相关的背景信息，而使用分段肿瘤区域的模型将无视原发性肿瘤不存在的潜在预后信息（例如，局部淋巴结转移和相邻的组织侵入）。在这项研究中，我们提出了一个3D端到端的深层多任务生存模型（DEEPMTS），用于从预处理PET/CT的晚期NPC中进行关节存活预测和肿瘤分割。我们的新颖性是引入硬分段分割主链，以指导与原发性肿瘤相关的局部特征的提取，从而减少了非相关背景信息的干扰。此外，我们还引入了一个级联的生存网络，以捕获原发性肿瘤中存在的预后信息，并进一步利用从分段主链中得出的全球肿瘤信息（例如，肿瘤的大小，形状和位置）。我们使用两个临床数据集进行的实验表明，我们的DEEPMT始终超过传统的基于放射线学的生存预测模型和现有的深层生存模型。

病变分割是放射线工作流程的关键步骤。手动分割需要长时间的执行时间，并且容易发生可变性，从而损害了放射线研究及其鲁棒性的实现。在这项研究中，对非小细胞肺癌患者的计算机断层扫描图像进行了深入学习的自动分割方法。还评估了手动与自动分割在生存放射模型的性能中的使用。方法总共包括899名NSCLC患者（2个专有：A和B，1个公共数据集：C）。肺部病变的自动分割是通过训练先前开发的建筑NNU-NET进行的，包括2D，3D和级联方法。用骰子系数评估自动分割的质量，以手动轮廓为参考。通过从数据集A的手动和自动轮廓中提取放射性的手工制作和深度学习特征来探索自动分割对患者生存的放射素模型对患者生存的性能的影响。评估并比较模型的精度。结果通过平均2D和3D模型的预测以及应用后处理技术来提取最大连接的组件，可以实现具有骰子= 0.78 +（0.12）的自动和手动轮廓之间的最佳一致性。当使用手动或自动轮廓，手工制作或深度特征时，在生存模型的表现中未观察到统计差异。最好的分类器显示出0.65至0.78之间的精度。结论NNU-NET在自动分割肺部病变中的有希望的作用已得到证实，从而大大降低了时必的医生的工作量，而不会损害基于放射线学的生存预测模型的准确性。

Delineation of the left ventricular cavity, myocardium and right ventricle from cardiac magnetic resonance images (multi-slice 2D cine MRI) is a common clinical task to establish diagnosis. The automation of the corresponding tasks has thus been the subject of intense research over the past decades. In this paper, we introduce the "Automatic Cardiac Diagnosis Challenge" dataset (ACDC), the largest publicly-available and fully-annotated dataset for the purpose of Cardiac MRI (CMR) assessment. The dataset contains data from 150 multi-equipments CMRI recordings with reference measurements and classification O. Bernard and F. Cervenansky are with the

组织学图像中核和腺体的实例分割是用于癌症诊断，治疗计划和生存分析的计算病理学工作流程中的重要一步。随着现代硬件的出现，大规模质量公共数据集的最新可用性以及社区组织的宏伟挑战已经看到了自动化方法的激增，重点是特定领域的挑战，这对于技术进步和临床翻译至关重要。在这项调查中，深入分析了过去五年（2017-2022）中发表的原子核和腺体实例细分的126篇论文，进行了深入分析，讨论了当前方法的局限性和公开挑战。此外，提出了潜在的未来研究方向，并总结了最先进方法的贡献。此外，还提供了有关公开可用数据集的概括摘要以及关于说明每种挑战的最佳性能方法的巨大挑战的详细见解。此外，我们旨在使读者现有研究的现状和指针在未来的发展方向上开发可用于临床实践的方法，从而可以改善诊断，分级，预后和癌症的治疗计划。据我们所知，以前没有工作回顾了朝向这一方向的组织学图像中的实例细分。