组织了伽马挑战赛，以鼓励AI模型从2D眼睛图像和3D光学相干断层扫描量的组合（如眼科医生）中筛选出青光眼。

Color fundus photography and Optical Coherence Tomography (OCT) are the two most cost-effective tools for glaucoma screening. Both two modalities of images have prominent biomarkers to indicate glaucoma suspected. Clinically, it is often recommended to take both of the screenings for a more accurate and reliable diagnosis. However, although numerous algorithms are proposed based on fundus images or OCT volumes in computer-aided diagnosis, there are still few methods leveraging both of the modalities for the glaucoma assessment. Inspired by the success of Retinal Fundus Glaucoma Challenge (REFUGE) we held previously, we set up the Glaucoma grAding from Multi-Modality imAges (GAMMA) Challenge to encourage the development of fundus \& OCT-based glaucoma grading. The primary task of the challenge is to grade glaucoma from both the 2D fundus images and 3D OCT scanning volumes. As part of GAMMA, we have publicly released a glaucoma annotated dataset with both 2D fundus color photography and 3D OCT volumes, which is the first multi-modality dataset for glaucoma grading. In addition, an evaluation framework is also established to evaluate the performance of the submitted methods. During the challenge, 1272 results were submitted, and finally, top-10 teams were selected to the final stage. We analysis their results and summarize their methods in the paper. Since all these teams submitted their source code in the challenge, a detailed ablation study is also conducted to verify the effectiveness of the particular modules proposed. We find many of the proposed techniques are practical for the clinical diagnosis of glaucoma. As the first in-depth study of fundus \& OCT multi-modality glaucoma grading, we believe the GAMMA Challenge will be an essential starting point for future research.

多模式信息在医疗任务中经常可用。通过结合来自多个来源的信息，临床医生可以做出更准确的判断。近年来，在临床实践中使用了多种成像技术进行视网膜分析：2D眼底照片，3D光学相干断层扫描（OCT）和3D OCT血管造影等。我们的论文研究了基于深度学习的三种多模式信息融合策略，以求解视网膜视网膜分析任务：早期融合，中间融合和分层融合。常用的早期和中间融合很简单，但不能完全利用模式之间的互补信息。我们开发了一种分层融合方法，该方法着重于将网络多个维度的特征组合在一起，并探索模式之间的相关性。这些方法分别用于使用公共伽马数据集（Felcus Photophs和OCT）以及Plexelite 9000（Carl Zeis Meditec Inc.）的私人数据集，将这些方法应用于青光眼和糖尿病性视网膜病变分类。我们的分层融合方法在病例中表现最好，并为更好的临床诊断铺平了道路。

机器学习方法利用多参数生物标志物，特别是基于神经影像动物，具有改善痴呆早期诊断的巨大潜力，并预测哪些个体存在发展痴呆的风险。对于机器学习领域的基准算法和痴呆症中的神经影像症，并评估他们在临床实践中使用的潜力和临床试验，七年的大挑战已经在过去十年中组织：Miriad，Alzheimer的疾病大数据梦，Caddementia，机器学习挑战，MCI神经影像动物，蝌蚪和预测分析竞争。基于两个挑战评估框架，我们分析了这些大挑战如何互相补充研究问题，数据集，验证方法，结果和影响。七个大挑战解决了与（临床前）痴呆症（临床）痴呆症的筛查，诊断，预测和监测有关的问题。临床问题，任务和性能指标几乎没有重叠。然而，这具有提供对广泛问题的洞察力的优势，它也会限制对挑战的结果的验证。通常，获胜算法执行严格的数据预处理并组合了广泛的输入特征。尽管最先进的表演，但临床上没有挑战评估的大部分方法。为了增加影响，未来的挑战可以更加关注统计分析，对其与高于阿尔茨海默病的临床问题，以及使用超越阿尔茨海默病神经影像疾病的临床问题，以及超越阿尔茨海默病的临床问题。鉴于过去十年中汲取的潜力和经验教训，我们在未来十年及其超越的机器学习和神经影像中的大挑战前景兴奋。

阿尔茨海默氏病（AD）是痴呆症的最常见形式，由于痴呆症的多因素病因，通常难以诊断。关于基于神经成像的基于神经成像的深度神经网络（DNN）的著作表明，结构磁共振图像（SMRI）和氟脱氧葡萄糖正电子发射层析成像（FDG-PET）可提高健康对照和受试者的研究人群的精度。与广告。但是，这一结果与既定的临床知识冲突，即FDG-PET比SMRI更好地捕获AD特定的病理。因此，我们提出了一个框架，用于对基于FDG-PET和SMRI进行多模式DNN的系统评估，并重新评估单模式DNN和多模式DNN，用于二进制健康与AD，以及三向健康/轻度的健康/轻度认知障碍/广告分类。我们的实验表明，使用FDG-PET的单模式网络的性能优于MRI（准确性0.91 vs 0.87），并且在组合时不会显示出改进。这符合有关AD生物标志物的既定临床知识，但提出了有关多模式DNN的真正好处的问题。我们认为，未来关于多模式融合的工作应系统地评估我们提出的评估框架后的个人模式的贡献。最后，我们鼓励社区超越健康与AD分类，并专注于痴呆症的鉴别诊断，在这种诊断中，在这种诊断中，融合了多模式图像信息与临床需求相符。

域适应（DA）最近在医学影像社区提出了强烈的兴趣。虽然已经提出了大量DA技术进行了用于图像分割，但大多数这些技术已经在私有数据集或小公共可用数据集上验证。此外，这些数据集主要解决了单级问题。为了解决这些限制，与第24届医学图像计算和计算机辅助干预（Miccai 2021）结合第24届国际会议组织交叉模态域适应（Crossmoda）挑战。 Crossmoda是无监督跨型号DA的第一个大型和多级基准。挑战的目标是分割参与前庭施瓦新瘤（VS）的后续和治疗规划的两个关键脑结构：VS和Cochleas。目前，使用对比度增强的T1（CET1）MRI进行VS患者的诊断和监测。然而，使用诸如高分辨率T2（HRT2）MRI的非对比度序列越来越感兴趣。因此，我们创建了一个无人监督的跨模型分段基准。训练集提供注释CET1（n = 105）和未配对的非注释的HRT2（n = 105）。目的是在测试集中提供的HRT2上自动对HRT2进行单侧VS和双侧耳蜗分割（n = 137）。共有16支球队提交了评估阶段的算法。顶级履行团队达成的表现水平非常高（最佳中位数骰子 - vs：88.4％; Cochleas：85.7％）并接近完全监督（中位数骰子 - vs：92.5％;耳蜗：87.7％）。所有顶级执行方法都使用图像到图像转换方法将源域图像转换为伪目标域图像。然后使用这些生成的图像和为源图像提供的手动注释进行培训分割网络。

医生经常基于患者的图像扫描，例如磁共振成像（MRI），以及患者的电子健康记录（EHR），如年龄，性别，血压等。尽管在计算机视觉或自然语言研究领域的图像或文本分析中提出了大量的自动方法，但已经为医学图像的融合和医疗问题的EHR数据进行了更少的研究。在现有的早期或中间融合方法中，两种方式的特征串联仍然是一个主流。为了更好地利用图像和EHR数据，我们提出了一种多模态注意力模块，该模块使用EHR数据来帮助选择传统CNN的图像特征提取过程期间的重要区域。此外，我们建议将多头Machnib纳入门控多媒体单元（GMU），使其能够在不同子空间中平行熔断图像和EHR特征。在两个模块的帮助下，可以使用两个模态增强现有的CNN架构。预测脑内出血患者的Glasgow结果规模（GOS）和分类Alzheimer病的实验表明，该方法可以自动关注任务相关领域，并通过更好地利用图像和EHR功能来实现更好的结果。

With the rapid development of artificial intelligence (AI) in medical image processing, deep learning in color fundus photography (CFP) analysis is also evolving. Although there are some open-source, labeled datasets of CFPs in the ophthalmology community, large-scale datasets for screening only have labels of disease categories, and datasets with annotations of fundus structures are usually small in size. In addition, labeling standards are not uniform across datasets, and there is no clear information on the acquisition device. Here we release a multi-annotation, multi-quality, and multi-device color fundus image dataset for glaucoma analysis on an original challenge -- Retinal Fundus Glaucoma Challenge 2nd Edition (REFUGE2). The REFUGE2 dataset contains 2000 color fundus images with annotations of glaucoma classification, optic disc/cup segmentation, as well as fovea localization. Meanwhile, the REFUGE2 challenge sets three sub-tasks of automatic glaucoma diagnosis and fundus structure analysis and provides an online evaluation framework. Based on the characteristics of multi-device and multi-quality data, some methods with strong generalizations are provided in the challenge to make the predictions more robust. This shows that REFUGE2 brings attention to the characteristics of real-world multi-domain data, bridging the gap between scientific research and clinical application.

前列腺癌是男性癌症死亡的最常见原因之一。对非侵入性和准确诊断方法的需求不断增长，促进目前在临床实践中的标准前列腺癌风险评估。尽管如此，从多游幂磁共振图像中开发前列腺癌诊断中的计算机辅助癌症诊断仍然是一个挑战。在这项工作中，我们提出了一种新的深度学习方法，可以通过构建两阶段多数量多流卷积神经网络（CNN）基于架构架构的相应磁共振图像中的前列腺病变自动分类。在不实现复杂的图像预处理步骤或第三方软件的情况下，我们的框架在接收器操作特性（ROC）曲线值为0.87的接收器下实现了该区域的分类性能。结果表现出大部分提交的方法，并分享了普罗妥克斯挑战组织者报告的最高价值。我们拟议的基于CNN的框架反映了辅助前列腺癌中的医学图像解释并减少不必要的活组织检查的可能性。

医学成像是现代医学治疗和诊断的基石。但是，对于特定静脉局体任务的成像方式的选择通常涉及使用特定模式的可行性（例如，短期等待时间，低成本，快速获取，辐射/侵入性降低）与临床上的预期性能之间的权衡。任务（例如，诊断准确性，治疗计划的功效和指导）。在这项工作中，我们旨在运用从较不可行但表现更好（优越）模式中学到的知识，以指导利用更可行但表现不佳（劣等）模式，并将其转向提高性能。我们专注于深度学习用于基于图像的诊断。我们开发了一个轻量级的指导模型，该模型在训练仅消耗劣质模式的模型时利用从优越方式中学到的潜在表示。我们在两种临床应用中检查了我们方法的优势：从临床和皮肤镜图像中的多任务皮肤病变分类以及来自多序列磁共振成像（MRI）和组织病理学图像的脑肿瘤分类。对于这两种情况，我们在不需要出色的模态的情况下显示出劣质模式的诊断性能。此外，在脑肿瘤分类的情况下，我们的方法的表现优于在上级模态上训练的模型，同时产生与推理过程中使用两种模态的模型相当的结果。

阿尔茨海默氏病（AD）是最常见的神经退行性疾病，具有最复杂的病原体之一，使有效且临床上可行的决策变得困难。这项研究的目的是开发一个新型的多模式深度学习框架，以帮助医疗专业人员进行AD诊断。我们提出了一个多模式的阿尔茨海默氏病诊断框架（MADDI），以准确检测成像，遗传和临床数据中的AD和轻度认知障碍（MCI）。 Maddi是新颖的，因为我们使用跨模式的注意力，它捕获了模态之间的相互作用 - 这种域中未探讨的方法。我们执行多级分类，这是一项艰巨的任务，考虑到MCI和AD之间的相似之处。我们与以前的最先进模型进行比较，评估注意力的重要性，并检查每种模式对模型性能的贡献。 Maddi在持有的测试集中对MCI，AD和控件进行了96.88％的精度分类。在检查不同注意力方案的贡献时，我们发现跨模式关注与自我注意力的组合表现出了最佳状态，并且模型中没有注意力层表现最差，而F1分数差异为7.9％。我们的实验强调了结构化临床数据的重要性，以帮助机器学习模型将其背景化和解释其余模式化。广泛的消融研究表明，未访问结构化临床信息的任何多模式混合物都遭受了明显的性能损失。这项研究证明了通过跨模式的注意组合多种输入方式的优点，以提供高度准确的AD诊断决策支持。

计算机辅助方法为诊断和预测脑疾病显示了附加的价值，因此可以支持临床护理和治疗计划中的决策。本章将洞悉方法的类型，其工作，输入数据（例如认知测试，成像和遗传数据）及其提供的输出类型。我们将专注于诊断的特定用例，即估计患者的当前“状况”，例如痴呆症的早期检测和诊断，对脑肿瘤的鉴别诊断以及中风的决策。关于预测，即对患者的未来“状况”的估计，我们将缩小用例，例如预测多发性硬化症中的疾病病程，并预测脑癌治疗后患者的结局。此外，根据这些用例，我们将评估当前的最新方法，并强调当前对这些方法进行基准测试的努力以及其中的开放科学的重要性。最后，我们评估了计算机辅助方法的当前临床影响，并讨论了增加临床影响所需的下一步。

尽管辐射学家常规使用电子健康记录（EHR）数据来形成临床历史并通知图像解释，但医学成像的大多数深度学习架构是单向的，即，它们只能从像素级信息中学习特征。最近的研究揭示了如何从像素数据中恢复种族，仅突出显示模型中的严重偏差的可能性，这未能考虑人口统计数据和其他关键患者属性。然而，缺乏捕获临床背景的成像数据集，包括人口统计学和纵向病史，具有偏远的多式化医学成像。为了更好地评估这些挑战，我们呈现RadFusion，一种多式联运，基准数据集1794名患者的相应EHR数据和高分辨率计算断层扫描（CT）扫描标记为肺栓塞。我们评估了几个代表性的多模式融合模型，并在受保护的亚组中，例如性别，种族/种族，年龄的年龄。我们的研究结果表明，集成成像和EHR数据可以提高分类性能和鲁棒性，而不会在人口群之间的真正阳性率下引入大的差异。

本文提出了第二版的头部和颈部肿瘤（Hecktor）挑战的概述，作为第24届医学图像计算和计算机辅助干预（Miccai）2021的卫星活动。挑战由三个任务组成与患有头颈癌（H＆N）的患者的PET / CT图像的自动分析有关，专注于oropharynx地区。任务1是FDG-PET / CT图像中H＆N主肿瘤肿瘤体积（GTVT）的自动分割。任务2是来自同一FDG-PET / CT的进展自由生存（PFS）的自动预测。最后，任务3与任务2的任务2与参与者提供的地面真理GTVT注释相同。这些数据从六个中心收集，总共325个图像，分为224个培训和101个测试用例。通过103个注册团队和448个结果提交的重要参与，突出了对挑战的兴趣。在第一任务中获得0.7591的骰子相似度系数（DSC），分别在任务2和3中的0.7196和0.6978的一致性指数（C-Index）。在所有任务中，发现这种方法的简单性是确保泛化性能的关键。 PFS预测性能在任务2和3中的比较表明，提供GTVT轮廓对于实现最佳结果，这表明可以使用完全自动方法。这可能避免了对GTVT轮廓的需求，用于可重复和大规模的辐射瘤研究的开头途径，包括千元潜在的受试者。

近年来，几项作品采用了卷积神经网络（CNN）来诊断基于X射线图像或磁共振成像（MRI）的股骨头（AVNFH）的无血管坏死。但是，由于组织重叠，X射线图像很难为早期诊断提供细粒度。另一方面，MRI的成像时间很长，更昂贵，使其在大规模筛查中不切实际。计算机断层扫描（CT）显示了层的组织，图像速度更快，并且比MRI成本较小。但是，据我们所知，对于基于CT的AVNFH诊断没有工作。在这项工作中，我们收集并标记为AVNFH排名的大型数据集。此外，现有的端到端CNN仅产生分类结果，并且很难为诊断医生提供更多信息。为了解决这个问题，我们提出了结构正规化的专注网络（Sranet），该网络能够根据贴剂注意力在分类过程中突出坏死区域。 Sranet提取物在图像块中的特征，通过注意机制获得重量以汇总特征，并通过具有先验知识的结构正常化程序来限制它们以改善概括。 Sranet在我们的AVNFH-CT数据集上进行了评估。实验结果表明，Sranet优于CNN，用于AVNFH分类，此外，它可以定位病变并提供更多信息以帮助医生进行诊断。我们的代码在https://github.com/tomas-lilingfeng/sranet上公开。

多发性硬化症（MS）是中枢神经系统的慢性炎症和退行性疾病，其特征在于，白色和灰质的外观与个体患者的神经症状和标志进行地平整相关。磁共振成像（MRI）提供了详细的体内结构信息，允许定量和分类MS病变，其批判性地通知疾病管理。传统上，MS病变在2D MRI切片上手动注释，一个流程效率低，易于观察室内误差。最近，已经提出了自动统计成像分析技术以基于MRI体素强度检测和分段段病变。然而，它们的有效性受到MRI数据采集技术的异质性和MS病变的外观的限制。通过直接从图像学习复杂的病变表现，深度学习技术已经在MS病变分割任务中取得了显着的突破。在这里，我们提供了全面审查最先进的自动统计和深度学习MS分段方法，并讨论当前和未来的临床应用。此外，我们审查了域适应等技术策略，以增强现实世界临床环境中的MS病变分段。

最近，已经开发了许多自动白细胞（WBC）或白细胞分类技术。但是，所有这些方法仅利用单个模态显微图像，即基于血液涂片或荧光，因此缺少从多模式图像中学习更好的潜力。在这项工作中，我们基于WBC分类任务的第一个多模式WBC数据集开发了有效的多模式体系结构。具体而言，我们提出的想法是通过两个步骤开发的 - 1）首先，我们仅在单个网络中学习模式特定的独立子网； 2）我们通过从高复杂性独立教师网络中提取知识来进一步增强独立子网的学习能力。因此，我们提出的框架可以实现高性能，同时保持多模式数据集的复杂性较低。我们的独特贡献是两倍-1）我们提出了用于WBC分类的同类多模式WBC数据集的第一个； 2）我们开发了高性能的多模式体系结构，同时也有效且复杂性低。

面部演示攻击检测（PAD）由于欺骗欺骗性被广泛认可的脆弱性而受到越来越长。在2011年，2013年，2017年，2019年，2020年和2021年与主要生物识别和计算机视觉会议结合的八个国际竞赛中，在八个国际竞赛中评估了一系列国际竞争中的八种国际竞争中的艺术状态。研究界。在本章中，我们介绍了2019年的五个最新竞赛的设计和结果直到2021年。前两项挑战旨在评估近红外（NIR）和深度方式的多模态设置中面板的有效性。彩色相机数据，而最新的三个竞争专注于评估在传统彩色图像和视频上运行的面部垫算法的域和攻击型泛化能力。我们还讨论了从竞争中吸取的经验教训以及领域的未来挑战。

在急诊室（ER）环境中，中风分类或筛查是一个普遍的挑战。由于MRI的慢速吞吐量和高成本，通常会进行快速CT而不是MRI。在此过程中通常提到临床测试，但误诊率仍然很高。我们提出了一个新型的多模式深度学习框架，深沉的中风，以通过识别较小的面部肌肉不协调的模式来实现计算机辅助中风的存在评估，并使怀疑急性环境中的中风的患者无能为力。我们提出的深雷克斯（Deepstroke）在中风分流器中容易获得一分钟的面部视频数据和音频数据，用于局部面部瘫痪检测和全球语音障碍分析。采用了转移学习来减少面部侵蚀偏见并提高普遍性。我们利用多模式的横向融合来结合低水平和高级特征，并为关节训练提供相互正则化。引入了新型的对抗训练以获得无身份和中风的特征。与实际急诊室患者进行的视频ADIO数据集进行的实验表明，与分类团队和ER医生相比，中风的表现要优于最先进的模型，并且取得更好的性能，比传统的敏感性高出10.94％，高7.37％的精度高出7.37％。当特异性对齐时，中风分类。同时，每个评估都可以在不到六分钟的时间内完成，这表明该框架的临床翻译潜力很大。

本文介绍了有组织的第二次共同19号比赛的基线方法，该方法发生在欧洲计算机视觉会议（ECCV 2022）的Aimia研讨会框架内。它提出了COV19-CT-DB数据库，该数据库为COVID-19 DENCTICT注释，由约7,700 3-D CT扫描组成。通过四个COVID-19严重性条件，进一步注释了由COVID-19案例组成的数据库的一部分。我们已经在培训，验证和测试数据集中划分了数据库和后期。前两个数据集用于培训和验证机器学习模型，而后者将用于评估开发模型。基线方法由基于CNN-RNN网络的深度学习方法组成，并报告其在COVID19-CT-DB数据库上的性能。