我们介绍了MedMnist V2，这是标准化生物医学图像的大规模MNIST样数据集集合，包括12个用于2D的数据集和3D的6个数据集。所有图像均已预处理成28x28（2D）或28x28x28（3d）的小尺寸，并带有相应的分类标签，因此用户不需要背景知识。涵盖生物医学图像中的主要数据模式，MedMnist V2旨在对具有各种数据集量表（从100到100,000）和多种任务（二进制/多级，序数回归和多标签）进行轻巧的2D和3D图像进行分类。最终的数据集由708,069个2D图像和10,214个3D图像组成，可以支持生物医学图像分析，计算机视觉和机器学习中的许多研究 /教育用途。我们在MedMnist V2上基准了几种基线方法，包括2D / 3D神经网络和开源 /商用汽车工具。数据和代码可在https://medmnist.com/上公开获取。

数据采集​​和注释中的困难基本上限制了3D医学成像应用的训练数据集的样本尺寸。结果，在没有足够的预训练参数的情况下，构建来自划痕的高性能3D卷积神经网络仍然是一项艰巨的任务。以前关于3D预培训的努力经常依赖于自我监督的方法，它在未标记的数据上使用预测或对比学习来构建不变的3D表示。然而，由于大规模监督信息的不可用，从这些学习框架获得语义不变和歧视性表示仍然存在问题。在本文中，我们重新审视了一种创新但简单的完全监督的3D网络预训练框架，以利用来自大型2D自然图像数据集的语义监督。通过重新设计的3D网络架构，重新设计的自然图像用于解决数据稀缺问题并开发强大的3D表示。四个基准数据集上的综合实验表明，所提出的预先接受的模型可以有效地加速收敛，同时还提高了各种3D医学成像任务，例如分类，分割和检测的准确性。此外，与从头划伤的训练相比，它可以节省高达60％的注释工作。在NIH Deeplesion数据集上，它同样地实现了最先进的检测性能，优于早期的自我监督和完全监督的预训练方法，以及从头训练进行培训的方法。为了促进3D医疗模型的进一步发展，我们的代码和预先接受的模型权重在https://github.com/urmagicsmine/cspr上公开使用。

Color fundus photography and Optical Coherence Tomography (OCT) are the two most cost-effective tools for glaucoma screening. Both two modalities of images have prominent biomarkers to indicate glaucoma suspected. Clinically, it is often recommended to take both of the screenings for a more accurate and reliable diagnosis. However, although numerous algorithms are proposed based on fundus images or OCT volumes in computer-aided diagnosis, there are still few methods leveraging both of the modalities for the glaucoma assessment. Inspired by the success of Retinal Fundus Glaucoma Challenge (REFUGE) we held previously, we set up the Glaucoma grAding from Multi-Modality imAges (GAMMA) Challenge to encourage the development of fundus \& OCT-based glaucoma grading. The primary task of the challenge is to grade glaucoma from both the 2D fundus images and 3D OCT scanning volumes. As part of GAMMA, we have publicly released a glaucoma annotated dataset with both 2D fundus color photography and 3D OCT volumes, which is the first multi-modality dataset for glaucoma grading. In addition, an evaluation framework is also established to evaluate the performance of the submitted methods. During the challenge, 1272 results were submitted, and finally, top-10 teams were selected to the final stage. We analysis their results and summarize their methods in the paper. Since all these teams submitted their source code in the challenge, a detailed ablation study is also conducted to verify the effectiveness of the particular modules proposed. We find many of the proposed techniques are practical for the clinical diagnosis of glaucoma. As the first in-depth study of fundus \& OCT multi-modality glaucoma grading, we believe the GAMMA Challenge will be an essential starting point for future research.

Deep learning (DL) analysis of Chest X-ray (CXR) and Computed tomography (CT) images has garnered a lot of attention in recent times due to the COVID-19 pandemic. Convolutional Neural Networks (CNNs) are well suited for the image analysis tasks when trained on humongous amounts of data. Applications developed for medical image analysis require high sensitivity and precision compared to any other fields. Most of the tools proposed for detection of COVID-19 claims to have high sensitivity and recalls but have failed to generalize and perform when tested on unseen datasets. This encouraged us to develop a CNN model, analyze and understand the performance of it by visualizing the predictions of the model using class activation maps generated using (Gradient-weighted Class Activation Mapping) Grad-CAM technique. This study provides a detailed discussion of the success and failure of the proposed model at an image level. Performance of the model is compared with state-of-the-art DL models and shown to be comparable. The data and code used are available at https://github.com/aleesuss/c19.

为医学图像评估构建准确和强大的人工智能系统，不仅需要高级深度学习模型的研究和设计，还需要创建大型和策划的注释训练示例。然而，构造这种数据集通常非常昂贵 - 由于注释任务的复杂性和解释医学图像所需的高度专业知识（例如，专家放射科医师）。为了对此限制来说，我们提出了一种基于对比学习和在线特征聚类的丰富图像特征自我监督学习方法。为此目的，我们利用各种方式的大超过100,000,000个医学图像的大型训练数据集，包括放射线照相，计算机断层扫描（CT），磁共振（MR）成像和超声检查。我们建议使用这些功能来指导在各种下游任务的监督和混合自我监督/监督制度的模型培训。我们突出了这种策略对射线照相，CT和MR：1的挑战性图像评估问题的许多优点，与最先进的（例如，检测3-7％的AUC升压为3-7％胸部射线照相扫描的异常和脑CT的出血检测）; 2）与使用无预先训练（例如，83％，在培训MR扫描MR扫描中的脑转移的模型时，在训练期间训练期间的模型收敛在训练期间的培训期高达85％。 3）对各种图像增强的鲁棒性增加，例如在场中看到的数据变化的强度变化，旋转或缩放反射。

最近关于Covid-19的研究表明，CT成像提供了评估疾病进展和协助诊断的有用信息，以及帮助理解疾病。有越来越多的研究，建议使用深度学习来使用胸部CT扫描提供快速准确地定量Covid-19。兴趣的主要任务是胸部CT扫描的肺和肺病变的自动分割，确认或疑似Covid-19患者。在这项研究中，我们使用多中心数据集比较12个深度学习算法，包括开源和内部开发的算法。结果表明，合并不同的方法可以提高肺部分割，二元病变分割和多种子病变分割的总体测试集性能，从而分别为0.982,0.724和0.469的平均骰子分别。将得到的二元病变分段为91.3ml的平均绝对体积误差。通常，区分不同病变类型的任务更加困难，分别具有152mL的平均绝对体积差，分别为整合和磨碎玻璃不透明度为0.369和0.523的平均骰子分数。所有方法都以平均体积误差进行二元病变分割，该分段优于人类评估者的视觉评估，表明这些方法足以用于临床实践中使用的大规模评估。

深度学习的成功严重依赖于具有广泛标签的大型和多样化的数据集，但我们常常只能访问与部分标签相关的几个小型数据集。在本文中，我们开始了一个新的倡议，“数据组装”，旨在释放来自公共数据集的组装部分标记数据的全部潜力。具体而言，我们介绍了一种新的动态适配器来编码不同的视觉任务，这解决了无与伦比，异构，甚至相互冲突的标记协议的挑战。我们还使用伪标记和一致性约束来利用缺少标签的数据并在数据集中减轻域间隙。从严格的评估到三个自然成像和六个医学成像任务，我们发现从“消极例子”的学习促进了感兴趣的课程的分类和分割。这揭示了新的光线对稀有疾病和新兴淫荡的计算机辅助诊断，其中“正示例”难以收集，但“负例”相对容易组装。除了超过Chestxray基准中的现有技术外，我们的模型对于识别少数群体类别的疾病特别强烈，平均屈服于3点的改善。值得注意的是，在使用现有的部分标签时，我们的模型性能与使用完整标签的符合额度，无需额外的40％的注释成本。代码将在https://github.com/mrgiovanni/dataAsseMble提供。

目的：尽管机器学习模型有潜力，但缺乏普遍性阻碍了他们在临床实践中的广泛采用。我们研究了三个方法论陷阱：（1）违反独立性假设，（2）具有不适当的性能指标或基线进行比较的模型评估，以及（3）批次效应。材料和方法：使用几个回顾性数据集，我们在有或没有陷阱的情况下实现机器学习模型，以定量说明这些陷阱对模型通用性的影响。结果：更具体地说，违反独立假设，在将数据分别分为火车，验证和测试集中，在预测局部恢复和预测局部恢复和表面上，将数据分别划分为火车，验证和测试集，在将数据分别分为火车，验证和测试集中，在F1分别误导和表面上获得误解和表面收益，从而违反独立假设。预测头颈癌的3年总生存期以及46.0％的总体生存率为5.0％，从而区分肺癌的组织病理学模式。此外，在培训，验证和测试集中为受试者分发数据点导致F1分数的表面增长21.8％。此外，我们展示了绩效指标选择和基线的重要性。在存在批处理效应的情况下，为肺炎检测而建立的模型导致F1得分为98.7％。但是，当将同一模型应用于正常患者的新数据集时，仅正确地将3.86％的样品分类。结论：这些方法上的陷阱无法使用内部模型评估来捕获，这种模型的不准确预测可能会导致错误的结论和解释。因此，对于开发可推广的模型是必要的，理解和避免这些陷阱是必要的。

世界目前正在经历持续的传染病大流行病，该传染病是冠状病毒疾病2019（即covid-19），这是由严重的急性呼吸综合征冠状病毒2（SARS-COV-2）引起的。计算机断层扫描（CT）在评估感染的严重程度方面发挥着重要作用，并且还可用于识别这些症状和无症状的Covid-19载体。随着Covid-19患者的累积数量的激增，放射科医师越来越强调手动检查CT扫描。因此，自动化3D CT扫描识别工具的需求量高，因为手动分析对放射科医师耗时，并且它们的疲劳可能导致可能的误判。然而，由于位于不同医院的CT扫描仪的各种技术规范，CT图像的外观可能显着不同，导致许多自动图像识别方法的失败。因此，多域和多扫描仪研究的多域移位问题是不可能对可靠识别和可再现和客观诊断和预后至关重要的至关重要。在本文中，我们提出了Covid-19 CT扫描识别模型即Coronavirus信息融合和诊断网络（CIFD-NET），可以通过新的强大弱监督的学习范式有效地处理多域移位问题。与其他最先进的方法相比，我们的模型可以可靠，高效地解决CT扫描图像中不同外观的问题。

X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.

人工智能（AI）技术具有重要潜力，可以实现有效，鲁棒和自动的图像表型，包括识别细微图案。基于AI的检测搜索图像空间基于模式和特征来找到兴趣区域。存在一种良性的肿瘤组织学，可以通过使用图像特征的基于AI的分类方法来识别。图像从图像中提取可用于的可覆盖方式，可以通过显式（手工/工程化）和深度辐射谱系框架来探索途径。辐射瘤分析有可能用作非侵入性技术，以准确表征肿瘤，以改善诊断和治疗监测。这项工作介绍基于AI的技术，专注于肿瘤宠物和PET / CT成像，用于不同的检测，分类和预测/预测任务。我们还讨论了所需的努力，使AI技术转换为常规临床工作流程，以及潜在的改进和互补技术，例如在电子健康记录和神经象征性AI技术上使用自然语言处理。

尽管近年来从CT/MRI扫描中自动腹部多器官分割取得了很大进展，但由于缺乏各种临床方案的大规模基准，对模型的能力的全面评估受到阻碍。收集和标记3D医学数据的高成本的限制，迄今为止的大多数深度学习模型都由具有有限数量的感兴趣或样品器官的数据集驱动，这仍然限制了现代深层模型的力量提供各种方法的全面且公平的估计。为了减轻局限性，我们提出了AMO，这是一个大规模，多样的临床数据集，用于腹部器官分割。 AMOS提供了从多中心，多供应商，多模式，多相，多疾病患者收集的500 CT和100次MRI扫描，每个患者均具有15个腹部器官的体素级注释，提供了具有挑战性的例子，并提供了挑战性的例子和测试结果。在不同的目标和场景下研究健壮的分割算法。我们进一步基准了几种最先进的医疗细分模型，以评估此新挑战性数据集中现有方法的状态。我们已公开提供数据集，基准服务器和基线，并希望激发未来的研究。信息可以在https://amos22.grand-challenge.org上找到。

Computer tomography (CT) have been routinely used for the diagnosis of lung diseases and recently, during the pandemic, for detecting the infectivity and severity of COVID-19 disease. One of the major concerns in using ma-chine learning (ML) approaches for automatic processing of CT scan images in clinical setting is that these methods are trained on limited and biased sub-sets of publicly available COVID-19 data. This has raised concerns regarding the generalizability of these models on external datasets, not seen by the model during training. To address some of these issues, in this work CT scan images from confirmed COVID-19 data obtained from one of the largest public repositories, COVIDx CT 2A were used for training and internal vali-dation of machine learning models. For the external validation we generated Indian-COVID-19 CT dataset, an open-source repository containing 3D CT volumes and 12096 chest CT images from 288 COVID-19 patients from In-dia. Comparative performance evaluation of four state-of-the-art machine learning models, viz., a lightweight convolutional neural network (CNN), and three other CNN based deep learning (DL) models such as VGG-16, ResNet-50 and Inception-v3 in classifying CT images into three classes, viz., normal, non-covid pneumonia, and COVID-19 is carried out on these two datasets. Our analysis showed that the performance of all the models is comparable on the hold-out COVIDx CT 2A test set with 90% - 99% accuracies (96% for CNN), while on the external Indian-COVID-19 CT dataset a drop in the performance is observed for all the models (8% - 19%). The traditional ma-chine learning model, CNN performed the best on the external dataset (accu-racy 88%) in comparison to the deep learning models, indicating that a light-weight CNN is better generalizable on unseen data. The data and code are made available at https://github.com/aleesuss/c19.

高质量注释的医学成像数据集的稀缺性是一个主要问题，它与医学成像分析领域的机器学习应用相撞并阻碍了其进步。自我监督学习是一种最近的培训范式，可以使学习强大的表示无需人类注释，这可以被视为有效的解决方案，以解决带注释的医学数据的稀缺性。本文回顾了自我监督学习方法的最新研究方向，用于图像数据，并将其专注于其在医学成像分析领域的应用。本文涵盖了从计算机视野领域的最新自我监督学习方法，因为它们适用于医学成像分析，并将其归类为预测性，生成性和对比性方法。此外，该文章涵盖了40个在医学成像分析中自学学习领域的最新研究论文，旨在阐明该领域的最新创新。最后，本文以该领域的未来研究指示结束。

在过去的几年中，卷积神经网络（CNN）占据了计算机视野的领域，这要归功于它们提取功能及其在分类问题中出色的表现，例如在自动分析X射线中。不幸的是，这些神经网络被认为是黑盒算法，即不可能了解该算法如何实现最终结果。要将这些算法应用于不同领域并测试方法论的工作原理，我们需要使用可解释的AI技术。医学领域的大多数工作都集中在二进制或多类分类问题上。但是，在许多现实生活中，例如胸部X射线射线，可以同时出现不同疾病的放射学迹象。这引起了所谓的“多标签分类问题”。这些任务的缺点是类不平衡，即不同的标签没有相同数量的样本。本文的主要贡献是一种深度学习方法，用于不平衡的多标签胸部X射线数据集。它为当前未充分利用的Padchest数据集建立了基线，并基于热图建立了可解释的AI技术。该技术还包括概率和模型间匹配。我们系统的结果很有希望，尤其是考虑到使用的标签数量。此外，热图与预期区域相匹配，即它们标志着专家将用来做出决定的区域。

最近的人工智能（AI）算法已在各种医学分类任务上实现了放射科医生级的性能。但是，只有少数研究涉及CXR扫描异常发现的定位，这对于向放射学家解释图像级分类至关重要。我们在本文中介绍了一个名为Vindr-CXR的可解释的深度学习系统，该系统可以将CXR扫描分类为多种胸部疾病，同时将大多数类型的关键发现本地化在图像上。 Vindr-CXR接受了51,485次CXR扫描的培训，并通过放射科医生提供的边界盒注释进行了培训。它表现出与经验丰富的放射科医生相当的表现，可以在3,000张CXR扫描的回顾性验证集上对6种常见的胸部疾病进行分类，而在接收器操作特征曲线（AUROC）下的平均面积为0.967（95％置信区间[CI]：0.958---------0.958------- 0.975）。 VINDR-CXR在独立患者队列中也得到了外部验证，并显示出其稳健性。对于具有14种类型病变的本地化任务，我们的自由响应接收器操作特征（FROC）分析表明，VINDR-CXR以每扫描确定的1.0假阳性病变的速率达到80.2％的敏感性。还进行了一项前瞻性研究，以衡量VINDR-CXR在协助六名经验丰富的放射科医生方面的临床影响。结果表明，当用作诊断工具时，提出的系统显着改善了放射科医生本身之间的一致性，平均Fleiss的Kappa的同意增加了1.5％。我们还观察到，在放射科医生咨询了Vindr-CXR的建议之后，在平均Cohen的Kappa中，它们和系统之间的一致性显着增加了3.3％。

本文提出了第二版的头部和颈部肿瘤（Hecktor）挑战的概述，作为第24届医学图像计算和计算机辅助干预（Miccai）2021的卫星活动。挑战由三个任务组成与患有头颈癌（H＆N）的患者的PET / CT图像的自动分析有关，专注于oropharynx地区。任务1是FDG-PET / CT图像中H＆N主肿瘤肿瘤体积（GTVT）的自动分割。任务2是来自同一FDG-PET / CT的进展自由生存（PFS）的自动预测。最后，任务3与任务2的任务2与参与者提供的地面真理GTVT注释相同。这些数据从六个中心收集，总共325个图像，分为224个培训和101个测试用例。通过103个注册团队和448个结果提交的重要参与，突出了对挑战的兴趣。在第一任务中获得0.7591的骰子相似度系数（DSC），分别在任务2和3中的0.7196和0.6978的一致性指数（C-Index）。在所有任务中，发现这种方法的简单性是确保泛化性能的关键。 PFS预测性能在任务2和3中的比较表明，提供GTVT轮廓对于实现最佳结果，这表明可以使用完全自动方法。这可能避免了对GTVT轮廓的需求，用于可重复和大规模的辐射瘤研究的开头途径，包括千元潜在的受试者。

目的：为全身CT设计多疾病分类扫描使用自动提取标签从放射科文reports.Materials和方法三个不同的器官系统：这项回顾性研究共有12,092例患者（平均年龄57 + - 18; 6172名妇女）包括对模型开发和测试（2012-2017自）。基于规则的算法被用来从12,092患者提取13667身体CT扫描19,225疾病的标签。使用三维DenseVNet，三个器官系统是分段的：肺和胸膜;肝胆;和肾脏及输尿管。对于每个器官，三维卷积神经网络分类没有明显的疾病与四种常见疾病为跨越所有三个模型总共15个不同的标签。测试是在相对于2875个手动导出的参考标签2158个CT体积的子集从2133名患者（ - ; 1079名妇女18，平均年龄58 +）进行。性能报告为曲线（AUC）与通过方法德朗95％置信区间下接收器的操作特性的区域。结果：提取的标签说明书验证确认91％横跨15个不同的唱片公司99％的准确率。对于肺和胸膜标签的AUC分别为：肺不张0.77（95％CI：0.74，0.81），结节0.65（0.61，0.69），肺气肿0.89（0.86，0.92），积液0.97（0.96，0.98），并且没有明显的疾病0.89（ 0.87，0.91）。对于肝和胆囊的AUC分别为：肝胆钙化0.62（95％CI：0.56，0.67），病变0.73（0.69，0.77），扩张0.87（0.84，0.90），脂肪0.89（0.86，0.92），并且没有明显的疾病0.82（ 0.78，0.85）。对于肾脏及输尿管的AUC分别为：石0.83（95％CI：0.79，0.87），萎缩0.92（0.89，0.94），病变0.68（0.64，0.72），囊肿0.70（0.66，0.73），并且没有明显的疾病0.79（0.75 ，0.83）。结论：弱监督深度学习模型能够在多器官系统不同的疾病分类。

Gigapixel Medical图像提供了大量的数据，包括形态学纹理和空间信息。由于组织学的数据量表较大，​​深度学习方法作为特征提取器起着越来越重要的作用。现有的解决方案在很大程度上依赖卷积神经网络（CNN）进行全局像素级分析，从而使潜在的局部几何结构（例如肿瘤微环境中的细胞之间的相互作用均未探索。事实证明，医学图像中的拓扑结构与肿瘤进化密切相关，可以很好地表征图。为了获得下游肿瘤学任务的更全面的表示，我们提出了一个融合框架，以增强CNN捕获的全局图像级表示，并使用图形神经网络（GNN）学习的细胞级空间信息的几何形状。融合层优化了全局图像和单元图的协作特征之间的集成。已经开发了两种融合策略：一种具有MLP的融合策略，这很简单，但通过微调而有效，而Transformer获得了融合多个网络的冠军。我们评估了从大型患者群体和胃癌策划的组织学数据集中的融合策略，以完成三个生物标志物预测任务。两种型号的表现都优于普通CNN或GNN，在各种网络骨架上达到了超过5％的AUC提高。实验结果在医学图像分析中将图像水平的形态特征与细胞空间关系相结合的必要性。代码可在https://github.com/yiqings/hegnnenhancecnn上找到。

背景：宫颈癌严重影响了女性生殖系统的健康。光学相干断层扫描（OCT）作为宫颈疾病检测的非侵入性，高分辨率成像技术。然而，OCT图像注释是知识密集型和耗时的，这阻碍了基于深度学习的分类模型的培训过程。目的：本研究旨在基于自我监督学习，开发一种计算机辅助诊断（CADX）方法来对体内宫颈OCT图像进行分类。方法：除了由卷积神经网络（CNN）提取的高电平语义特征外，建议的CADX方法利用了通过对比纹理学习来利用未标记的宫颈OCT图像的纹理特征。我们在中国733名患者的多中心临床研究中对OCT图像数据集进行了十倍的交叉验证。结果：在用于检测高风险疾病的二元分类任务中，包括高级鳞状上皮病变和宫颈癌，我们的方法实现了0.9798加号或减去0.0157的面积曲线值，灵敏度为91.17加或对于OCT图像贴片，减去4.99％，特异性为93.96加仑或减去4.72％;此外，它在测试集上的四位医学专家中表现出两种。此外，我们的方法在使用交叉形阈值投票策略的118名中国患者中达到了91.53％的敏感性和97.37％的特异性。结论：所提出的基于对比 - 学习的CADX方法表现优于端到端的CNN模型，并基于纹理特征提供更好的可解释性，其在“见和治疗”的临床协议中具有很大的潜力。