Computer vision and machine learning are playing an increasingly important role in computer-assisted diagnosis; however, the application of deep learning to medical imaging has challenges in data availability and data imbalance, and it is especially important that models for medical imaging are built to be trustworthy. Therefore, we propose TRUDLMIA, a trustworthy deep learning framework for medical image analysis, which adopts a modular design, leverages self-supervised pre-training, and utilizes a novel surrogate loss function. Experimental evaluations indicate that models generated from the framework are both trustworthy and high-performing. It is anticipated that the framework will support researchers and clinicians in advancing the use of deep learning for dealing with public health crises including COVID-19.

有效的代表学习是提高医学图像分析模型性能的关键。在培训深度学习模型中，常常必须在性能和信任之间进行妥协，这两者都对于医学应用至关重要。此外，用跨熵损失优化的模型往往遭受少数阶级的多数阶级和过于谨慎的无责任的过度交流。在这项工作中，我们将新的代理损失与自我监督学习进行了全新的替代损失，用于使用射线照相图像的Covid-19患者的计算机辅助筛查。此外，我们采用了新的量化分数来衡量模型的可信度。对特征学习方法和损失功能的性能和信任进行了消融研究。比较表明，利用新的替代损失对自我监督模型可以生产出高性能和值得信赖的标签有效的网络。

建立具有可信赖性的AI模型非常重要，尤其是在医疗保健等受监管的地区。在解决Covid-19时，以前的工作将卷积神经网络用作骨干建筑，该骨干建筑物易于过度宣告和过度自信做出决策，使它们不那么值得信赖 - 在医学成像背景下的关键缺陷。在这项研究中，我们提出了一种使用视觉变压器的功能学习方法，该方法使用基于注意力的机制，并检查变形金刚作为医学成像的新骨干结构的表示能力。通过对COVID-19胸部X光片进行分类的任务，我们研究了概括能力是否仅从视觉变形金刚的建筑进步中受益。通过使用“信任评分”计算和视觉解释性技术，对模型的可信度进行了定量和定性评估。我们得出的结论是，基于注意力的特征学习方法在建立可信赖的医疗保健深度学习模型方面有希望。

胸部射线照相是一种相对便宜，广泛的医疗程序，可传达用于进行诊断决策的关键信息。胸部X射线几乎总是用于诊断呼吸系统疾病，如肺炎或最近的Covid-19。在本文中，我们提出了一个自我监督的深神经网络，其在未标记的胸部X射线数据集上掠夺。学习的陈述转移到下游任务 - 呼吸系统疾病的分类。在四个公共数据集获得的结果表明，我们的方法在不需要大量标记的培训数据的情况下产生竞争力。

Purpose: Considering several patients screened due to COVID-19 pandemic, computer-aided detection has strong potential in assisting clinical workflow efficiency and reducing the incidence of infections among radiologists and healthcare providers. Since many confirmed COVID-19 cases present radiological findings of pneumonia, radiologic examinations can be useful for fast detection. Therefore, chest radiography can be used to fast screen COVID-19 during the patient triage, thereby determining the priority of patient's care to help saturated medical facilities in a pandemic situation. Methods: In this paper, we propose a new learning scheme called self-supervised transfer learning for detecting COVID-19 from chest X-ray (CXR) images. We compared six self-supervised learning (SSL) methods (Cross, BYOL, SimSiam, SimCLR, PIRL-jigsaw, and PIRL-rotation) with the proposed method. Additionally, we compared six pretrained DCNNs (ResNet18, ResNet50, ResNet101, CheXNet, DenseNet201, and InceptionV3) with the proposed method. We provide quantitative evaluation on the largest open COVID-19 CXR dataset and qualitative results for visual inspection. Results: Our method achieved a harmonic mean (HM) score of 0.985, AUC of 0.999, and four-class accuracy of 0.953. We also used the visualization technique Grad-CAM++ to generate visual explanations of different classes of CXR images with the proposed method to increase the interpretability. Conclusions: Our method shows that the knowledge learned from natural images using transfer learning is beneficial for SSL of the CXR images and boosts the performance of representation learning for COVID-19 detection. Our method promises to reduce the incidence of infections among radiologists and healthcare providers.

自我监督的学习（SSL）通过大量未标记的数据的先知，在各种医学成像任务上取得了出色的性能。但是，对于特定的下游任务，仍然缺乏有关如何选择合适的借口任务和实现细节的指令书。在这项工作中，我们首先回顾了医学成像分析领域中自我监督方法的最新应用。然后，我们进行了广泛的实验，以探索SSL中的四个重要问题用于医学成像，包括（1）自我监督预处理对不平衡数据集的影响，（2）网络体系结构，（3）上游任务对下游任务和下游任务和下游任务的适用性（4）SSL和常用政策用于深度学习的堆叠效果，包括数据重新采样和增强。根据实验结果，提出了潜在的指南，以在医学成像中进行自我监督预处理。最后，我们讨论未来的研究方向并提出问题，以了解新的SSL方法和范式时要注意。

预训练为深入学习支持的X线射线分析中最近的成功奠定了基础。它通过在源域上进行大规模完全监督或自我监督的学习来学习可转移的图像表示。然而，监督的预培训需要复杂和劳动密集的两级人类辅助注释过程，而自我监督的学习不能与监督范例竞争。为了解决这些问题，我们提出了一个跨监督的方法，命名为审查监督（指的）的自由文本报告，该报告从射线照相中获取来自原始放射学报告的自由监督信号。该方法采用了视觉变压器，旨在从每个患者研究中的多种视图中学习联合表示。在极其有限的监督下，引用其在4个众所周知的X射线数据集上的转移学习和自我监督学习对应。此外，甚至是基于具有人辅助结构标签的射线照相的源区的甚至超越方法。因此，有可能取代规范的预训练方法。

自我监督的预训练似乎是在转移学习预培训的有利替代方案。通过在借口任务上综合注释，自我划分允许在对目标任务进行细微调整之前对大量伪标签进行预训练模型。在这项工作中，我们评估了诊断皮肤病变的自学意识，将三个自我监管的管道与具有挑战性的监督基线进行了比较，该管道包括五个测试数据集，其中包括分布式和分布样品的五个测试数据集。我们的结果表明，自学在改善准确性和降低结果的可变性方面都具有竞争力。自我划分证明，对于低训练数据方案（$ <1 \，500 $和$ <150 $样本）而言，它特别有用，在该方案中，其稳定结果的能力对于提供合理的结果至关重要。

无监督的异常检测（UAD）只需要正常（健康）训练图像是实现医学图像分析（MIA）应用的重要工具，例如疾病筛查，因为通常难以收集和注释异常（或疾病）MIA中的图像。然而，严重依赖于正常图像可能导致模型训练过度填写正常类。自我监督的预训练是对这个问题的有效解决方案。遗憾的是，从计算机视觉调整的当前自我监督方法是MIA应用的次优，因为它们不探索设计借口任务或培训过程的MIA域知识。在本文中，我们提出了一种为MIA应用设计的UAD的新的自我监督的预训练方法，通过对比学习（MSACL）命名为多级强大增强。 MSACL基于新颖的优化，以对比正常和多种合成的异常图像，每个类在欧几里德距离和余弦相似度方面强制形成紧密和密集的聚类，其中通过模拟变化数量的病变形成异常图像在正常图像中的不同尺寸和外观。在实验中，我们表明，我们的MSACL预培训使用结肠镜检查，眼底筛选和Covid-19胸部X射线数据集来提高SOTA UAD方法的准确性。

深度学习模型的培训通常需要大量的注释数据，以实现有效的收敛和泛化。然而，获得高质量的注释是一种借鉴和昂贵的过程，因为需要专家放射科学家进行标签任务。在医学图像分析中的半监督学习的研究是至关重要的，因为获得未标记的图像的昂贵比以获得专家放射科医师标记的图像更便宜。基本上，半监督方法利用大量未标记的数据来实现比仅使用小组标记图像更好的训练收敛和泛化。在本文中，我们提出了自我监督的平均教师进行半监督（S $ ^ 2 $ MTS $ ^ 2 $）学习，将自我监督的卑鄙教师预训练与半监督微调相结合。 S $ ^ 2 $ MTS $ ^ 2 $的主要创新是基于联合对比学习的自我监督的平均教师预培训，它使用无限数量的正查询和关键特征来改善平均值 - 老师代表。然后使用具有半监督学习的指数移动平均教师框架进行微调。我们从胸部X-ray14和Chexpert的多标签分类问题上验证了S $ ^ 2 $ MTS $ ^ 2 $，以及iC2018的多级分类，在那里我们表明它优于前一个SOTA半监督的学习方法通过大幅度。

在过去的几年中，卷积神经网络（CNN）占据了计算机视野的领域，这要归功于它们提取功能及其在分类问题中出色的表现，例如在自动分析X射线中。不幸的是，这些神经网络被认为是黑盒算法，即不可能了解该算法如何实现最终结果。要将这些算法应用于不同领域并测试方法论的工作原理，我们需要使用可解释的AI技术。医学领域的大多数工作都集中在二进制或多类分类问题上。但是，在许多现实生活中，例如胸部X射线射线，可以同时出现不同疾病的放射学迹象。这引起了所谓的“多标签分类问题”。这些任务的缺点是类不平衡，即不同的标签没有相同数量的样本。本文的主要贡献是一种深度学习方法，用于不平衡的多标签胸部X射线数据集。它为当前未充分利用的Padchest数据集建立了基线，并基于热图建立了可解释的AI技术。该技术还包括概率和模型间匹配。我们系统的结果很有希望，尤其是考虑到使用的标签数量。此外，热图与预期区域相匹配，即它们标志着专家将用来做出决定的区域。

这项工作提出了一种新型的自我监督的预训练方法，以学习有效的表示，而没有在组织病理学医学图像上使用放大倍率的因素进行标签。其他最先进的工作主要集中在完全监督的学习方法上，这些学习方法严重依赖人类注释。但是，标记和未标记数据的稀缺性是组织病理学的长期挑战。当前，没有标签的表示学习仍未探索组织病理学领域。提出的方法是放大事先的对比相似性（MPC），可以通过利用放大倍率，电感转移和减少人类先验的宽度乳腺癌数据集中的无标签来进行自我监督的学习。当仅20％的标签用于微调和表现以前的工作中，在完全监督的学习环境中，该方法与恶性分类的最新学习相匹配。它提出了一个假设，并提供了经验证据来支持，从而减少人类优先导致自学​​中有效表示学习。这项工作的实施可在github-https：//github.com/prakashchhipa/magnification-prior-self-supervised-method上在线获得。

Computational pathology can lead to saving human lives, but models are annotation hungry and pathology images are notoriously expensive to annotate. Self-supervised learning has shown to be an effective method for utilizing unlabeled data, and its application to pathology could greatly benefit its downstream tasks. Yet, there are no principled studies that compare SSL methods and discuss how to adapt them for pathology. To address this need, we execute the largest-scale study of SSL pre-training on pathology image data, to date. Our study is conducted using 4 representative SSL methods on diverse downstream tasks. We establish that large-scale domain-aligned pre-training in pathology consistently out-performs ImageNet pre-training in standard SSL settings such as linear and fine-tuning evaluations, as well as in low-label regimes. Moreover, we propose a set of domain-specific techniques that we experimentally show leads to a performance boost. Lastly, for the first time, we apply SSL to the challenging task of nuclei instance segmentation and show large and consistent performance improvements under diverse settings.

大量标记的医学图像对于准确检测异常是必不可少的，但是手动注释是劳动密集型且耗时的。自我监督学习（SSL）是一种培训方法，可以在没有手动注释的情况下学习特定于数据的功能。在医学图像异常检测中已采用了几种基于SSL的模型。这些SSL方法有效地学习了几个特定特定图像的表示形式，例如自然和工业产品图像。但是，由于需要医学专业知识，典型的基于SSL的模型在医疗图像异常检测中效率低下。我们提出了一个基于SSL的模型，该模型可实现基于解剖结构的无监督异常检测（UAD）。该模型采用解剖学意识粘贴（Anatpaste）增强工具。 Anatpaste采用基于阈值的肺部分割借口任务来在正常的胸部X光片上创建异常，用于模型预处理。这些异常类似于实际异常，并帮助模型识别它们。我们在三个OpenSource胸部X光片数据集上评估了我们的模型。我们的模型在曲线（AUC）下展示了92.1％，78.7％和81.9％的模型，在现有UAD模型中最高。这是第一个使用解剖信息作为借口任务的SSL模型。 Anatpaste可以应用于各种深度学习模型和下游任务。它可以通过修复适当的细分来用于其他方式。我们的代码可在以下网址公开获取：https：//github.com/jun-sato/anatpaste。

快速准确的诊断对于减轻Covid-19感染的影响至关重要，尤其是对于严重病例。已经为开发深度学习方法而付出了巨大的努力，以从胸部X射线照相图像分类和检测COVID-19的感染。但是，最近，围绕此类方法的临床生存能力和有效性提出了一些问题。在这项工作中，我们研究了多任务学习（分类和分割）对CNN区分肺中Covid-19感染各种外观的能力的影响。我们还采用了自我监督的预训练方法，即Moco和Inpainting-CXR，以消除对COVID-19分类的昂贵地面真相注释的依赖。最后，我们对模型进行了批判性评估，以评估其部署准备，并提供有关胸部X射线中细粒度COVID-19多级分类的困难的见解。

Well-annotated medical datasets enable deep neural networks (DNNs) to gain strong power in extracting lesion-related features. Building such large and well-designed medical datasets is costly due to the need for high-level expertise. Model pre-training based on ImageNet is a common practice to gain better generalization when the data amount is limited. However, it suffers from the domain gap between natural and medical images. In this work, we pre-train DNNs on ultrasound (US) domains instead of ImageNet to reduce the domain gap in medical US applications. To learn US image representations based on unlabeled US videos, we propose a novel meta-learning-based contrastive learning method, namely Meta Ultrasound Contrastive Learning (Meta-USCL). To tackle the key challenge of obtaining semantically consistent sample pairs for contrastive learning, we present a positive pair generation module along with an automatic sample weighting module based on meta-learning. Experimental results on multiple computer-aided diagnosis (CAD) problems, including pneumonia detection, breast cancer classification, and breast tumor segmentation, show that the proposed self-supervised method reaches state-of-the-art (SOTA). The codes are available at https://github.com/Schuture/Meta-USCL.

转移学习已成为减轻医疗分类任务中缺乏标记数据的标准做法。虽然FineEning使用受监督的想象佩尔预押的下游任务预磨损的功能是简单的，并且在许多作品中进行了广泛的调查，但对自我监督预测的有用性很少有研究。在本文中，我们评估了通过从三种自我监督技术（SIMCLR，SWAV和DINO）对所选医疗分类任务的三种自我监控技术（SIMCLRR，SWAV和DINO）初始化的模型的性能来评估想象成自我监督的可转换性。所选择的任务涵盖Sentinel腋窝淋巴结图像中的肿瘤检测，眼底图像中的糖尿病视网膜病变分类以及胸部X射线图像中的多种病理条件分类。我们展示了自我监督的佩戴模型产生比其监督对应物更丰富的嵌入式，这鉴于线性评估和FineTuning均有益处下游任务。例如，考虑到在织物上的数据的线性评估，我们在糖尿病视网膜病变分类任务中看到高达14.79％的提高，肿瘤分类任务中的5.4％，肺炎中的7.03％AUC检测和9.4％的AUC在胸部X射线的病理条件下检测。此外，我们将动态视觉元嵌入（DVME）引入端到端的转移学习方法，融合来自多种型号的佩尔净化的嵌入物。我们表明，与使用单个掠过的模型方法相比，DVME获得的集体表示导致所选任务的性能的显着改进，并且可以推广到预磨料模型的任何组合。

有必要开发负担得起且可靠的诊断工具，该工具允许包含COVID-19的扩散。已经提出了机器学习（ML）算法来设计支持决策系统以评估胸部X射线图像，事实证明，这些图像可用于检测和评估疾病进展。许多研究文章围绕此主题发表，这使得很难确定未来工作的最佳方法。本文介绍了使用胸部X射线图像应用于COVID-19检测的ML的系统综述，旨在就方法，体系结构，数据库和当前局限性为研究人员提供基线。

根据研究人员在歧视和校准性能方面采用的标准评估实践，这项工作旨在了解阶级不平衡对胸部X射线分类器的性能的影响。首先，我们进行了一项文献研究，分析了普通科学实践并确认：（1）即使在处理高度不平衡的数据集时，社区也倾向于使用由大多数阶级主导的指标; （2）包括包括胸部X射线分类器的校准研究仍然罕见，尽管其在医疗保健的背景下的重要性。其次，我们对两个主要胸部X射线数据集进行了系统实验，探讨了不同类别比率下的几种性能指标的行为，并显示了广泛采用的指标可以隐藏少数阶级中的性能。最后，我们提出了通过两个替代度量，精密召回曲线和平衡的Brier得分，这更好地反映了系统在这种情况下的性能。我们的研究结果表明，胸部X射线分类器研究界采用的当前评估实践可能无法反映真实临床情景中计算机辅助诊断系统的性能，并建议改善这种情况的替代方案。

通过医学成像检测疾病是由于其非侵入性的。医学成像支持多种数据模式，可以在人体内部进行彻底快速的外观。但是，解释成像数据通常是耗时的，需要大量的人类专业知识。深度学习模型可以加快解释并减轻人类专家的工作。但是，这些模型是数据密集型的，需要大量标记的图像进行培训。在新型疾病暴发（例如Covid-19）中，我们通常没有所需的标记成像数据，尤其是在流行病开始时。深度转移学习通过在公共领域中使用验证的模型来解决此问题，例如任何VGGNET，RESNET，INCEPTION，DENSENET等的变体都是功能学习者，以快速从较少的样本中适应目标任务。大多数审慎的模型都是深层建筑的深度。他们接受了大型多级数据集（例如ImageNet）的培训，并在建筑设计和超级参数调整方面进行了重大努力。我们提出了1个更简单的生成源模型，在单个但相关的概念上预估计，可以与现有较大的预审预周化模型一样有效。我们证明了生成转移学习的有用性，该学习需要较少的计算和培训数据，对于少数射击学习（FSL），使用COVID-19-19，二进制分类用例。我们将经典的深度转移学习与我们的方法进行了比较，还报告了FSL结果，三个设置为84、20和10个培训样本。用于COVID-19分类的生成FSL的模型实现可在https://github.com/suvarnak/generativefslcovid.git上公开获得。