每年发出3000万光学相干断层扫描（OCT）成像测试，以诊断各种视网膜疾病，但对OCT扫描的准确诊断需要训练有素的眼科医生，他们仍然容易发出错误。通过更好的诊断系统，可能完全避免了视网膜疾病引起的许多视力丧失情况。在这项工作中，我们开发了一种新的深入学习架构，可用于解释的视网膜疾病的准确分类，这实现了最先进的准确性。此外，我们强调生产模型决策的定性和量化解释。我们的算法产生了指示OCT扫描中的确切区域的热量表，该模型在做出决定时的重点。结合OCT分段模型，这使我们能够产生专注于专家的模型的特定视网膜层的定量分解。我们的工作是第一个以这种方式制作了对模型决策的详细量化解释。我们的准确性和可解释性的组合可以临床应用于更好的患者护理。

Deep learning (DL) analysis of Chest X-ray (CXR) and Computed tomography (CT) images has garnered a lot of attention in recent times due to the COVID-19 pandemic. Convolutional Neural Networks (CNNs) are well suited for the image analysis tasks when trained on humongous amounts of data. Applications developed for medical image analysis require high sensitivity and precision compared to any other fields. Most of the tools proposed for detection of COVID-19 claims to have high sensitivity and recalls but have failed to generalize and perform when tested on unseen datasets. This encouraged us to develop a CNN model, analyze and understand the performance of it by visualizing the predictions of the model using class activation maps generated using (Gradient-weighted Class Activation Mapping) Grad-CAM technique. This study provides a detailed discussion of the success and failure of the proposed model at an image level. Performance of the model is compared with state-of-the-art DL models and shown to be comparable. The data and code used are available at https://github.com/aleesuss/c19.

Deep learning classifiers provide the most accurate means of automatically diagnosing diabetic retinopathy (DR) based on optical coherence tomography (OCT) and its angiography (OCTA). The power of these models is attributable in part to the inclusion of hidden layers that provide the complexity required to achieve a desired task. However, hidden layers also render algorithm outputs difficult to interpret. Here we introduce a novel biomarker activation map (BAM) framework based on generative adversarial learning that allows clinicians to verify and understand classifiers decision-making. A data set including 456 macular scans were graded as non-referable or referable DR based on current clinical standards. A DR classifier that was used to evaluate our BAM was first trained based on this data set. The BAM generation framework was designed by combing two U-shaped generators to provide meaningful interpretability to this classifier. The main generator was trained to take referable scans as input and produce an output that would be classified by the classifier as non-referable. The BAM is then constructed as the difference image between the output and input of the main generator. To ensure that the BAM only highlights classifier-utilized biomarkers an assistant generator was trained to do the opposite, producing scans that would be classified as referable by the classifier from non-referable scans. The generated BAMs highlighted known pathologic features including nonperfusion area and retinal fluid. A fully interpretable classifier based on these highlights could help clinicians better utilize and verify automated DR diagnosis.

由于深度学习在放射学领域被广泛使用，因此在使用模型进行诊断时，这种模型的解释性越来越成为获得临床医生的信任至关重要的。在这项研究中，使用U-NET架构进行了三个实验集，以改善分类性能，同时通过在训练过程中结合热图生成器来增强与模型相对应的热图。所有实验均使用包含胸部X光片的数据集，来自三个条件之一（“正常”，“充血性心力衰竭（CHF）”和“肺炎”）的相关标签，以及有关放射科医师眼神坐标的数值信息在图像上。引入该数据集的论文（A. Karargyris和Moradi，2021年）开发了一个U-NET模型，该模型被视为这项研究的基线模型，以显示如何将眼目光数据用于多模式培训中的眼睛凝视数据以进行多模式培训以进行多模式训练。解释性改进。为了比较分类性能，测量了接收器操作特征曲线（AUC）下面积的95％置信区间（CI）。最佳方法的AUC为0.913（CI：0.860-0.966）。最大的改进是“肺炎”和“ CHF”类别，基线模型最努力地进行分类，导致AUCS 0.859（CI：0.732-0.957）和0.962（CI：0.933-0.989）。所提出的方法的解码器还能够产生概率掩模，以突出模型分类中确定的图像部分，类似于放射科医生的眼睛凝视数据。因此，这项工作表明，将热图发生器和眼睛凝视信息纳入训练可以同时改善疾病分类，并提供可解释的视觉效果，与放射线医生在进行诊断时如何看待胸部X光片。

在过去的几年中，卷积神经网络（CNN）占据了计算机视野的领域，这要归功于它们提取功能及其在分类问题中出色的表现，例如在自动分析X射线中。不幸的是，这些神经网络被认为是黑盒算法，即不可能了解该算法如何实现最终结果。要将这些算法应用于不同领域并测试方法论的工作原理，我们需要使用可解释的AI技术。医学领域的大多数工作都集中在二进制或多类分类问题上。但是，在许多现实生活中，例如胸部X射线射线，可以同时出现不同疾病的放射学迹象。这引起了所谓的“多标签分类问题”。这些任务的缺点是类不平衡，即不同的标签没有相同数量的样本。本文的主要贡献是一种深度学习方法，用于不平衡的多标签胸部X射线数据集。它为当前未充分利用的Padchest数据集建立了基线，并基于热图建立了可解释的AI技术。该技术还包括概率和模型间匹配。我们系统的结果很有希望，尤其是考虑到使用的标签数量。此外，热图与预期区域相匹配，即它们标志着专家将用来做出决定的区域。

用于头部和颈鳞状细胞癌（HNSCC）的诊断和治疗管理由常规诊断头和颈部计算断层扫描（CT）扫描引导，以识别肿瘤和淋巴结特征。折叠延伸（ECE）是患者的患者生存结果与HNSCC的强烈预测因子。在改变患者的暂存和管理时，必须检测ECE的发生至关重要。目前临床ECE检测依赖于放射科学医生进行的视觉鉴定和病理确认。基于机器学习（ML）的ECE诊断在近年来的潜力上表现出很高的潜力。然而，在大多数基于ML的ECE诊断研究中，手动注释是淋巴结区域的必要数据预处理步骤。此外，本手册注释过程是耗时，劳动密集型和容易出错。因此，在本文中，我们提出了一种梯度映射引导的可解释网络（GMGenet）框架，以自动执行ECE识别而不需要注释的淋巴结区域信息。提出了梯度加权类激活映射（GRAC-CAM）技术，以指导深度学习算法专注于与ECE高度相关的区域。提取信息丰富的兴趣（VoIS），无需标记淋巴结区域信息。在评估中，所提出的方法是使用交叉验证的训练和测试，可分别实现测试精度和90.2％和91.1％的AUC。已经分析了ECE的存在或不存在并与黄金标准组织病理学发现相关。

人工智能被出现为众多临床应用诊断和治疗决策的有用援助。由于可用数据和计算能力的快速增加，深度神经网络的性能与许多任务中的临床医生相同或更好。为了符合信任AI的原则，AI系统至关重要的是透明，强大，公平和确保责任。由于对决策过程的具体细节缺乏了解，目前的深神经系统被称为黑匣子。因此，需要确保在常规临床工作流中纳入常规神经网络之前的深度神经网络的可解释性。在这一叙述审查中，我们利用系统的关键字搜索和域专业知识来确定已经基于所产生的解释和技术相似性的类型的医学图像分析应用的深度学习模型来确定九种不同类型的可解释方法。此外，我们报告了评估各种可解释方法产生的解释的进展。最后，我们讨论了局限性，提供了利用可解释性方法和未来方向的指导，了解医学成像分析深度神经网络的解释性。

PD，PD，PD，是一种影响运动技能的慢性病，​​包括震颤和刚度等症状。目前的诊断程序使用患者评估来评估症状，有时是磁共振成像或MRI扫描。然而，症状变异导致评估不准确，MRI扫描的分析需要经验丰富的专家。本研究建议通过将症状数据和MRI数据与Parkinsons进展标记倡议数据库组合来准确地诊断PD严重程度。实施了一种新的混合模型架构，以充分利用两种形式的临床数据，以及基于仅症状的模型，并且还开发了MRI扫描。基于症状的模型集成了完全连接的深度学习神经网络，MRI扫描与混合模型集成了基于转移学习的卷积神经网络。所有型号诊断患者诊断为五个严重性类别，而不是表现为五个严重性类别，而是代表患者的阶段和阶段4和五个代表PD患者。仅症状，仅限MRI扫描，以及分别达到0.77,0.68和0.94的精度。混合模型还具有高精度，召回评估分数为0.94和0.95。真正的临床病例确认了杂种的强烈性能，其中患者用两种其他模型进行错误分类，但通过混合动力正确地进行分类。它在五个严重性阶段也一致，表明早期检测准确。这是第一个将症状数据和MRI扫描在这种大规模上与机器学习方法结合的报告。

了解模型预测在医疗保健方面至关重要，以促进模型正确性的快速验证，并防止利用利用混淆变量的模型。我们介绍了体积医学图像中可解释的多种异常分类的挑战新任务，其中模型必须指示用于预测每个异常的区域。为了解决这项任务，我们提出了一个多实例学习卷积神经网络，AxialNet，允许识别每个异常的顶部切片。接下来我们将赫雷库姆纳入注意机制，识别子切片区域。我们证明，对于Axialnet，Hirescam的说明得到保证，以反映所用模型的位置，与Grad-Cam不同，有时突出不相关的位置。使用一种产生忠实解释的模型，我们旨在通过一种新颖的面具损失来改善模型的学习，利用赫克斯克姆和3D允许的区域来鼓励模型仅预测基于器官的异常，其中出现的异常。 3D允许的区域通过新方法，分区自动获得，其组合从放射学报告中提取的位置信息与通过形态图像处理获得的器官分割图。总体而言，我们提出了第一种模型，用于解释容量医学图像中的可解释的多异常预测，然后使用掩模损耗来实现36,316扫描的Rad-Chessct数据集中多个异常的器官定位提高33％，代表状态本领域。这项工作推进了胸部CT卷中多种异常模型的临床适用性。

We propose a novel deep neural network architecture to learn interpretable representation for medical image analysis. Our architecture generates a global attention for region of interest, and then learns bag of words style deep feature embeddings with local attention. The global, and local feature maps are combined using a contemporary transformer architecture for highly accurate Gallbladder Cancer (GBC) detection from Ultrasound (USG) images. Our experiments indicate that the detection accuracy of our model beats even human radiologists, and advocates its use as the second reader for GBC diagnosis. Bag of words embeddings allow our model to be probed for generating interpretable explanations for GBC detection consistent with the ones reported in medical literature. We show that the proposed model not only helps understand decisions of neural network models but also aids in discovery of new visual features relevant to the diagnosis of GBC. Source-code and model will be available at https://github.com/sbasu276/RadFormer

视网膜光学相干断层扫描（OCT）和光学相干断层扫描（OCTA）是（早期）诊断阿尔茨海默氏病（AD）的有前途的工具。这些非侵入性成像技术比替代神经影像工具更具成本效益，更容易获得。但是，即使对于训练有素的从业人员来说，解释和分类OCT设备进行的多层扫描也是耗时和挑战。关于机器学习和深度学习方法的调查，涉及对诸如青光眼等各种疾病的OCT扫描自动分析。但是，目前的文献缺乏对使用OCT或OCTA诊断阿尔茨海默氏病或​​认知障碍的广泛调查。这促使我们进行了针对需要介绍该问题的机器/深度学习科学家或从业者的全面调查。本文包含1）对阿尔茨海默氏病和认知障碍的医学背景介绍及其使用OCT和八八片成像方式的诊断，2）从自动分析的角度审查有关该问题的各种技术建议和子问题的回顾，3 ）对最近的深度学习研究和可用的OCT/OCTA数据集的系统综述，旨在诊断阿尔茨海默氏病和认知障碍。对于后者，我们使用发布或灭亡软件来搜索来自Scopus，PubMed和Web Science等各种来源的相关研究。我们遵循PRISMA方法筛选了3073参考的初始库，并确定了直接针对AD诊断的十项相关研究（n = 10，3073分）。我们认为缺乏开放的OCT/OCTA数据集（关于阿尔茨海默氏病）是阻碍该领域进展的主要问题。

深层神经网络目前提供了最先进，最精确的机器学习模型，以区分患有阿尔茨海默氏病和健康对照的受试者的结构MRI扫描。不幸的是，由于这些多层和非线性模型的复杂性，这些模型捕获的微妙的大脑改变很难解释。已经提出了几种热图方法来解决此问题并分析从深神经网络中提取的成像模式，但是到目前为止，尚未对这些方法进行定量比较。在这项工作中，我们通过从ADNI数据集的T1 MRI扫描中得出卷积神经网络（CNN）的热图来探讨这些问题，并通过将这些热图与对应于支持向量机（SVM）系数的脑图进行比较。研究了三种突出的热图方法：层次相关性传播（LRP），综合梯度（IG）和引导GRAD-CAM（GGC）。与先前在视觉上或定性评估热图的质量的研究相反，我们通过与大型荟萃分析的地面图相重叠，从而获得了精确的定量措施，该量度合并了77个基于Voxel的形态计量学（VBM）研究，独立于ADNI。我们的结果表明，所有三个热图方法都能够捕获涵盖荟萃分析图的大脑区域，并获得了比SVM系数更好的结果。其中，IG产生了与独立荟萃分析的最佳重叠的热图。

每年有大约4.5亿人受到肺炎的影响，导致250万人死亡。 Covid-19也影响了1.81亿人，这导致了392万人伤亡。如果早期诊断，两种疾病死亡可能会显着降低。然而，目前诊断肺炎（投诉+胸部X射线）和Covid-19（RT-PCR）的方法分别存在专家放射科医生和时间。在深度学习模型的帮助下，可以从胸部X射线或CT扫描立即检测肺炎和Covid-19。这样，诊断肺炎/ Covid-19的过程可以更有效和普遍地制作。在本文中，我们的目标是引出，解释和评估，定性和定量，深入学习方法的主要进步，旨在检测或定位社区获得的肺炎（帽），病毒肺炎和Covid-19从胸部X-的图像光线和CT扫描。作为一个系统的审查，本文的重点在于解释了深度学习模型架构，该架构已经被修改或从划痕，以便WIWTH对概括性的关注。对于每个模型，本文回答了模型所设计的方式的问题，特定模型克服的挑战以及修改模型到所需规格的折衷。还提供了本文描述的所有模型的定量分析，以量化不同模型的有效性与相似的目标。一些权衡无法量化，因此它们在定性分析中明确提到，在整个纸张中完成。通过在一个地方编译和分析大量的研究细节，其中包含所有数据集，模型架构和结果，我们的目标是为对此字段感兴趣的初学者和当前研究人员提供一站式解决方案。

深度学习模型显示了它们对多种应用的潜力。但是，大多数模型由于其复杂的推理而难以信任，通常被称为黑盒问题。一些领域，例如医学，需要高度透明度来接受和采用此类技术。因此，需要在分类器上创建可解释/可解释的模型或应用事后方法以在深度学习模型中建立信任。此外，深度学习方法可用于分割任务，这些任务通常需要难以实现的，耗时的手动淘汰分段标签进行培训。本文介绍了三个固有的可解释的分类器，以解决这两个问题。网络提供的本地化热图（代表模型的焦点区域并用于分类决策）可以直接解释，而无需任何事后方法来推导信息以进行模型说明。模型是通过使用输入图像的训练，仅以监督的方式将分类标签作为地面真相进行培训 - 无需使用有关感兴趣区域位置的任何信息（即细分标签），从而使模型的细分训练变得薄弱。 - 通过分类标签进行监管。最终的分割是通过阈值这些热图获得的。这些模型用于使用两个不同数据集进行多级脑肿瘤分类的任务，从而使监督分类任务的最佳F1得分为0.93，同时确保了弱点诉讼的0.67 $ \ pm 0.08 $ \ pm 0.08 $ \ pm。细分任务。此外，仅在肿瘤图像子集上获得的准确性优于最先进的神经胶质瘤肿瘤分级分类器，其最佳模型达到了98.7 \％的精度。

Age-related macular degeneration (AMD) is a degenerative disorder affecting the macula, a key area of the retina for visual acuity. Nowadays, it is the most frequent cause of blindness in developed countries. Although some promising treatments have been developed, their effectiveness is low in advanced stages. This emphasizes the importance of large-scale screening programs. Nevertheless, implementing such programs for AMD is usually unfeasible, since the population at risk is large and the diagnosis is challenging. All this motivates the development of automatic methods. In this sense, several works have achieved positive results for AMD diagnosis using convolutional neural networks (CNNs). However, none incorporates explainability mechanisms, which limits their use in clinical practice. In that regard, we propose an explainable deep learning approach for the diagnosis of AMD via the joint identification of its associated retinal lesions. In our proposal, a CNN is trained end-to-end for the joint task using image-level labels. The provided lesion information is of clinical interest, as it allows to assess the developmental stage of AMD. Additionally, the approach allows to explain the diagnosis from the identified lesions. This is possible thanks to the use of a CNN with a custom setting that links the lesions and the diagnosis. Furthermore, the proposed setting also allows to obtain coarse lesion segmentation maps in a weakly-supervised way, further improving the explainability. The training data for the approach can be obtained without much extra work by clinicians. The experiments conducted demonstrate that our approach can identify AMD and its associated lesions satisfactorily, while providing adequate coarse segmentation maps for most common lesions.

早期发现视网膜疾病是预防患者部分或永久失明的最重要手段之一。在这项研究中，提出了一种新型的多标签分类系统，用于使用从各种来源收集的眼底图像来检测多种视网膜疾病。首先，使用许多公开可用的数据集来构建一个新的多标签视网膜疾病数据集，即梅里德数据集。接下来，应用了一系列后处理步骤，以确保图像数据的质量和数据集中存在的疾病范围。在眼底多标签疾病分类中，首次通过大量实验优化的基于变压器的模型用于图像分析和决策。进行了许多实验以优化所提出的系统的配置。结果表明，在疾病检测和疾病分类方面，该方法的性能比在同一任务上的最先进作品要好7.9％和8.1％。获得的结果进一步支持了基于变压器的架构在医学成像领域的潜在应用。

解释深层神经网络做出的决定是一个快速发展的研究主题。近年来，几种方法试图提供有关为结构化2D图像输入数据设计的神经网络做出决定的视觉解释。在本文中，我们提出了一种新颖的方法，以生成旨在对非结构化3D数据（即点云）进行分类的网络的粗略视觉解释。我们的方法使用流回到最终特征映射层的梯度并将这些值映射为输入点云中相应点的贡献。由于维数分歧和输入点之间缺乏空间一致性，我们的方法将梯度与点下降相结合以计算点云的不同部分的解释。我们方法的一般性在各种点云分类网络上进行了测试，包括“单一对象”网络PointNet，PointNet ++，DGCNN和“场景”网络投票。我们的方法生成对称解释图，该图突出显示了重要区域，并提供了对网络体系结构决策过程的见解。我们对使用定量，定量和人类研究的比较方法对解释方法的信任和解释性进行了详尽的评估。我们所有的代码均在Pytorch中实施，并将公开可用。

2019年12月，一个名为Covid-19的新型病毒导致了迄今为止的巨大因果关系。与新的冠状病毒的战斗在西班牙语流感后令人振奋和恐怖。虽然前线医生和医学研究人员在控制高度典型病毒的传播方面取得了重大进展，但技术也证明了在战斗中的重要性。此外，许多医疗应用中已采用人工智能，以诊断许多疾病，甚至陷入困境的经验丰富的医生。因此，本调查纸探讨了提议的方法，可以提前援助医生和研究人员，廉价的疾病诊断方法。大多数发展中国家难以使用传统方式进行测试，但机器和深度学习可以采用显着的方式。另一方面，对不同类型的医学图像的访问已经激励了研究人员。结果，提出了一种庞大的技术数量。本文首先详细调了人工智能域中传统方法的背景知识。在此之后，我们会收集常用的数据集及其用例日期。此外，我们还显示了采用深入学习的机器学习的研究人员的百分比。因此，我们对这种情况进行了彻底的分析。最后，在研究挑战中，我们详细阐述了Covid-19研究中面临的问题，我们解决了我们的理解，以建立一个明亮健康的环境。

使用深神经网络的自动诊断可以帮助眼科医生检测致盲眼病湿时期相关的黄斑变性（AMD）。湿AMD具有两种类似的亚型，新生血管和息肉脉络膜（PCV）。然而，由于数据收集困难和图像之间的相似性，大多数研究仅达到了湿-amd的粗粒粒度，而不是湿-amd亚型中的细粒。为了解决这个问题，在本文中，我们提出了一种知识驱动的细粒度湿法AMD分类模型（KFWC），以对数据不足的细粒疾病进行分类。随着将输入图像的10个病变迹象的先验知识引入KFWC，我们的目标是通过多标签分类预培训加速KFWC，以定位细粒疾病分类任务中的决定性图像特征因此实现了更好的分类。同时，KFWC还可以提供良好的可解释性，并有效地减轻湿法菌疾病分类领域的数据收集和注释压力。实验证明了澳大利亚委员会的持续99.71％的有效性，以及对数据驱动的W / O知识和眼科医生相当大的改进，比最强的基线和4.14％对眼科医生的速度为6.69％。

Pneumonia, a respiratory infection brought on by bacteria or viruses, affects a large number of people, especially in developing and impoverished countries where high levels of pollution, unclean living conditions, and overcrowding are frequently observed, along with insufficient medical infrastructure. Pleural effusion, a condition in which fluids fill the lung and complicate breathing, is brought on by pneumonia. Early detection of pneumonia is essential for ensuring curative care and boosting survival rates. The approach most usually used to diagnose pneumonia is chest X-ray imaging. The purpose of this work is to develop a method for the automatic diagnosis of bacterial and viral pneumonia in digital x-ray pictures. This article first presents the authors' technique, and then gives a comprehensive report on recent developments in the field of reliable diagnosis of pneumonia. In this study, here tuned a state-of-the-art deep convolutional neural network to classify plant diseases based on images and tested its performance. Deep learning architecture is compared empirically. VGG19, ResNet with 152v2, Resnext101, Seresnet152, Mobilenettv2, and DenseNet with 201 layers are among the architectures tested. Experiment data consists of two groups, sick and healthy X-ray pictures. To take appropriate action against plant diseases as soon as possible, rapid disease identification models are preferred. DenseNet201 has shown no overfitting or performance degradation in our experiments, and its accuracy tends to increase as the number of epochs increases. Further, DenseNet201 achieves state-of-the-art performance with a significantly a smaller number of parameters and within a reasonable computing time. This architecture outperforms the competition in terms of testing accuracy, scoring 95%. Each architecture was trained using Keras, using Theano as the backend.