卷积神经网络（CNN）已成功应用于胸部X射线（CXR）图像。此外，已证明注释的边界框可以改善CNN的可解释性，以定位异常。但是，只有几个相对较小的CXR数据集可用，并且收集它们非常昂贵。在放射科医生的临床工作流程期间，可以计时地，可以以非侵入性的方式收集眼睛跟踪（ET）数据。我们使用从放射科医生记录的ET数据，同时要求CXR报告训练CNN。我们通过将它们与关键字的命令相关联，并使用它们来监督异常的本地化，从而从ET数据中提取摘要。我们表明，此方法改善了模型的解释性，而不会影响其图像级分类。

深度学习表明，最近在胸部X射线中对异常进行分类方面的成功，但是与自然图像数据集相比，数据集仍然很小。对异常本地化的监督已被证明可以改善训练有素的模型，部分补偿了数据集大小。但是，明确标记这些异常需要专家，并且非常耗时。我们提出了一种潜在的可扩展方法，用于使用眼动物跟踪器收集隐式定位数据，以捕获注视位置和麦克风来捕获报告的概念，从而模仿阅读室的设置。由五位放射科医生标记了所得的反射式（报告和眼睛跟踪数据，用于胸部X射线异常的定位）数据集，并包含3,032个同步的眼球跟踪数据集和时间戳报告的同步集，并从模拟的报告中进行了2,616胸部X射线的转录。 CXR数据集。我们还提供辅助注释，包括围绕肺和心脏的边界框以及由椭圆形成的椭圆形成异常和图像级标签的验证标签。此外，数据的一小部分包含所有放射科医生的读数，从而可以计算评估者分数。

医学图像分析模型的可解释性被认为是一个关键的研究领域。我们使用来自五个放射科医生的眼睛跟踪数据的数据集，比较可解释性方法的输出，而是代表放射科医学家所在的热量。我们对从文献中选择的两种方法产生的显着图进行了类别的分析：Grad-Cam和来自注意门控模型的注意力映射。为了比较，我们使用随机测量标准，避免从固定位置偏差。我们在一个混洗型度量中实现了与Interobserver基线相当的分数，突出了来自Grad-Cam的显着图的潜力，以模仿放射科学家在图像上的注意。我们还将数据集分为子集以评估哪种情况相似度更高。

The chest X-ray is one of the most commonly accessible radiological examinations for screening and diagnosis of many lung diseases. A tremendous number of X-ray imaging studies accompanied by radiological reports are accumulated and stored in many modern hospitals' Picture Archiving and Communication Systems (PACS). On the other side, it is still an open question how this type of hospital-size knowledge database containing invaluable imaging informatics (i.e., loosely labeled) can be used to facilitate the data-hungry deep learning paradigms in building truly large-scale high precision computer-aided diagnosis (CAD) systems.In this paper, we present a new chest X-ray database, namely "ChestX-ray8", which comprises 108,948 frontalview X-ray images of 32,717 unique patients with the textmined eight disease image labels (where each image can have multi-labels), from the associated radiological reports using natural language processing. Importantly, we demonstrate that these commonly occurring thoracic diseases can be detected and even spatially-located via a unified weaklysupervised multi-label image classification and disease localization framework, which is validated using our proposed dataset. Although the initial quantitative results are promising as reported, deep convolutional neural network based "reading chest X-rays" (i.e., recognizing and locating the common disease patterns trained with only image-level labels) remains a strenuous task for fully-automated high precision CAD systems.

由于深度学习在放射学领域被广泛使用，因此在使用模型进行诊断时，这种模型的解释性越来越成为获得临床医生的信任至关重要的。在这项研究中，使用U-NET架构进行了三个实验集，以改善分类性能，同时通过在训练过程中结合热图生成器来增强与模型相对应的热图。所有实验均使用包含胸部X光片的数据集，来自三个条件之一（“正常”，“充血性心力衰竭（CHF）”和“肺炎”）的相关标签，以及有关放射科医师眼神坐标的数值信息在图像上。引入该数据集的论文（A. Karargyris和Moradi，2021年）开发了一个U-NET模型，该模型被视为这项研究的基线模型，以显示如何将眼目光数据用于多模式培训中的眼睛凝视数据以进行多模式培训以进行多模式训练。解释性改进。为了比较分类性能，测量了接收器操作特征曲线（AUC）下面积的95％置信区间（CI）。最佳方法的AUC为0.913（CI：0.860-0.966）。最大的改进是“肺炎”和“ CHF”类别，基线模型最努力地进行分类，导致AUCS 0.859（CI：0.732-0.957）和0.962（CI：0.933-0.989）。所提出的方法的解码器还能够产生概率掩模，以突出模型分类中确定的图像部分，类似于放射科医生的眼睛凝视数据。因此，这项工作表明，将热图发生器和眼睛凝视信息纳入训练可以同时改善疾病分类，并提供可解释的视觉效果，与放射线医生在进行诊断时如何看待胸部X光片。

放射学诊断的传统数据集倾向于在放射学报告旁边提供放射学图像。但是，放射科医生进行的放射学读数是一个复杂的过程，在阅读过程中，放射科医生的眼睛固定等信息有可能成为可从中学习的宝贵数据源。但是，此类数据的收集既昂贵又耗时。这导致了一个问题，即此类数据是否值得投资收集。本文利用最近发表的Eye Gaze数据集对面对不同级别的输入功能的影响的影响和解释性（DL）分类的影响进行详尽的研究，即：放射学图像，放射学报告文本和放射学家眼睛凝视数据。我们发现，通过放射学报告自由文本和放射学图像的组合，可以实现X射线图像的最佳分类性能，而眼睛凝视数据没有提供性能的提升。尽管如此，与培训的模型相比，与从事分类和注意力图的模型相比，眼睛凝视数据将作为次级基础真理以及类标签以及类似于辅助图的模型产生更好的注意力图。

我们考虑临床应用异常定位问题。虽然深入学习推动了最近的医学成像进展，但许多临床挑战都没有完全解决，限制了其更广泛的使用。虽然最近的方法报告了高的诊断准确性，但医生因普遍缺乏算法决策和解释性而涉及诊断决策的这些算法，这是关注这些算法。解决这个问题的一种潜在方法是进一步培训这些模型，以便除了分类它们之外，除了分类。然而，准确地进行这一临床专家需要大量的疾病定位注释，这是对大多数应用程序来实现昂贵的任务。在这项工作中，我们通过一种新的注意力弱监督算法来解决这些问题，该弱势监督算法包括分层关注挖掘框架，可以以整体方式统一激活和基于梯度的视觉关注。我们的关键算法创新包括明确序号注意约束的设计，实现了以弱监督的方式实现了原则的模型培训，同时还通过本地化线索促进了产生视觉关注驱动的模型解释。在两个大型胸部X射线数据集（NIH Chescx-Ray14和Chexpert）上，我们展示了对现有技术的显着本地化性能，同时也实现了竞争的分类性能。我们的代码可在https://github.com/oyxhust/ham上找到。

这项工作引入了图像分类器的注意机制和相应的深神经网络（DNN）结构，称为ISNET。在训练过程中，ISNET使用分割目标来学习如何找到图像感兴趣的区域并将注意力集中在其上。该提案基于一个新颖的概念，即在说明热图中的背景相关性最小化。它几乎可以应用于任何分类神经网络体系结构，而在运行时没有任何额外的计算成本。能够忽略背景的单个DNN可以替换分段者的通用管道，然后是分类器，更快，更轻。我们测试了ISNET的三种应用：Covid-19和胸部X射线中的结核病检测以及面部属性估计。前两个任务采用了混合培训数据库，并培养了快捷方式学习。通过关注肺部并忽略背景中的偏见来源，ISNET减少了问题。因此，它改善了生物医学分类问题中外部（分布外）测试数据集的概括，超越了标准分类器，多任务DNN（执行分类和细分），注意力门控神经网络以及标准段 - 分类管道。面部属性估计表明，ISNET可以精确地集中在面孔上，也适用于自然图像。 ISNET提出了一种准确，快速和轻的方法，可忽略背景并改善各种领域的概括。

最近的人工智能（AI）算法已在各种医学分类任务上实现了放射科医生级的性能。但是，只有少数研究涉及CXR扫描异常发现的定位，这对于向放射学家解释图像级分类至关重要。我们在本文中介绍了一个名为Vindr-CXR的可解释的深度学习系统，该系统可以将CXR扫描分类为多种胸部疾病，同时将大多数类型的关键发现本地化在图像上。 Vindr-CXR接受了51,485次CXR扫描的培训，并通过放射科医生提供的边界盒注释进行了培训。它表现出与经验丰富的放射科医生相当的表现，可以在3,000张CXR扫描的回顾性验证集上对6种常见的胸部疾病进行分类，而在接收器操作特征曲线（AUROC）下的平均面积为0.967（95％置信区间[CI]：0.958---------0.958------- 0.975）。 VINDR-CXR在独立患者队列中也得到了外部验证，并显示出其稳健性。对于具有14种类型病变的本地化任务，我们的自由响应接收器操作特征（FROC）分析表明，VINDR-CXR以每扫描确定的1.0假阳性病变的速率达到80.2％的敏感性。还进行了一项前瞻性研究，以衡量VINDR-CXR在协助六名经验丰富的放射科医生方面的临床影响。结果表明，当用作诊断工具时，提出的系统显着改善了放射科医生本身之间的一致性，平均Fleiss的Kappa的同意增加了1.5％。我们还观察到，在放射科医生咨询了Vindr-CXR的建议之后，在平均Cohen的Kappa中，它们和系统之间的一致性显着增加了3.3％。

在医学图像上创建一个异常注释的大规模数据集是一项劳动密集型和昂贵的任务。利用可用数据（例如放射学报告）的弱监督可以补偿缺乏用于异常检测方法的大规模数据。但是，当前大多数方法仅使用图像水平的病理观察，但未能在报告中使用相关的解剖学提及。此外，由于标签稀疏性和语言歧义，自然语言处理（NLP）汇总的弱标签是嘈杂的。我们提出了一个解剖引导的胸部X射线网络（AGXNET），以解决这些弱注释问题。我们的框架由两个网络组成，一个网络负责识别解剖异常，第二个负责病理观察。我们框架中的关键组成部分是一个解剖学引导的注意模块，该模块有助于下游观察网络重点关注解剖网络产生的相关解剖区域。我们使用积极的未标记（PU）学习来说明一个事实，即缺乏提及并不一定意味着负标签。我们对模拟CXR数据集的定量和定性结果证明了AGXNET在疾病和解剖异常定位中的有效性。 NIH胸部X射线数据集的实验表明，学习的特征表示是可以转移的，并且可以在疾病分类和竞争性疾病定位结果中实现最先进的表现。我们的代码可在https://github.com/batmanlab/agxnet上找到

每年医生对患者的基于形象的诊断需求越来越大，是最近的人工智能方法可以解决的问题。在这种情况下，我们在医学图像的自动报告领域进行了调查，重点是使用深神经网络的方法，了解：（1）数据集，（2）架构设计，（3）解释性和（4）评估指标。我们的调查确定了有趣的发展，也是留下挑战。其中，目前对生成的报告的评估尤为薄弱，因为它主要依赖于传统的自然语言处理（NLP）指标，这不准确地捕获医疗正确性。

Large, labeled datasets have driven deep learning methods to achieve expert-level performance on a variety of medical imaging tasks. We present CheXpert, a large dataset that contains 224,316 chest radiographs of 65,240 patients. We design a labeler to automatically detect the presence of 14 observations in radiology reports, capturing uncertainties inherent in radiograph interpretation. We investigate different approaches to using the uncertainty labels for training convolutional neural networks that output the probability of these observations given the available frontal and lateral radiographs. On a validation set of 200 chest radiographic studies which were manually annotated by 3 board-certified radiologists, we find that different uncertainty approaches are useful for different pathologies. We then evaluate our best model on a test set composed of 500 chest radiographic studies annotated by a consensus of 5 board-certified radiologists, and compare the performance of our model to that of 3 additional radiologists in the detection of 5 selected pathologies. On Cardiomegaly, Edema, and Pleural Effusion, the model ROC and PR curves lie above all 3 radiologist operating points. We release the dataset to the public as a standard benchmark to evaluate performance of chest radiograph interpretation models. 1

在过去的几年中，卷积神经网络（CNN）占据了计算机视野的领域，这要归功于它们提取功能及其在分类问题中出色的表现，例如在自动分析X射线中。不幸的是，这些神经网络被认为是黑盒算法，即不可能了解该算法如何实现最终结果。要将这些算法应用于不同领域并测试方法论的工作原理，我们需要使用可解释的AI技术。医学领域的大多数工作都集中在二进制或多类分类问题上。但是，在许多现实生活中，例如胸部X射线射线，可以同时出现不同疾病的放射学迹象。这引起了所谓的“多标签分类问题”。这些任务的缺点是类不平衡，即不同的标签没有相同数量的样本。本文的主要贡献是一种深度学习方法，用于不平衡的多标签胸部X射线数据集。它为当前未充分利用的Padchest数据集建立了基线，并基于热图建立了可解释的AI技术。该技术还包括概率和模型间匹配。我们系统的结果很有希望，尤其是考虑到使用的标签数量。此外，热图与预期区域相匹配，即它们标志着专家将用来做出决定的区域。

使用X光片级注释（是或否疾病）和细粒病变级注释（病变边界框）开发了两个DL模型，分别为Chexnet和ChexDet。在测试集（n = 2,922）中比较了模型的内部分类性能和病变定位性能，在NIH-Google（n = 4,376）和Padchest（n = 24,536）数据集上比较了外部分类性能，以及外部病变的本地化性能性能在NIH-Chestx-Ray14数据集（n = 880）上进行了比较。还将模型与内部测试集子集的放射学家进行了比较（n = 496）。鉴于足够的训练数据，这两个模型都与放射科医生相当。 CHEXDET对外部分类有了显着改善，例如在NIH-Google上分类（ROC曲线下的ChexDet区域[AUC]：0.67：Chexnet AUC：0.51; P <.001）和PadChest（ChexDet AUC：0.78，Chexnet AUC，Chexnet AUC，Chexnet AUC，Chexnet auc：chexnet auc auc：chexnet auc auc auc：0.78，chexnet auc auc： ：0.55; p <.001）。对于所有数据集的大多数异常，例如在内部集合中检测气胸（Chexdet Jacknife替代自由响应ROC的功绩[JAFROC-FOM]：0.87，0.87，CHEXNET JAFROC-FOM：0.113） ; p <.001）和NIH-Chestx-Ray14（Chexdet Jafroc-fom：0.55，Chexnet Jafroc-fom：0.04; p <.001）。总结，细粒的注释克服了快捷方式学习并启用了DL模型，以识别正确的病变模式，从而改善模型的概括性。

了解模型预测在医疗保健方面至关重要，以促进模型正确性的快速验证，并防止利用利用混淆变量的模型。我们介绍了体积医学图像中可解释的多种异常分类的挑战新任务，其中模型必须指示用于预测每个异常的区域。为了解决这项任务，我们提出了一个多实例学习卷积神经网络，AxialNet，允许识别每个异常的顶部切片。接下来我们将赫雷库姆纳入注意机制，识别子切片区域。我们证明，对于Axialnet，Hirescam的说明得到保证，以反映所用模型的位置，与Grad-Cam不同，有时突出不相关的位置。使用一种产生忠实解释的模型，我们旨在通过一种新颖的面具损失来改善模型的学习，利用赫克斯克姆和3D允许的区域来鼓励模型仅预测基于器官的异常，其中出现的异常。 3D允许的区域通过新方法，分区自动获得，其组合从放射学报告中提取的位置信息与通过形态图像处理获得的器官分割图。总体而言，我们提出了第一种模型，用于解释容量医学图像中的可解释的多异常预测，然后使用掩模损耗来实现36,316扫描的Rad-Chessct数据集中多个异常的器官定位提高33％，代表状态本领域。这项工作推进了胸部CT卷中多种异常模型的临床适用性。

我们提出了一种基于深度多实例学习的简单高效的图像分类架构，并将其应用于牙科射线照片中龋齿检测的具有挑战性的任务。从技术上讲，我们的方法有两种方式贡献：首先，尽管使用弱图像级标签培训，它尽管培训了本地补丁分类概率的热线图。其次，它可以从分段标签学习，从而指导培训。与现有方法相比，人类用户可以忠实地解释预测并与模型进行交互以决定参加哪些区域。实验是在$ \ SIM $ 38K Bitewings（$ \ SIM $ 316K牙齿）的大型临床数据集上进行的，在那里我们与各种基线相比实现了竞争性能。当由外部龋齿分割模型引导时，观察到分类和定位性能的显着改善。

目的：为全身CT设计多疾病分类扫描使用自动提取标签从放射科文reports.Materials和方法三个不同的器官系统：这项回顾性研究共有12,092例患者（平均年龄57 + - 18; 6172名妇女）包括对模型开发和测试（2012-2017自）。基于规则的算法被用来从12,092患者提取13667身体CT扫描19,225疾病的标签。使用三维DenseVNet，三个器官系统是分段的：肺和胸膜;肝胆;和肾脏及输尿管。对于每个器官，三维卷积神经网络分类没有明显的疾病与四种常见疾病为跨越所有三个模型总共15个不同的标签。测试是在相对于2875个手动导出的参考标签2158个CT体积的子集从2133名患者（ - ; 1079名妇女18，平均年龄58 +）进行。性能报告为曲线（AUC）与通过方法德朗95％置信区间下接收器的操作特性的区域。结果：提取的标签说明书验证确认91％横跨15个不同的唱片公司99％的准确率。对于肺和胸膜标签的AUC分别为：肺不张0.77（95％CI：0.74，0.81），结节0.65（0.61，0.69），肺气肿0.89（0.86，0.92），积液0.97（0.96，0.98），并且没有明显的疾病0.89（ 0.87，0.91）。对于肝和胆囊的AUC分别为：肝胆钙化0.62（95％CI：0.56，0.67），病变0.73（0.69，0.77），扩张0.87（0.84，0.90），脂肪0.89（0.86，0.92），并且没有明显的疾病0.82（ 0.78，0.85）。对于肾脏及输尿管的AUC分别为：石0.83（95％CI：0.79，0.87），萎缩0.92（0.89，0.94），病变0.68（0.64，0.72），囊肿0.70（0.66，0.73），并且没有明显的疾病0.79（0.75 ，0.83）。结论：弱监督深度学习模型能够在多器官系统不同的疾病分类。

视网膜脉管系统的研究是筛查和诊断许多疾病的基本阶段。完整的视网膜血管分析需要将视网膜的血管分为动脉和静脉（A/V）。早期自动方法在两个顺序阶段接近这些分割和分类任务。但是，目前，这些任务是作为联合语义分割任务处理的，因为分类结果在很大程度上取决于血管分割的有效性。在这方面，我们提出了一种新的方法，用于从眼睛眼睛图像中对视网膜A/V进行分割和分类。特别是，我们提出了一种新颖的方法，该方法与以前的方法不同，并且由于新的损失，将联合任务分解为针对动脉，静脉和整个血管树的三个分割问题。这种配置允许直观地处理容器交叉口，并直接提供不同靶血管树的精确分割罩。提供的关于公共视网膜图血管树提取（RITE）数据集的消融研究表明，所提出的方法提供了令人满意的性能，尤其是在不同结构的分割中。此外，与最新技术的比较表明，我们的方法在A/V分类中获得了高度竞争的结果，同时显着改善了血管分割。提出的多段方法允许检测更多的血管，并更好地分割不同的结构，同时实现竞争性分类性能。同样，用这些术语来说，我们的方法优于各种参考作品的方法。此外，与以前的方法相比，该方法允许直接检测到容器交叉口，并在这些复杂位置保留A/V的连续性。

自动检测视网膜结构，例如视网膜血管（RV），凹起的血管区（FAZ）和视网膜血管连接（RVJ），对于了解眼睛的疾病和临床决策非常重要。在本文中，我们提出了一种新型的基于投票的自适应特征融合多任务网络（VAFF-NET），用于在光学相干性层析成像（OCTA）中对RV，FAZ和RVJ进行联合分割，检测和分类。提出了一个特定于任务的投票门模块，以适应并融合两个级别的特定任务的不同功能：来自单个编码器的不同空间位置的特征，以及来自多个编码器的功能。特别是，由于八八座图像中微脉管系统的复杂性使视网膜血管连接连接到分叉/跨越具有挑战性的任务的同时定位和分类，因此我们通过结合热图回归和网格分类来专门设计任务头。我们利用来自各种视网膜层的三个不同的\ textit {en face}血管造影，而不是遵循仅使用单个\ textit {en face}的现有方法。为了促进进一步的研究，已经发布了这些数据集的部分数据集，并已发布了公共访问：https：//github.com/imed-lab/vaff-net。

深度学习的显着成功引起了人们对医学成像诊断的应用的兴趣。尽管最新的深度学习模型在分类不同类型的医学数据方面已经达到了人类水平的准确性，但这些模型在临床工作流程中几乎不采用，这主要是由于缺乏解释性。深度学习模型的黑盒子性提出了制定策略来解释这些模型的决策过程的必要性，从而导致了可解释的人工智能（XAI）主题的创建。在这种情况下，我们对应用于医学成像诊断的XAI进行了详尽的调查，包括视觉，基于示例和基于概念的解释方法。此外，这项工作回顾了现有的医学成像数据集和现有的指标，以评估解释的质量。此外，我们还包括一组基于报告生成的方法的性能比较。最后，还讨论了将XAI应用于医学成像以及有关该主题的未来研究指示的主要挑战。