The chest X-ray is one of the most commonly accessible radiological examinations for screening and diagnosis of many lung diseases. A tremendous number of X-ray imaging studies accompanied by radiological reports are accumulated and stored in many modern hospitals' Picture Archiving and Communication Systems (PACS). On the other side, it is still an open question how this type of hospital-size knowledge database containing invaluable imaging informatics (i.e., loosely labeled) can be used to facilitate the data-hungry deep learning paradigms in building truly large-scale high precision computer-aided diagnosis (CAD) systems.In this paper, we present a new chest X-ray database, namely "ChestX-ray8", which comprises 108,948 frontalview X-ray images of 32,717 unique patients with the textmined eight disease image labels (where each image can have multi-labels), from the associated radiological reports using natural language processing. Importantly, we demonstrate that these commonly occurring thoracic diseases can be detected and even spatially-located via a unified weaklysupervised multi-label image classification and disease localization framework, which is validated using our proposed dataset. Although the initial quantitative results are promising as reported, deep convolutional neural network based "reading chest X-rays" (i.e., recognizing and locating the common disease patterns trained with only image-level labels) remains a strenuous task for fully-automated high precision CAD systems.

每年医生对患者的基于形象的诊断需求越来越大，是最近的人工智能方法可以解决的问题。在这种情况下，我们在医学图像的自动报告领域进行了调查，重点是使用深神经网络的方法，了解：（1）数据集，（2）架构设计，（3）解释性和（4）评估指标。我们的调查确定了有趣的发展，也是留下挑战。其中，目前对生成的报告的评估尤为薄弱，因为它主要依赖于传统的自然语言处理（NLP）指标，这不准确地捕获医疗正确性。

在深度学习方法进行自动医学图像分析的最新成功之前，从业者使用手工制作的放射线特征来定量描述当地的医学图像斑块。但是，提取区分性放射素特征取决于准确的病理定位，这在现实世界中很难获得。尽管疾病分类和胸部X射线的定位方面取得了进步，但许多方法未能纳入临床知名的领域知识。由于这些原因，我们提出了一个放射素引导的变压器（RGT），该变压器（RGT）与\ textit {global}图像信息与\ textit {local}知识引导的放射线信息信息提供准确的心肺病理学定位和分类\ textit {无需任何界限盒{ }。 RGT由图像变压器分支，放射线变压器分支以及聚集图像和放射线信息的融合层组成。 RGT使用对图像分支的自我注意事项，提取了一个边界框来计算放射线特征，该特征由放射线分支进一步处理。然后通过交叉注意层融合学习的图像和放射线特征。因此，RGT利用了一种新型的端到端反馈回路，该回路只能使用图像水平疾病标签引导精确的病理定位。 NIH CHESTXRAR数据集的实验表明，RGT的表现优于弱监督疾病定位的先前作品（在各个相交联合阈值的平均余量为3.6 \％）和分类（在接收器操作方下平均1.1 \％\％\％\％曲线）。接受代码和训练有素的模型将在接受后发布。

使用X光片级注释（是或否疾病）和细粒病变级注释（病变边界框）开发了两个DL模型，分别为Chexnet和ChexDet。在测试集（n = 2,922）中比较了模型的内部分类性能和病变定位性能，在NIH-Google（n = 4,376）和Padchest（n = 24,536）数据集上比较了外部分类性能，以及外部病变的本地化性能性能在NIH-Chestx-Ray14数据集（n = 880）上进行了比较。还将模型与内部测试集子集的放射学家进行了比较（n = 496）。鉴于足够的训练数据，这两个模型都与放射科医生相当。 CHEXDET对外部分类有了显着改善，例如在NIH-Google上分类（ROC曲线下的ChexDet区域[AUC]：0.67：Chexnet AUC：0.51; P <.001）和PadChest（ChexDet AUC：0.78，Chexnet AUC，Chexnet AUC，Chexnet AUC，Chexnet auc：chexnet auc auc：chexnet auc auc auc：0.78，chexnet auc auc： ：0.55; p <.001）。对于所有数据集的大多数异常，例如在内部集合中检测气胸（Chexdet Jacknife替代自由响应ROC的功绩[JAFROC-FOM]：0.87，0.87，CHEXNET JAFROC-FOM：0.113） ; p <.001）和NIH-Chestx-Ray14（Chexdet Jafroc-fom：0.55，Chexnet Jafroc-fom：0.04; p <.001）。总结，细粒的注释克服了快捷方式学习并启用了DL模型，以识别正确的病变模式，从而改善模型的概括性。

最近的人工智能（AI）算法已在各种医学分类任务上实现了放射科医生级的性能。但是，只有少数研究涉及CXR扫描异常发现的定位，这对于向放射学家解释图像级分类至关重要。我们在本文中介绍了一个名为Vindr-CXR的可解释的深度学习系统，该系统可以将CXR扫描分类为多种胸部疾病，同时将大多数类型的关键发现本地化在图像上。 Vindr-CXR接受了51,485次CXR扫描的培训，并通过放射科医生提供的边界盒注释进行了培训。它表现出与经验丰富的放射科医生相当的表现，可以在3,000张CXR扫描的回顾性验证集上对6种常见的胸部疾病进行分类，而在接收器操作特征曲线（AUROC）下的平均面积为0.967（95％置信区间[CI]：0.958---------0.958------- 0.975）。 VINDR-CXR在独立患者队列中也得到了外部验证，并显示出其稳健性。对于具有14种类型病变的本地化任务，我们的自由响应接收器操作特征（FROC）分析表明，VINDR-CXR以每扫描确定的1.0假阳性病变的速率达到80.2％的敏感性。还进行了一项前瞻性研究，以衡量VINDR-CXR在协助六名经验丰富的放射科医生方面的临床影响。结果表明，当用作诊断工具时，提出的系统显着改善了放射科医生本身之间的一致性，平均Fleiss的Kappa的同意增加了1.5％。我们还观察到，在放射科医生咨询了Vindr-CXR的建议之后，在平均Cohen的Kappa中，它们和系统之间的一致性显着增加了3.3％。

目的：为全身CT设计多疾病分类扫描使用自动提取标签从放射科文reports.Materials和方法三个不同的器官系统：这项回顾性研究共有12,092例患者（平均年龄57 + - 18; 6172名妇女）包括对模型开发和测试（2012-2017自）。基于规则的算法被用来从12,092患者提取13667身体CT扫描19,225疾病的标签。使用三维DenseVNet，三个器官系统是分段的：肺和胸膜;肝胆;和肾脏及输尿管。对于每个器官，三维卷积神经网络分类没有明显的疾病与四种常见疾病为跨越所有三个模型总共15个不同的标签。测试是在相对于2875个手动导出的参考标签2158个CT体积的子集从2133名患者（ - ; 1079名妇女18，平均年龄58 +）进行。性能报告为曲线（AUC）与通过方法德朗95％置信区间下接收器的操作特性的区域。结果：提取的标签说明书验证确认91％横跨15个不同的唱片公司99％的准确率。对于肺和胸膜标签的AUC分别为：肺不张0.77（95％CI：0.74，0.81），结节0.65（0.61，0.69），肺气肿0.89（0.86，0.92），积液0.97（0.96，0.98），并且没有明显的疾病0.89（ 0.87，0.91）。对于肝和胆囊的AUC分别为：肝胆钙化0.62（95％CI：0.56，0.67），病变0.73（0.69，0.77），扩张0.87（0.84，0.90），脂肪0.89（0.86，0.92），并且没有明显的疾病0.82（ 0.78，0.85）。对于肾脏及输尿管的AUC分别为：石0.83（95％CI：0.79，0.87），萎缩0.92（0.89，0.94），病变0.68（0.64，0.72），囊肿0.70（0.66，0.73），并且没有明显的疾病0.79（0.75 ，0.83）。结论：弱监督深度学习模型能够在多器官系统不同的疾病分类。

生物医学中的多模式数据遍布，例如放射学图像和报告。大规模解释这些数据对于改善临床护理和加速临床研究至关重要。与一般领域相比，具有复杂语义的生物医学文本在视觉建模中提出了其他挑战，并且先前的工作使用了缺乏特定领域语言理解的适应性模型不足。在本文中，我们表明，有原则的文本语义建模可以大大改善自我监督的视力 - 语言处理中的对比度学习。我们发布了一种实现最先进的语言模型，从而通过改进的词汇和新颖的语言预测客观的客观利用语义和话语特征在放射学报告中获得了自然语言推断。此外，我们提出了一种自我监督的联合视觉 - 语言方法，重点是更好的文本建模。它在广泛的公开基准上建立了新的最新结果，部分是通过利用我们新的特定领域的语言模型。我们释放了一个新的数据集，该数据集具有放射科医生的局部对齐短语接地注释，以促进生物医学视觉处理中复杂语义建模的研究。广泛的评估，包括在此新数据集中，表明我们的对比学习方法在文本语义建模的帮助下，尽管仅使用了全球对准目标，但在细分任务中的表现都优于细分任务中的先验方法。

我们提出了一个数据收集和注释管道，该数据从越南放射学报告中提取信息，以提供胸部X射线（CXR）图像的准确标签。这可以通过注释与其特有诊断类别的数据相匹配，这些数据可能因国家而异。为了评估所提出的标签技术的功效，我们构建了一个包含9,752项研究的CXR数据集，并使用该数据集的子集评估了我们的管道。以F1得分为至少0.9923，评估表明，我们的标签工具在所有类别中都精确而始终如一。构建数据集后，我们训练深度学习模型，以利用从大型公共CXR数据集传输的知识。我们采用各种损失功能来克服不平衡的多标签数据集的诅咒，并使用各种模型体系结构进行实验，以选择提供最佳性能的诅咒。我们的最佳模型（CHEXPERT-FRECTER EDIDENENET-B2）的F1得分为0.6989（95％CI 0.6740，0.7240），AUC为0.7912，敏感性为0.7064，特异性为0.8760，普遍诊断为0.8760。最后，我们证明了我们的粗分类（基于五个特定的异常位置）在基准CHEXPERT数据集上获得了可比的结果（十二个病理），以进行一般异常检测，同时在所有类别的平均表现方面提供更好的性能。

我们考虑临床应用异常定位问题。虽然深入学习推动了最近的医学成像进展，但许多临床挑战都没有完全解决，限制了其更广泛的使用。虽然最近的方法报告了高的诊断准确性，但医生因普遍缺乏算法决策和解释性而涉及诊断决策的这些算法，这是关注这些算法。解决这个问题的一种潜在方法是进一步培训这些模型，以便除了分类它们之外，除了分类。然而，准确地进行这一临床专家需要大量的疾病定位注释，这是对大多数应用程序来实现昂贵的任务。在这项工作中，我们通过一种新的注意力弱监督算法来解决这些问题，该弱势监督算法包括分层关注挖掘框架，可以以整体方式统一激活和基于梯度的视觉关注。我们的关键算法创新包括明确序号注意约束的设计，实现了以弱监督的方式实现了原则的模型培训，同时还通过本地化线索促进了产生视觉关注驱动的模型解释。在两个大型胸部X射线数据集（NIH Chescx-Ray14和Chexpert）上，我们展示了对现有技术的显着本地化性能，同时也实现了竞争的分类性能。我们的代码可在https://github.com/oyxhust/ham上找到。

In this era of pandemic, the future of healthcare industry has never been more exciting. Artificial intelligence and machine learning (AI & ML) present opportunities to develop solutions that cater for very specific needs within the industry. Deep learning in healthcare had become incredibly powerful for supporting clinics and in transforming patient care in general. Deep learning is increasingly being applied for the detection of clinically important features in the images beyond what can be perceived by the naked human eye. Chest X-ray images are one of the most common clinical method for diagnosing a number of diseases such as pneumonia, lung cancer and many other abnormalities like lesions and fractures. Proper diagnosis of a disease from X-ray images is often challenging task for even expert radiologists and there is a growing need for computerized support systems due to the large amount of information encoded in X-Ray images. The goal of this paper is to develop a lightweight solution to detect 14 different chest conditions from an X ray image. Given an X-ray image as input, our classifier outputs a label vector indicating which of 14 disease classes does the image fall into. Along with the image features, we are also going to use non-image features available in the data such as X-ray view type, age, gender etc. The original study conducted Stanford ML Group is our base line. Original study focuses on predicting 5 diseases. Our aim is to improve upon previous work, expand prediction to 14 diseases and provide insight for future chest radiography research.

在过去的几年中，卷积神经网络（CNN）占据了计算机视野的领域，这要归功于它们提取功能及其在分类问题中出色的表现，例如在自动分析X射线中。不幸的是，这些神经网络被认为是黑盒算法，即不可能了解该算法如何实现最终结果。要将这些算法应用于不同领域并测试方法论的工作原理，我们需要使用可解释的AI技术。医学领域的大多数工作都集中在二进制或多类分类问题上。但是，在许多现实生活中，例如胸部X射线射线，可以同时出现不同疾病的放射学迹象。这引起了所谓的“多标签分类问题”。这些任务的缺点是类不平衡，即不同的标签没有相同数量的样本。本文的主要贡献是一种深度学习方法，用于不平衡的多标签胸部X射线数据集。它为当前未充分利用的Padchest数据集建立了基线，并基于热图建立了可解释的AI技术。该技术还包括概率和模型间匹配。我们系统的结果很有希望，尤其是考虑到使用的标签数量。此外，热图与预期区域相匹配，即它们标志着专家将用来做出决定的区域。

深度学习的显着成功引起了人们对医学成像诊断的应用的兴趣。尽管最新的深度学习模型在分类不同类型的医学数据方面已经达到了人类水平的准确性，但这些模型在临床工作流程中几乎不采用，这主要是由于缺乏解释性。深度学习模型的黑盒子性提出了制定策略来解释这些模型的决策过程的必要性，从而导致了可解释的人工智能（XAI）主题的创建。在这种情况下，我们对应用于医学成像诊断的XAI进行了详尽的调查，包括视觉，基于示例和基于概念的解释方法。此外，这项工作回顾了现有的医学成像数据集和现有的指标，以评估解释的质量。此外，我们还包括一组基于报告生成的方法的性能比较。最后，还讨论了将XAI应用于医学成像以及有关该主题的未来研究指示的主要挑战。

放射学诊断的传统数据集倾向于在放射学报告旁边提供放射学图像。但是，放射科医生进行的放射学读数是一个复杂的过程，在阅读过程中，放射科医生的眼睛固定等信息有可能成为可从中学习的宝贵数据源。但是，此类数据的收集既昂贵又耗时。这导致了一个问题，即此类数据是否值得投资收集。本文利用最近发表的Eye Gaze数据集对面对不同级别的输入功能的影响的影响和解释性（DL）分类的影响进行详尽的研究，即：放射学图像，放射学报告文本和放射学家眼睛凝视数据。我们发现，通过放射学报告自由文本和放射学图像的组合，可以实现X射线图像的最佳分类性能，而眼睛凝视数据没有提供性能的提升。尽管如此，与培训的模型相比，与从事分类和注意力图的模型相比，眼睛凝视数据将作为次级基础真理以及类标签以及类似于辅助图的模型产生更好的注意力图。

在医学图像上创建一个异常注释的大规模数据集是一项劳动密集型和昂贵的任务。利用可用数据（例如放射学报告）的弱监督可以补偿缺乏用于异常检测方法的大规模数据。但是，当前大多数方法仅使用图像水平的病理观察，但未能在报告中使用相关的解剖学提及。此外，由于标签稀疏性和语言歧义，自然语言处理（NLP）汇总的弱标签是嘈杂的。我们提出了一个解剖引导的胸部X射线网络（AGXNET），以解决这些弱注释问题。我们的框架由两个网络组成，一个网络负责识别解剖异常，第二个负责病理观察。我们框架中的关键组成部分是一个解剖学引导的注意模块，该模块有助于下游观察网络重点关注解剖网络产生的相关解剖区域。我们使用积极的未标记（PU）学习来说明一个事实，即缺乏提及并不一定意味着负标签。我们对模拟CXR数据集的定量和定性结果证明了AGXNET在疾病和解剖异常定位中的有效性。 NIH胸部X射线数据集的实验表明，学习的特征表示是可以转移的，并且可以在疾病分类和竞争性疾病定位结果中实现最先进的表现。我们的代码可在https://github.com/batmanlab/agxnet上找到

在胸部X射线图像中定位疾病很少仔细注释可以节省大量的人类努力。最近的作品通过创新的弱监督算法（例如多稳定学习（MIL）和类激活图（CAM））处理了这项任务，但是，这些方法通常会产生不准确或不完整的区域。原因之一是忽视了每个图像内部解剖区域的关系中隐藏的病理意义以及跨图像的关系。在本文中，我们认为，作为上下文和补偿信息的跨区域和跨图像关系对于获得更一致和更一致的区域至关重要。为了建模关系，我们提出了图形正则嵌入网络（GREN），该网络（GREN）利用图像和图像间信息来定位胸部X射线图像上的疾病。 Gren使用预先训练的U-NET来分割肺裂片，然后使用图像内图形图对肺裂片之间的内图像进行建模以比较不同的区域。同时，内部图像之间的关系是通过图像间图建模的，以比较多个图像。此过程模仿了放射科医生的训练和决策过程：比较多个区域和图像进行诊断。为了使神经网络的深层嵌入层保留结构信息（在本地化任务中很重要），我们使用哈希编码和锤击距离来计算图形，这些图形用作正规化器来促进训练。通过这种情况，我们的方法实现了NIH胸部X射线数据集的最新结果，以实现弱监督疾病的定位。我们的代码可在线访问（https://github.com/qibaolian/gren）。

X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.

世界目前正在经历持续的传染病大流行病，该传染病是冠状病毒疾病2019（即covid-19），这是由严重的急性呼吸综合征冠状病毒2（SARS-COV-2）引起的。计算机断层扫描（CT）在评估感染的严重程度方面发挥着重要作用，并且还可用于识别这些症状和无症状的Covid-19载体。随着Covid-19患者的累积数量的激增，放射科医师越来越强调手动检查CT扫描。因此，自动化3D CT扫描识别工具的需求量高，因为手动分析对放射科医师耗时，并且它们的疲劳可能导致可能的误判。然而，由于位于不同医院的CT扫描仪的各种技术规范，CT图像的外观可能显着不同，导致许多自动图像识别方法的失败。因此，多域和多扫描仪研究的多域移位问题是不可能对可靠识别和可再现和客观诊断和预后至关重要的至关重要。在本文中，我们提出了Covid-19 CT扫描识别模型即Coronavirus信息融合和诊断网络（CIFD-NET），可以通过新的强大弱监督的学习范式有效地处理多域移位问题。与其他最先进的方法相比，我们的模型可以可靠，高效地解决CT扫描图像中不同外观的问题。

卷积神经网络（CNN）已成功应用于胸部X射线（CXR）图像。此外，已证明注释的边界框可以改善CNN的可解释性，以定位异常。但是，只有几个相对较小的CXR数据集可用，并且收集它们非常昂贵。在放射科医生的临床工作流程期间，可以计时地，可以以非侵入性的方式收集眼睛跟踪（ET）数据。我们使用从放射科医生记录的ET数据，同时要求CXR报告训练CNN。我们通过将它们与关键字的命令相关联，并使用它们来监督异常的本地化，从而从ET数据中提取摘要。我们表明，此方法改善了模型的解释性，而不会影响其图像级分类。

Despite progress in perceptual tasks such as image classification, computers still perform poorly on cognitive tasks such as image description and question answering. Cognition is core to tasks that involve not just recognizing, but reasoning about our visual world. However, models used to tackle the rich content in images for cognitive tasks are still being trained using the same datasets designed for perceptual tasks. To achieve success at cognitive tasks, models need to understand the interactions and relationships between objects in

Deep learning (DL) analysis of Chest X-ray (CXR) and Computed tomography (CT) images has garnered a lot of attention in recent times due to the COVID-19 pandemic. Convolutional Neural Networks (CNNs) are well suited for the image analysis tasks when trained on humongous amounts of data. Applications developed for medical image analysis require high sensitivity and precision compared to any other fields. Most of the tools proposed for detection of COVID-19 claims to have high sensitivity and recalls but have failed to generalize and perform when tested on unseen datasets. This encouraged us to develop a CNN model, analyze and understand the performance of it by visualizing the predictions of the model using class activation maps generated using (Gradient-weighted Class Activation Mapping) Grad-CAM technique. This study provides a detailed discussion of the success and failure of the proposed model at an image level. Performance of the model is compared with state-of-the-art DL models and shown to be comparable. The data and code used are available at https://github.com/aleesuss/c19.