使用深度学习对胸部射线照相的自动分析具有巨大的潜力，可以增强患者疾病的临床诊断。但是，深度学习模型通常需要大量的带注释的数据来实现高性能 - 通常是医疗领域适应的障碍。在本文中，我们构建了一个利用放射学报告来通过有限的标记数据（少于1000个示例）来改善医学图像分类性能，以提高医学图像分类性能。具体而言，我们检查了捕获图像预告片，以学习以更少的例子进行训练的高质量医学图像表示。在对卷积编码器和变压器解码器进行联合预测之后，我们将学习的编码器转移到各种分类任务中。平均9多种病理学，我们发现我们的模型在标记培训数据受到限制时，比参见和内域监督的预处理的分类性能更高。

学习医学图像的视觉表示（例如X射线）是医学图像理解的核心，但由于人类注释的稀缺性，其进步已经阻止了它。现有的工作通常依赖于从成像网预处理传输的微调权重，由于图像特征截然不同，这是次优的，或者是从文本报告数据与医学图像配对的基于规则的标签提取，这是不准确的，难以推广。同时，最近的几项研究表明，从自然图像中学习的对比度学习令人兴奋，但由于它们的高层间相似性，我们发现这些方法对医学图像无济于事。我们提出了Concirt，这是一种替代的无监督策略，通过利用自然存在的配对描述性文本来学习医学视觉表示。我们通过两种模式之间的双向对比度目标对医学图像进行预处理编码的新方法是域，无关，不需要其他专家输入。我们通过将预处理的权重转移到4个医学图像分类任务和2个零射击检索任务中来测试交通，并证明它导致图像表示，在大多数设置中，它们都超过了强大的基线。值得注意的是，在所有4个分类任务中，我们的方法仅需要10 \％标记的培训数据与成像网初始化的对应物，以实现更好或可比的性能，从而证明了卓越的数据效率。

The de-facto approach to many vision tasks is to start from pretrained visual representations, typically learned via supervised training on ImageNet. Recent methods have explored unsupervised pretraining to scale to vast quantities of unlabeled images. In contrast, we aim to learn high-quality visual representations from fewer images. To this end we revisit supervised pretraining, and seek dataefficient alternatives to classification-based pretraining. We propose VirTex -a pretraining approach using semantically dense captions to learn visual representations. We train convolutional networks from scratch on COCO Captions, and transfer them to downstream recognition tasks including image classification, object detection, and instance segmentation. On all tasks, VirTex yields features that match or exceed those learned on ImageNet -supervised or unsupervised -despite using up to ten times fewer images.

自动临床标题生成问题被称为建议模型，将额叶X射线扫描与放射学记录中的结构化患者信息结合在一起。我们将两种语言模型结合在一起，即表演 - 泰尔和GPT-3，以生成全面和描述性的放射学记录。这些模型的建议组合产生了文本摘要，其中包含有关发现的病理，其位置以及将每个病理定位在原始X射线扫描中的每个病理的2D热图。提出的模型在两个医学数据集（Open-I，Mimic-CXR和通用MS-Coco）上进行了测试。用自然语言评估指标测量的结果证明了它们对胸部X射线图像字幕的有效适用性。

生物医学中的多模式数据遍布，例如放射学图像和报告。大规模解释这些数据对于改善临床护理和加速临床研究至关重要。与一般领域相比，具有复杂语义的生物医学文本在视觉建模中提出了其他挑战，并且先前的工作使用了缺乏特定领域语言理解的适应性模型不足。在本文中，我们表明，有原则的文本语义建模可以大大改善自我监督的视力 - 语言处理中的对比度学习。我们发布了一种实现最先进的语言模型，从而通过改进的词汇和新颖的语言预测客观的客观利用语义和话语特征在放射学报告中获得了自然语言推断。此外，我们提出了一种自我监督的联合视觉 - 语言方法，重点是更好的文本建模。它在广泛的公开基准上建立了新的最新结果，部分是通过利用我们新的特定领域的语言模型。我们释放了一个新的数据集，该数据集具有放射科医生的局部对齐短语接地注释，以促进生物医学视觉处理中复杂语义建模的研究。广泛的评估，包括在此新数据集中，表明我们的对比学习方法在文本语义建模的帮助下，尽管仅使用了全球对准目标，但在细分任务中的表现都优于细分任务中的先验方法。

预训练为深入学习支持的X线射线分析中最近的成功奠定了基础。它通过在源域上进行大规模完全监督或自我监督的学习来学习可转移的图像表示。然而，监督的预培训需要复杂和劳动密集的两级人类辅助注释过程，而自我监督的学习不能与监督范例竞争。为了解决这些问题，我们提出了一个跨监督的方法，命名为审查监督（指的）的自由文本报告，该报告从射线照相中获取来自原始放射学报告的自由监督信号。该方法采用了视觉变压器，旨在从每个患者研究中的多种视图中学习联合表示。在极其有限的监督下，引用其在4个众所周知的X射线数据集上的转移学习和自我监督学习对应。此外，甚至是基于具有人辅助结构标签的射线照相的源区的甚至超越方法。因此，有可能取代规范的预训练方法。

转移学习已成为减轻医疗分类任务中缺乏标记数据的标准做法。虽然FineEning使用受监督的想象佩尔预押的下游任务预磨损的功能是简单的，并且在许多作品中进行了广泛的调查，但对自我监督预测的有用性很少有研究。在本文中，我们评估了通过从三种自我监督技术（SIMCLR，SWAV和DINO）对所选医疗分类任务的三种自我监控技术（SIMCLRR，SWAV和DINO）初始化的模型的性能来评估想象成自我监督的可转换性。所选择的任务涵盖Sentinel腋窝淋巴结图像中的肿瘤检测，眼底图像中的糖尿病视网膜病变分类以及胸部X射线图像中的多种病理条件分类。我们展示了自我监督的佩戴模型产生比其监督对应物更丰富的嵌入式，这鉴于线性评估和FineTuning均有益处下游任务。例如，考虑到在织物上的数据的线性评估，我们在糖尿病视网膜病变分类任务中看到高达14.79％的提高，肿瘤分类任务中的5.4％，肺炎中的7.03％AUC检测和9.4％的AUC在胸部X射线的病理条件下检测。此外，我们将动态视觉元嵌入（DVME）引入端到端的转移学习方法，融合来自多种型号的佩尔净化的嵌入物。我们表明，与使用单个掠过的模型方法相比，DVME获得的集体表示导致所选任务的性能的显着改进，并且可以推广到预磨料模型的任何组合。

已经证明对比学习有效地对未标记数据的预训练图像模型有效，并且有希望的医学图像分类等任务的结果。在预训练期间使用配对文本和图像（例如放射性报告和图像）甚至进一步改善了结果。尽管如此，大多数现有方法将图像分类为下游任务，并且对于像语义分割或物体检测等本地化任务可能不是最佳的。因此，我们提出了从愿景和文本（Lovt）的局部代表学习，以实现我们最佳知识，这是针对本地化医学成像任务的第一种文本监督的预训练方法。我们的方法将实例级图像报告对比学习与图像区域和报告句子表示的局部对比学习结合起来。我们评估LOVT和常用的预培训方法，这些评估框架是由五个公共数据集的胸部X光上的18个本地化任务组成的新评估框架。虽然没有单一的最佳方法，但是，在18个研究的任务中，Lovt在11个中最佳地表现出优选的选择本地化任务的首选方法。

探索大规模预处理的基础模型对计算机视觉具有重大兴趣，因为这些模型可以快速转移到许多下游任务中。本文介绍了对比字幕（COCA），这是一种极简主义的设计，旨在为图像文本编码器编码器基础模型预算与对比度损失和字幕损失，从而从剪辑和诸如simvlm之类的生成方法之类的对比方法中包含模型能力。与所有解码器层都参与编码器输出的标准编码器 - 模块变压器相反，可口可乐省略了解码器层的上半部分的交叉注意，以编码单峰文本表示，并串联到剩余的解码器层，这些解码器与图像编码器相交的解码器层多模式图像文本表示。除了对多模态解码器输出的字幕损失外，我们还应用了单峰图像和文本嵌入之间的对比损失，该输出可以预测文本令牌自动加压。通过共享相同的计算图，可以用最小的开销有效地计算两个培训目标。可口可乐是端到端和从头开始的网络尺度alt-text数据和带注释的图像，通过将所有标签视为文本，无缝地统一自然语言监督以进行表示。从经验上讲，可口可乐通过零拍传输或在广泛的下游任务上进行零摄像转移或最少的特定任务适应，跨越视觉识别（Imagenet，Kinetics-400/600/700，瞬间， ），交叉模式检索（MSCOCO，FLICKR30K，MSR-VTT），多模式理解（VQA，SNLI-VE，NLVR2）和图像字幕（MSCOCO，NOCAPS）。值得注意的是，在Imagenet分类方面，COCA获得了86.3％的TOP-1准确性，带有冷冻编码器和学习的分类头90.6％，以及带有填充编码器的Imagenet上的新最先进的91.0％Top-1 Top-1精度。

医疗报告的生成是一项具有挑战性的任务，因为它耗时，需要经验丰富的放射科医生的专业知识。医疗报告生成的目的是准确捕获和描述图像发现。先前的作品在不同域中使用大型数据集预处理其视觉编码神经网络，这些数据集无法在特定的医疗领域中学习一般的视觉表示。在这项工作中，我们提出了一个医学报告生成框架，该框架使用对比度学习方法来预处理视觉编码器，并且不需要其他元信息。此外，我们在对比度学习框架中采用肺部分割作为增强方法。该分割指导网络专注于编码肺部区域内的视觉特征。实验结果表明，所提出的框架可以在定量和定性上提高生成的医疗报告的性能和质量。

最近，许多研究表明，通过使用多模式的训练预训练目标扩展BERT体系结构，在各种视觉语言多模式任务（例如图像字幕和视觉问题）上进行了令人印象深刻的表现。在这项工作中，我们探讨了医学领域中的一系列多模式表示任务，专门使用放射学图像和非结构化报告。我们提出了医学视觉语言学习者（MEDVILL），该语言学习者采用基于BERT的建筑与一种新型的多模式注意掩盖方案相结合，以最大程度地提高概括性能，以实现视力语言理解任务（诊断分类，医疗图像报告，医学视觉，医疗视觉效果问答）和视觉生成任务（放射学报告生成）。通过统计和严格评估四个下游任务的拟议模型，该模型具有三个X光摄影图像报告数据集（Mimic-CXR，Open-I和VQA-RAD），我们从经验上凭经验证明了MEDVILL的卓越下游任务，包括各种基准，包括任务 - 特定体系结构。源代码可公开可用：https：//github.com/supersupermoon/medvill

胸部射线照相是一种相对便宜，广泛的医疗程序，可传达用于进行诊断决策的关键信息。胸部X射线几乎总是用于诊断呼吸系统疾病，如肺炎或最近的Covid-19。在本文中，我们提出了一个自我监督的深神经网络，其在未标记的胸部X射线数据集上掠夺。学习的陈述转移到下游任务 - 呼吸系统疾病的分类。在四个公共数据集获得的结果表明，我们的方法在不需要大量标记的培训数据的情况下产生竞争力。

每年医生对患者的基于形象的诊断需求越来越大，是最近的人工智能方法可以解决的问题。在这种情况下，我们在医学图像的自动报告领域进行了调查，重点是使用深神经网络的方法，了解：（1）数据集，（2）架构设计，（3）解释性和（4）评估指标。我们的调查确定了有趣的发展，也是留下挑战。其中，目前对生成的报告的评估尤为薄弱，因为它主要依赖于传统的自然语言处理（NLP）指标，这不准确地捕获医疗正确性。

大多数深度学习算法都缺乏对其预测的解释，这限制了其在临床实践中的部署。改善解释性的方法，尤其是在医学成像中，经常被证明可以传达有限的信息，过于放心或缺乏健壮性。在这项工作中，我们介绍了生成自然语言解释（NLE）的任务，以证明对医学图像的预测是合理的。NLE是人类友好且全面的，并能够培训本质上可解释的模型。为了实现这一目标，我们介绍了模仿 - nle，这是带有NLE的第一个大规模的医学成像数据集。它包含超过38,000个NLE，可以解释各种胸部病理和胸部X射线检查结果。我们提出了一种解决任务并评估该数据集中的几个架构的一般方法，包括通过临床医生评估。

医疗报告生成，旨在自动产生对特定医学形象的长期和连贯的报告，一直受到越来越多的研究兴趣。现有方法主要采用受监督的方式和大量依赖耦合图像报告对。但是，在医疗领域，建立大规模的图像报告配对数据集既耗时又昂贵。为了放宽对配对数据的依赖性，我们提出了一个无人监督的模型知识图形自动编码器（KGAE），它接受独立的图像集和报告。 KGAE由预构建的知识图形，知识驱动的编码器和知识驱动的解码器组成。知识图形作为桥接视觉和文本域的共享潜在空间;知识驱动的编码器将医学图像和报告报告到该潜在空间中的相应坐标，并且知识驱动的解码器在此空间中给出了坐标的医疗报告。由于知识驱动的编码器和解码器可以用独立的图像和报告培训，因此kgae是无监督的。实验表明，未经审计的KGAE在不使用任何图像报告培训对的情况下产生所需的医疗报告。此外，KGAE还可以在半监督和监督的环境中工作，并在培训中接受配对图像和报告。通过使用图像报告对进行进一步微调，KGAE始终如一地优于两个数据集上的当前最先进的模型。

放射学报告是非结构化的，并包含由放射科医生转录的成像发现和相应的诊断，包括临床事实和否定和/或不确定的陈述。从放射学报告中提取病理发现和诊断对于质量控制，人口健康和监测疾病进展至关重要。现有的作品，主要依赖于基于规则的系统或基于变压器的预训练模型微调，但不能考虑事实和不确定的信息，因此产生假阳性输出。在这项工作中，我们介绍了三种宗旨的增强技术，在产生了对比学习的增强时保留了事实和关键信息。我们介绍了Radbert-Cl，通过自我监督的对比损失将这些信息融入蓝莓。我们对MIMIC-CXR的实验显示了RADBERT-CL在多级多标签报告分类的微调上的卓越性能。我们说明，当有很少有标记的数据时，Radbert-Cl以常规的SOTA变压器（BERT / Bluebert）优于更大的边缘（6-11％）。我们还表明，Radbert-CL学习的表示可以在潜伏空间中捕获关键的医疗信息。

Pretraining is a dominant paradigm in computer vision. Generally, supervised ImageNet pretraining is commonly used to initialize the backbones of person re-identification (Re-ID) models. However, recent works show a surprising result that CNN-based pretraining on ImageNet has limited impacts on Re-ID system due to the large domain gap between ImageNet and person Re-ID data. To seek an alternative to traditional pretraining, here we investigate semantic-based pretraining as another method to utilize additional textual data against ImageNet pretraining. Specifically, we manually construct a diversified FineGPR-C caption dataset for the first time on person Re-ID events. Based on it, a pure semantic-based pretraining approach named VTBR is proposed to adopt dense captions to learn visual representations with fewer images. We train convolutional neural networks from scratch on the captions of FineGPR-C dataset, and then transfer them to downstream Re-ID tasks. Comprehensive experiments conducted on benchmark datasets show that our VTBR can achieve competitive performance compared with ImageNet pretraining - despite using up to 1.4x fewer images, revealing its potential in Re-ID pretraining.

为医学图像评估构建准确和强大的人工智能系统，不仅需要高级深度学习模型的研究和设计，还需要创建大型和策划的注释训练示例。然而，构造这种数据集通常非常昂贵 - 由于注释任务的复杂性和解释医学图像所需的高度专业知识（例如，专家放射科医师）。为了对此限制来说，我们提出了一种基于对比学习和在线特征聚类的丰富图像特征自我监督学习方法。为此目的，我们利用各种方式的大超过100,000,000个医学图像的大型训练数据集，包括放射线照相，计算机断层扫描（CT），磁共振（MR）成像和超声检查。我们建议使用这些功能来指导在各种下游任务的监督和混合自我监督/监督制度的模型培训。我们突出了这种策略对射线照相，CT和MR：1的挑战性图像评估问题的许多优点，与最先进的（例如，检测3-7％的AUC升压为3-7％胸部射线照相扫描的异常和脑CT的出血检测）; 2）与使用无预先训练（例如，83％，在培训MR扫描MR扫描中的脑转移的模型时，在训练期间训练期间的模型收敛在训练期间的培训期高达85％。 3）对各种图像增强的鲁棒性增加，例如在场中看到的数据变化的强度变化，旋转或缩放反射。

从X射线图像中自动生成医疗报告可以帮助放射科医生执行耗时但重要的报告任务。然而，实现临床准确的生成报告仍然具有挑战性。发现使用知识图方法对潜在异常进行建模有望在提高临床准确性方面。在本文中，我们介绍了一种新型的罚款颗粒知识图结构，称为属性异常图（ATAG）。 ATAG由互连的异常节点和属性节点组成，使其可以更好地捕获异常细节。与手动构建异常图的现有方法相反，我们提出了一种方法，以根据注释，X射线数据集中的医疗报告和Radlex放射线词典自动构建细粒度的图形结构。然后，我们将使用深层模型与用编码器架构结构进行报告的ATAG嵌入。特别是，探索了图表网络以编码异常及其属性之间的关系。采用门控机制并将其与各种解码器整合在一起。我们根据基准数据集进行了广泛的实验，并表明基于ATAG的深层模型优于SOTA方法，并可以提高生成报告的临床准确性。

The chest X-ray is one of the most commonly accessible radiological examinations for screening and diagnosis of many lung diseases. A tremendous number of X-ray imaging studies accompanied by radiological reports are accumulated and stored in many modern hospitals' Picture Archiving and Communication Systems (PACS). On the other side, it is still an open question how this type of hospital-size knowledge database containing invaluable imaging informatics (i.e., loosely labeled) can be used to facilitate the data-hungry deep learning paradigms in building truly large-scale high precision computer-aided diagnosis (CAD) systems.In this paper, we present a new chest X-ray database, namely "ChestX-ray8", which comprises 108,948 frontalview X-ray images of 32,717 unique patients with the textmined eight disease image labels (where each image can have multi-labels), from the associated radiological reports using natural language processing. Importantly, we demonstrate that these commonly occurring thoracic diseases can be detected and even spatially-located via a unified weaklysupervised multi-label image classification and disease localization framework, which is validated using our proposed dataset. Although the initial quantitative results are promising as reported, deep convolutional neural network based "reading chest X-rays" (i.e., recognizing and locating the common disease patterns trained with only image-level labels) remains a strenuous task for fully-automated high precision CAD systems.