放射学报告是非结构化的,并包含由放射科医生转录的成像发现和相应的诊断,包括临床事实和否定和/或不确定的陈述。从放射学报告中提取病理发现和诊断对于质量控制,人口健康和监测疾病进展至关重要。现有的作品,主要依赖于基于规则的系统或基于变压器的预训练模型微调,但不能考虑事实和不确定的信息,因此产生假阳性输出。在这项工作中,我们介绍了三种宗旨的增强技术,在产生了对比学习的增强时保留了事实和关键信息。我们介绍了Radbert-Cl,通过自我监督的对比损失将这些信息融入蓝莓。我们对MIMIC-CXR的实验显示了RADBERT-CL在多级多标签报告分类的微调上的卓越性能。我们说明,当有很少有标记的数据时,Radbert-Cl以常规的SOTA变压器(BERT / Bluebert)优于更大的边缘(6-11%)。我们还表明,Radbert-CL学习的表示可以在潜伏空间中捕获关键的医疗信息。
translated by 谷歌翻译
Deep neural networks have been successfully adopted to diverse domains including pathology classification based on medical images. However, large-scale and high-quality data to train powerful neural networks are rare in the medical domain as the labeling must be done by qualified experts. Researchers recently tackled this problem with some success by taking advantage of models pre-trained on large-scale general domain data. Specifically, researchers took contrastive image-text encoders (e.g., CLIP) and fine-tuned it with chest X-ray images and paired reports to perform zero-shot pathology classification, thus completely removing the need for pathology-annotated images to train a classification model. Existing studies, however, fine-tuned the pre-trained model with the same contrastive learning objective, and failed to exploit the multi-labeled nature of medical image-report pairs. In this paper, we propose a new fine-tuning strategy based on sentence sampling and positive-pair loss relaxation for improving the downstream zero-shot pathology classification performance, which can be applied to any pre-trained contrastive image-text encoders. Our method consistently showed dramatically improved zero-shot pathology classification performance on four different chest X-ray datasets and 3 different pre-trained models (5.77% average AUROC increase). In particular, fine-tuning CLIP with our method showed much comparable or marginally outperformed to board-certified radiologists (0.619 vs 0.625 in F1 score and 0.530 vs 0.544 in MCC) in zero-shot classification of five prominent diseases from the CheXpert dataset.
translated by 谷歌翻译
生物医学中的多模式数据遍布,例如放射学图像和报告。大规模解释这些数据对于改善临床护理和加速临床研究至关重要。与一般领域相比,具有复杂语义的生物医学文本在视觉建模中提出了其他挑战,并且先前的工作使用了缺乏特定领域语言理解的适应性模型不足。在本文中,我们表明,有原则的文本语义建模可以大大改善自我监督的视力 - 语言处理中的对比度学习。我们发布了一种实现最先进的语言模型,从而通过改进的词汇和新颖的语言预测客观的客观利用语义和话语特征在放射学报告中获得了自然语言推断。此外,我们提出了一种自我监督的联合视觉 - 语言方法,重点是更好的文本建模。它在广泛的公开基准上建立了新的最新结果,部分是通过利用我们新的特定领域的语言模型。我们释放了一个新的数据集,该数据集具有放射科医生的局部对齐短语接地注释,以促进生物医学视觉处理中复杂语义建模的研究。广泛的评估,包括在此新数据集中,表明我们的对比学习方法在文本语义建模的帮助下,尽管仅使用了全球对准目标,但在细分任务中的表现都优于细分任务中的先验方法。
translated by 谷歌翻译
Edema is a common symptom of kidney disease, and quantitative measurement of edema is desired. This paper presents a method to estimate the degree of edema from facial images taken before and after dialysis of renal failure patients. As tasks to estimate the degree of edema, we perform pre- and post-dialysis classification and body weight prediction. We develop a multi-patient pre-training framework for acquiring knowledge of edema and transfer the pre-trained model to a model for each patient. For effective pre-training, we propose a novel contrastive representation learning, called weight-aware supervised momentum contrast (WeightSupMoCo). WeightSupMoCo aims to make feature representations of facial images closer in similarity of patient weight when the pre- and post-dialysis labels are the same. Experimental results show that our pre-training approach improves the accuracy of pre- and post-dialysis classification by 15.1% and reduces the mean absolute error of weight prediction by 0.243 kg compared with training from scratch. The proposed method accurately estimate the degree of edema from facial images; our edema estimation system could thus be beneficial to dialysis patients.
translated by 谷歌翻译
每年医生对患者的基于形象的诊断需求越来越大,是最近的人工智能方法可以解决的问题。在这种情况下,我们在医学图像的自动报告领域进行了调查,重点是使用深神经网络的方法,了解:(1)数据集,(2)架构设计,(3)解释性和(4)评估指标。我们的调查确定了有趣的发展,也是留下挑战。其中,目前对生成的报告的评估尤为薄弱,因为它主要依赖于传统的自然语言处理(NLP)指标,这不准确地捕获医疗正确性。
translated by 谷歌翻译
除了主要的诊断目的之外,放射学报告一直是医学研究中的宝贵信息来源。鉴于放射学报告的语料,研究人员往往有兴趣识别描述特定医疗发现的报告子集。由于放射学报告中的医学发现的空间是巨大的并且可能是无限的,最近的研究提出了在放射学报告中的自由文本陈述,从有限词汇中采取的半结构化串。本文旨在提出一种方法,用于自动生成放射学报告的半结构化表示。该方法包括匹配从放射学报告的句子来手动创建半结构化表示,然后学习序列到序列神经模型,将匹配的句子映射到它们的半结构化表示。我们在手动注释的胸部X射线放射学报告的Openi语料上进行了评估了所提出的方法。结果表明,所提出的方法优于几个基线,无论如何(1)诸如BLEU,RUEGE和流星等定量措施和放射科学家的定性判断。结果还表明,培训的模型对来自不同医疗提供者的胸X射线放射学报告的样本型语料库产生合理的半结构化表示。
translated by 谷歌翻译
学习医学图像的视觉表示(例如X射线)是医学图像理解的核心,但由于人类注释的稀缺性,其进步已经阻止了它。现有的工作通常依赖于从成像网预处理传输的微调权重,由于图像特征截然不同,这是次优的,或者是从文本报告数据与医学图像配对的基于规则的标签提取,这是不准确的,难以推广。同时,最近的几项研究表明,从自然图像中学习的对比度学习令人兴奋,但由于它们的高层间相似性,我们发现这些方法对医学图像无济于事。我们提出了Concirt,这是一种替代的无监督策略,通过利用自然存在的配对描述性文本来学习医学视觉表示。我们通过两种模式之间的双向对比度目标对医学图像进行预处理编码的新方法是域,无关,不需要其他专家输入。我们通过将预处理的权重转移到4个医学图像分类任务和2个零射击检索任务中来测试交通,并证明它导致图像表示,在大多数设置中,它们都超过了强大的基线。值得注意的是,在所有4个分类任务中,我们的方法仅需要10 \%标记的培训数据与成像网初始化的对应物,以实现更好或可比的性能,从而证明了卓越的数据效率。
translated by 谷歌翻译
高质量注释的医学成像数据集的稀缺性是一个主要问题,它与医学成像分析领域的机器学习应用相撞并阻碍了其进步。自我监督学习是一种最近的培训范式,可以使学习强大的表示无需人类注释,这可以被视为有效的解决方案,以解决带注释的医学数据的稀缺性。本文回顾了自我监督学习方法的最新研究方向,用于图像数据,并将其专注于其在医学成像分析领域的应用。本文涵盖了从计算机视野领域的最新自我监督学习方法,因为它们适用于医学成像分析,并将其归类为预测性,生成性和对比性方法。此外,该文章涵盖了40个在医学成像分析中自学学习领域的最新研究论文,旨在阐明该领域的最新创新。最后,本文以该领域的未来研究指示结束。
translated by 谷歌翻译
在深度学习方法进行自动医学图像分析的最新成功之前,从业者使用手工制作的放射线特征来定量描述当地的医学图像斑块。但是,提取区分性放射素特征取决于准确的病理定位,这在现实世界中很难获得。尽管疾病分类和胸部X射线的定位方面取得了进步,但许多方法未能纳入临床知名的领域知识。由于这些原因,我们提出了一个放射素引导的变压器(RGT),该变压器(RGT)与\ textit {global}图像信息与\ textit {local}知识引导的放射线信息信息提供准确的心肺病理学定位和分类\ textit {无需任何界限盒{ }。 RGT由图像变压器分支,放射线变压器分支以及聚集图像和放射线信息的融合层组成。 RGT使用对图像分支的自我注意事项,提取了一个边界框来计算放射线特征,该特征由放射线分支进一步处理。然后通过交叉注意层融合学习的图像和放射线特征。因此,RGT利用了一种新型的端到端反馈回路,该回路只能使用图像水平疾病标签引导精确的病理定位。 NIH CHESTXRAR数据集的实验表明,RGT的表现优于弱监督疾病定位的先前作品(在各个相交联合阈值的平均余量为3.6 \%)和分类(在接收器操作方下平均1.1 \%\%\%\%曲线)。接受代码和训练有素的模型将在接受后发布。
translated by 谷歌翻译
自我监督的对比表示学习提供了从未标记的医学数据集中学习有意义的视觉表示的优势,以进行转移学习。但是,将当前的对比度学习方法应用于医疗数据而不考虑其特定区域的解剖学特征可能会导致视觉表示,这些视觉表示在外观和语义上是不一致的。在本文中,我们建议通过解剖学对比度学习(AWCL)改善医学图像的视觉表示,该学习结合了解剖学信息,以以对比度学习方式增强正/阴性对采样。为自动化的胎儿超声成像任务展示了所提出的方法,从而使从解剖学上相似的相同或不同的超声扫描实现了正对,这些扫描在解剖学上相似,可以将其拉在一起,从而改善了表示的学习。我们从经验上研究了与粗粒和细粒度的粒度纳入解剖信息的效果,以进行对比学习,并发现使用细粒度的解剖学信息的学习能够保留阶层内差异比其对应物更有效。我们还分析了解剖比对我们的AWCL框架的影响,发现使用更独特但解剖学上的样品构成阳性对的影响会带来更好的质量表示。大规模胎儿超声数据集的实验表明,我们的方法对学习表征有效,可以很好地转移到三个临床下游任务,并且与受监督的Imagenet和当前的先进对比度学习方法相比,取得了优越的性能。特别是,在跨域分割任务上,AWCL的表现优于Imagenet监督方法,高于13.8%,基于最先进的对比度方法的方法为7.1%。
translated by 谷歌翻译
Large, labeled datasets have driven deep learning methods to achieve expert-level performance on a variety of medical imaging tasks. We present CheXpert, a large dataset that contains 224,316 chest radiographs of 65,240 patients. We design a labeler to automatically detect the presence of 14 observations in radiology reports, capturing uncertainties inherent in radiograph interpretation. We investigate different approaches to using the uncertainty labels for training convolutional neural networks that output the probability of these observations given the available frontal and lateral radiographs. On a validation set of 200 chest radiographic studies which were manually annotated by 3 board-certified radiologists, we find that different uncertainty approaches are useful for different pathologies. We then evaluate our best model on a test set composed of 500 chest radiographic studies annotated by a consensus of 5 board-certified radiologists, and compare the performance of our model to that of 3 additional radiologists in the detection of 5 selected pathologies. On Cardiomegaly, Edema, and Pleural Effusion, the model ROC and PR curves lie above all 3 radiologist operating points. We release the dataset to the public as a standard benchmark to evaluate performance of chest radiograph interpretation models. 1
translated by 谷歌翻译
学习高质量的对话表示对于解决各种面向对话的任务至关重要,尤其是考虑到对话系统通常会遇到数据稀缺。在本文中,我们介绍了对话句子嵌入(DSE),这是一种自我监督的对比学习方法,它学习有效的对话表示,适合各种对话任务。 DSE通过连续进行与对比度学习的正面对话的连续对话来从对话中学习。尽管它很简单,但DSE的表现能力比其他对话表示和普遍的句子表示模型要好得多。我们评估DSE的五个下游对话任务,这些任务检查了不同语义粒度的对话表示。几次射击和零射击设置的实验表明,DSE的表现要优于基线。例如,它在6个数据集中的1-Shot意图分类中比最强的无监督基线实现了13%的平均绩效提高。我们还提供了有关模型的好处和局限性的分析。
translated by 谷歌翻译
胸部射线照相是一种相对便宜,广泛的医疗程序,可传达用于进行诊断决策的关键信息。胸部X射线几乎总是用于诊断呼吸系统疾病,如肺炎或最近的Covid-19。在本文中,我们提出了一个自我监督的深神经网络,其在未标记的胸部X射线数据集上掠夺。学习的陈述转移到下游任务 - 呼吸系统疾病的分类。在四个公共数据集获得的结果表明,我们的方法在不需要大量标记的培训数据的情况下产生竞争力。
translated by 谷歌翻译
预训练为深入学习支持的X线射线分析中最近的成功奠定了基础。它通过在源域上进行大规模完全监督或自我监督的学习来学习可转移的图像表示。然而,监督的预培训需要复杂和劳动密集的两级人类辅助注释过程,而自我监督的学习不能与监督范例竞争。为了解决这些问题,我们提出了一个跨监督的方法,命名为审查监督(指的)的自由文本报告,该报告从射线照相中获取来自原始放射学报告的自由监督信号。该方法采用了视觉变压器,旨在从每个患者研究中的多种视图中学习联合表示。在极其有限的监督下,引用其在4个众所周知的X射线数据集上的转移学习和自我监督学习对应。此外,甚至是基于具有人辅助结构标签的射线照相的源区的甚至超越方法。因此,有可能取代规范的预训练方法。
translated by 谷歌翻译
自动放射学报告生成在诊所至关重要,可以缓解来自繁重的工作量的经验丰富的放射科医师,并提醒缺乏误诊或错过诊断的缺乏经验的放射科学家。现有方法主要将放射学报告生成作为图像标题任务,采用编码器解码器框架。但是,在医学领域,这种纯数据驱动方法遭受以下问题:1)视觉和文本偏差问题; 2)缺乏专家知识。在本文中,我们提出了一种知识增强的放射学报告生成方法,介绍了两种类型的医学知识:1)一般知识,这是输入的独立知识,并为报告生成提供了广泛的知识; 2)特定知识,其输入依赖并为报告生成提供了细粒度的知识。为了充分利用一般和具体知识,我们还提出了一种知识增强的多主题注意机制。通过利用一般知识和特定知识来利用放射线图像的视觉特征,所提出的模型可以提高所生成的报告的质量。两种公共数据集IU-X射线和模拟CXR的实验结果表明,所提出的知识增强方法优于基于最先进的图像标题的方法。消融研究还表明,一般和具体知识都可以有助于提高放射学报告生成的表现。
translated by 谷歌翻译
医疗报告的生成是一项具有挑战性的任务,因为它耗时,需要经验丰富的放射科医生的专业知识。医疗报告生成的目的是准确捕获和描述图像发现。先前的作品在不同域中使用大型数据集预处理其视觉编码神经网络,这些数据集无法在特定的医疗领域中学习一般的视觉表示。在这项工作中,我们提出了一个医学报告生成框架,该框架使用对比度学习方法来预处理视觉编码器,并且不需要其他元信息。此外,我们在对比度学习框架中采用肺部分割作为增强方法。该分割指导网络专注于编码肺部区域内的视觉特征。实验结果表明,所提出的框架可以在定量和定性上提高生成的医疗报告的性能和质量。
translated by 谷歌翻译
对比学习被出现为强大的代表学习方法,促进各种下游任务,特别是当监督数据有限时。如何通过数据增强构建有效的对比样本是其成功的关键。与视觉任务不同,语言任务中尚未对对比学习进行对比学习的数据增强方法。在本文中,我们提出了一种使用文本摘要构建语言任务的对比样本的新方法。我们使用这些样本进行监督的对比学习,以获得更好的文本表示,这极大地利用了具有有限注释的文本分类任务。为了进一步改进该方法,除了交叉熵损失之外,我们将从不同类中的样本混合并添加一个名为MIXSUM的额外正则化。真实世界文本分类数据集(Amazon-5,Yelp-5,AG新闻和IMDB)的实验展示了基于摘要的数据增强和MIXSUM正规化的提议对比学习框架的有效性。
translated by 谷歌翻译
关系提取(RE)是自然语言处理的基本任务。RE试图通过识别文本中的实体对之间的关系信息来将原始的,非结构化的文本转变为结构化知识。RE有许多用途,例如知识图完成,文本摘要,提问和搜索查询。RE方法的历史可以分为四个阶段:基于模式的RE,基于统计的RE,基于神经的RE和大型语言模型的RE。这项调查始于对RE的早期阶段的一些示例性作品的概述,突出了局限性和缺点,以使进度相关。接下来,我们回顾流行的基准测试,并严格检查用于评估RE性能的指标。然后,我们讨论遥远的监督,这是塑造现代RE方法发展的范式。最后,我们回顾了重点是降级和培训方法的最新工作。
translated by 谷歌翻译
对比的学习技术已广泛用于计算机视野中作为增强数据集的手段。在本文中,我们将这些对比学习嵌入的使用扩展到情绪分析任务,并证明了对这些嵌入的微调在基于BERT的嵌入物上的微调方面提供了改进,以在评估时实现更高的基准。在Dynasent DataSet上。我们还探讨了我们的微调模型在跨域基准数据集上执行的。此外,我们探索了ups采样技术,以实现更平衡的班级分发,以进一步改进我们的基准任务。
translated by 谷歌翻译
放射学报告的印象部分总结了调查结果部分中最突出的观察结果,是放射科医生与医生进行交流的最重要部分。总结发现很耗时,对于缺乏经验的放射科医生可能会出错,因此自动印象产生引起了很大的关注。通过编码器框架,大多数先前的研究都探讨了纳入额外知识(例如,静态预定义的临床本体或额外的背景信息)。然而,他们通过单独的编码器对这种知识进行编码,以将其视为其模型的额外输入,这在利用其与原始发现的关系方面受到限制。为了解决限制,我们提出了一个统一的框架,以综合的方式利用额外的知识和原始发现,以便可以以适当的方式提取关键信息(即关键词及其关系),以促进印象产生。详细说明,对于每个输入发现,它是由文本编码器编码的,并且图形是通过其实体和依赖树构造的。然后,采用图形编码器(例如,图形神经网络(GNNS))在构造的图中模拟关系信息。最后,为了强调调查结果中的关键词,引入了对比度学习以映射正面样本(通过掩盖非钥匙单词构建)更紧密,并将负面的样本推开(通过掩盖关键词构建)。 Openi和Mimic-CXR的实验结果证实了我们提出的方法的有效性。
translated by 谷歌翻译