在分析筛查乳房X线照片时,放射科医生可以自然处理每个乳房的两个同侧视图,即颅底审计(CC)和中外侧 - 粘合剂(MLO)视图。这些多个相关图像提供了互补的诊断信息,并可以提高放射科医生的分类准确性。不幸的是,大多数现有的深度学习系统,受过全球标记的图像培训,缺乏从这些多种观点中共同分析和整合全球和本地信息的能力。通过忽略筛选发作的多个图像中存在的潜在有价值的信息,人们限制了这些系统的潜在准确性。在这里,我们提出了一种新的多视图全球分析方法,该方法基于全球一致性学习和对乳房X线照片中同侧观点的局部同时学习,模仿放射科医生的阅读程序。广泛的实验表明,在大规模的私人数据集和两个公开可用的数据集上,我们的模型在分类准确性和概括方面优于竞争方法,在该数据集和两个公开可用的数据集上,模型仅受到全球标签的培训和测试。
translated by 谷歌翻译
最先进的(SOTA)深度学习乳房X线照片分类器接受了弱标记的图像训练,通常依赖于产生有限解释性预测的全球模型,这是他们成功地转化为临床实践的关键障碍。另一方面,基于原型的模型通过将预测与训练图像原型相关联,改善了可解释性,但是它们的准确性不如全球模型,其原型往往具有差的多样性。我们通过BraixProtopnet ++的建议解决了这两个问题,该问题通过将基于原型的模型结合起来,为全局模型增添了解释性。 BraixProtopnet ++在训练基于原型的模型以提高合奏的分类精度时,会提炼全局模型的知识。此外,我们提出了一种方法来通过保证所有原型都与不同的训练图像相关联,以增加原型多样性。对弱标记的私人和公共数据集进行的实验表明,BraixProtopnet ++的分类精度比基于SOTA Global和基于原型的模型具有更高的分类精度。使用病变定位来评估模型可解释性,我们显示BraixProtopnet ++比其他基于原型的模型和全球模型的事后解释更有效。最后,我们表明,BraixProtopnet ++学到的原型的多样性优于基于SOTA原型的方法。
translated by 谷歌翻译
机器学习和深度学习方法对医学的计算机辅助预测成为必需的,在乳房X光检查领域也具有越来越多的应用。通常,这些算法训练,针对特定任务,例如,病变的分类或乳房X乳线图的病理学状态的预测。为了获得患者的综合视图,随后整合或组合所有针对同一任务培训的模型。在这项工作中,我们提出了一种管道方法,我们首先培训一组个人,任务特定的模型,随后调查其融合,与标准模型合并策略相反。我们使用混合患者模型的深度学习模型融合模型预测和高级功能,以在患者水平上构建更强的预测因子。为此,我们提出了一种多分支深度学习模型,其跨不同任务和乳房X光检查有效地融合了功能,以获得全面的患者级预测。我们在公共乳房X线摄影数据,即DDSM及其策划版本CBIS-DDSM上培训并评估我们的全部管道,并报告AUC评分为0.962,以预测任何病变和0.791的存在,以预测患者水平对恶性病变的存在。总体而言,与标准模型合并相比,我们的融合方法将显着提高AUC得分高达0.04。此外,通过提供与放射功能相关的特定于任务的模型结果,提供了与放射性特征相关的任务特定模型结果,我们的管道旨在密切支持放射科学家的阅读工作流程。
translated by 谷歌翻译
深度卷积神经网络(CNN)已被广泛用于各种医学成像任务。但是,由于卷积操作的内在局部性,CNN通常不能很好地对远距离依赖性进行建模,这对于准确识别或映射从未注册的多个乳房X线照片计算出的相应乳腺病变特征很重要。这促使我们利用多视觉视觉变形金刚的结构来捕获一项检查中同一患者的多个乳房X线照片的远程关系。为此,我们采用局部变压器块来分别学习从两侧(右/左)乳房的两视图(CC/MLO)获得的四个乳房X线照片中。来自不同视图和侧面的输出被串联并馈入全球变压器块,以共同学习四个代表左乳房和右乳房两种不同视图的图像之间的贴片关系。为了评估提出的模型,我们回顾性地组装了一个涉及949套乳房X线照片的数据集,其中包括470例恶性病例和479例正常情况或良性病例。我们使用五倍的交叉验证方法训练和评估了模型。没有任何艰苦的预处理步骤(例如,最佳的窗户裁剪,胸壁或胸肌去除,两视图图像注册等),我们的四个图像(两视频两侧)基于变压器的模型可实现案例分类性能在ROC曲线下的面积(AUC = 0.818),该区域的表现明显优于AUC = 0.784,而最先进的多视图CNN(p = 0.009)实现了0.784。它还胜过两个单方面模型,分别达到0.724(CC视图)和0.769(MLO视图)。该研究表明,使用变压器开发出高性能的计算机辅助诊断方案,这些方案结合了四个乳房X线照片。
translated by 谷歌翻译
每当有标记的图像的大型数据集可用时,深度神经模型在图像识别任务中表现出色。放射学上最大的数据集可用于筛查乳房X线摄影。最近的报告,包括在高影响期刊中,记录了受过训练的放射科医生或以上的深层模型的性能。尚不清楚的是,这些训练有素的模型的性能是否强大并在数据集中重复。在这里,我们评估了四个公开可用的乳房X线摄影数据集上五个已发表的最先进模型的性能。公共数据集的大小有限无法重新训练该模型,因此我们只能评估那些已通过预训练参数提供的模型。在可用测试数据的地方,我们复制了已发布的结果。但是,训练有素的模型在样本外数据上的表现较差,除非基于乳房X线检查检查的所有四个标准视图。我们得出的结论是,未来的进步将取决于一致的努力,以使公开可用的更多样化和更大的乳房X线摄影数据集。同时,应谨慎判断不伴随培训的独立验证模型的结果。
translated by 谷歌翻译
Traditionally, deep learning methods for breast cancer classification perform a single-view analysis. However, radiologists simultaneously analyze all four views that compose a mammography exam, owing to the correlations contained in mammography views, which present crucial information for identifying tumors. In light of this, some studies have started to propose multi-view methods. Nevertheless, in such existing architectures, mammogram views are processed as independent images by separate convolutional branches, thus losing correlations among them. To overcome such limitations, in this paper we propose a novel approach for multi-view breast cancer classification based on parameterized hypercomplex neural networks. Thanks to hypercomplex algebra properties, our networks are able to model, and thus leverage, existing correlations between the different views that comprise a mammogram, thus mimicking the reading process performed by clinicians. The proposed methods are able to handle the information of a patient altogether without breaking the multi-view nature of the exam. We define architectures designed to process two-view exams, namely PHResNets, and four-view exams, i.e., PHYSEnet and PHYBOnet. Through an extensive experimental evaluation conducted with publicly available datasets, we demonstrate that our proposed models clearly outperform real-valued counterparts and also state-of-the-art methods, proving that breast cancer classification benefits from the proposed multi-view architectures. We also assess the method's robustness beyond mammogram analysis by considering different benchmarks, as well as a finer-scaled task such as segmentation. Full code and pretrained models for complete reproducibility of our experiments are freely available at: https://github.com/ispamm/PHBreast.
translated by 谷歌翻译
最近的一些研究描述了深层卷积神经网络,以诊断与人类专家相似甚至卓越表现的乳腺癌乳腺癌。最好的技术之一可以进行两种转移学习:第一个使用在自然图像上训练的模型来创建“补丁分类器”,该模型将小型子图表分类;第二个使用补丁分类器来扫描整个乳房X线照片并创建“单视图全图分类器”。我们建议进行第三次转移学习,以获取“两视图分类器”,以使用两种乳房X线摄影视图:双侧颅颅和中外侧倾斜。我们使用效率网络作为模型的基础。我们使用CBIS-DDSM数据集“端到端”训练整个系统。为了确保统计鲁棒性,我们使用以下方式两次测试系统,(a)5倍交叉验证; (b)数据集的原始培训/测试部门。我们的技术使用5倍的交叉验证达到0.9344的AUC(在ROC的误差率相等的误差率下,准确性,灵敏度和特异性为85.13%)。据我们所知,使用原始的数据集除法,我们的技术达到了0.8483,尽管我们知道的最高的AUC在此问题上,尽管每项工作的测试条件上的细微差异不允许进行准确的比较。推理代码和模型可在https://github.com/dpetrini/two-views-classifier上获得
translated by 谷歌翻译
高级深度学习(DL)算法可以预测患者基于乳房成像报告和数据系统(BI-RAD)和密度标准的患者发育乳腺癌的风险。最近的研究表明,多视图分析的结合改善了整体乳房考试分类。在本文中,我们提出了一种新的多视图DL方法,用于乳房X线照片的Bi-RAD和密度评估。所提出的方法首先部署深度卷积网络,用于分别对每个视图进行特征提取。然后将提取的特征堆叠并馈入光梯度升压机(LightGBM)分类器中以预测Bi-RAD和密度分数。我们对内部乳房数据集和公共数据集数字数据库进行广泛的实验,用于筛选乳房X线摄影(DDSM)。实验结果表明,所提出的方法在两个基准数据集中突出了巨大的边距(内部数据集5%,DDSM数据集10%)优于两个基准分类方法。这些结果突出了组合多视图信息来改善乳腺癌风险预测性能的重要作用。
translated by 谷歌翻译
背景:宫颈癌严重影响了女性生殖系统的健康。光学相干断层扫描(OCT)作为宫颈疾病检测的非侵入性,高分辨率成像技术。然而,OCT图像注释是知识密集型和耗时的,这阻碍了基于深度学习的分类模型的培训过程。目的:本研究旨在基于自我监督学习,开发一种计算机辅助诊断(CADX)方法来对体内宫颈OCT图像进行分类。方法:除了由卷积神经网络(CNN)提取的高电平语义特征外,建议的CADX方法利用了通过对比纹理学习来利用未标记的宫颈OCT图像的纹理特征。我们在中国733名患者的多中心临床研究中对OCT图像数据集进行了十倍的交叉验证。结果:在用于检测高风险疾病的二元分类任务中,包括高级鳞状上皮病变和宫颈癌,我们的方法实现了0.9798加号或减去0.0157的面积曲线值,灵敏度为91.17加或对于OCT图像贴片,减去4.99%,特异性为93.96加仑或减去4.72%;此外,它在测试集上的四位医学专家中表现出两种。此外,我们的方法在使用交叉形阈值投票策略的118名中国患者中达到了91.53%的敏感性和97.37%的特异性。结论:所提出的基于对比 - 学习的CADX方法表现优于端到端的CNN模型,并基于纹理特征提供更好的可解释性,其在“见和治疗”的临床协议中具有很大的潜力。
translated by 谷歌翻译
骨质疏松症是一种常见的慢性代谢骨病,通常是由于对骨矿物密度(BMD)检查有限的有限获得而被诊断和妥善治疗,例如。通过双能X射线吸收测定法(DXA)。在本文中,我们提出了一种方法来预测来自胸X射线(CXR)的BMD,最常见的和低成本的医学成像考试之一。我们的方法首先自动检测来自CXR的局部和全球骨骼结构的感兴趣区域(ROI)。然后,开发了一种具有变压器编码器的多ROI深模型,以利用胸部X射线图像中的本地和全局信息以进行准确的BMD估计。我们的方法在13719 CXR患者病例中进行评估,并通过金标准DXA测量其实际BMD评分。该模型预测的BMD与地面真理(Pearson相关系数0.889腰腰1)具有强烈的相关性。当施用骨质疏松症筛查时,它实现了高分类性能(腰腰1的AUC 0.963)。作为现场使用CXR扫描预测BMD的第一次努力,所提出的算法在早期骨质疏松症筛查和公共卫生促进中具有很强的潜力。
translated by 谷歌翻译
Automatic diabetic retinopathy (DR) grading based on fundus photography has been widely explored to benefit the routine screening and early treatment. Existing researches generally focus on single-field fundus images, which have limited field of view for precise eye examinations. In clinical applications, ophthalmologists adopt two-field fundus photography as the dominating tool, where the information from each field (i.e.,macula-centric and optic disc-centric) is highly correlated and complementary, and benefits comprehensive decisions. However, automatic DR grading based on two-field fundus photography remains a challenging task due to the lack of publicly available datasets and effective fusion strategies. In this work, we first construct a new benchmark dataset (DRTiD) for DR grading, consisting of 3,100 two-field fundus images. To the best of our knowledge, it is the largest public DR dataset with diverse and high-quality two-field images. Then, we propose a novel DR grading approach, namely Cross-Field Transformer (CrossFiT), to capture the correspondence between two fields as well as the long-range spatial correlations within each field. Considering the inherent two-field geometric constraints, we particularly define aligned position embeddings to preserve relative consistent position in fundus. Besides, we perform masked cross-field attention during interaction to flter the noisy relations between fields. Extensive experiments on our DRTiD dataset and a public DeepDRiD dataset demonstrate the effectiveness of our CrossFiT network. The new dataset and the source code of CrossFiT will be publicly available at https://github.com/FDU-VTS/DRTiD.
translated by 谷歌翻译
世界目前正在经历持续的传染病大流行病,该传染病是冠状病毒疾病2019(即covid-19),这是由严重的急性呼吸综合征冠状病毒2(SARS-COV-2)引起的。计算机断层扫描(CT)在评估感染的严重程度方面发挥着重要作用,并且还可用于识别这些症状和无症状的Covid-19载体。随着Covid-19患者的累积数量的激增,放射科医师越来越强调手动检查CT扫描。因此,自动化3D CT扫描识别工具的需求量高,因为手动分析对放射科医师耗时,并且它们的疲劳可能导致可能的误判。然而,由于位于不同医院的CT扫描仪的各种技术规范,CT图像的外观可能显着不同,导致许多自动图像识别方法的失败。因此,多域和多扫描仪研究的多域移位问题是不可能对可靠识别和可再现和客观诊断和预后至关重要的至关重要。在本文中,我们提出了Covid-19 CT扫描识别模型即Coronavirus信息融合和诊断网络(CIFD-NET),可以通过新的强大弱监督的学习范式有效地处理多域移位问题。与其他最先进的方法相比,我们的模型可以可靠,高效地解决CT扫描图像中不同外观的问题。
translated by 谷歌翻译
Deep neural networks have been successfully adopted to diverse domains including pathology classification based on medical images. However, large-scale and high-quality data to train powerful neural networks are rare in the medical domain as the labeling must be done by qualified experts. Researchers recently tackled this problem with some success by taking advantage of models pre-trained on large-scale general domain data. Specifically, researchers took contrastive image-text encoders (e.g., CLIP) and fine-tuned it with chest X-ray images and paired reports to perform zero-shot pathology classification, thus completely removing the need for pathology-annotated images to train a classification model. Existing studies, however, fine-tuned the pre-trained model with the same contrastive learning objective, and failed to exploit the multi-labeled nature of medical image-report pairs. In this paper, we propose a new fine-tuning strategy based on sentence sampling and positive-pair loss relaxation for improving the downstream zero-shot pathology classification performance, which can be applied to any pre-trained contrastive image-text encoders. Our method consistently showed dramatically improved zero-shot pathology classification performance on four different chest X-ray datasets and 3 different pre-trained models (5.77% average AUROC increase). In particular, fine-tuning CLIP with our method showed much comparable or marginally outperformed to board-certified radiologists (0.619 vs 0.625 in F1 score and 0.530 vs 0.544 in MCC) in zero-shot classification of five prominent diseases from the CheXpert dataset.
translated by 谷歌翻译
青光眼是最严重的眼部疾病之一,其特征是快速进展,导致不可逆的失明。通常,由于疾病早期缺乏明显的症状,人们的视力已经显着降解时,进行诊断。人口的常规青光眼筛查应改善早期检测,但是,由于手动诊断对有限的专家施加的过多负载,词源检查的理想频率通常是不可行的。考虑到检测青光眼的基本方法是分析视轴与光检查比率的底面图像,机器学习算法可以为图像处理和分类提供复杂的方法。在我们的工作中,我们提出了一种先进的图像预处理技术,并结合了深层分类模型的多视图网络,以对青光眼进行分类。我们的青光眼自动化视网膜检测网络(Gardnet)已在鹿特丹Eyepacs Airogs数据集上成功测试,AUC为0.92,然后在RIM-ONE DL数据集上进行了微调,并在AUC上进行了测试,并在AUC上胜过0.9308的AUC。 - 0.9272。我们的代码将在接受后在GitHub上提供。
translated by 谷歌翻译
基于深度学习的计算机辅助检测系统在乳腺癌检测中表现出良好的性能。但是,高密度的乳房显示出较差的检测性能,因为密集组织可以掩盖甚至模拟质量。因此,乳腺癌检测的敏感性可在致密乳房中降低20%以上。此外,与低密度乳房相比,极度致密的病例报告说,患癌症的风险增加。这项研究旨在使用合成高密度的全场数字乳房X线照片(FFDM)作为乳腺质量检测模型训练期间的数据增强来提高高密度乳房的质量检测性能。为此,对使用三个FFDM数据集进行了五个周期一致的GAN(CycleGAN)模型,以高分辨率乳房X线照片中的低密度图像翻译进行了训练。训练图像是由乳房密度双拉德类别分开的,几乎是脂肪的脂肪,双刺是乳房的乳房。我们的结果表明,所提出的数据增强技术在两个不同的测试集中提高了高密度乳房中质量检测的敏感性和精度,并将其作为域适应技术有用。此外,在一项涉及两名专家放射科医生和一名外科肿瘤学家的读者研究中评估了合成图像的临床现实主义。
translated by 谷歌翻译
肺癌是全球癌症死亡的主要原因,肺腺癌是最普遍的肺癌形式。 EGFR阳性肺腺癌已被证明对TKI治疗的反应率很高,这是肺癌分子测试的基本性质。尽管目前的指南考虑必要测试,但很大一部分患者并未常规化,导致数百万的人未接受最佳治疗肺癌。测序是EGFR突变分子测试的黄金标准,但是结果可能需要数周的时间才能回来,这在时间限制的情况下并不理想。能够快速,便宜地检测EGFR突变的替代筛查工具的开发,同时保存组织以进行测序可以帮助减少受比较治疗的患者的数量。我们提出了一种多模式方法,该方法将病理图像和临床变量整合在一起,以预测EGFR突变状态,迄今为止最大的临床队列中的AUC为84%。这样的计算模型可以以很少的额外成本进行大部分部署。它的临床应用可以减少中国接受亚最佳治疗的患者数量53.1%,在美国将高达96.6%的患者减少96.6%。
translated by 谷歌翻译
预训练为深入学习支持的X线射线分析中最近的成功奠定了基础。它通过在源域上进行大规模完全监督或自我监督的学习来学习可转移的图像表示。然而,监督的预培训需要复杂和劳动密集的两级人类辅助注释过程,而自我监督的学习不能与监督范例竞争。为了解决这些问题,我们提出了一个跨监督的方法,命名为审查监督(指的)的自由文本报告,该报告从射线照相中获取来自原始放射学报告的自由监督信号。该方法采用了视觉变压器,旨在从每个患者研究中的多种视图中学习联合表示。在极其有限的监督下,引用其在4个众所周知的X射线数据集上的转移学习和自我监督学习对应。此外,甚至是基于具有人辅助结构标签的射线照相的源区的甚至超越方法。因此,有可能取代规范的预训练方法。
translated by 谷歌翻译
We propose a novel deep neural network architecture to learn interpretable representation for medical image analysis. Our architecture generates a global attention for region of interest, and then learns bag of words style deep feature embeddings with local attention. The global, and local feature maps are combined using a contemporary transformer architecture for highly accurate Gallbladder Cancer (GBC) detection from Ultrasound (USG) images. Our experiments indicate that the detection accuracy of our model beats even human radiologists, and advocates its use as the second reader for GBC diagnosis. Bag of words embeddings allow our model to be probed for generating interpretable explanations for GBC detection consistent with the ones reported in medical literature. We show that the proposed model not only helps understand decisions of neural network models but also aids in discovery of new visual features relevant to the diagnosis of GBC. Source-code and model will be available at https://github.com/sbasu276/RadFormer
translated by 谷歌翻译
深度学习模型的培训通常需要大量的注释数据,以实现有效的收敛和泛化。然而,获得高质量的注释是一种借鉴和昂贵的过程,因为需要专家放射科学家进行标签任务。在医学图像分析中的半监督学习的研究是至关重要的,因为获得未标记的图像的昂贵比以获得专家放射科医师标记的图像更便宜。基本上,半监督方法利用大量未标记的数据来实现比仅使用小组标记图像更好的训练收敛和泛化。在本文中,我们提出了自我监督的平均教师进行半监督(S $ ^ 2 $ MTS $ ^ 2 $)学习,将自我监督的卑鄙教师预训练与半监督微调相结合。 S $ ^ 2 $ MTS $ ^ 2 $的主要创新是基于联合对比学习的自我监督的平均教师预培训,它使用无限数量的正查询和关键特征来改善平均值 - 老师代表。然后使用具有半监督学习的指数移动平均教师框架进行微调。我们从胸部X-ray14和Chexpert的多标签分类问题上验证了S $ ^ 2 $ MTS $ ^ 2 $,以及iC2018的多级分类,在那里我们表明它优于前一个SOTA半监督的学习方法通过大幅度。
translated by 谷歌翻译
现实世界中的大规模医学图像分析(MIA)数据集面临三个挑战:1)它们包含影响训练收敛和概括的嘈杂标记的样本,2)它们通常每个类别的样本分布不平衡,3)通常包括一个多标签问题,其中样本可以进行多个诊断。当前的方法通常经过培训以解决这些问题的一部分,但是我们不知道可以同时解决这三个问题的方法。在本文中,我们提出了一个新的训练模块,称为非挥发性无偏内存(NVUM),该模型的非挥发性存储在嘈杂的多标签问题上的新正则损失的模型逻辑平均值。我们进一步公正了NVUM更新中的分类预测,以解决不平衡的学习问题。我们进行了广泛的实验,以评估本文提出的新基准测试的NVUM,在该基准上进行了训练,该训练是在嘈杂的多标签不平衡的胸部X射线(CXR)训练集上进行的,由Chest-XRay14和Chexpert组成,并且在测试上进行了测试。清洁多标签CXR数据集Openi和Padchest。我们的方法优于以前的最先进的CXR分类器和以前可以在所有评估上处理嘈杂标签的方法。我们的代码可在https://github.com/fbladl/nvum上找到。
translated by 谷歌翻译