用皮肤镜图像进行深度学习的黑色素瘤分类最近显示出在自动早期黑色素瘤诊断中的巨大潜力。然而,受到明显的数据失衡和明显的外部伪影的限制,即头发和尺子标记,从皮肤镜图像中提取的判别特征提取非常具有挑战性。在这项研究中,我们试图分别解决这些问题,以更好地表示病变特征。具体而言,基于GAN的数据增强(GDA)策略可与拟议的隐式脱糖(IHD)策略一起生成合成黑色素瘤阳性图像。其中,与头发相关的表示通过辅助分类器网络隐式分散,并反向发送到黑色素瘤 - 特征提取主链,以提供更好的黑色素瘤特异性表示学习。此外,为了训练IHD模块,头发的噪音还标记在ISIC2020数据集上,这使其成为第一个带有类似头发伪影的注释的大型皮肤镜数据集。广泛的实验证明了所提出的框架的优势以及每个组件的有效性。改进的数据集可在https://github.com/kirtsy/dermoscopicdataset上公开可用。
translated by 谷歌翻译
组织病理学分析是对癌前病变诊断的本金标准。从数字图像自动组织病理学分类的目标需要监督培训,这需要大量的专家注释,这可能是昂贵且耗时的收集。同时,精确分类从全幻灯片裁剪的图像斑块对于基于标准滑动窗口的组织病理学幻灯片分类方法是必不可少的。为了减轻这些问题,我们提出了一个精心设计的条件GaN模型,即hostogan,用于在类标签上合成现实组织病理学图像补丁。我们还研究了一种新颖的合成增强框架,可选择地添加由我们提出的HADOGAN生成的新的合成图像补丁,而不是直接扩展与合成图像的训练集。通过基于其指定标签的置信度和实际标记图像的特征相似性选择合成图像,我们的框架为合成增强提供了质量保证。我们的模型在两个数据集上进行评估:具有有限注释的宫颈组织病理学图像数据集,以及具有转移性癌症的淋巴结组织病理学图像的另一个数据集。在这里,我们表明利用具有选择性增强的组织产生的图像导致对宫颈组织病理学和转移性癌症数据集分别的分类性能(分别为6.7%和2.8%)的显着和一致性。
translated by 谷歌翻译
深度学习技术表明它们在皮肤科医生临床检查中的优越性。然而,由于难以将临床知识掺入学习过程中,黑色素瘤诊断仍然是一个具有挑战性的任务。在本文中,我们提出了一种新颖的知识意识的深度框架,将一些临床知识纳入两个重要的黑色素瘤诊断任务的协作学习,即皮肤病变分割和黑色素瘤识别。具体地,利用病变区的形态表达的知识以及黑色素瘤鉴定的周边区域,设计了一种基于病变的汇集和形状提取(LPSE)方案,其将从皮肤病变分段获得的结构信息转移到黑色素瘤识别中。同时,为了通过黑色素瘤识别到皮肤病变细分的皮肤病原诊断知识,设计了有效的诊断引导特征融合(DGFF)策略。此外,我们提出了一种递归相互学习机制,进一步促进任务间合作,因此迭代地提高了皮肤病病变分割和黑色素瘤识别模型的联合学习能力。两种公共皮肤病原数据集的实验结果表明了黑色素瘤分析方法的有效性。
translated by 谷歌翻译
卷积神经网络在皮肤病变图像分类中表现出皮肤科医生水平的表现,但是由于训练数据中看到的偏见而引起的预测不规则性是在可能在广泛部署之前解决的问题。在这项工作中,我们使用两种领先的偏见未学习技术从自动化的黑色素瘤分类管道中稳健地消除了偏见和虚假变化。我们表明,可以使用这些偏置去除方法合理地减轻先前研究中介绍的手术标记和统治者引入的偏见。我们还证明了与用于捕获病变图像的成像仪器有关的杂化变异的概括优势。我们的实验结果提供了证据,表明上述偏见的影响大大降低了,不同的偏见技术在不同的任务方面具有出色的作用。
translated by 谷歌翻译
深度学习模型在自动化皮肤病变诊断方面取得了巨大成功。但是,在这些模型的预测中,种族差异通常不足以说明深色皮肤类型的病变,并且诊断准确性较低,因此受到很少的关注。在本文中,我们提出了Fairdisco,这是一个带有对比度学习的解开深度学习框架,它利用一个额外的网络分支来消除敏感属性,即从表示的表现形式中的皮肤型信息和另一个对比分支来增强特征提取。我们将Fairdisco与三种公平方法进行了比较,即重新采样,重新加权和属性 - 在两个新发布的具有不同皮肤类型的皮肤病变数据集上:Fitzpatrick17k和多样的皮肤病学图像(DDI)。我们为多个类别和敏感属性任务调整了两个基于公平的指标DPM和EOM,突出了皮肤病变分类中的皮肤型偏差。广泛的实验评估证明了Fairdisco的有效性,对皮肤病变分类任务的表现更公平,更出色。
translated by 谷歌翻译
Diabetic Retinopathy (DR) is a leading cause of vision loss in the world, and early DR detection is necessary to prevent vision loss and support an appropriate treatment. In this work, we leverage interactive machine learning and introduce a joint learning framework, termed DRG-Net, to effectively learn both disease grading and multi-lesion segmentation. Our DRG-Net consists of two modules: (i) DRG-AI-System to classify DR Grading, localize lesion areas, and provide visual explanations; (ii) DRG-Expert-Interaction to receive feedback from user-expert and improve the DRG-AI-System. To deal with sparse data, we utilize transfer learning mechanisms to extract invariant feature representations by using Wasserstein distance and adversarial learning-based entropy minimization. Besides, we propose a novel attention strategy at both low- and high-level features to automatically select the most significant lesion information and provide explainable properties. In terms of human interaction, we further develop DRG-Net as a tool that enables expert users to correct the system's predictions, which may then be used to update the system as a whole. Moreover, thanks to the attention mechanism and loss functions constraint between lesion features and classification features, our approach can be robust given a certain level of noise in the feedback of users. We have benchmarked DRG-Net on the two largest DR datasets, i.e., IDRID and FGADR, and compared it to various state-of-the-art deep learning networks. In addition to outperforming other SOTA approaches, DRG-Net is effectively updated using user feedback, even in a weakly-supervised manner.
translated by 谷歌翻译
卷积神经网络在黑色素瘤和其他皮肤病变的分类中表现出人类水平的表现,但是在广泛部署之前,应解决不同肤色之间的明显性能差异。在这项工作中,我们提出了一种有效但有效的算法,用于自动标记病变图像的肤色,并使用它来注释基准ISIC数据集。随后,我们使用这些自动标签作为两种领先的偏见,无法减轻肤色偏差的目标。我们的实验结果提供了证据表明,我们的肤色检测算法优于现有的解决方案,并且脱胶肤色可以改善概括,并可以减少黑色素瘤检测到更轻和较深的肤色之间的性能差异。
translated by 谷歌翻译
皮肤病变的准确诊断是大型皮肤图像中的关键任务。在本研究中,我们形成了一种新型的图像特征,称为混合特征,其具有比单个方法特征更强的辨别能力。本研究涉及一种新技术,在训练过程期间,我们将手工特征或特征传递到完全连接的卷积神经网络(CNN)模型中。根据我们的文献回顾,直到现在,在培训过程中将手工特征注入CNN模型中,没有研究或调查对分类绩效的影响。此外,我们还调查了分割面膜的影响及其对整体分类性能的影响。我们的模型实现了92.3%的平衡式多条准确度,比典型的单一方法为深度学习的单一方法分类器架构优于6.8%。
translated by 谷歌翻译
前列腺癌是男性癌症死亡的最常见原因之一。对非侵入性和准确诊断方法的需求不断增长,促进目前在临床实践中的标准前列腺癌风险评估。尽管如此,从多游幂磁共振图像中开发前列腺癌诊断中的计算机辅助癌症诊断仍然是一个挑战。在这项工作中,我们提出了一种新的深度学习方法,可以通过构建两阶段多数量多流卷积神经网络(CNN)基于架构架构的相应磁共振图像中的前列腺病变自动分类。在不实现复杂的图像预处理步骤或第三方软件的情况下,我们的框架在接收器操作特性(ROC)曲线值为0.87的接收器下实现了该区域的分类性能。结果表现出大部分提交的方法,并分享了普罗妥克斯挑战组织者报告的最高价值。我们拟议的基于CNN的框架反映了辅助前列腺癌中的医学图像解释并减少不必要的活组织检查的可能性。
translated by 谷歌翻译
背景:宫颈癌严重影响了女性生殖系统的健康。光学相干断层扫描(OCT)作为宫颈疾病检测的非侵入性,高分辨率成像技术。然而,OCT图像注释是知识密集型和耗时的,这阻碍了基于深度学习的分类模型的培训过程。目的:本研究旨在基于自我监督学习,开发一种计算机辅助诊断(CADX)方法来对体内宫颈OCT图像进行分类。方法:除了由卷积神经网络(CNN)提取的高电平语义特征外,建议的CADX方法利用了通过对比纹理学习来利用未标记的宫颈OCT图像的纹理特征。我们在中国733名患者的多中心临床研究中对OCT图像数据集进行了十倍的交叉验证。结果:在用于检测高风险疾病的二元分类任务中,包括高级鳞状上皮病变和宫颈癌,我们的方法实现了0.9798加号或减去0.0157的面积曲线值,灵敏度为91.17加或对于OCT图像贴片,减去4.99%,特异性为93.96加仑或减去4.72%;此外,它在测试集上的四位医学专家中表现出两种。此外,我们的方法在使用交叉形阈值投票策略的118名中国患者中达到了91.53%的敏感性和97.37%的特异性。结论:所提出的基于对比 - 学习的CADX方法表现优于端到端的CNN模型,并基于纹理特征提供更好的可解释性,其在“见和治疗”的临床协议中具有很大的潜力。
translated by 谷歌翻译
虽然基于深度学习的方法表明了皮肤病学诊断任务中的专家级表现,但它们还显示出对某些人口统计学属性,尤其是皮肤类型(例如,光对黑暗)的偏见,必须解决公平的关注。我们提出了圆圈,这是一种肤色不变的深度表示学习方法,可改善皮肤病变分类的公平性。通过利用正规化损失来鼓励具有相同诊断的图像但皮肤类型不同以具有相似的潜在表示,对圆圈进行了对图像进行分类的训练。通过广泛的评估和消融研究,我们证明了在跨越6种菲茨帕特里克皮肤类型和114种疾病的16K+图像上评估时,Circle的表现优于最先进的表现,使用分类精度,平等的机会差异(对于光与黑暗组),和归一化精度范围,这是我们提出的一种新措施,以评估多个皮肤类型组的公平性。
translated by 谷歌翻译
在过去的几年中,用于计算机视觉的深度学习技术的快速发展极大地促进了医学图像细分的性能(Mediseg)。但是,最近的梅赛格出版物通常集中于主要贡献的演示(例如,网络体系结构,培训策略和损失功能),同时不知不觉地忽略了一些边缘实施细节(也称为“技巧”),导致了潜在的问题,导致了潜在的问题。不公平的实验结果比较。在本文中,我们为不同的模型实施阶段(即,预培训模型,数据预处理,数据增强,模型实施,模型推断和结果后处理)收集了一系列Mediseg技巧,并在实验中探索了有效性这些技巧在一致的基线模型上。与仅关注分割模型的优点和限制分析的纸驱动调查相比,我们的工作提供了大量的可靠实验,并且在技术上更可操作。通过对代表性2D和3D医疗图像数据集的广泛实验结果,我们明确阐明了这些技巧的效果。此外,根据调查的技巧,我们还开源了一个强大的梅德西格存储库,其每个组件都具有插件的优势。我们认为,这项里程碑的工作不仅完成了对最先进的Mediseg方法的全面和互补的调查,而且还提供了解决未来医学图像处理挑战的实用指南,包括但不限于小型数据集学习,课程不平衡学习,多模式学习和领域适应。该代码已在以下网址发布:https://github.com/hust-linyi/mediseg
translated by 谷歌翻译
深度学习(DL)技术已被广泛用于医学图像分类。大多数基于DL的分类网络通常是层次结构化的,并通过最小化网络末尾测量的单个损耗函数而进行了优化。但是,这种单一的损失设计可能会导致优化一个特定的感兴趣价值,但无法利用中间层的信息特征,这些特征可能会受益于分类性能并降低过度拟合的风险。最近,辅助卷积神经网络(AUXCNNS)已在传统分类网络之上采用,以促进中间层的培训,以提高分类性能和鲁棒性。在这项研究中,我们提出了一个基于对抗性学习的AUXCNN,以支持对医学图像分类的深神经网络的培训。我们的AUXCNN分类框架采用了两项主要创新。首先,所提出的AUXCNN体系结构包括图像发生器和图像鉴别器,用于为医学图像分类提取更多信息图像特征,这是由生成对抗网络(GAN)的概念及其在近似目标数据分布方面令人印象深刻的能力的动机。其次,混合损失函数旨在通过合并分类网络和AUXCNN的不同目标来指导模型训练,以减少过度拟合。全面的实验研究表明,提出的模型的分类表现出色。研究了与网络相关因素对分类性能的影响。
translated by 谷歌翻译
Age-related macular degeneration (AMD) is a degenerative disorder affecting the macula, a key area of the retina for visual acuity. Nowadays, it is the most frequent cause of blindness in developed countries. Although some promising treatments have been developed, their effectiveness is low in advanced stages. This emphasizes the importance of large-scale screening programs. Nevertheless, implementing such programs for AMD is usually unfeasible, since the population at risk is large and the diagnosis is challenging. All this motivates the development of automatic methods. In this sense, several works have achieved positive results for AMD diagnosis using convolutional neural networks (CNNs). However, none incorporates explainability mechanisms, which limits their use in clinical practice. In that regard, we propose an explainable deep learning approach for the diagnosis of AMD via the joint identification of its associated retinal lesions. In our proposal, a CNN is trained end-to-end for the joint task using image-level labels. The provided lesion information is of clinical interest, as it allows to assess the developmental stage of AMD. Additionally, the approach allows to explain the diagnosis from the identified lesions. This is possible thanks to the use of a CNN with a custom setting that links the lesions and the diagnosis. Furthermore, the proposed setting also allows to obtain coarse lesion segmentation maps in a weakly-supervised way, further improving the explainability. The training data for the approach can be obtained without much extra work by clinicians. The experiments conducted demonstrate that our approach can identify AMD and its associated lesions satisfactorily, while providing adequate coarse segmentation maps for most common lesions.
translated by 谷歌翻译
在急诊室(ER)环境中,中风分类或筛查是一个普遍的挑战。由于MRI的慢速吞吐量和高成本,通常会进行快速CT而不是MRI。在此过程中通常提到临床测试,但误诊率仍然很高。我们提出了一个新型的多模式深度学习框架,深沉的中风,以通过识别较小的面部肌肉不协调的模式来实现计算机辅助中风的存在评估,并使怀疑急性环境中的中风的患者无能为力。我们提出的深雷克斯(Deepstroke)在中风分流器中容易获得一分钟的面部视频数据和音频数据,用于局部面部瘫痪检测和全球语音障碍分析。采用了转移学习来减少面部侵蚀偏见并提高普遍性。我们利用多模式的横向融合来结合低水平和高级特征,并为关节训练提供相互正则化。引入了新型的对抗训练以获得无身份和中风的特征。与实际急诊室患者进行的视频ADIO数据集进行的实验表明,与分类团队和ER医生相比,中风的表现要优于最先进的模型,并且取得更好的性能,比传统的敏感性高出10.94%,高7.37%的精度高出7.37%。当特异性对齐时,中风分类。同时,每个评估都可以在不到六分钟的时间内完成,这表明该框架的临床翻译潜力很大。
translated by 谷歌翻译
早期发现视网膜疾病是预防患者部分或永久失明的最重要手段之一。在这项研究中,提出了一种新型的多标签分类系统,用于使用从各种来源收集的眼底图像来检测多种视网膜疾病。首先,使用许多公开可用的数据集来构建一个新的多标签视网膜疾病数据集,即梅里德数据集。接下来,应用了一系列后处理步骤,以确保图像数据的质量和数据集中存在的疾病范围。在眼底多标签疾病分类中,首次通过大量实验优化的基于变压器的模型用于图像分析和决策。进行了许多实验以优化所提出的系统的配置。结果表明,在疾病检测和疾病分类方面,该方法的性能比在同一任务上的最先进作品要好7.9%和8.1%。获得的结果进一步支持了基于变压器的架构在医学成像领域的潜在应用。
translated by 谷歌翻译
基于深度学习的半监督学习(SSL)方法在医学图像细分中实现了强大的性能,可以通过使用大量未标记的数据来减轻医生昂贵的注释。与大多数现有的半监督学习方法不同,基于对抗性训练的方法通过学习分割图的数据分布来区分样本与不同来源,导致细分器生成更准确的预测。我们认为,此类方法的当前绩效限制是特征提取和学习偏好的问题。在本文中,我们提出了一种新的半监督的对抗方法,称为贴片置信疗法训练(PCA),用于医疗图像分割。我们提出的歧视器不是单个标量分类结果或像素级置信度图,而是创建贴片置信图,并根据斑块的规模进行分类。未标记数据的预测学习了每个贴片中的像素结构和上下文信息,以获得足够的梯度反馈,这有助于歧视器以融合到最佳状态,并改善半监督的分段性能。此外,在歧视者的输入中,我们补充了图像上的语义信息约束,使得未标记的数据更简单,以适合预期的数据分布。关于自动心脏诊断挑战(ACDC)2017数据集和脑肿瘤分割(BRATS)2019挑战数据集的广泛实验表明,我们的方法优于最先进的半监督方法,这证明了其对医疗图像分割的有效性。
translated by 谷歌翻译
检测新的多发性硬化症(MS)病变是该疾病进化的重要标志。基于学习的方法的适用性可以有效地自动化此任务。然而,缺乏带有新型病变的注释纵向数据是训练健壮和概括模型的限制因素。在这项工作中,我们描述了一条基于学习的管道,该管道解决了检测和细分新MS病变的挑战性任务。首先,我们建议使用单个时间点对在分割任务进行训练的模型中使用转移学习。因此,我们从更轻松的任务中利用知识,并为此提供更多注释的数据集。其次,我们提出了一种数据综合策略,以使用单个时间点扫描生成新的纵向时间点。通过这种方式,我们将检测模型预算到大型合成注释数据集上。最后,我们使用旨在模拟MRI中数据多样性的数据实践技术。通过这样做,我们增加了可用的小注释纵向数据集的大小。我们的消融研究表明,每个贡献都会提高分割精度。使用拟议的管道,我们获得了MSSEG2 MICCAI挑战中新的MS病变的分割和检测的最佳分数。
translated by 谷歌翻译
Diabetic retinopathy (DR) is a complication of diabetes, and one of the major causes of vision impairment in the global population. As the early-stage manifestation of DR is usually very mild and hard to detect, an accurate diagnosis via eye-screening is clinically important to prevent vision loss at later stages. In this work, we propose an ensemble method to automatically grade DR using ultra-wide optical coherence tomography angiography (UW-OCTA) images available from Diabetic Retinopathy Analysis Challenge (DRAC) 2022. First, we adopt the state-of-the-art classification networks, i.e., ResNet, DenseNet, EfficientNet, and VGG, and train them to grade UW-OCTA images with different splits of the available dataset. Ultimately, we obtain 25 models, of which, the top 16 models are selected and ensembled to generate the final predictions. During the training process, we also investigate the multi-task learning strategy, and add an auxiliary classification task, the Image Quality Assessment, to improve the model performance. Our final ensemble model achieved a quadratic weighted kappa (QWK) of 0.9346 and an Area Under Curve (AUC) of 0.9766 on the internal testing dataset, and the QWK of 0.839 and the AUC of 0.8978 on the DRAC challenge testing dataset.
translated by 谷歌翻译
在癌症诊断和病理研究中,组织病理学图像的分类均具有巨大的价值。但是,多种原因(例如由放大因素和阶级失衡引起的变化)使其成为一项艰巨的任务,在许多情况下,从图像标签数据集中学习的常规方法在许多情况下都无法令人满意。我们观察到同一类的肿瘤通常具有共同的形态学模式。为了利用这一事实,我们提出了一种方法,该方法可以学习基于相似性的多尺度嵌入(SMSE),以实现非放大依赖性的组织病理学图像分类。特别是,利用了一对损失和三胞胎损失,以从图像对或图像三联体中学习基于相似性的嵌入。学到的嵌入提供了对图像之间相似性的准确测量,这被认为是组织病理学形态比正常图像特征更有效的表示形式。此外,为了确保生成的模型独立于放大,以不同放大因素获取的图像在学习多尺度嵌入过程中同时被馈送到网络中。除了SMSE之外,我们还消除了类不平衡的影响,而不是使用凭直觉丢弃一些简单样品的硬采矿策略,我们引入了新的增强局灶性损失,以同时惩罚硬误分类的样品,同时抑制了容易分类良好的样品。实验结果表明,与以前的方法相比,SMSE改善了乳腺癌和肝癌的组织病理图像分类任务的性能。特别是,与使用传统功能相比,SMSE在Breakhis基准测试中取得了最佳性能,其改善范围从5%到18%。
translated by 谷歌翻译