最先进的(SOTA)深度学习乳房X线照片分类器接受了弱标记的图像训练,通常依赖于产生有限解释性预测的全球模型,这是他们成功地转化为临床实践的关键障碍。另一方面,基于原型的模型通过将预测与训练图像原型相关联,改善了可解释性,但是它们的准确性不如全球模型,其原型往往具有差的多样性。我们通过BraixProtopnet ++的建议解决了这两个问题,该问题通过将基于原型的模型结合起来,为全局模型增添了解释性。 BraixProtopnet ++在训练基于原型的模型以提高合奏的分类精度时,会提炼全局模型的知识。此外,我们提出了一种方法来通过保证所有原型都与不同的训练图像相关联,以增加原型多样性。对弱标记的私人和公共数据集进行的实验表明,BraixProtopnet ++的分类精度比基于SOTA Global和基于原型的模型具有更高的分类精度。使用病变定位来评估模型可解释性,我们显示BraixProtopnet ++比其他基于原型的模型和全球模型的事后解释更有效。最后,我们表明,BraixProtopnet ++学到的原型的多样性优于基于SOTA原型的方法。
translated by 谷歌翻译
在分析筛查乳房X线照片时,放射科医生可以自然处理每个乳房的两个同侧视图,即颅底审计(CC)和中外侧 - 粘合剂(MLO)视图。这些多个相关图像提供了互补的诊断信息,并可以提高放射科医生的分类准确性。不幸的是,大多数现有的深度学习系统,受过全球标记的图像培训,缺乏从这些多种观点中共同分析和整合全球和本地信息的能力。通过忽略筛选发作的多个图像中存在的潜在有价值的信息,人们限制了这些系统的潜在准确性。在这里,我们提出了一种新的多视图全球分析方法,该方法基于全球一致性学习和对乳房X线照片中同侧观点的局部同时学习,模仿放射科医生的阅读程序。广泛的实验表明,在大规模的私人数据集和两个公开可用的数据集上,我们的模型在分类准确性和概括方面优于竞争方法,在该数据集和两个公开可用的数据集上,模型仅受到全球标签的培训和测试。
translated by 谷歌翻译
多模式学习通过在预测过程中同样组合多个输入数据模式来重点关注培训模型。但是,这种相等的组合可能不利于预测准确性,因为不同的方式通常伴随着不同水平的不确定性。通过几种方法研究了使用这种不确定性来组合模式,但是成功有限,因为这些方法旨在处理特定的分类或细分问题,并且不能轻易地转化为其他任务,或者遭受数值的不稳定性。在本文中,我们提出了一种新的不确定性多模式学习者,该学习者通过通过跨模式随机网络预测(CRNP)测量特征密度来估计不确定性。 CRNP旨在几乎不需要适应来在不同的预测任务之间转换,同时进行稳定的培训过程。从技术角度来看,CRNP是探索随机网络预测以估算不确定性并结合多模式数据的第一种方法。对两个3D多模式医学图像分割任务和三个2D多模式计算机视觉分类任务的实验显示了CRNP的有效性,适应性和鲁棒性。此外,我们提供了有关不同融合功能和可视化的广泛讨论,以验证提出的模型。
translated by 谷歌翻译
医疗IM年龄分析(MIA)中的有效半监督学习(SSL)必须解决两个挑战:1)在多级(例如病变分类)和多标签(例如,多疾病诊断)问题上, 2)处理不平衡的学习(因为疾病患病率的高度)。解释SSL MIA的一个策略基于伪标签策略,但是有几个缺点。伪标签具有比一致性学习比一致性的精度,它没有针对多级和多标签问题的特定设计,并且可以通过不平衡的学习来挑战。在本文中,与通过阈值选择自信的伪标签的传统方法不同,我们提出了一种新的SSL算法,称为ANT-CURICULUM伪标签(ACPL),这引入了新颖的技术选择信息,改善培训平衡并允许模型。为多标签和多级问题工作,并通过准确的分类器组合估算伪标签(提高伪标签精度)。我们运行广泛的实验,以评估两种公共医学图像分类基准的ACPL:胸部X射线14用于胸部疾病的多标签分类和SISIC2018用于皮肤病变多级分类。我们的方法在两个数据集上胜过以前的SOTA SSL方法。
translated by 谷歌翻译
使用输入图像,功能或网络扰动的一致性学习已经显示出半监督语义分割的显着结果,但这种方法可能受到未准确的未标记训练图像的预测的严重影响。这些不准确的预测有两种后果:1)基于“严格”的跨熵(CE)损失的培训可以容易地过度造成预测错误,导致确认偏见; 2)应用于这些不准确的预测的扰动将使用可能错误的预测作为训练信号,降低一致性学习。在本文中,我们解决了具有新颖的教师(MT)模型的一致性学习方法的预测准确性问题,包括新的辅助教师,并通过更严格的信心更换MT的均方误差(MSE) - 加权交叉熵(CONF-CE)损失。该模型的准确预测使我们能够利用网络,输入数据和特征扰动的具有挑战性的组合,以改善特征扰动的一致性学习概括,其中包括新的对抗扰动。 Public基准的结果表明,我们的方法通过现场上一个SOTA方法实现了显着的改进。
translated by 谷歌翻译
最先进的(SOTA)复杂城市驾驶场景的异常分割方法探索从异常曝光或外部重建模型中了解的像素明智的分类不确定性。然而,之前将高不确定性直接对异常关联的不确定性方法有时可能导致不正确的异常预测,外部重建模型对于实时自动驾驶嵌入式系统往往是过低的。在本文中,我们提出了一种新的异常分段方法,命名为像素 - 明智的能量偏置的弃权学习(PEBAL),探讨了与学习自适应像素级异常类的模型的像素 - 方向弃权学习(AL),以及基于能量的模型(EBM),了解了Inlier像素分布。更具体地说,PEBAL基于EBM和A1的非琐碎的关节训练,其中EBM培训以输出用于异常像素的高能(来自异常曝光),并且培训AL,使得这些高能量像素接受自适应低罚款被纳入异常课程。我们广泛评估PEBAL对抗SOTA,并表明它可以实现四个基准的最佳性能。代码可在https://github.com/tianyu0207/pebal上获得。
translated by 谷歌翻译
无监督的异常检测(UAD)只需要正常(健康)训练图像是实现医学图像分析(MIA)应用的重要工具,例如疾病筛查,因为通常难以收集和注释异常(或疾病)MIA中的图像。然而,严重依赖于正常图像可能导致模型训练过度填写正常类。自我监督的预训练是对这个问题的有效解决方案。遗憾的是,从计算机视觉调整的当前自我监督方法是MIA应用的次优,因为它们不探索设计借口任务或培训过程的MIA域知识。在本文中,我们提出了一种为MIA应用设计的UAD的新的自我监督的预训练方法,通过对比学习(MSACL)命名为多级强大增强。 MSACL基于新颖的优化,以对比正常和多种合成的异常图像,每个类在欧几里德距离和余弦相似度方面强制形成紧密和密集的聚类,其中通过模拟变化数量的病变形成异常图像在正常图像中的不同尺寸和外观。在实验中,我们表明,我们的MSACL预培训使用结肠镜检查,眼底筛选和Covid-19胸部X射线数据集来提高SOTA UAD方法的准确性。
translated by 谷歌翻译
现实世界中的大规模医学图像分析(MIA)数据集面临三个挑战:1)它们包含影响训练收敛和概括的嘈杂标记的样本,2)它们通常每个类别的样本分布不平衡,3)通常包括一个多标签问题,其中样本可以进行多个诊断。当前的方法通常经过培训以解决这些问题的一部分,但是我们不知道可以同时解决这三个问题的方法。在本文中,我们提出了一个新的训练模块,称为非挥发性无偏内存(NVUM),该模型的非挥发性存储在嘈杂的多标签问题上的新正则损失的模型逻辑平均值。我们进一步公正了NVUM更新中的分类预测,以解决不平衡的学习问题。我们进行了广泛的实验,以评估本文提出的新基准测试的NVUM,在该基准上进行了训练,该训练是在嘈杂的多标签不平衡的胸部X射线(CXR)训练集上进行的,由Chest-XRay14和Chexpert组成,并且在测试上进行了测试。清洁多标签CXR数据集Openi和Padchest。我们的方法优于以前的最先进的CXR分类器和以前可以在所有评估上处理嘈杂标签的方法。我们的代码可在https://github.com/fbladl/nvum上找到。
translated by 谷歌翻译
作为主导范式,微调目标数据的预先训练模型广泛用于许多深度学习应用,特别是对于小数据集。然而,最近的研究已经明确表明,一旦培训迭代的数量增加,划痕训练都没有比这一训练前策略更糟糕的最终表现。在这项工作中,我们从学习理论中流行的泛化分析的角度重新审视这种现象。我们的结果表明,最终预测精度可能具有对预训练模型的弱依赖性,特别是在大训练迭代的情况下。观察激励我们利用预训练预调整的数据,因为此数据也可用于微调。使用预训练数据的泛化结果表明,当适当的预训练数据包含在微调中时,可以提高目标任务的最终性能。随着理论发现的洞察力,我们提出了一种新颖的选择策略来选择从预训练数据中的子集,以帮助改善目标任务的概括。 8个基准数据集上的图像分类任务的广泛实验结果验证了基于数据选择的微调管道的有效性。
translated by 谷歌翻译
集群歧视是无监督的代表学习的有效借口任务,这通常由两个阶段组成:聚类和歧视。群集是为每个实例分配伪标签,该标签将用于学习歧视中的表示。主要挑战驻留在群集中,因为普遍的聚类方法(例如,k-means)必须以批处理模式运行,并且可以有一个琐碎的解决方案由主导集群组成。为解决这些挑战,我们首先调查基于聚类的代表学习的目标。基于此,我们提出了一种新的基于聚类的借口任务,具有在线受限的K-means(可乐)。与每个群集具有完全相同的大小的平衡集群相比,我们只限制每个群集的最小大小,以灵活地捕获固有的数据结构。更重要的是,我们的在线分配方法具有接近全球最佳的理论保证。通过解耦聚类和歧视,可焦炭可以在每个实例中仅优化单个视图时实现竞争性能。关于Imagenet的广泛实验验证了我们提案的效力和效率。代码将被释放。
translated by 谷歌翻译