Mitotic activity is a crucial proliferation biomarker for the diagnosis and prognosis of different types of cancers. Nevertheless, mitosis counting is a cumbersome process for pathologists, prone to low reproducibility, due to the large size of augmented biopsy slides, the low density of mitotic cells, and pattern heterogeneity. To improve reproducibility, deep learning methods have been proposed in the last years using convolutional neural networks. However, these methods have been hindered by the process of data labelling, which usually solely consist of the mitosis centroids. Therefore, current literature proposes complex algorithms with multiple stages to refine the labels at pixel level, and to reduce the number of false positives. In this work, we propose to avoid complex scenarios, and we perform the localization task in a weakly supervised manner, using only image-level labels on patches. The results obtained on the publicly available TUPAC16 dataset are competitive with state-of-the-art methods, using only one training phase. Our method achieves an F1-score of 0.729 and challenges the efficiency of previous methods, which required multiple stages and strong mitosis location information.
translated by 谷歌翻译
使用深度学习模型从组织学数据中诊断癌症提出了一些挑战。这些图像中关注区域(ROI)的癌症分级和定位通常依赖于图像和像素级标签,后者需要昂贵的注释过程。深度弱监督的对象定位(WSOL)方法为深度学习模型的低成本培训提供了不同的策略。仅使用图像级注释,可以训练这些方法以对图像进行分类,并为ROI定位进行分类类激活图(CAM)。本文综述了WSOL的​​最先进的DL方法。我们提出了一种分类法,根据模型中的信息流,将这些方法分为自下而上和自上而下的方法。尽管后者的进展有限,但最近的自下而上方法目前通过深层WSOL方法推动了很多进展。早期作品的重点是设计不同的空间合并功能。但是,这些方法达到了有限的定位准确性,并揭示了一个主要限制 - 凸轮的不足激活导致了高假阴性定位。随后的工作旨在减轻此问题并恢复完整的对象。评估和比较了两个具有挑战性的组织学数据集的分类和本地化准确性,对我们的分类学方法进行了评估和比较。总体而言,结果表明定位性能差,特别是对于最初设计用于处理自然图像的通用方法。旨在解决组织学数据挑战的方法产生了良好的结果。但是,所有方法都遭受高假阳性/阴性定位的影响。在组织学中应用深WSOL方法的应用是四个关键的挑战 - 凸轮的激活下/过度激活,对阈值的敏感性和模型选择。
translated by 谷歌翻译
美国和全球的两个主要死亡原因是中风和心肌梗塞。两者的根本原因是由破裂或侵蚀的不稳定的动脉粥样硬化斑块释放的,这些斑块阻塞了心脏(心肌梗塞)或大脑(中风)的血管。临床研究表明,在斑块破裂或侵蚀事件中,斑块组成比病变大小更重要。为了确定斑块组成,计算了3D心血管免疫荧光图像的各种细胞类型的斑块病变。但是,手动计算这些细胞是昂贵的,耗时的,并且容易发生人为错误。手动计数的这些挑战激发了对自动化方法进行定位和计算图像中细胞的需求。这项研究的目的是开发一种自动方法,以最少的注释工作在3D免疫荧光图像中准确检测和计数细胞。在这项研究中,我们使用弱监督的学习方法使用点注释来训练悬停网络分割模型,以检测荧光图像中的核。使用点注释的优点是,与像素的注释相比,它们需要更少的精力。为了使用点注释训练悬停的网络模型,我们采用了一种普遍使用的群集标记方法,将点注释转换为精确的细胞核二进制掩模。传统上,这些方法从点注释产生了二进制面具,使该物体周围的区域未标记(通常在模型训练中被忽略)。但是,这些区域可能包含重要信息,有助于确定细胞之间的边界。因此,我们在这些区域使用了熵最小化的损失函数,以鼓励模型在未标记区域上输出更自信的预测。我们的比较研究表明,使用我们的弱训练的悬停网络模型...
translated by 谷歌翻译
组织病理学图像包含丰富的表型信息和病理模式,这是疾病诊断的黄金标准,对于预测患者预后和治疗结果至关重要。近年来,在临床实践中迫切需要针对组织病理学图像的计算机自动化分析技术,而卷积神经网络代表的深度学习方法已逐渐成为数字病理领域的主流。但是,在该领域获得大量细粒的注释数据是一项非常昂贵且艰巨的任务,这阻碍了基于大量注释数据的传统监督算法的进一步开发。最新的研究开始从传统的监督范式中解放出来,最有代表性的研究是基于弱注释,基于有限的注释的半监督学习范式以及基于自我监督的学习范式的弱监督学习范式的研究图像表示学习。这些新方法引发了针对注释效率的新自动病理图像诊断和分析。通过对130篇论文的调查,我们对从技术和方法论的角度来看,对计算病理学领域中有关弱监督学习,半监督学习以及自我监督学习的最新研究进行了全面的系统综述。最后,我们提出了这些技术的关键挑战和未来趋势。
translated by 谷歌翻译
如今,表面裂缝是公共基础设施的常见景象。最近的工作通过支持使用背景曲面裂缝的机器学习方法支持结构维护措施,解决了这个问题,使它们易于本地化。然而,这些方法的常见问题是创建一个良好的运行算法,训练数据需要详细地注释属于裂缝的像素。我们的工作提出了一种弱监督的方法,它利用CNN分类器来创建曲面裂纹分割图。我们使用此分类器通过使用其类激活映射和基于贴片的分类方法来创建粗糙的裂缝本地化地图,并用基于阈值的方法熔断器来融合它,以分段为大多数较暗的裂纹像素。分类器有助于抑制背景区域的噪声,这通常是通过标准阈值处理方法被错误地突出显示的裂缝。我们专注于我们的方法的易于实现,并且显示在几个表面裂纹数据集上表现良好,即使用于训练的唯一数据是简单的分类标签,也可以有效地进行分割裂缝。
translated by 谷歌翻译
从众包标签或公开的数据创建的大规模数据集已经至关重要,为大规模学习算法提供培训数据。虽然这些数据集更容易获取,但数据经常嘈杂和不可靠,这是对弱监督学习技术的激励研究。在本文中,我们提出了原始想法,帮助我们在变更检测的背景下利用此类数据集。首先,我们提出了引导的各向异性扩散(GAD)算法,其使用输入图像改善语义分割结果作为执行边缘保留滤波的引导件。然后,我们展示了它在改变检测中量身定制的两个弱监督的学习策略中的潜力。第一策略是一种迭代学习方法,它将模型优化和数据清理使用GAD从开放矢量数据生成的大规模改变检测数据集中提取有用信息。第二个在新的空间注意层内包含GAD,其增加训练训练的弱监管网络的准确性,以从图像级标签执行像素级预测。在4个不同的公共数据集上展示了关于最先进的最先进的改进。
translated by 谷歌翻译
当前的无监督异常定位方法依赖于生成模型来学习正常图像的分布,后来用于识别从重建图像上的错误中得出的潜在异常区域。但是,几乎所有先前的文献的主要局限性是需要使用异常图像来设置特定于类的阈值以定位异常。这限制了它们在现实的情况下的可用性,其中通常只能访问正常数据。尽管存在这一主要缺点,但只有少量作品通过在培训期间将监督整合到注意地图上,从而解决了这一限制。在这项工作中,我们提出了一种新颖的公式,不需要访问异常的图像来定义阈值。此外,与最近的工作相反,提出的约束是以更有原则的方式制定的,在约束优化方面利用了知名的知识。特别是,对先前工作中注意图的平等约束被不平等约束所取代,这允许更具灵活性。此外,为了解决基于惩罚的功能的局限性,我们采用了流行的对数栏方法的扩展来处理约束。最后,我们提出了一个替代正规化项,该项最大化了注意图的香农熵,从而减少了所提出模型的超参数量。关于脑病变细分的两个公开数据集的全面实验表明,所提出的方法基本上优于相关文献,为无监督病变细分建立了新的最新结果,而无需访问异常图像。
translated by 谷歌翻译
这项工作提出了一种有丝分裂检测方法,只有一个香草卷积神经网络(CNN)。我们的方法由两个步骤组成:给定图像,我们首先使用滑动窗口技术应用CNN来提取具有有丝分裂的斑块。然后,我们计算每个提取的斑块的类激活图,以获得有丝分裂的精确位置。为了提高模型的推广性,我们使用一系列数据增强技术训练CNN,与噪声标记的图像相抵制的损失以及主动的学习策略。我们的方法在MIDOG 2022挑战的初步测试阶段中,通过有效网络B3模型获得了0.7323的F1得分。
translated by 谷歌翻译
机器学习和深度学习方法对医学的计算机辅助预测成为必需的,在乳房X光检查领域也具有越来越多的应用。通常,这些算法训练,针对特定任务,例如,病变的分类或乳房X乳线图的病理学状态的预测。为了获得患者的综合视图,随后整合或组合所有针对同一任务培训的模型。在这项工作中,我们提出了一种管道方法,我们首先培训一组个人,任务特定的模型,随后调查其融合,与标准模型合并策略相反。我们使用混合患者模型的深度学习模型融合模型预测和高级功能,以在患者水平上构建更强的预测因子。为此,我们提出了一种多分支深度学习模型,其跨不同任务和乳房X光检查有效地融合了功能,以获得全面的患者级预测。我们在公共乳房X线摄影数据,即DDSM及其策划版本CBIS-DDSM上培训并评估我们的全部管道,并报告AUC评分为0.962,以预测任何病变和0.791的存在,以预测患者水平对恶性病变的存在。总体而言,与标准模型合并相比,我们的融合方法将显着提高AUC得分高达0.04。此外,通过提供与放射功能相关的特定于任务的模型结果,提供了与放射性特征相关的任务特定模型结果,我们的管道旨在密切支持放射科学家的阅读工作流程。
translated by 谷歌翻译
仅使用诸如图像类标签的全局注释,弱监督学习方法允许CNN分类器共同分类图像,并产生与预测类相关的感兴趣区域。然而,在像素水平的任何引导下,这种方法可以产生不准确的区域。已知该问题与组织学图像更具挑战,而不是与天然自然的图像,因为物体不太突出,结构具有更多变化,并且前景和背景区域具有更强的相似之处。因此,用于CNNS的视觉解释的计算机视觉文献中的方法可能无法直接适用。在这项工作中,我们提出了一种基于复合损耗功能的简单而有效的方法,可利用完全消极样本的信息。我们的新损失函数包含两个补充项:第一次利用CNN分类器收集的积极证据,而第二个利用来自CNN分类器的积极证据,而第二个互联网将利用来自训练数据集的完全消极样本。特别是,我们用解码器装备预先训练的分类器,该解码器允许精制感兴趣的区域。利用相同的分类器来收集像素电平的正面和负证据,以培训解码器。这使得能够利用自然地发生在数据中的完全消极样本,而没有任何额外的监督信号,并且仅使用图像类作为监督。与几种相关方法相比,在冒号癌的公共基准GLAS和使用三种不同的骨架的CONELYON16基于乳腺癌的CAMELYON16基准测试,我们展示了我们方法引入的大量改进。我们的结果表明了使用负数和积极证据的好处,即,从分类器获得的效益以及在数据集中自然可用的那个。我们对这两种术语进行了消融研究。我们的代码公开提供。
translated by 谷歌翻译
在计算机愿景的许多领域,转向端到端深度学习引起了前所未有的进展。然而,存在输入图像过大的情况,认为不可能实现端到端的方法。在本文中,我们介绍了一个新的网络,放大网络(磁铁),其可以独立于输入图像尺寸训练端到端。磁铁以新的方式将卷积神经网络与可微分的空间变压器相结合,以便在数十亿像素中从图像导航和成功学习。从普通明田显微镜的放大性,磁铁处理图像的下采样版本,没有监督的吸引力,并且没有监督了如何识别可能对手头的任务有价值的区域,递归地重复每个过程提取的斑块。我们的结果在公开可用的Camelyon16和Camelyon17数据集首先得到了磁铁的有效性和所提出的优化框架,第二个,展示了磁铁的内置透明度的优势,对于医学诊断等关键过程至关重要的属性。
translated by 谷歌翻译
在病理样本的全坡度图像(WSI)中注释癌区域在临床诊断,生物医学研究和机器学习算法开发中起着至关重要的作用。但是,产生详尽而准确的注释是劳动密集型,具有挑战性和昂贵的。仅绘制粗略和近似注释是一项容易得多的任务,成本较小,并且可以减轻病理学家的工作量。在本文中,我们研究了在数字病理学中完善这些近似注释以获得更准确的问题的问题。以前的一些作品探索了从这些不准确的注释中获得机器学习模型,但是很少有人解决改进问题,在这些问题中,应该明确识别和纠正错误标签的区域,并且所有这些都需要大量的培训样本(通常很大) 。我们提出了一种名为标签清洁多个实例学习(LC-MIL)标签的方法,可在不需要外部培训数据的情况下对单个WSI进行粗略注释。从WSI裁剪的带有不准确标签的贴片在多个实例学习框架内共同处理,从而减轻了它们对预测模型的影响并完善分割。我们对具有乳腺癌淋巴结转移,肝癌和结直肠癌样品的异质WSI进行的实验表明,LC-MIL显着完善了粗糙的注释,即使从单个幻灯片中学习,LC-MIL也优于最先进的替代方案。此外,我们证明了拟议方法如何有效地完善和改进病理学家绘制的真实注释。所有这些结果表明,LC-MIL是一种有前途的,轻巧的工具,可提供从粗糙注释的病理组中提供细粒的注释。
translated by 谷歌翻译
Mitosis nuclei count is one of the important indicators for the pathological diagnosis of breast cancer. The manual annotation needs experienced pathologists, which is very time-consuming and inefficient. With the development of deep learning methods, some models with good performance have emerged, but the generalization ability should be further strengthened. In this paper, we propose a two-stage mitosis segmentation and classification method, named SCMitosis. Firstly, the segmentation performance with a high recall rate is achieved by the proposed depthwise separable convolution residual block and channel-spatial attention gate. Then, a classification network is cascaded to further improve the detection performance of mitosis nuclei. The proposed model is verified on the ICPR 2012 dataset, and the highest F-score value of 0.8687 is obtained compared with the current state-of-the-art algorithms. In addition, the model also achieves good performance on GZMH dataset, which is prepared by our group and will be firstly released with the publication of this paper. The code will be available at: https://github.com/antifen/mitosis-nuclei-segmentation.
translated by 谷歌翻译
荧光吞咽研究(VFSS)是一种用于评估吞咽的金标成像技术,但VFSS录音的分析和评级是耗时,需要专门的培训和专业知识。研究人员已经证明,可以通过计算机视觉方法自动检测吞咽的咽部阶段,并通过计算机视觉方法本地化推注中的推注,促进新颖的自动VFSS分析技术的开发。但是,培训算法以执行这些任务需要很少可用的大量注释数据。我们证明,可以使用单一方法在一起解决咽期检测和推注定位的挑战。我们提出了一个深入学习的框架,以弱监督的方式共同解决咽期检测和推注定位,只需要临时阶段的初始和最终框架作为培训的地面真理注释。我们的方法源于观察结果,即咽部中的推注存在是最突出的视觉特征,在其上推断单个VFSS帧是否属于咽部阶段。我们在来自59个健康受试者的1245 VFS剪辑的数据集中进行了大量卷积神经网络(CNNS)进行了广泛的实验。我们证明,可以检测咽部阶段,其F1分数高于0.9。此外,通过处理CNN的类激活图,我们能够通过有前途的结果本地化推注,从未获得高于0.9的地面真理轨迹的相关性,而无需用于训练目的的推注定位的任何手动注释。一旦验证了吞咽障碍的更大的参与者样本,我们的框架将为VFSS分析开发智能工具的开发,以支持临床医生吞咽评估。
translated by 谷歌翻译
细胞个体化对数字病理图像分析具有重要作用。深度学习被认为是用于实例分割任务的有效工具,包括细胞个性化。然而,深度学习模型的精度依赖于大规模的无偏见数据集和手动像素级注释,这是劳动密集型的。此外,大多数深度学习的应用已经开发用于加工肿瘤数据。为了克服这些挑战,i)我们建立了一个管道,以合成具有所提供的点注释的像素级标签;ii)我们测试了一项集体深度学习算法,以对神经数据进行细胞个体化。结果表明,所提出的方法成功地分离了物体级和像素水平的神经元细胞,平均检测精度为0.93。
translated by 谷歌翻译
自动识别基础心脏异常的结构底物可以潜在地为介入程序提供实时指导。有了心脏组织底物的了解,可以通过检测心律不齐的底物来进一步优化复杂的心律不齐和心室心动过速等复杂的心律不齐和心室心动过速。光学相干断层扫描(OCT)是一种实时成像方式,有助于满足这一需求。心脏图像分析的现有方法主要依赖于完全监督的学习技术,这些技术遇到了在像素标签的劳动密集型注释过程中工作量的缺点。为了减少对像素标签的需求,我们使用人类心脏底物的OCT图像上的图像级注释开发了一个两阶段的深度学习框架,用于心脏脂肪组织分割。特别是,我们将类激活映射与超像素分割整合在一起,以解决心脏组织分割中提出的稀疏组织种子挑战。我们的研究弥合了自动组织分析的需求与缺乏高质量像素的注释之间的差距。据我们所知,这是第一项尝试通过弱监督的学习技术来解决OCT图像上心脏组织分割的研究。在体外人类心脏OCT数据集中,我们证明了我们对图像级注释的弱监督方法可与对像素式注释进行训练的完全监督方法相当。
translated by 谷歌翻译
视网膜脉管系统的研究是筛查和诊断许多疾病的基本阶段。完整的视网膜血管分析需要将视网膜的血管分为动脉和静脉(A/V)。早期自动方法在两个顺序阶段接近这些分割和分类任务。但是,目前,这些任务是作为联合语义分割任务处理的,因为分类结果在很大程度上取决于血管分割的有效性。在这方面,我们提出了一种新的方法,用于从眼睛眼睛图像中对视网膜A/V进行分割和分类。特别是,我们提出了一种新颖的方法,该方法与以前的方法不同,并且由于新的损失,将联合任务分解为针对动脉,静脉和整个血管树的三个分割问题。这种配置允许直观地处理容器交叉口,并直接提供不同靶血管树的精确分割罩。提供的关于公共视网膜图血管树提取(RITE)数据集的消融研究表明,所提出的方法提供了令人满意的性能,尤其是在不同结构的分割中。此外,与最新技术的比较表明,我们的方法在A/V分类中获得了高度竞争的结果,同时显着改善了血管分割。提出的多段方法允许检测更多的血管,并更好地分割不同的结构,同时实现竞争性分类性能。同样,用这些术语来说,我们的方法优于各种参考作品的方法。此外,与以前的方法相比,该方法允许直接检测到容器交叉口,并在这些复杂位置保留A/V的连续性。
translated by 谷歌翻译
现有的突出实例检测(SID)方法通常从像素级注释数据集中学习。在本文中,我们向SID问题提出了第一个弱监督的方法。虽然在一般显着性检测中考虑了弱监管,但它主要基于使用类标签进行对象本地化。然而,仅使用类标签来学习实例知识的显着性信息是不普遍的,因为标签可能不容易地分离具有高语义亲和力的显着实例。由于子化信息提供了对突出项的数量的即时判断,因此自然地与检测突出实例相关,并且可以帮助分离相同实例的不同部分的同一类别的单独实例。灵感来自这一观察,我们建议使用课程和镇展标签作为SID问题的弱监督。我们提出了一种具有三个分支的新型弱监管网络:显着性检测分支利用类一致性信息来定位候选物体;边界检测分支利用类差异信息来解除对象边界;和Firedroid检测分支,使用子化信息来检测SALICE实例质心。然后融合该互补信息以产生突出的实例图。为方便学习过程,我们进一步提出了一种渐进的培训方案,以减少标签噪声和模型中学到的相应噪声,通过往复式突出实例预测和模型刷新模型。我们广泛的评估表明,该方法对精心设计的基线方法进行了有利地竞争,这些方法适应了相关任务。
translated by 谷歌翻译
当前在数字病理学中进行整个幻灯片图像(WSI)分类的方法主要利用两阶段的学习管道。第一阶段确定了感兴趣的区域(例如肿瘤组织),而第二阶段的过程以监督的方式从这些区域裁剪了瓷砖。在推断过程中,将大量瓷砖合并为整个幻灯片的统一预测。这种方法的一个主要缺点是对特定于任务的辅助标签的要求,这些标签未在临床常规中获得。我们提出了一条新的WSI分类学习管道,该管道是可训练的端到端,不需要任何辅助注释。我们采用我们的方法来预测许多不同用例的分子改变,包括检测结直肠肿瘤中的微卫星不稳定性以及对癌症基因组地图集的结肠,肺和乳腺癌病例的特异性突变的预测。结果的AUC得分高达94%,并且被证明与最先进的两阶段管道具有竞争力。我们认为,我们的方法可以促进未来的数字病理研究研究,并有助于解决癌症表型预测的大量问题,希望将来为更多患者提供个性化疗法。
translated by 谷歌翻译
Prostate cancer is the most common cancer in men worldwide and the second leading cause of cancer death in the United States. One of the prognostic features in prostate cancer is the Gleason grading of histopathology images. The Gleason grade is assigned based on tumor architecture on Hematoxylin and Eosin (H&E) stained whole slide images (WSI) by the pathologists. This process is time-consuming and has known interobserver variability. In the past few years, deep learning algorithms have been used to analyze histopathology images, delivering promising results for grading prostate cancer. However, most of the algorithms rely on the fully annotated datasets which are expensive to generate. In this work, we proposed a novel weakly-supervised algorithm to classify prostate cancer grades. The proposed algorithm consists of three steps: (1) extracting discriminative areas in a histopathology image by employing the Multiple Instance Learning (MIL) algorithm based on Transformers, (2) representing the image by constructing a graph using the discriminative patches, and (3) classifying the image into its Gleason grades by developing a Graph Convolutional Neural Network (GCN) based on the gated attention mechanism. We evaluated our algorithm using publicly available datasets, including TCGAPRAD, PANDA, and Gleason 2019 challenge datasets. We also cross validated the algorithm on an independent dataset. Results show that the proposed model achieved state-of-the-art performance in the Gleason grading task in terms of accuracy, F1 score, and cohen-kappa. The code is available at https://github.com/NabaviLab/Prostate-Cancer.
translated by 谷歌翻译