整个幻灯片组织学图像中的组织类型学注释是一项复杂而乏味但既繁琐但必要的任务,用于开发计算病理学模型。我们建议通过将开放式识别技术应用于共同分类属于一组带注释类的组织的任务来解决此问题。临床相关的组织类别,同时拒绝测试时间开放式样品,即属于训练集中不存在的类别的图像。为此,我们引入了一种基于训练模型的开放式组织病理图像识别的新方法,以准确识别图像类别,并同时预测已应用了哪些数据增强变换。在测试时间中,我们测量了模型的置信度预测这种转换,我们期望开放集中的图像较低。在组织学图像的结直肠癌评估的背景下,我们进行了全面的实验,这些实验为我们的方法提供了证据,以自动从未知类别中识别样品的优势。代码在https://github.com/agaldran/t3po上发布。
translated by 谷歌翻译
In the past years, deep learning has seen an increase of usage in the domain of histopathological applications. However, while these approaches have shown great potential, in high-risk environments deep learning models need to be able to judge their own uncertainty and be able to reject inputs when there is a significant chance of misclassification. In this work, we conduct a rigorous evaluation of the most commonly used uncertainty and robustness methods for the classification of Whole-Slide-Images under domain shift using the H\&E stained Camelyon17 breast cancer dataset. Although it is known that histopathological data can be subject to strong domain shift and label noise, to our knowledge this is the first work that compares the most common methods for uncertainty estimation under these aspects. In our experiments, we compare Stochastic Variational Inference, Monte-Carlo Dropout, Deep Ensembles, Test-Time Data Augmentation as well as combinations thereof. We observe that ensembles of methods generally lead to higher accuracies and better calibration and that Test-Time Data Augmentation can be a promising alternative when choosing an appropriate set of augmentations. Across methods, a rejection of the most uncertain tiles leads to a significant increase in classification accuracy on both in-distribution as well as out-of-distribution data. Furthermore, we conduct experiments comparing these methods under varying conditions of label noise. We observe that the border regions of the Camelyon17 dataset are subject to label noise and evaluate the robustness of the included methods against different noise levels. Lastly, we publish our code framework to facilitate further research on uncertainty estimation on histopathological data.
translated by 谷歌翻译
机器学习模型通常会遇到与训练分布不同的样本。无法识别分布(OOD)样本,因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性,该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性,检测OOD样品是具有挑战性的。迄今为止,一些研究领域解决了检测陌生样本的问题,包括异常检测,新颖性检测,一级学习,开放式识别识别和分布外检测。尽管有相似和共同的概念,但分别分布,开放式检测和异常检测已被独立研究。因此,这些研究途径尚未交叉授粉,创造了研究障碍。尽管某些调查打算概述这些方法,但它们似乎仅关注特定领域,而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时,对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益,并协同发展未来的方法。此外,据我们所知,虽然进行异常检测或单级学习进行了调查,但没有关于分布外检测的全面或最新的调查,我们的调查可广泛涵盖。最后,有了统一的跨域视角,我们讨论并阐明了未来的研究线,打算将这些领域更加紧密地融为一体。
translated by 谷歌翻译
分布(OOD)检测对于确保机器学习系统的可靠性和安全性至关重要。例如,在自动驾驶中,我们希望驾驶系统在发现在训练时间中从未见过的异常​​场景或对象时,发出警报并将控件移交给人类,并且无法做出安全的决定。该术语《 OOD检测》于2017年首次出现,此后引起了研究界的越来越多的关注,从而导致了大量开发的方法,从基于分类到基于密度到基于距离的方法。同时,其他几个问题,包括异常检测(AD),新颖性检测(ND),开放式识别(OSR)和离群检测(OD)(OD),在动机和方法方面与OOD检测密切相关。尽管有共同的目标,但这些主题是孤立发展的,它们在定义和问题设定方面的细微差异通常会使读者和从业者感到困惑。在这项调查中,我们首先提出一个称为广义OOD检测的统一框架,该框架涵盖了上述五个问题,即AD,ND,OSR,OOD检测和OD。在我们的框架下,这五个问题可以看作是特殊情况或子任务,并且更容易区分。然后,我们通过总结了他们最近的技术发展来审查这五个领域中的每一个,特别关注OOD检测方法。我们以公开挑战和潜在的研究方向结束了这项调查。
translated by 谷歌翻译
常规监督学习或分类的主要假设是,测试样本是从与训练样本相同的分布中得出的,该样本称为封闭设置学习或分类。在许多实际情况下,事实并非如此,因为测试数据中有未知数或看不见的类样本,这称为“开放式”方案,需要检测到未知数。该问题称为开放式识别问题,在安全至关重要的应用中很重要。我们建议通过学习成对相似性来检测未知数(或看不见的类样本)。提出的方法分为两个步骤。它首先使用培训中出现的所见类学习了一个封闭的集体分类器,然后学习如何将看到的类与伪单人(自动生成的看不见的类样本)进行比较。伪无表情的一代是通过对可见或训练样品进行分配转换增加而进行的。我们称我们的方法OPG(基于伪看不见的数据生成开放式识别)。实验评估表明,基于相似性的功能可以成功区分基准数据集中的未见特征,以进行开放式识别。
translated by 谷歌翻译
深度神经网络已经显示出使用医学图像数据的疾病检测和分类结果。然而,他们仍然遭受处理真实世界场景的挑战,特别是可靠地检测分配(OOD)样本。我们提出了一种方法来强化皮肤和疟疾样本的ood样本,而无需在训练期间获得标记的OOD样品。具体而言,我们使用度量学习以及Logistic回归来强制深度网络学习众多丰富的类代表功能。要指导对OOD示例的学习过程,我们通过删除图像或置换图像部件中的类特定的突出区域并远离分布式样本来生成ID类似的示例。在推理时间期间,用于检测分布外样品的K +互易邻居。对于皮肤癌ood检测,我们使用两个标准基准皮肤癌症ISIC数据集AS ID,六种不同的数据集具有不同难度水平的数据集被视为出于分配。对于疟疾检测,我们使用BBBC041 Malaria DataSet作为ID和五个不同的具有挑战性的数据集,如分销。我们在先前的先前皮肤癌和疟疾OOD检测中,我们在TNR @ TPR95%中提高了最先进的结果,改善了5%和4%。
translated by 谷歌翻译
在过去的几年中,关于分类,检测和分割问题的3D学习领域取得了重大进展。现有的绝大多数研究都集中在规范的封闭式条件上,忽略了现实世界的内在开放性。这限制了需要管理新颖和未知信号的自主系统的能力。在这种情况下,利用3D数据可以是有价值的资产,因为它传达了有关感应物体和场景几何形状的丰富信息。本文提供了关于开放式3D学习的首次广泛研究。我们介绍了一种新颖的测试床,其设置在类别语义转移方面的难度增加,并且涵盖了内域(合成之间)和跨域(合成对真实)场景。此外,我们研究了相关的分布情况,并开放了2D文献,以了解其最新方法是否以及如何在3D数据上有效。我们广泛的基准测试在同一连贯的图片中定位了几种算法,从而揭示了它们的优势和局限性。我们的分析结果可能是未来量身定制的开放式3D模型的可靠立足点。
translated by 谷歌翻译
我们研究不同损失功能对医学图像病变细分的影响。尽管在处理自然图像时,跨凝结(CE)损失是最受欢迎的选择,但对于生物医学图像分割,由于其处理不平衡的情况,软骰子损失通常是首选的。另一方面,这两个功能的组合也已成功地应用于此类任务中。一个较少研究的问题是在存在分布(OOD)数据的情况下所有这些损失的概括能力。这是指在测试时间出现的样本,这些样本是从与训练图像不同的分布中得出的。在我们的情况下,我们将模型训练在始终包含病变的图像上,但是在测试时间我们也有无病变样品。我们通过全面的实验对内窥镜图像和糖尿病脚图像的溃疡分割进行了全面的实验,分析了不同损失函数对分布性能的最小化对分布性能的影响。我们的发现令人惊讶:在处理OOD数据时,CE-DICE损失组合在分割分配图像中表现出色,这使我们建议通过这种问题采用CE损失,因为它的稳健性和能够概括为OOD样品。可以在\ url {https://github.com/agaldran/lesion_losses_ood}找到与我们实验相关的代码。
translated by 谷歌翻译
与其他癌症相比,胰腺癌具有最差的预后之一,因为它们已被诊断出癌症已朝着后期阶段发展。当前用于诊断胰腺腺癌的手动组织学分级是耗时的,通常会导致误诊。在数字病理学中,基于AI的癌症分级必须在预测和不确定性量化方面非常准确,以提高可靠性和解释性,对于获得临床医生对技术的信任至关重要。我们提出了MGG自动化胰腺癌分级的贝叶斯卷积神经网络,他对图像进行了染色,以估计模型预测中的不确定性。我们表明,估计的不确定性与预测误差相关。具体而言,它对于使用权衡分类准确性 - 拒绝权衡和错误分类成本的度量标准来设置验收阈值很有用,可以通过超参数控制,并且可以在临床环境中使用。
translated by 谷歌翻译
在初级诊断的日常诊断中采用卷积神经网络(CNN)不仅需要接近完美的精度,而且还需要对数据采集变化和透明度的足够概括。现有的CNN模型充当黑匣子,不确保医生认为模型使用重要的诊断功能。本文以成功现有的技术(例如多任务学习,域对抗性培训和基于概念的解释性)为基础,该论文解决了在培训目标中引入诊断因素的挑战。在这里,我们表明,通过学习端到端学习多任务和对抗性损失的基于不确定性的加权组合,鼓励将重点放在病理学特征上,例如核的密度和多态性,例如。大小和外观的变化,同时丢弃诸如染色差异之类的误导性特征。我们在乳腺淋巴结组织上的结果显示,在肿瘤组织的检测中的概括显着改善,最佳平均AUC为0.89(0.01),针对基线AUC 0.86(0.005)。通过应用线性探测中间表示的可解释性技术,我们还证明了可解释的病理特征(例如核密度)是通过提出的CNN结构来学习的,从而证实了该模型的透明度的提高。该结果是构建可解释的多任务体系结构的起点,这些架构对数据异质性具有鲁棒性。我们的代码可在https://bit.ly/356yq2u上找到。
translated by 谷歌翻译
Out-of-distribution (OOD) detection has attracted a large amount of attention from the machine learning research community in recent years due to its importance in deployed systems. Most of the previous studies focused on the detection of OOD samples in the multi-class classification task. However, OOD detection in the multi-label classification task remains an underexplored domain. In this research, we propose YolOOD - a method that utilizes concepts from the object detection domain to perform OOD detection in the multi-label classification task. Object detection models have an inherent ability to distinguish between objects of interest (in-distribution) and irrelevant objects (e.g., OOD objects) on images that contain multiple objects from different categories. These abilities allow us to convert a regular object detection model into an image classifier with inherent OOD detection capabilities with just minor changes. We compare our approach to state-of-the-art OOD detection methods and demonstrate YolOOD's ability to outperform these methods on a comprehensive suite of in-distribution and OOD benchmark datasets.
translated by 谷歌翻译
计算病理(CPATH)是一种具有关于组织病理研究的新兴领域,通过计算和分析组织载玻片的数字化高分辨率图像的处理算法。CPATH最近的深度学习的发展已经成功地利用了组织学图像中的原始像素数据的纯粹体积,以预测诊断域,预测,治疗敏感性和患者分层中的目标参数 - 覆盖新数据驱动的AI时代的承诺既组织病理学和肿瘤。使用作为燃料和作为发动机的燃料和AI的数据,CPATH算法准备好用于起飞和最终发射到临床和药物轨道中。在本文中,我们讨论了CPATH限制和相关挑战,使读者能够区分HIPE的希望,并为未来的研究提供指示,以克服这个崭露头角领域的一些主要挑战,以使其发射到两个轨道上。
translated by 谷歌翻译
Deep neural networks have attained remarkable performance when applied to data that comes from the same distribution as that of the training set, but can significantly degrade otherwise. Therefore, detecting whether an example is out-of-distribution (OoD) is crucial to enable a system that can reject such samples or alert users. Recent works have made significant progress on OoD benchmarks consisting of small image datasets. However, many recent methods based on neural networks rely on training or tuning with both in-distribution and out-of-distribution data. The latter is generally hard to define a-priori, and its selection can easily bias the learning. We base our work on a popular method ODIN 1 [21], proposing two strategies for freeing it from the needs of tuning with OoD data, while improving its OoD detection performance. We specifically propose to decompose confidence scoring as well as a modified input pre-processing method. We show that both of these significantly help in detection performance. Our further analysis on a larger scale image dataset shows that the two types of distribution shifts, specifically semantic shift and non-semantic shift, present a significant difference in the difficulty of the problem, providing an analysis of when ODIN-like strategies do or do not work.
translated by 谷歌翻译
在胸部计算机断层扫描(CT)扫描中,自动分割地面玻璃的不透明和固结可以在高资源利用时期减轻放射科医生的负担。但是,由于分布(OOD)数据默默失败,深度学习模型在临床常规中不受信任。我们提出了一种轻巧的OOD检测方法,该方法利用特征空间中的Mahalanobis距离,并无缝集成到最新的分割管道中。简单的方法甚至可以增加具有临床相关的不确定性定量的预训练模型。我们在四个胸部CT分布偏移和两个磁共振成像应用中验证我们的方法,即海马和前列腺的分割。我们的结果表明,所提出的方法在所有探索场景中有效地检测到遥远和近型样品。
translated by 谷歌翻译
我们介绍了几个新的数据集即想象的A / O和Imagenet-R以及合成环境和测试套件,我们称为CAOS。 Imagenet-A / O允许研究人员专注于想象成剩余的盲点。由于追踪稳健的表示,以特殊创建了ImageNet-R,因为表示不再简单地自然,而是包括艺术和其他演绎。 Caos Suite由Carla Simulator构建,允许包含异常物体,可以创建可重复的合成环境和用于测试稳健性的场景。所有数据集都是为测试鲁棒性和衡量鲁棒性的衡量进展而创建的。数据集已用于各种其他作品中,以衡量其具有鲁棒性的自身进步,并允许切向进展,这些进展不会完全关注自然准确性。鉴于这些数据集,我们创建了几种旨在推进鲁棒性研究的新方法。我们以最大Logit的形式和典型程度的形式构建简单的基线,并以深度的形式创建新的数据增强方法,从而提高上述基准。最大Logit考虑Logit值而不是SoftMax操作后的值,而微小的变化会产生明显的改进。典型程分将输出分布与类的后部分布进行比较。我们表明,除了分段任务之外,这将提高对基线的性能。猜测可能在像素级别,像素的语义信息比类级信息的语义信息不太有意义。最后,新的Deepaulment的新增强技术利用神经网络在彻底不同于先前使用的传统几何和相机的转换的图像上创建增强。
translated by 谷歌翻译
Commonly used AI networks are very self-confident in their predictions, even when the evidence for a certain decision is dubious. The investigation of a deep learning model output is pivotal for understanding its decision processes and assessing its capabilities and limitations. By analyzing the distributions of raw network output vectors, it can be observed that each class has its own decision boundary and, thus, the same raw output value has different support for different classes. Inspired by this fact, we have developed a new method for out-of-distribution detection. The method offers an explanatory step beyond simple thresholding of the softmax output towards understanding and interpretation of the model learning process and its output. Instead of assigning the class label of the highest logit to each new sample presented to the network, it takes the distributions over all classes into consideration. A probability score interpreter (PSI) is created based on the joint logit values in relation to their respective correct vs wrong class distributions. The PSI suggests whether the sample is likely to belong to a specific class, whether the network is unsure, or whether the sample is likely an outlier or unknown type for the network. The simple PSI has the benefit of being applicable on already trained networks. The distributions for correct vs wrong class for each output node are established by simply running the training examples through the trained network. We demonstrate our OOD detection method on a challenging transmission electron microscopy virus image dataset. We simulate a real-world application in which images of virus types unknown to a trained virus classifier, yet acquired with the same procedures and instruments, constitute the OOD samples.
translated by 谷歌翻译
乳腺癌是女性最常见的恶性肿瘤,每年负责超过50万人死亡。因此,早期和准确的诊断至关重要。人类专业知识是诊断和正确分类乳腺癌并定义适当的治疗,这取决于评价不同生物标志物如跨膜蛋白受体HER2的表达。该评估需要几个步骤,包括免疫组织化学或原位杂交等特殊技术,以评估HER2状态。通过降低诊断中的步骤和人类偏差的次数的目标,赫洛挑战是组织的,作为第16届欧洲数字病理大会的并行事件,旨在自动化仅基于苏木精和曙红染色的HER2地位的评估侵袭性乳腺癌的组织样本。评估HER2状态的方法是在全球21个团队中提出的,并通过一些提议的方法实现了潜在的观点,以推进最先进的。
translated by 谷歌翻译
最近,大型高质量的公共数据集导致了卷积神经网络的发展,这些神经网络可以在专家病理学家水平上检测乳腺癌的淋巴结转移。许多癌症,无论起源地点如何,都可以转移到淋巴结。但是,收集和注释每种癌症类型的高量,高质量数据集都是具有挑战性的。在本文中,我们研究了如何在多任务设置中最有效地利用现有的高质量数据集,以实现紧密相关的任务。具体而言,我们将探索不同的训练和领域适应策略,包括预防灾难性遗忘,用于结肠和头颈癌症转移淋巴结中的灾难性遗忘。我们的结果表明,两项癌症转移检测任务的最新性能。此外,我们显示了从一种癌症类型到另一种癌症的反复适应以获得多任务转移检测网络的有效性。最后,我们表明,利用现有的高质量数据集可以显着提高新目标任务的性能,并且可以使用正则化有效地减轻灾难性遗忘。
translated by 谷歌翻译
深度学习模型正在应用于越来越多的成功案例中,但是他们在现实世界中的表现如何?为了测试模型,组装了特定的清洁数据集。但是,当部署在现实世界中时,该模型将面临意外的分布(OOD)数据。在这项工作中,我们表明所谓的“放射科医生级” Chexnet模型未能识别所有OOD图像,并将其归类为肺部疾病。为了解决这个问题,我们提出了分发投票,这是一种对多标签分类的分布图像进行分类的新方法。使用在ID和OOD数据上训练的独立课程分布(ID)预测指标,我们平均达到99%的ID分类特异性和98%的敏感性,与胸部上以前的作品相比,端到端的性能显着提高X射线14个数据集。即使仅用ImageNet作为OOD数据训练并使用X射线OOD图像进行测试,我们的方法即使仅用Imagenet进行训练,也超过了其他基于输出的OOD检测器。
translated by 谷歌翻译
开放式识别使深度神经网络(DNN)能够识别未知类别的样本,同时在已知类别的样本上保持高分类精度。基于自动编码器(AE)和原型学习的现有方法在处理这项具有挑战性的任务方面具有巨大的潜力。在这项研究中,我们提出了一种新的方法,称为类别特定的语义重建(CSSR),该方法整合了AE和原型学习的力量。具体而言,CSSR用特定于类的AE表示的歧管替代了原型点。与传统的基于原型的方法不同,CSSR在单个AE歧管上的每个已知类模型,并通过AE的重建误差来测量类归属感。特定于类的AE被插入DNN主链的顶部,并重建DNN而不是原始图像所学的语义表示。通过端到端的学习,DNN和AES互相促进,以学习歧视性和代表性信息。在多个数据集上进行的实验结果表明,所提出的方法在封闭式和开放式识别中都达到了出色的性能,并且非常简单且灵活地将其纳入现有框架中。
translated by 谷歌翻译