我们提出了一种使用持久性同源性(pH)的新的更有效的方法,一种方法来比较两个数据集的拓扑,用于训练深度网络以在空中图像中描绘道路网络和显微镜扫描中的神经元过程。它的本质是一种新的过滤功能,从两个现有技术的融合导出:基于阈值的过滤,以前用于将深网络培训到分段医学图像,并用高度函数过滤,以便在比较2D和3D形状之前使用。我们通过实验证明,深入的网络培训了我们的持久性同源性的损失,即道路网络和神经元过程的重建,这些过程比现有的拓扑和非拓扑损失功能更好地保持原件的连接性。
translated by 谷歌翻译
许多生物学和医疗任务需要描绘出图像体积的3D曲线结构,例如血管和神经突。这通常是使用通过最大程度地减少不捕获这些结构拓扑特性的体素损失函数来训练的神经网络完成的。结果,回收结构的连通性通常是错误的,这减少了它们的实用性。在本文中,我们建议通过最大程度地减少其2D预测的拓扑感知损失的总和来提高结果的3D连接性。这足以提高准确性并减少提供所需的注释培训数据所需的注释工作。
translated by 谷歌翻译
基于深入的学习划定3D结构的方法取决于准确的注释来培训网络。然而,在实践中,无论多么有认可,人们都有多么认真地划分3D和大规模的困难,部分原因是数据往往是难以在视觉上解释的,并且部分是因为3D接口很尴尬。在本文中,我们介绍了一种明确地占用诠释的方法。为此,我们将注释视为有效轮廓模型,可以在保留其拓扑时变形本身。这使我们能够联合培训网络和原始注释中的潜在错误。结果是一种提升培训的深网络性能的方法,患有可能不准确的注释。
translated by 谷歌翻译
除了每个像素精度外,拓扑正确性也对具有微尺度结构的图像的分割也至关重要,例如卫星图像和生物医学图像。在本文中,通过利用数字拓扑理论,我们识别对拓扑至关重要的图像中的位置。通过专注于这些关键的位置,我们提出了一种新的同谐扭曲损失来培训深度图像分割网络以获得更好的拓扑精度。为了有效地识别这些拓扑关键的位置,我们提出了一种利用距离变换的新算法。所提出的算法以及损耗函数,自然地推广到2D和3D设置中的不同拓扑结构。拟议的损失函数有助于深度网络在拓扑知识的指标方面实现更好的性能,优于最先进的拓扑保存分段方法。
translated by 谷歌翻译
Image segmentation is a largely researched field where neural networks find vast applications in many facets of technology. Some of the most popular approaches to train segmentation networks employ loss functions optimizing pixel-overlap, an objective that is insufficient for many segmentation tasks. In recent years, their limitations fueled a growing interest in topology-aware methods, which aim to recover the correct topology of the segmented structures. However, so far, none of the existing approaches achieve a spatially correct matching between the topological features of ground truth and prediction. In this work, we propose the first topologically and feature-wise accurate metric and loss function for supervised image segmentation, which we term Betti matching. We show how induced matchings guarantee the spatially correct matching between barcodes in a segmentation setting. Furthermore, we propose an efficient algorithm to compute the Betti matching of images. We show that the Betti matching error is an interpretable metric to evaluate the topological correctness of segmentations, which is more sensitive than the well-established Betti number error. Moreover, the differentiability of the Betti matching loss enables its use as a loss function. It improves the topological performance of segmentation networks across six diverse datasets while preserving the volumetric performance. Our code is available in https://github.com/nstucki/Betti-matching.
translated by 谷歌翻译
捕获图像的全局拓扑对于提出对其域的准确分割至关重要。但是,大多数现有的分割方法都不能保留给定输入的初始拓扑,这对许多下游基于对象的任务有害。对于大多数在本地尺度上工作的深度学习模型来说,这是更真实的。在本文中,我们提出了一种新的拓扑深度图像分割方法,该方法依赖于新的泄漏损失:Pathloss。我们的方法是Baloss [1]的扩展,其中我们希望改进泄漏检测,以更好地恢复图像分割的接近度。这种损失使我们能够正确定位并修复预测中可能发生的关键点(边界中的泄漏),并基于最短路径搜索算法。这样,损失最小化仅在必要时才能强制连接,并最终提供了图像中对象边界的良好定位。此外,根据我们的研究,与无需使用拓扑损失的方法相比,我们的Pathloss学会了保持更强的细长结构。通过我们的拓扑损失函数培训,我们的方法在两个代表性数据集上优于最先进的拓扑感知方法:电子显微镜和历史图。
translated by 谷歌翻译
与许多研究领域相关的管状网络样结构(例如血管,神经元或道路)的准确分割与许多研究领域有关。对于这种结构,拓扑是它们最重要的特征。特别保留连接性:在血管网络的情况下,缺少连接的容器完全改变了血液流动的动力学。我们介绍了一种新颖的相似性度量,称为Centerlinedice(短CLDICE),该度量是根据分割掩模及其(形态)骨骼的相交进行计算的。从理论上讲,我们证明,CLDICE保证拓扑保存至二进制2D和3D分割的同型等效性。扩展这一点,我们提出了一种计算高效,可区分的损失函数(软性的),用于训练任意的神经分割网络。我们在五个公共数据集上基准了软性损失,包括船只,道路和神经元(2D和3D)。对软性播放的培训可通过更准确的连通性信息,更高的图形相似性和更好的体积分数进行分割。
translated by 谷歌翻译
从2D图像重建3D对象对于我们的大脑和机器学习算法都有挑战。为了支持此空间推理任务,有关对象整体形状的上下文信息至关重要。但是,此类信息不会通过既定的损失条款(例如骰子损失)捕获。我们建议通过在重建损失中包括多尺度拓扑特征,例如连接的组件,周期和空隙来补充几何形状信息。我们的方法使用立方复合物来计算3D体积数据的拓扑特征,并采用最佳传输距离来指导重建过程。这种拓扑感知的损失是完全可区分的,在计算上有效,并且可以添加到任何神经网络中。我们通过将损失纳入SHAPR来证明我们的损失的实用性,该模型用于根据2D显微镜图像预测单个细胞的3D细胞形状。使用利用单个对象的几何信息和拓扑信息来评估其形状的混合损失,我们发现拓扑信息大大提高了重建质量,从而突出了其从图像数据集中提取更多相关特征的能力。
translated by 谷歌翻译
深度学习方法为多级医学图像细分实现了令人印象深刻的表现。但是,它们的编码不同类别(例如遏制和排除)之间拓扑相互作用的能力受到限制。这些约束自然出现在生物医学图像中,对于提高分割质量至关重要。在本文中,我们介绍了一个新型的拓扑交互模块,将拓扑相互作用编码为深神经网络。该实施完全基于卷积,因此非常有效。这使我们有能力将约束结合到端到端培训中,并丰富神经网络的功能表示。该方法的功效在不同类型的相互作用上得到了验证。我们还证明了该方法在2D和3D设置以及跨越CT和超声之类的不同模式中的专有和公共挑战数据集上的普遍性。代码可在以下网址找到:https://github.com/topoxlab/topointeraction
translated by 谷歌翻译
图像的持久性拓扑特性是一个附加描述符,提供了传统神经网络可能无法发现的见解。该领域的现有研究主要侧重于有效地将数据的拓扑特性整合到学习过程中,以增强性能。但是,没有现有的研究来证明引入拓扑特性可以提高或损害性能的所有可能场景。本文对拓扑特性在各种培训方案中的图像分类有效性进行了详细分析,定义为:训练样本的数量,训练数据的复杂性和骨干网络的复杂性。我们确定从拓扑功能中受益最大的场景,例如,在小数据集中培训简单的网络。此外,我们讨论了数据集的拓扑一致性问题,该问题是使用拓扑特征进行分类的主要瓶颈之一。我们进一步证明了拓扑不一致如何损害某些情况的性能。
translated by 谷歌翻译
由胰腺管网络的具有挑战性的分割任务激发,本文解决了两个通常遇到生物医学成像问题的问题:分割的拓扑一致性,以及昂贵或困难的注释。我们的贡献如下:a)我们提出了一个拓扑评分,该评分衡量了预测和地面真理分割之间的拓扑和几何一致性,应用于模型选择和验证。 b)我们在时间序列图像数据上为这一困难的嘈杂任务提供了完整的深度学习方法。在我们的方法中,我们首先使用半监管的U-NET体系结构,适用于通用分割任务,该任务共同训练自动编码器和分割网络。然后,随着时间的流逝,我们使用循环的跟踪来进一步改善预测的拓扑。这种半监督的方法使我们能够利用未经通知的数据来学习特征表示,尽管我们的带注释的培训数据的变化非常有限,但该特征表示具有较高可变性的数据。我们的贡献在具有挑战性的分割任务上得到了验证,从嘈杂的实时成像共聚焦显微镜中定位胎儿胰腺中的管状结构。我们表明,我们的半监督模型不仅优于完全监督和预训练的模型,而且还优于在训练过程中考虑拓扑一致性的方法。此外,与经过平均循环得分为0.762的CLDICE的U-NET相比,我们的方法的平均环路得分为0.808。
translated by 谷歌翻译
适当地表示数据库中的元素,以便可以准确匹配查询是信息检索的核心任务;最近,通过使用各种指标将数据库的图形结构嵌入层次结构的方式中来实现。持久性同源性是一种在拓扑数据分析中常用的工具,能够严格地以其层次结构和连接结构来表征数据库。计算各种嵌入式数据集上的持续同源性表明,一些常用的嵌入式无法保留连接性。我们表明,那些成功保留数据库拓扑的嵌入通过引入两种扩张不变的比较措施来捕获这种效果,尤其是解决了对流形的度量扭曲问题。我们为它们的计算提供了一种算法,该算法大大降低了现有方法的时间复杂性。我们使用这些措施来执行基于拓扑的信息检索的第一个实例,并证明了其在持久同源性的标准瓶颈距离上的性能提高。我们在不同数据品种的数据库中展示了我们的方法,包括文本,视频和医学图像。
translated by 谷歌翻译
我们考虑了$ d $维图像的新拓扑效率化,该图像通过在计算持久性之前与各种过滤器进行卷积。将卷积滤波器视为图像中的图案,结果卷积的持久图描述了图案在整个图像中分布的方式。我们称之为卷积持久性的管道扩展了拓扑结合图像数据中模式的能力。的确,我们证明(通常说)对于任何两个图像,人们都可以找到某些过滤器,它们会为其产生不同的持久图,以便给定图像的所有可能的卷积持久性图的收集是一个不变的不变性。通过表现出卷积的持久性是另一种拓扑不变的持续性副学变换的特殊情况,这证明了这一点。卷积持久性的其他优势是提高噪声的稳定性和鲁棒性,对数据依赖性矢量化的更大灵活性以及对具有较大步幅向量的卷积的计算复杂性降低。此外,我们还有一套实验表明,即使人们使用随机过滤器并通过仅记录其总持久性,卷积大大提高了持久性的预测能力,即使一个人使用随机过滤器并将结果图进行量化。
translated by 谷歌翻译
诸如深度感知和语义分割的密集预测任务是计算机视觉中具有具体拓扑描述的重要应用,其在将图像划分到连接的组件或估计与图像中的对象相对应的少量局部极值的函数来估计函数。我们基于持续同源性的拓扑正常化形式,可用于具有这些拓扑描述的密集预测任务。实验结果表明,输出拓扑也可以出现在培训的神经网络的内部激活中,允许在训练期间新颖的拓扑正则化对神经网络的内部状态,降低正规化的计算成本。我们证明,内部激活的这种拓扑正规化导致了几个问题和架构的收敛性和测试基准。
translated by 谷歌翻译
基于持续的同源性的拓扑损失在各种应用中都表现出了希望。拓扑损失强制执行该模型以实现某些所需的拓扑特性。尽管取得了经验成功,但对损失的优化行为的了解却很少。实际上,拓扑损失涉及在优化过程中可能振荡的组合构型。在本文中,我们引入了通用正规拓扑感知损失。我们提出了一个新颖的正则化项,并修改了现有的拓扑损失。这些贡献导致了新的损失函数,不仅强制实施模型具有所需的拓扑行为,而且还可以达到满足收敛行为。我们的主要理论结果确保在轻度假设下可以有效地优化损失。
translated by 谷歌翻译
持续的同源性(PH)是拓扑数据分析中最流行的方法之一。尽管PH已用于许多不同类型的应用程序中,但其成功背后的原因仍然难以捉摸。特别是,尚不知道哪种类别的问题最有效,或者在多大程度上可以检测几何或拓扑特征。这项工作的目的是确定pH在数据分析中比其他方法更好甚至更好的问题。我们考虑三个基本形状分析任务:从形状采样的2D和3D点云中检测孔数,曲率和凸度。实验表明,pH在这些任务中取得了成功,超过了几个基线,包括PointNet,这是一个精确地受到点云的属性启发的体系结构。此外,我们观察到,pH对于有限的计算资源和有限的培训数据以及分布外测试数据,包括各种数据转换和噪声,仍然有效。
translated by 谷歌翻译
心脏磁共振(CMR)图像的多类分割,将数据分离为具有已知结构和构型的解剖组分。最流行的基于CNN的方法是使用像素明智的损失函数优化的,对表征解剖结构的空间扩展特征一无所知。因此,尽管与地面真理共享高空间重叠,但推断的基于CNN的分割可能缺乏连贯性,包括伪造的连接组件,孔和空隙。这样的结果令人难以置信,违反了预期的解剖拓扑。作为响应,已经提出了基于持续的同源性损失功能(单级)以捕获全局解剖特征。我们的工作将这些方法扩展到多级分割任务。我们的损失功能构建了所有类标签和类标签对的丰富拓扑描述,我们使用基于CNN的后处理框架可以预测和统计学上的分割拓扑改进。我们还基于立方复合物和并行执行,提出(并提供)高效的实现,这是第一次在高分辨率3D数据中实现实际应用。我们证明了我们在2D短轴和3D全心CMR细分方面的方法,对两个公开可用数据集的性能进行了详细而忠实的分析。
translated by 谷歌翻译
在本文中,我们建议采用高斯地图表示来估计3D表面特征的精确位置和计数,基于在存在局部干扰的情况下挣扎的密度估计来解决最先进方法的限制。高斯地图表示可能的对象位置,可以直接从keypoint注释生成避免费力且昂贵的每像素注释。我们将该方法应用于可以投射到2D形状表示的3D球面类对象,该模拟能够通过神经网络GNet的有效处理,改进的UNET架构,这产生了表面特征的可能位置及其精确计数。我们证明了这种技术对数替代的果实质量措施计算了这种技术的实际用途。培训拟议系统的结果从公共可公共数据集培训了几百次3D扫描草莓的3D扫描展示了系统的准确性和精度,这优于本申请的最先进的基于密度的方法。
translated by 谷歌翻译
疾病并发症会改变血管网络形态并破坏组织功能。例如,糖尿病性视网膜病是1型和2型糖尿病的并发症,可能引起失明。通过视觉检查视网膜图像来评估微血管疾病,但是当疾病表现出沉默的症状或患者无法参加面对面的会议时,这可能是具有挑战性的。我们检查了在对分段视网膜血管图像的统计和拓扑摘要进行培训时,在检测微血管疾病中的机器学习算法的性能。我们将方法应用于三个公共可用数据集,并发现,在我们考虑的13个总数描述符向量中,要么是统计框计数描述符向量,要么是拓扑洪水描述符矢量可在这些数据集中达到最高准确度。然后,我们通过合并几个数据集创建了第四个数据集:盒子计数向量优于该数据集上的所有描述符,包括对组合数据集中注释样式的差异敏感的拓扑洪水向量。我们的工作是确定哪种计算方法最适合识别微血管疾病以及其当前局限性的第一步。从长远来看,这些方法可以纳入自动化疾病评估工具中。
translated by 谷歌翻译
混凝土是建筑,桥梁和道路的标准施工材料。由于安全在这种结构的设计,监测和维护中起着核心作用,因此了解混凝土的开裂行为非常重要。计算机断层扫描捕获建筑材料的微观结构,并允许研究裂纹启动和传播。大3D图像中的裂缝表面的手动分割是不可行的。在本文中,综述了3D图像的自动裂缝分段方法并进行了比较。经典图像处理方法(边缘检测滤波器,模板匹配,最小路径和区域生长算法)和学习方法(卷积神经网络,随机林)在半合成3D图像上进行测试和测试。它们的性能强烈依赖于参数选择,该参数选择应适应图像的灰度范围和混凝土的几何特性。通常,学习方法表现最佳,特别是对于薄裂缝和低灰度对比度。
translated by 谷歌翻译