自动检测图像中的裂纹或细分裂纹可以帮助降低维护或操作的成本。在具有挑战性的背景场景中检测,测量和量化裂纹进行遇险分析是一项艰巨的任务,因为没有明确的边界可以将裂缝与背景区分开。开发的算法应应对与数据相关的固有挑战。一些感知引人注目的挑战是颜色,强度,深度,模糊,动作,方向,不同感兴趣的区域(ROI)(ROI),用于缺陷,尺度,照明,复杂和挑战性背景等。班级)和图像(裂缝内变异性)。总体而言,存在明显的背景(间)和前景(类内)的变异性。在这项工作中,我们试图减少这些变化在具有挑战性的背景方案中的影响。我们提出了一种随机宽度(SW)方法来减少这些变化的效果。我们提出的方法可提高可检测性,并大大减少误报和负面因素。我们已经通过平均值,假阳性和负面的以及主观的感知质量来客观地衡量算法的性能。
translated by 谷歌翻译
尽管近期基于深度学习的语义细分,但远程感测图像的自动建筑检测仍然是一个具有挑战性的问题,由于全球建筑物的出现巨大变化。误差主要发生在构建足迹的边界,阴影区域,以及检测外表面具有与周围区域非常相似的反射率特性的建筑物。为了克服这些问题,我们提出了一种生成的对抗基于网络的基于网络的分割框架,其具有嵌入在发电机中的不确定性关注单元和改进模块。由边缘和反向关注单元组成的细化模块,旨在精炼预测的建筑地图。边缘注意力增强了边界特征,以估计更高的精度,并且反向关注允许网络探索先前估计区域中缺少的功能。不确定性关注单元有助于网络解决分类中的不确定性。作为我们方法的权力的衡量标准,截至2021年12月4日,它在Deepglobe公共领导板上的第二名,尽管我们的方法的主要重点 - 建筑边缘 - 并不完全对齐用于排行榜排名的指标。 DeepGlobe充满挑战数据集的整体F1分数为0.745。我们还报告了对挑战的Inria验证数据集的最佳成绩,我们的网络实现了81.28%的总体验证,总体准确性为97.03%。沿着同一条线,对于官方Inria测试数据集,我们的网络总体上得分77.86%和96.41%,而且准确性。
translated by 谷歌翻译
基于点击的交互式图像分割的目的是获得用户交互有限的精确对象分割掩码,即通过最少数量的用户点击。现有方法要求用户提供所有点击:首先检查分割掩码,然后在迭代区域上提供标记区域错误的点。我们提出一个问题:我们的模型可以直接预测在哪里单击,以进一步降低用户交互成本?为此,我们提出{\ pseudoclick},这是一个通用框架,使现有的分割网络能够提出下一步点击。这些自动生成的点击,称为伪单击,这是模仿人类点击的模仿,以完善细分面膜。
translated by 谷歌翻译
医疗图像分割有助于计算机辅助诊断,手术和治疗。数字化组织载玻片图像用于分析和分段腺,核和其他生物标志物,这些标志物进一步用于计算机辅助医疗应用中。为此,许多研究人员开发了不同的神经网络来对组织学图像进行分割,主要是这些网络基于编码器编码器体系结构,并且还利用了复杂的注意力模块或变压器。但是,这些网络不太准确地捕获相关的本地和全局特征,并在多个尺度下具有准确的边界检测,因此,我们提出了一个编码器折叠网络,快速注意模块和多损耗函数(二进制交叉熵(BCE)损失的组合) ,焦点损失和骰子损失)。我们在两个公开可用数据集上评估了我们提出的网络的概括能力,用于医疗图像分割Monuseg和Glas,并胜过最先进的网络,在Monuseg数据集上提高了1.99%的提高,而GLAS数据集则提高了7.15%。实施代码可在此链接上获得:https://bit.ly/histoseg
translated by 谷歌翻译
异常检测和定位是具有多种应用的重要视觉问题。各种不同表面上异常区域的有效和通用的语义分割,在各种不同的表面上,大多数异常区域没有任何明显的模式,仍处于积极研究。在广大基础设施中检测是一种重要的基础设施的定期健康监测和故障(异常)是一种重要的安全相关任务,是基于视觉的异常分割的一个这样的应用领域。然而,由于表面故障的大变化,纹理的结构材料/背景,照明条件等,任务是非常具有挑战性的。裂缝是临界和频繁的表面缺陷,表现为极端曲折形状的薄,细长区域。它们是在深入学习的最难检测的故障之一中。在这项工作中,我们解决了自动裂缝分割问题的一个开放方面,通过模拟问题来概括和提高各种场景的分割性能。我们仔细研究和抽象涉及的子问题,并在更广泛的背景下解决它们,使我们的解决方案通用。在各种与不同基础设施监视相关的数据集上,在不同的条件下,我们的模型在没有任何铃声和口哨的情况下始终如一地优于最先进的算法。这种性能优势在我们模型的两个部署中轻松携带,针对行业提供的数据集进行测试。更进一步的是,我们也可以为两个制造质量检查场景建立我们的模型的表现,其中缺陷类型不仅仅是裂缝等价物,而且更加不同。因此,我们希望我们的模型确实是一个真正的通用缺陷分段模型。
translated by 谷歌翻译
随着全球气候变化影响影响世界的影响,需要集体努力来减少温室气体排放。能源部门是气候变化的最大贡献者,许多努力集中在减少对碳源发电厂的依赖,并转向可再生能源,如太阳能。太阳能电池板位置的全面数据库对于协助分析师和政策制定者来说,在定义太阳能的进一步扩展方面的策略方面很重要。在本文中,我们专注于创建太阳能电池板的世界地图。我们识别给定地理区域内的太阳能电池板的位置和总表面积。我们使用深度学习方法来使用空中图像自动检测太阳能电池板位置及其表面积。该框架由使用具有语义分割模型的串联串联使用图像分类器的双分支模型组成的框架在我们创建的卫星图像的日数据集上培训。我们的作品提供了一种用于检测太阳能电池板的高效和可扩展的方法,实现分类的精度为0.96,并且对于分割性能,IOU分数为0.82。
translated by 谷歌翻译
法医分析取决于从操纵图像识别隐藏迹线。由于它们无法处理功能衰减和依赖主导空间特征,传统的神经网络失败。在这项工作中,我们提出了一种新颖的门控语言注意力网络(GCA-NET),用于全球背景学习的非本地关注块。另外,我们利用所通用的注意机制结合密集的解码器网络,以引导在解码阶段期间的相关特征的流动,允许精确定位。所提出的注意力框架允许网络通过过滤粗糙度来专注于相关区域。此外,通过利用多尺度特征融合和有效的学习策略,GCA-Net可以更好地处理操纵区域的比例变化。我们表明,我们的方法在多个基准数据集中平均优于最先进的网络,平均为4.2%-5.4%AUC。最后,我们还开展了广泛的消融实验,以展示该方法对图像取证的鲁棒性。
translated by 谷歌翻译
前导分割方法将输出图表示为像素网格。我们研究了一个替代表示,其中每个图像修补程序都是对象边缘的建模,作为具有与每种补丁标签概率耦合的$ k $顶点的多边形。通过采用可分辨率的神经渲染器来创建光栅图像来优化顶点。然后将划分区域与地面真相分割进行比较。我们的方法获得多个最先进的结果:76.26 \%Miou在城市景观验证,90.92 \%iou vaihingen建筑分割基准,66.82 \%iou for monu显微镜数据集,鸟类的90.91 \%基准幼崽。我们的培训和再现这些结果的代码作为补充。
translated by 谷歌翻译
足球溃疡是糖尿病的常见并发症,与大量发病率和死亡率有关,仍然是低腿截肢的主要危险因素。从脚伤中提取准确的形态特征对于适当的治疗至关重要。尽管医学专家的视觉检查是诊断的常见方法,但这是主观且容易出错的方法,因此,计算机辅助方法提供了一种有趣的选择。基于深度学习的方法,尤其是卷积神经网络(CNN),在包括医学图像分割(医学图像分割)的各种任务方面表现出了出色的性能。在本文中,我们提出了一种基于两个基于编码器的CNN模型,即Linknet和U-NET,以执行足球溃疡分割。为了处理有限数量的可用培训样品,我们使用预训练的权重(linkNet模型的有效网络B1和U-NET模型的有效网络B2),并使用MEDETEC数据集进行进一步的预训练,同时还应用了许多形态 - 基于颜色的增强技术。为了提高分割性能,我们结合了五倍的交叉验证,测试时间扩展和结果融合。我们的方法适用于公开可用的慢性伤口数据集和Miccai 2021足球溃疡分段(Fuseg)挑战,我们的方法分别以92.07%和88.80%的基于数据的骰子得分实现最先进的性能,并且是最高的,并且是最高的,并且是最高的。 Fuseg挑战排行榜中排名的方法。 https://github.com/masih4/foot_ulcer_segmentation公开获得对接指南,推理代码和保存训练的模型。
translated by 谷歌翻译
深度学习技术在检测医学图像中的对象方面取得了成功,但仍然遭受虚假阳性预测,可能会阻碍准确的诊断。神经网络输出的估计不确定性已用于标记不正确的预测。我们研究了来自神经网络不确定性估计的功能和基于形状的特征,这些特征是根据二进制预测计算出的,从二进制预测中,通过开发基于分类的后处理步骤来减少肝病病变检测中的假阳性,以用于不同的不确定性估计方法。我们证明了两个数据集上所有不确定性估计方法的神经网络的病变检测性能(相对于F1分数)的改善,分别包括腹部MR和CT图像。我们表明,根据神经网络不确定性估计计算的功能往往不会有助于降低假阳性。我们的结果表明,诸如阶级不平衡(真实假阳性比率)和从不确定性图提取的基于形状的特征之类的因素在区分假阳性和真实阳性预测方面起着重要作用
translated by 谷歌翻译
在这项工作中,我们首次提出了一种用于检测具有语义分割图像数据集中标签错误的方法,即Pixel-Wise类标签。语义细分数据集的注释获取是耗时的,需要大量的人工劳动。特别是,审查过程是耗时的,人类很容易忽略标签错误。后果是有偏见的基准,在极端情况下,也是在此类数据集上训练的深神经网络(DNNS)的性能降解。语义分割的DNN会产生像素的预测,这使得通过不确定性量化来检测标签错误是一个复杂的任务。在预测的连接组件之间的过渡中,不确定性特别明显。通过将不确定性考虑到预测组件的水平,我们可以使用DNN以及组件级的不确定性定量来检测标签误差。我们提出了一种原则性的方法,可以通过从Carla驾驶模拟器中提取的数据集中从CityScapes数据集中删除标签,以基准标记错误检测的任务,在后一种情况下,我们可以控制标签。我们的实验表明,我们的方法能够在控制错误标签误差检测的数量时检测到绝大多数标签错误。此外,我们将方法应用于计算机视觉社区经常使用的语义分割数据集,并提出标签错误的集合以及示例统计信息。
translated by 谷歌翻译
本文介绍了提交给SHREC 2022坑道轨道和路面裂纹检测的方法。总共比较了道路表面的语义分割的7种不同的运行,参与者和基线方法的6个。所有方法都利用深度学习技术及其性能使用相同的环境(即:单个Jupyter笔记本)进行测试。由3836个语义细分图像/蒙版对组成的培训集和797个带有最新深度摄像机的RGB-D视频片段组成。然后,在验证集中的496个图像/掩码对上,测试集中的504对,最后在8个视频剪辑上评估该方法。结果的分析基于用于图像分割和视频剪辑定性分析的定量指标。参与和结果表明,该方案引起了人们的极大兴趣,在这种情况下,使用RGB-D数据仍然具有挑战性。
translated by 谷歌翻译
空中机器人(例如无人机)已被利用进行桥梁检查。可以通过板载摄像机收集具有可识别的结构元素和明显表面缺陷的检查图像,以提供有价值的信息以进行条件评估。本文旨在确定用于在检查图像中解析多类桥梁元素的合适的深神经网络(DNN)。一组广泛的定量评估以及定性示例表明,高分辨率净(HRNET)具有所需的能力。通过数据增强和130张图像的训练样本,预先训练的HRNET有效地转移到结构元件解析的任务中,并达到了92.67%的平均F1得分和86.33%的平均值。
translated by 谷歌翻译
城市地区消耗了世界上三分之二的能源,占全球二氧化碳排放量的70%以上。正如IPCC全球预热的1.5C报告所述,到2050年实现碳中型需要清楚地了解城市几何形状。卫星图像的高质量建筑占地面积可以加速这一预测过程和授权在规模上的授权市决策。然而,以前的深度学习的方法面临相应的问题,例如缩放不变性和缺陷的足迹,部分原因是由于持续存在的类别不平衡。此外,大多数方法都需要补充数据,例如点云数据,建筑物高度信息和多频段图像 - 这具有有限的可用性并且产生乏味。在本文中,我们提出了一种改进的Deeplabv3 +模块,其具有扩张的REN底座骨架,仅产生从三声道RGB卫星图像的建筑占地面积的掩模。此外,我们在客观函数中引入了F-Beta测量,以帮助模型账户进行偏斜类分布,并防止假阳性占地面积。除F-Beta之外,我们还纳入了指数加权的边界损失,并使用跨数据集培训策略来进一步提高预测的质量。因此,我们跨越三个公共基准实现最先进的表演,并证明我们的RGB方法产生更高质量的视觉结果,并且对卫星图像的规模,分辨率和城市密度不可知。
translated by 谷歌翻译
Lung segmentation in chest X-rays (CXRs) is an important prerequisite for improving the specificity of diagnoses of cardiopulmonary diseases in a clinical decision support system. Current deep learning (DL) models for lung segmentation are trained and evaluated on CXR datasets in which the radiographic projections are captured predominantly from the adult population. However, the shape of the lungs is reported to be significantly different for pediatrics across the developmental stages from infancy to adulthood. This might result in age-related data domain shifts that would adversely impact lung segmentation performance when the models trained on the adult population are deployed for pediatric lung segmentation. In this work, our goal is to analyze the generalizability of deep adult lung segmentation models to the pediatric population and improve performance through a systematic combinatorial approach consisting of CXR modality-specific weight initializations, stacked generalization, and an ensemble of the stacked generalization models. Novel evaluation metrics consisting of Mean Lung Contour Distance and Average Hash Score are proposed in addition to the Multi-scale Structural Similarity Index Measure, Intersection of Union, and Dice metrics to evaluate segmentation performance. We observed a significant improvement (p < 0.05) in cross-domain generalization through our combinatorial approach. This study could serve as a paradigm to analyze the cross-domain generalizability of deep segmentation models for other medical imaging modalities and applications.
translated by 谷歌翻译
Besides the complex nature of colonoscopy frames with intrinsic frame formation artefacts such as light reflections and the diversity of polyp types/shapes, the publicly available polyp segmentation training datasets are limited, small and imbalanced. In this case, the automated polyp segmentation using a deep neural network remains an open challenge due to the overfitting of training on small datasets. We proposed a simple yet effective polyp segmentation pipeline that couples the segmentation (FCN) and classification (CNN) tasks. We find the effectiveness of interactive weight transfer between dense and coarse vision tasks that mitigates the overfitting in learning. And It motivates us to design a new training scheme within our segmentation pipeline. Our method is evaluated on CVC-EndoSceneStill and Kvasir-SEG datasets. It achieves 4.34% and 5.70% Polyp-IoU improvements compared to the state-of-the-art methods on the EndoSceneStill and Kvasir-SEG datasets, respectively.
translated by 谷歌翻译
骰子相似度系数(DSC)是由于其鲁棒性对类不平衡的鲁造性而广泛使用的度量和损耗函数。然而,众所周知,DSC损失差异很差,导致在生物医学和临床实践中不能有效地解释的过度自信预测。性能通常是唯一用于评估深度神经网络产生的分段的指标,并且通常忽略校准。然而,校准对于译成生物医学和临床实践是重要的,为科学家和临床医生的解释提供了重要的语境信息。在这项研究中,我们将校准差,作为基于深度学习的生物医学图像分割的新出现挑战。我们提供了一个简单而有效的DSC丢失延伸,命名为DSC ++丢失,可选择地调制与过于自信,不正确的预测相关的罚款。作为独立损失功能,DSC ++损耗达到了在五个良好验证的开源生物医学成像数据集中对传统DSC损耗的显着提高了校准。同样,当将DSC ++丢失集成到基于四个DSC的损耗函数时,我们观察到显着改善。最后,我们使用SoftMax阈值化来说明校准的输出能够剪裁精度召回偏差,这是一种适应模型预测以适应生物医学或临床任务的重要的后处理技术。 DSC ++损失克服了DSC的主要限制,为训练生物医学和临床实践中使用的深度学习分段模型提供了合适的损耗功能。
translated by 谷歌翻译
使用深度学习方法(DL)方法的结核病(TB)自动分割(TB) - 一致的病变(CXR)可以帮助减少放射科医生的努力,补充临床决策,并有可能改善患者治疗。文献中的大多数作品使用粗边界框注释讨论培训自动分割模型。但是,边界框注释的粒度可能导致在像素级别上包含相当一部分假阳性和负面因素,从而可能对整体语义分割性能产生不利影响。这项研究(i)评估了使用TB一致性病变的细粒注释和(ii)U-NET模型变体的培训和构造的好处CXR。我们使用多种集合方法(例如位和位或位,位 - 最大值和堆叠)评估了分割性能。我们观察到,与单个组成模型和其他集合方法相比,堆叠合奏表现出优异的分割性能(骰子得分:0.5743,95%置信区间:(0.4055,0.7431))。据我们所知,这是第一个应用合奏学习来改善细粒度元素一致性病变细分性能的研究。
translated by 谷歌翻译
语义分割包括通过将其分配给从一组所有可用的标签来分类图像的每个像素。在过去的几年里,很多关注转移到这种任务。许多计算机视觉研究人员试图应用AutoEncoder结构来开发可以学习图像语义的模型以及它的低级表示。在给定输入的AutoEncoder架构中,编码器计算的输入的低维表示,然后解码器用于重建原始数据。在这项工作中,我们提出了一个卷积神经网络(CNNS)的集合。在集合方法中,许多不同的型号训练,然后用于分类,整体汇总了单个分类器的输出。该方法利用各种分类器的差异来提高整个系统的性能。通过使用不同的丢失函数强制执行单个分类器中的多样性。特别是,我们提出了一种新的损失函数,从骰子和结构相似度指数的组合产生。通过使用Deeplabv3 +和Hardnet环境结合不同的骨干网络来实现所提出的合奏。该提案是通过关于两个真实情景的广泛实证评估来评估:息肉和皮肤细分。所有代码都在HTTPS://github.com/lorisnanni在线提供。
translated by 谷歌翻译
已经开发了许多基于深度学习的方法,用于用于H&E图像的核分割,并已接近人类的表现。但是,将这种方法直接应用于另一种图像方式,例如免疫组织化学(IHC)图像,可能无法实现令人满意的性能。因此,我们开发了一种基于生成的对抗网络(GAN)方法,以将IHC图像转换为H&E图像,同时保留核位置和形态,然后将预训练的核分割模型应用于虚拟H&E图像。我们证明了所提出的方法比几种基线方法更好地工作,包括直接应用对H&E培训的细胞核分割方法,例如Cellpose和Hover-Net,并使用两个公共IHC图像数据集进行了培训。
translated by 谷歌翻译