表征数字图像中的血管对于许多类型的疾病诊断以及辅助关于血管系统的目前的研究是重要的。血管的自动分析通常需要图像中的血管或一组图像中的识别或分割,这通常是一个具有挑战性的任务。已经显示卷积神经网络(CNNS)以提供关于血管分割的优异结果。 CNNS的一个重要方面是它们可以在大量数据上培训,然后例如在图像处理软件中提供以进行广泛使用。然后可以在下游血管表征任务中容易地施加预先训练的CNN,例如血管的长度,曲纹或口径的计算。然而,如果预先训练的CNN可以提供稳健,无偏见,则仍然不清楚,在应用于它们未接受培训的数据集时会导致下游任务。在这里,我们专注于测量血管的曲折性,并调查CNNS的程度,即使在将网络微调到新的数据集之后,CNNS也可以提供偏置曲折值。我们表明,通过在数据集上划痕的CNN获得的CNN获得的曲折度值可能与通过在具有不同曲折统计数据的数据集上进行预先培训的微调网络获得的曲折性值。此外,我们表明,在微调网络时,细分性能的改善并不一定导致对曲折估计的相应改进。为了减轻上述问题,我们也提出了即使在他们没有提高分割性能的情况下也要应用特定的数据增强技术。
translated by 谷歌翻译
大脑的血管为人脑提供所需的营养和氧气。作为大脑血液供应的脆弱部分,小血管的病理可能会引起严重的问题,例如脑小血管疾病(CSVD)。还显示CSVD与神经变性有关,例如阿尔茨海默氏病。随着7个特斯拉MRI系统的发展,可以实现较高的空间图像分辨率,从而使大脑中非常小的血管描绘。非深度学习的方法进行血管分割的方法,例如,弗兰吉的血管增强,随后的阈值能够将培养基分割至大容器,但通常无法分割小血管。这些方法对小容器的敏感性可以通过广泛的参数调整或手动校正来提高,尽管使它们耗时,费力,并且对于较大的数据集而言是不可行的。本文提出了一个深度学习架构,以自动在7特斯拉3D飞行时间(TOF)磁共振血管造影(MRA)数据中自动分割小血管。该算法对仅11个受试者的小型半自动分段数据进行训练和评估;使用六个进行培训,两个进行验证,三个进行测试。基于U-NET多尺度监督的深度学习模型使用训练子集进行了训练,并以一种自我监督的方式使用变形 - 意识到的学习以改善概括性能。针对测试集对拟议的技术进行了定量和定性评估,并获得了80.44 $ \ pm $ 0.83的骰子得分。此外,将所提出的方法的结果与选定的手动分割区域(62.07结果骰子)进行了比较,并通过变形感知的学习显示出显着改善(18.98 \%)。
translated by 谷歌翻译
小型太阳能光伏(PV)阵列中电网的有效集成计划需要访问高质量的数据:单个太阳能PV阵列的位置和功率容量。不幸的是,不存在小型太阳能光伏的国家数据库。那些确实有限的空间分辨率,通常汇总到州或国家一级。尽管已经发布了几种有希望的太阳能光伏检测方法,但根据研究,研究这些模型的性能通常是高度异质的。这些方法对能源评估的实际应用的比较变得具有挑战性,可能意味着报告的绩效评估过于乐观。异质性有多种形式,我们在这项工作中探讨了每种形式:空间聚集的水平,地面真理的验证,培训和验证数据集的不一致以及培训的位置和传感器的多样性程度和验证数据始发。对于每个人,我们都会讨论文献中的新兴实践,以解决它们或暗示未来研究的方向。作为调查的一部分,我们评估了两个大区域的太阳PV识别性能。我们的发现表明,由于验证过程中的共同局限性,从卫星图像对太阳PV自动识别的传统绩效评估可能是乐观的。这项工作的收获旨在为能源研究人员和专业人员提供自动太阳能光伏评估技术的大规模实用应用。
translated by 谷歌翻译
在过去的几年中,在深度学习中,在深度学习中广泛研究了域的概括问题,但对对比增强成像的关注受到了有限的关注。但是,临床中心之间的对比度成像方案存在明显差异,尤其是在对比度注入和图像采集之间,而与可用的非对抗成像的可用数据集相比,访问多中心对比度增强图像数据受到限制。这需要新的工具来概括单个中心的深度学习模型,跨越新的看不见的域和临床中心,以对比增强成像。在本文中,我们介绍了深度学习技术的详尽评估,以实现对对比度增强图像分割的看不见的临床中心的普遍性。为此,研究,优化和系统评估了几种技术,包括数据增强,域混合,转移学习和域的适应性。为了证明域泛化对对比增强成像的潜力,评估了对对比增强心脏磁共振成像(MRI)中的心室分割的方法。结果是根据位于三个国家(法国,西班牙和中国)的四家医院中获得的多中心心脏对比增强的MRI数据集获得的。他们表明,数据增强和转移学习的组合可以导致单中心模型,这些模型可以很好地推广到训练过程中未包括的新临床中心。在对比增强成像中,具有合适的概括程序的单域神经网络可以达到甚至超过多中心多供应商模型的性能,从而消除了对综合多中心数据集的需求,以训练可概括的模型。
translated by 谷歌翻译
视网膜脉管系统的研究是筛查和诊断许多疾病的基本阶段。完整的视网膜血管分析需要将视网膜的血管分为动脉和静脉(A/V)。早期自动方法在两个顺序阶段接近这些分割和分类任务。但是,目前,这些任务是作为联合语义分割任务处理的,因为分类结果在很大程度上取决于血管分割的有效性。在这方面,我们提出了一种新的方法,用于从眼睛眼睛图像中对视网膜A/V进行分割和分类。特别是,我们提出了一种新颖的方法,该方法与以前的方法不同,并且由于新的损失,将联合任务分解为针对动脉,静脉和整个血管树的三个分割问题。这种配置允许直观地处理容器交叉口,并直接提供不同靶血管树的精确分割罩。提供的关于公共视网膜图血管树提取(RITE)数据集的消融研究表明,所提出的方法提供了令人满意的性能,尤其是在不同结构的分割中。此外,与最新技术的比较表明,我们的方法在A/V分类中获得了高度竞争的结果,同时显着改善了血管分割。提出的多段方法允许检测更多的血管,并更好地分割不同的结构,同时实现竞争性分类性能。同样,用这些术语来说,我们的方法优于各种参考作品的方法。此外,与以前的方法相比,该方法允许直接检测到容器交叉口,并在这些复杂位置保留A/V的连续性。
translated by 谷歌翻译
临床实践中使用的医学图像是异质的,与学术研究中研究的扫描质量不同。在解剖学,伪影或成像参数不寻常或方案不同的极端情况下,预处理会分解。最需要对这些变化的方法可靠。提出了一种新颖的深度学习方法,以将人脑快速分割为132个区域。提出的模型使用有效的U-NET型网络,并从不同视图和分层关系的交点上受益,以在端到端训练期间融合正交2D平面和脑标签。部署了弱监督的学习,以利用部分标记的数据来进行整个大脑分割和颅内体积(ICV)的估计。此外,数据增强用于通过生成具有较高的脑扫描的磁共振成像(MRI)数据来扩展模型训练,同时保持数据隐私。提出的方法可以应用于脑MRI数据,包括头骨或任何其他工件,而无需预处理图像或性能下降。与最新的一些实验相比,使用了不同的Atlases的几项实验,以评估受过训练模型的分割性能,并且与不同内部和不同内部和不同内部方法的现有方法相比,结果显示了较高的分割精度和鲁棒性。间域数据集。
translated by 谷歌翻译
The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.
translated by 谷歌翻译
X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.
translated by 谷歌翻译
深度学习对组织病理学整体幻灯片图像(WSIS)的应用持有提高诊断效率和再现性,但主要取决于写入计算机代码或购买商业解决方案的能力。我们介绍了一种使用自由使用,开源软件(Qupath,DeepMib和Spenthology)的无代码管道,用于创建和部署基于深度学习的分段模型,以进行计算病理学。我们展示了从结肠粘膜中分离上皮的用例的管道。通过使用管道的主动学习开发,包括140苏木蛋白 - 曙红(HE) - 染色的WSI(HE)-SIN(HE)-SIOS和111个CD3免疫染色体活检WSIS的数据集。在36人的持有试验组上,21个CD3染色的WSIS在上皮细分上实现了96.6%的平均交叉口96.6%和95.3%。我们展示了病理学家级分割准确性和临床可接受的运行时间绩效,并显示了没有编程经验的病理学家可以仅使用自由使用软件为组织病理WSIS创建近最先进的分段解决方案。该研究进一步展示了开源解决方案的强度在其创建普遍的开放管道的能力中,其中培训的模型和预测可以无缝地以开放格式导出,从而在外部解决方案中使用。所有脚本,培训的型号,视频教程和251个WSI的完整数据集在https://github.com/andreped/nocodeSeg中公开可用,以加速在该领域的研究。
translated by 谷歌翻译
海洋生态系统及其鱼类栖息地越来越重要,因为它们在提供有价值的食物来源和保护效果方面的重要作用。由于它们的偏僻且难以接近自然,因此通常使用水下摄像头对海洋环境和鱼类栖息地进行监测。这些相机产生了大量数字数据,这些数据无法通过当前的手动处理方法有效地分析,这些方法涉及人类观察者。 DL是一种尖端的AI技术,在分析视觉数据时表现出了前所未有的性能。尽管它应用于无数领域,但仍在探索其在水下鱼类栖息地监测中的使用。在本文中,我们提供了一个涵盖DL的关键概念的教程,该教程可帮助读者了解对DL的工作原理的高级理解。该教程还解释了一个逐步的程序,讲述了如何为诸如水下鱼类监测等挑战性应用开发DL算法。此外,我们还提供了针对鱼类栖息地监测的关键深度学习技术的全面调查,包括分类,计数,定位和细分。此外,我们对水下鱼类数据集进行了公开调查,并比较水下鱼类监测域中的各种DL技术。我们还讨论了鱼类栖息地加工深度学习的新兴领域的一些挑战和机遇。本文是为了作为希望掌握对DL的高级了解,通过遵循我们的分步教程而为其应用开发的海洋科学家的教程,并了解如何发展其研究,以促进他们的研究。努力。同时,它适用于希望调查基于DL的最先进方法的计算机科学家,以进行鱼类栖息地监测。
translated by 谷歌翻译
对大脑的电子显微镜(EM)体积的精确分割对于表征细胞或细胞器水平的神经元结构至关重要。尽管有监督的深度学习方法在过去几年中导致了该方向的重大突破,但它们通常需要大量的带注释的数据才能接受培训,并且在类似的实验和成像条件下获得的其他数据上的表现不佳。这是一个称为域适应的问题,因为从样本分布(或源域)中学到的模型难以维持其对从不同分布或目标域提取的样品的性能。在这项工作中,我们解决了基于深度学习的域适应性的复杂案例,以跨不同组织和物种的EM数据集进行线粒体分割。我们提出了三种无监督的域适应策略,以根据(1)两个域之间的最新样式转移来改善目标域中的线粒体分割; (2)使用未标记的源和目标图像预先培训模型的自我监督学习,然后仅用源标签进行微调; (3)具有标记和未标记图像的端到端训练的多任务神经网络体系结构。此外,我们提出了基于在源域中仅获得的形态学先验的新训练停止标准。我们使用三个公开可用的EM数据集进行了所有可能的跨数据库实验。我们评估了目标数据集预测的线粒体语义标签的拟议策略。此处介绍的方法优于基线方法,并与最新的状态相比。在没有验证标签的情况下,监视我们提出的基于形态的度量是停止训练过程并在平均最佳模型中选择的直观有效的方法。
translated by 谷歌翻译
由胰腺管网络的具有挑战性的分割任务激发,本文解决了两个通常遇到生物医学成像问题的问题:分割的拓扑一致性,以及昂贵或困难的注释。我们的贡献如下:a)我们提出了一个拓扑评分,该评分衡量了预测和地面真理分割之间的拓扑和几何一致性,应用于模型选择和验证。 b)我们在时间序列图像数据上为这一困难的嘈杂任务提供了完整的深度学习方法。在我们的方法中,我们首先使用半监管的U-NET体系结构,适用于通用分割任务,该任务共同训练自动编码器和分割网络。然后,随着时间的流逝,我们使用循环的跟踪来进一步改善预测的拓扑。这种半监督的方法使我们能够利用未经通知的数据来学习特征表示,尽管我们的带注释的培训数据的变化非常有限,但该特征表示具有较高可变性的数据。我们的贡献在具有挑战性的分割任务上得到了验证,从嘈杂的实时成像共聚焦显微镜中定位胎儿胰腺中的管状结构。我们表明,我们的半监督模型不仅优于完全监督和预训练的模型,而且还优于在训练过程中考虑拓扑一致性的方法。此外,与经过平均循环得分为0.762的CLDICE的U-NET相比,我们的方法的平均环路得分为0.808。
translated by 谷歌翻译
检测软骨损失对于诊断骨和类风湿关节炎至关重要。到目前为止,已经有大量自动分割工具用于大型关节的磁共振图像中的软骨评估。与膝盖或臀部相比,手腕软骨具有更复杂的结构,因此为大型关节开发的自动工具预计不会用于手腕软骨分割。在这方面,全自动手腕软骨分割方法将具有很高的临床感兴趣。我们评估了U-NET体系结构的四个优化变体的性能,并截断了其深度和注意力层(U-NET_AL)。将相应的结果与我们先前设计的基于斑块的卷积神经网络(CNN)的结果进行了比较。基于使用几个形态学(2D DSC,3D DSC,精度)和体积指标的比较分析进行了比较分析评估分割质量。这四个网络在分割均匀性和质量方面优于基于补丁的CNN。使用U-NET_AL计算的中值3D DSC值(0.817)明显大于其他网络计算的相应DSC值。此外,相对于地面真相,U-NET_AL CNN提供了最低的平均体积误差(17%)和最高的Pearson相关系数(0.765)。值得注意的是,使用U-NET_AL计算出的可重复性大于手动分割的可重复性。 U-NET卷积神经网络具有额外的注意层,可提供最佳的手腕软骨分割性能。为了在临床条件下使用,可以在代表一组特定患者的数据集上微调训练的网络。软骨体积测量的误差应使用非MRI方法独立评估。
translated by 谷歌翻译
神经胶质瘤是由不同高度异质组织学子区域组成的脑肿瘤。鉴定相关肿瘤子结构的图像分析技术具有改善患者诊断,治疗和预后的高潜力。但是,由于神经胶质瘤的异质性高,分割任务目前是医学图像分析领域的主要挑战。在目前的工作中,研究了由神经胶质瘤的多模式MRI扫描组成的2018年脑肿瘤分割(BRAT)挑战的数据库。提出了基于卷积神经网络(CNN)的设计和应用的分割方法,并结合了原始的后处理技术,其计算需求较低。后处理技术是分割中获得的结果的主要负责。分段区域是整个肿瘤,肿瘤核和增强的肿瘤核,分别获得等于0.8934、0.8376和0.8113的平均骰子系数。这些结果达到了由挑战的获胜者确定的神经胶质瘤分割的最新现状。
translated by 谷歌翻译
Generalization is an important attribute of machine learning models, particularly for those that are to be deployed in a medical context, where unreliable predictions can have real world consequences. While the failure of models to generalize across datasets is typically attributed to a mismatch in the data distributions, performance gaps are often a consequence of biases in the 'ground-truth' label annotations. This is particularly important in the context of medical image segmentation of pathological structures (e.g. lesions), where the annotation process is much more subjective, and affected by a number underlying factors, including the annotation protocol, rater education/experience, and clinical aims, among others. In this paper, we show that modeling annotation biases, rather than ignoring them, poses a promising way of accounting for differences in annotation style across datasets. To this end, we propose a generalized conditioning framework to (1) learn and account for different annotation styles across multiple datasets using a single model, (2) identify similar annotation styles across different datasets in order to permit their effective aggregation, and (3) fine-tune a fully trained model to a new annotation style with just a few samples. Next, we present an image-conditioning approach to model annotation styles that correlate with specific image features, potentially enabling detection biases to be more easily identified.
translated by 谷歌翻译
通过磁共振成像(MRI)评估肿瘤负担对于评估胶质母细胞瘤的治疗反应至关重要。由于疾病的高异质性和复杂性,该评估的性能很复杂,并且与高变异性相关。在这项工作中,我们解决了这个问题,并提出了一条深度学习管道,用于对胶质母细胞瘤患者进行全自动的端到端分析。我们的方法同时确定了肿瘤的子区域,包括第一步的肿瘤,周围肿瘤和手术腔,然后计算出遵循神经符号学(RANO)标准的当前响应评估的体积和双相测量。此外,我们引入了严格的手动注释过程,其随后是人类专家描绘肿瘤子区域的,并捕获其分割的信心,后来在训练深度学习模型时被使用。我们广泛的实验研究的结果超过了760次术前和504例从公共数据库获得的神经胶质瘤后患者(2021 - 2020年在19个地点获得)和临床治疗试验(47和69个地点,可用于公共数据库(在19个地点获得)(47和69个地点)术前/术后患者,2009-2011)并以彻底的定量,定性和统计分析进行了备份,表明我们的管道在手动描述时间的一部分中对术前和术后MRI进行了准确的分割(最高20比人更快。二维和体积测量与专家放射科医生非常吻合,我们表明RANO测量并不总是足以量化肿瘤负担。
translated by 谷歌翻译
作物现场边界有助于映射作物类型,预测产量,并向农民提供现场级分析。近年来,已经看到深深学习的成功应用于划定工业农业系统中的现场边界,但由于(1)需要高分辨率卫星图像的小型字段来解除界限和(2)缺乏(2)缺乏用于模型培训和验证的地面标签。在这项工作中,我们结合了转移学习和弱监督来克服这些挑战,我们展示了在印度的成功方法,我们有效地产生了10,000个新的场地标签。我们最好的型号使用1.5亿分辨率的空中客车现货图像作为投入,预先列进法国界限的最先进的神经网络,以及印度标签上的微调,以实现0.86的联盟(iou)中位数交叉口在印度。如果使用4.8M分辨率的行星扫描图像,最好的模型可以实现0.72的中位数。实验还表明,法国的预训练减少了所需的印度现场标签的数量,以便在数据集较小时尽可能多地实现给定的性能水平。这些发现表明我们的方法是划定当前缺乏现场边界数据集的世界区域中的裁剪领域的可扩展方法。我们公开发布了10,000个标签和描绘模型,以方便社区创建现场边界地图和新方法。
translated by 谷歌翻译
机器学习和计算机视觉技术近年来由于其自动化,适合性和产生惊人结果的能力而迅速发展。因此,在本文中,我们调查了2014年至2022年之间发表的关键研究,展示了不同的机器学习算法研究人员用来分割肝脏,肝肿瘤和肝脉管结构的研究。我们根据感兴趣的组织(肝果,肝肿瘤或肝毒剂)对被调查的研究进行了划分,强调了同时解决多个任务的研究。此外,机器学习算法被归类为受监督或无监督的,如果属于某个方案的工作量很大,则将进一步分区。此外,对文献和包含上述组织面具的网站发现的不同数据集和挑战进行了彻底讨论,强调了组织者的原始贡献和其他研究人员的贡献。同样,在我们的评论中提到了文献中过度使用的指标,这强调了它们与手头的任务的相关性。最后,强调创新研究人员应对需要解决的差距的关键挑战和未来的方向,例如许多关于船舶分割挑战的研究的稀缺性以及为什么需要早日处理他们的缺席。
translated by 谷歌翻译
最近关于Covid-19的研究表明,CT成像提供了评估疾病进展和协助诊断的有用信息,以及帮助理解疾病。有越来越多的研究,建议使用深度学习来使用胸部CT扫描提供快速准确地定量Covid-19。兴趣的主要任务是胸部CT扫描的肺和肺病变的自动分割,确认或疑似Covid-19患者。在这项研究中,我们使用多中心数据集比较12个深度学习算法,包括开源和内部开发的算法。结果表明,合并不同的方法可以提高肺部分割,二元病变分割和多种子病变分割的总体测试集性能,从而分别为0.982,0.724和0.469的平均骰子分别。将得到的二元病变分段为91.3ml的平均绝对体积误差。通常,区分不同病变类型的任务更加困难,分别具有152mL的平均绝对体积差,分别为整合和磨碎玻璃不透明度为0.369和0.523的平均骰子分数。所有方法都以平均体积误差进行二元病变分割,该分段优于人类评估者的视觉评估,表明这些方法足以用于临床实践中使用的大规模评估。
translated by 谷歌翻译
In medical image analysis, automated segmentation of multi-component anatomical structures, which often have a spectrum of potential anomalies and pathologies, is a challenging task. In this work, we develop a multi-step approach using U-Net-based neural networks to initially detect anomalies (bone marrow lesions, bone cysts) in the distal femur, proximal tibia and patella from 3D magnetic resonance (MR) images of the knee in individuals with varying grades of osteoarthritis. Subsequently, the extracted data are used for downstream tasks involving semantic segmentation of individual bone and cartilage volumes as well as bone anomalies. For anomaly detection, the U-Net-based models were developed to reconstruct the bone profiles of the femur and tibia in images via inpainting so anomalous bone regions could be replaced with close to normal appearances. The reconstruction error was used to detect bone anomalies. A second anomaly-aware network, which was compared to anomaly-na\"ive segmentation networks, was used to provide a final automated segmentation of the femoral, tibial and patellar bones and cartilages from the knee MR images containing a spectrum of bone anomalies. The anomaly-aware segmentation approach provided up to 58% reduction in Hausdorff distances for bone segmentations compared to the results from the anomaly-na\"ive segmentation networks. In addition, the anomaly-aware networks were able to detect bone lesions in the MR images with greater sensitivity and specificity (area under the receiver operating characteristic curve [AUC] up to 0.896) compared to the anomaly-na\"ive segmentation networks (AUC up to 0.874).
translated by 谷歌翻译