场景文本检测的具有挑战性的领域需要复杂的数据注释,这是耗时和昂贵的。弱监管等技术可以减少所需的数据量。本文提出了一种薄弱的现场文本检测监控方法,这是利用加强学习(RL)。RL代理收到的奖励由神经网络估算,而不是从地面真理标签推断出来。首先,我们增强了具有多种培训优化的文本检测的现有监督RL方法,允许我们将性能差距缩放到基于回归的算法。然后,我们将拟议的系统在现实世界数据的漏洞和半监督培训中使用。我们的结果表明,在弱监督环境中培训是可行的。但是,我们发现在半监督设置中使用我们的模型,例如,将标记的合成数据与未经发布的实际数据相结合,产生最佳结果。
translated by 谷歌翻译
半弱监督和监督的学习最近在对象检测文献中引起了很大的关注,因为它们可以减轻成功训练深度学习模型所需的注释成本。半监督学习的最先进方法依赖于使用多阶段过程训练的学生老师模型,并大量数据增强。为弱监督的设置开发了自定义网络,因此很难适应不同的检测器。在本文中,引入了一种弱半监督的训练方法,以减少这些训练挑战,但通过仅利用一小部分全标记的图像,并在弱标记图像中提供信息来实现最先进的性能。特别是,我们基于通用抽样的学习策略以在线方式产生伪基真实(GT)边界框注释,消除了对多阶段培训的需求和学生教师网络配置。这些伪GT框是根据通过得分传播过程累积的对象建议的分类得分从弱标记的图像中采样的。 PASCAL VOC数据集的经验结果表明,使用VOC 2007作为完全标记的拟议方法可提高性能5.0%,而VOC 2012作为弱标记数据。同样,有了5-10%的完全注释的图像,我们观察到MAP中的10%以上的改善,表明对图像级注释的适度投资可以大大改善检测性能。
translated by 谷歌翻译
如今,半监督对象检测(SSOD)是一个热门话题,因为虽然收集用于创建新数据集的图像相当容易,但标记它们仍然是一项昂贵且耗时的任务。在半监督学习(SSL)设置上利用原始图像的成功方法之一是卑鄙的教师技术,在其中,老师的伪标记的运作以及从学生到教师的知识转移到教师的情况下进行。但是,通过阈值进行伪标记并不是最好的解决方案,因为置信值与预测不确定性无关,不允许安全过滤预测。在本文中,我们介绍了一个附加的分类任务,以进行边界框定位,以改善预测边界框的过滤并获得更高的学生培训质量。此外,我们从经验上证明,无监督部分上的边界框回归可以同样有助于培训与类别分类一样多。我们的实验表明,我们的IL-NET(改善本地化网)在限量注册方案中可可数据集中的SSOD性能提高了1.14%的AP。该代码可从https://github.com/implabunipr/unbiased-teacher/tree/ilnet获得
translated by 谷歌翻译
最近关于Covid-19的研究表明,CT成像提供了评估疾病进展和协助诊断的有用信息,以及帮助理解疾病。有越来越多的研究,建议使用深度学习来使用胸部CT扫描提供快速准确地定量Covid-19。兴趣的主要任务是胸部CT扫描的肺和肺病变的自动分割,确认或疑似Covid-19患者。在这项研究中,我们使用多中心数据集比较12个深度学习算法,包括开源和内部开发的算法。结果表明,合并不同的方法可以提高肺部分割,二元病变分割和多种子病变分割的总体测试集性能,从而分别为0.982,0.724和0.469的平均骰子分别。将得到的二元病变分段为91.3ml的平均绝对体积误差。通常,区分不同病变类型的任务更加困难,分别具有152mL的平均绝对体积差,分别为整合和磨碎玻璃不透明度为0.369和0.523的平均骰子分数。所有方法都以平均体积误差进行二元病变分割,该分段优于人类评估者的视觉评估,表明这些方法足以用于临床实践中使用的大规模评估。
translated by 谷歌翻译
本文提出了第二版的头部和颈部肿瘤(Hecktor)挑战的概述,作为第24届医学图像计算和计算机辅助干预(Miccai)2021的卫星活动。挑战由三个任务组成与患有头颈癌(H&N)的患者的PET / CT图像的自动分析有关,专注于oropharynx地区。任务1是FDG-PET / CT图像中H&N主肿瘤肿瘤体积(GTVT)的自动分割。任务2是来自同一FDG-PET / CT的进展自由生存(PFS)的自动预测。最后,任务3与任务2的任务2与参与者提供的地面真理GTVT注释相同。这些数据从六个中心收集,总共325个图像,分为224个培训和101个测试用例。通过103个注册团队和448个结果提交的重要参与,突出了对挑战的兴趣。在第一任务中获得0.7591的骰子相似度系数(DSC),分别在任务2和3中的0.7196和0.6978的一致性指数(C-Index)。在所有任务中,发现这种方法的简单性是确保泛化性能的关键。 PFS预测性能在任务2和3中的比较表明,提供GTVT轮廓对于实现最佳结果,这表明可以使用完全自动方法。这可能避免了对GTVT轮廓的需求,用于可重复和大规模的辐射瘤研究的开头途径,包括千元潜在的受试者。
translated by 谷歌翻译
3D计算机断层扫描扫描的肺结核检测在高效的肺癌筛查中起着至关重要的作用。尽管使用CNNS的基于锚的探测器获得的SOTA性能,但是它们需要预定的锚定参数,例如锚点的尺寸,数量和纵横比,并且在处理具有大量尺寸的肺结节时具有有限的鲁棒性。为了克服这些问题,我们提出了一种基于3D球体表示的中心点匹配的检测网络,该检测网络是无锚的,并且自动预测结节的位置,半径和偏移,而无需手动设计结节/锚参数。 SCPM-Net由两种新颖组件组成:球体表示和中心点匹配。首先,为了匹配临床实践中的结节注释,我们用所提出的边界球体替换常用的边界框,以表示具有质心,半径和3D空间局部偏移的结节。引入兼容的基于球体的交叉口损耗功能,以稳定且有效地培训肺结核检测网络。其次,我们通过设计正中心点选择和匹配过程来赋予网络锚定,自然地丢弃预定的锚箱。在线硬示例挖掘和重新聚焦损失随后使CPM过程能够更加强大,导致更准确的点分配和级别不平衡的缓解。此外,为了更好地捕获用于检测的空间信息和3D上下文,我们建议熔化具有特征提取器的多级空间坐标映射,并将它们与3D挤压和激励的关注模块相结合。 Luna16数据集上的实验结果表明,与肺结核检测的现有锚和锚定方法相比,我们所提出的框架达到卓越的性能。
translated by 谷歌翻译
目的:自动化肺肿瘤定位和放射性图像分割等任务可以为放射科和其他临床人员提供宝贵的时间。卷积神经网络可能适用于这样的任务,但需要大量标记的数据训练。获得标记数据是一个挑战,尤其是在医学领域。方法:本文调查了教师学生设计的使用,利用具有不同类型监督的数据集来训练在计算机断层摄影图像上进行肺肿瘤分割的自动模型。该框架由两种型号组成:执行端到端的自动肿瘤细分的学生和在培训期间提供学生额外的伪注释数据的教师。结果:仅使用小比例的语义标记数据和大量边界框注释数据,我们使用教师学生设计实现了竞争性能。培训的型号培训的大量语义注释并没有比教师注释数据所培训的模型更好。结论:我们的结果展示了利用教师学生设计的潜力来减少注释负荷,因为可以执行较少的监督注释方案,而没有分割精度的任何实际降级。
translated by 谷歌翻译
动机:医学图像分析涉及帮助医师对病变或解剖结构进行定性和定量分析的任务,从而显着提高诊断和预后的准确性和可靠性。传统上,这些任务由医生或医学物理学家完成,并带来两个主要问题:(i)低效率; (ii)受个人经验的偏见。在过去的十年中,已经应用了许多机器学习方法来加速和自动化图像分析过程。与受监督和无监督的学习模型的大量部署相比,在医学图像分析中使用强化学习的尝试很少。这篇评论文章可以作为相关研究的垫脚石。意义:从我们的观察结果来看,尽管近年来增强学习逐渐增强了动力,但医学分析领域的许多研究人员发现很难理解和部署在诊所中。一个原因是缺乏组织良好的评论文章,针对缺乏专业计算机科学背景的读者。本文可能没有提供医学图像分析中所有强化学习模型的全面列表,而是可以帮助读者学习如何制定和解决他们的医学图像分析研究作为强化学习问题。方法和结果:我们从Google Scholar和PubMed中选择了已发表的文章。考虑到相关文章的稀缺性,我们还提供了一些出色的最新预印本。根据图像分析任务的类型对论文进行仔细审查和分类。我们首先回顾了强化学习的基本概念和流行模型。然后,我们探讨了增强学习模型在具有里程碑意义的检测中的应用。最后,我们通过讨论审查的强化学习方法的局限性和可能的​​改进来结束这篇文章。
translated by 谷歌翻译
自从17世纪以来,理论上就建立了非语言交流的\ Esquote*{Language}的手势。但是,它与视觉艺术的相关性仅偶尔表达。这可能主要是由于传统上必须手工处理的大量数据。但是,随着数字化的稳定进展,越来越多的历史文物被索引并提供给公众,从而需要自动检索具有类似身体星座或姿势的艺术历史图案。由于艺术领域因其风格差异而与现有的人类姿势估计的现实世界数据集有很大不同,因此提出了新的挑战。在本文中,我们提出了一种新颖的方法来估计艺术历史图像中的人类姿势。与以前试图用预训练模型或通过样式转移弥合域间隙的工作相反,我们建议对对象和关键点检测进行半监督学习。此外,我们引入了一个新颖的特定领域艺术数据集,其中包括人物的边界框和关键点注释。与使用预训练模型或样式转移的方法相比,我们的方法取得了明显更好的结果。
translated by 谷歌翻译
自动检测武器对于改善个人的安全性和福祉是重要的,仍然是由于各种尺寸,武器形状和外观,这是一项艰巨的任务。查看点变化和遮挡也是使这项任务更加困难的原因。此外,目前的物体检测算法处理矩形区域,但是一个细长和长的步枪可以真正地覆盖区域的一部分区域,其余部分可能包含未经紧的细节。为了克服这些问题,我们提出了一种用于定向意识武器检测的CNN架构,其提供具有改进的武器检测性能的面向边界框。所提出的模型不仅通过将角度作为分类问题的角度分成8个类而且提供方向,而是作为回归问题。对于培训我们的武器检测模型,包括总6400件武器图像的新数据集从网上收集,然后用面向定向的边界框手动注释。我们的数据集不仅提供导向的边界框作为地面真相,还提供了水平边界框。我们还以多种现代对象探测器提供我们的数据集,用于在该领域进一步研究。所提出的模型在该数据集上进行评估,并且与搁板对象检测器的比较分析产生了卓越的拟议模型的性能,以标准评估策略测量。数据集和模型实现在此链接上公开可用:https://bit.ly/2tyzicf。
translated by 谷歌翻译
CT图像中的椎骨定位,分割和识别是众多临床应用的关键。尽管近年来,深度学习策略已为该领域带来了重大改进,但由于其在培训数据集中的代表性不佳,过渡性和病理椎骨仍在困扰大多数现有方法。另外,提出的基于非学习的方法可以利用先验知识来处理这种特定情况。在这项工作中,我们建议将这两种策略结合起来。为此,我们引入了一个迭代循环,在该循环中,单个椎骨被递归地定位,分割和使用深网鉴定,而使用统计先验则实施解剖一致性。在此策略中,通过在图形模型中编码其配置来处理过渡性椎骨识别,该模型将局部深网预测汇总为解剖上一致的最终结果。我们的方法在Verse20挑战基准上取得了最新的结果,并且优于过渡性椎骨的所有方法以及对Verse19挑战基准的概括。此外,我们的方法可以检测和报告不满足解剖学一致性先验的不一致的脊柱区域。我们的代码和模型公开用于研究目的。
translated by 谷歌翻译
本文的目的是几次拍摄对象检测(FSOD) - 仅为新类别扩展对象探测器的任务仅给出了一些培训实例。我们介绍了一种简单的伪标签方法来源从训练集提供高质量的伪注释,因为每个新类别,大大增加培训实例的数量和减少类别的不平衡;我们的方法找到了先前未标记的实例。 NA \“IVELY培训使用模型预测产生了次优性能;我们提出了两种提高伪标签过程的精度的新方法:首先,我们引入了一种验证技术,以删除候选人检测,不正确的类标签;第二,我们训练一个专门的模型,可以纠正差的质量边界箱。在这两种新颖步骤之后,我们获得了一大集的高质量伪注释,允许我们的最终探测器培训结束到底。另外,我们展示了我们的方法维护基础类性能,以及FSOD中简单增强的实用性。在Pascal VOC和MS-Coco基准测试的同时,我们的方法与所有射击镜头的现有方法相比,实现了最先进的或第二个最佳性能。
translated by 谷歌翻译
随着深度学习方法的进步,如深度卷积神经网络,残余神经网络,对抗网络的进步。 U-Net架构最广泛利用生物医学图像分割,以解决目标区域或子区域的识别和检测的自动化。在最近的研究中,基于U-Net的方法在不同应用中显示了最先进的性能,以便在脑肿瘤,肺癌,阿尔茨海默,乳腺癌等疾病的早期诊断和治疗中发育计算机辅助诊断系统等,使用各种方式。本文通过描述U-Net框架来提出这些方法的成功,然后通过执行1)型号的U-Net变体进行综合分析,2)模特内分类,建立更好的见解相关的挑战和解决方案。此外,本文还强调了基于U-Net框架在持续的大流行病,严重急性呼吸综合征冠状病毒2(SARS-COV-2)中的贡献也称为Covid-19。最后,分析了这些U-Net变体的优点和相似性以及生物医学图像分割所涉及的挑战,以发现该领域的未来未来的研究方向。
translated by 谷歌翻译
研究表明,当训练数据缺少注释时,对象检测器的性能下降,即稀疏注释数据。当代方法专注于缺少地面实话注释的代理,无论是伪标签的形式还是通过在训练期间重新称重梯度。在这项工作中,我们重新审视了稀疏注释物体检测的制定。我们观察到稀疏注释的物体检测可以被认为是区域级的半监督对象检测问题。在此洞察力上,我们提出了一种基于区域的半监督算法,它自动识别包含未标记的前景对象的区域。我们的算法然后以不同的方式处理标记和未标记的前景区域,在半监督方法中进行常见做法。为了评估所提出的方法的有效性,我们对普斯卡尔库尔和可可数据集的稀疏注释方法常用的五种分裂进行详尽的实验,并实现最先进的性能。除此之外,我们还表明,我们的方法在标准半监督设置上实现了竞争性能,证明了我们的方法的实力和广泛适用性。
translated by 谷歌翻译
利用伪标签(例如,类别和边界框)由教师探测器产生的未注释的对象,已经为半监督对象检测(SSOD)的最新进展提供了很多进展。但是,由于稀缺注释引起的教师探测器的概括能力有限,因此产生的伪标签通常偏离地面真理,尤其是那些具有相对较低分类信心的人,从而限制了SSOD的概括性能。为了减轻此问题,我们为SSOD提出了一个双伪标签抛光框架。我们没有直接利用教师探测器生成的伪标签,而是首次尝试使用双抛光学习来减少它们偏离地面真相的偏差,其中两个不同结构化的抛光网络是精心开发和培训的分别在给定注释对象上的类别和边界框的真相。通过这样做,两个抛光网络都可以通过基于最初产生的伪标签充分利用其上下文知识来推断未注释的对象的更准确的伪标签,从而提高了SSOD的概括性能。此外,可以将这种方案无缝地插入现有的SSOD框架中,以进行端到端学习。此外,我们建议将抛光的伪类别和未注释的对象的边界框,用于单独的类别分类和SSOD中的边界框回归,这使得在模型训练过程中可以引入更多未经许可的对象,从而进一步提高了性能。 Pascal VOC和MS Coco基准测试的实验证明了该方法比现有最新基准的优越性。
translated by 谷歌翻译
域适应(DA)最近在医学影像社区提出了强烈的兴趣。虽然已经提出了大量DA技术进行了用于图像分割,但大多数这些技术已经在私有数据集或小公共可用数据集上验证。此外,这些数据集主要解决了单级问题。为了解决这些限制,与第24届医学图像计算和计算机辅助干预(Miccai 2021)结合第24届国际会议组织交叉模态域适应(Crossmoda)挑战。 Crossmoda是无监督跨型号DA的第一个大型和多级基准。挑战的目标是分割参与前庭施瓦新瘤(VS)的后续和治疗规划的两个关键脑结构:VS和Cochleas。目前,使用对比度增强的T1(CET1)MRI进行VS患者的诊断和监测。然而,使用诸如高分辨率T2(HRT2)MRI的非对比度序列越来越感兴趣。因此,我们创建了一个无人监督的跨模型分段基准。训练集提供注释CET1(n = 105)和未配对的非注释的HRT2(n = 105)。目的是在测试集中提供的HRT2上自动对HRT2进行单侧VS和双侧耳蜗分割(n = 137)。共有16支球队提交了评估阶段的算法。顶级履行团队达成的表现水平非常高(最佳中位数骰子 - vs:88.4%; Cochleas:85.7%)并接近完全监督(中位数骰子 - vs:92.5%;耳蜗:87.7%)。所有顶级执行方法都使用图像到图像转换方法将源域图像转换为伪目标域图像。然后使用这些生成的图像和为源图像提供的手动注释进行培训分割网络。
translated by 谷歌翻译
组织分割是病理检查的主要主机,而手动描述则过于繁重。为了协助这一耗时和主观的手动步骤,研究人员已经设计了自动在病理图像中分割结构的方法。最近,自动化机器和基于深度学习的方法主导了组织分割研究。但是,大多数基于机器和深度学习的方法都是使用大量培训样本进行监督和开发的,其中PixelWise注释很昂贵,有时无法获得。本文通过将端到端的深层混合模型与有限的指标集成以获取准确的语义组织分割,从而引入了一种新颖的无监督学习范式。该约束旨在在计算优化函数期间集中深层混合模型的组成部分。这样做,可以大大减少当前无监督学习方法中常见的多余或空的班级问题。通过对公共和内部数据集的验证,拟议的深度约束高斯网络在组织细分方面取得了更好的性能(Wilcoxon签名级测试)更好的性能(平均骰子得分分别为0.737和0.735),具有改善与其他现有的无监督分割方法相比。此外,该方法与完全监督的U-NET相比,提出的方法具有相似的性能(P值> 0.05)。
translated by 谷歌翻译
每年有大约4.5亿人受到肺炎的影响,导致250万人死亡。 Covid-19也影响了1.81亿人,这导致了392万人伤亡。如果早期诊断,两种疾病死亡可能会显着降低。然而,目前诊断肺炎(投诉+胸部X射线)和Covid-19(RT-PCR)的方法分别存在专家放射科医生和时间。在深度学习模型的帮助下,可以从胸部X射线或CT扫描立即检测肺炎和Covid-19。这样,诊断肺炎/ Covid-19的过程可以更有效和普遍地制作。在本文中,我们的目标是引出,解释和评估,定性和定量,深入学习方法的主要进步,旨在检测或定位社区获得的肺炎(帽),病毒肺炎和Covid-19从胸部X-的图像光线和CT扫描。作为一个系统的审查,本文的重点在于解释了深度学习模型架构,该架构已经被修改或从划痕,以便WIWTH对概括性的关注。对于每个模型,本文回答了模型所设计的方式的问题,特定模型克服的挑战以及修改模型到所需规格的折衷。还提供了本文描述的所有模型的定量分析,以量化不同模型的有效性与相似的目标。一些权衡无法量化,因此它们在定性分析中明确提到,在整个纸张中完成。通过在一个地方编译和分析大量的研究细节,其中包含所有数据集,模型架构和结果,我们的目标是为对此字段感兴趣的初学者和当前研究人员提供一站式解决方案。
translated by 谷歌翻译
从合成孔径雷达(SAR)图像建立高度检索,对于城市应用来说,对于城市应用来说,对于SAR数据的复杂性来说,这一极为重视。本文从单个Terrasar-X Spotlight或Stribmap图像中解决了大型城市地区建立高度检索问题的问题。基于雷达观看几何形状,我们提出该问题可以作为边界框回归问题制定,因此允许将高度数据集成在更大的规模上生成地面真实。我们从地理信息系统(GIS)数据中的建筑占用脚印作为互补信息,并提出了一种限制框回归网络,该网络利用建筑物占地面积与其边界框之间的位置关系,允许快速计算。这对于大型应用来说很重要。在高分辨率聚光灯和RILTMAP模式下,使用Terrasar-X图像在四个城市数据集上验证该方法。实验结果表明,与基于速度的R-CNN的方法相比,所提出的网络可以显着降低计算成本,同时保持各个建筑物的高度精度。此外,我们调查了GIS数据对我们所提出的网络的影响,并且本研究表明边界框回归网络对GIS数据中的定位误差具有稳健。该方法具有适用于区域甚至全球范围的潜力。
translated by 谷歌翻译
从非结构化的3D点云学习密集点语义,虽然是一个逼真的问题,但在文献中探讨了逼真的问题。虽然现有的弱监督方法可以仅具有小数点的点级注释来有效地学习语义,但我们发现香草边界箱级注释也是大规模3D点云的语义分割信息。在本文中,我们介绍了一个神经结构,称为Box2Seg,以了解3D点云的点级语义,具有边界盒级监控。我们方法的关键是通过探索每个边界框内和外部的几何和拓扑结构来生成准确的伪标签。具体地,利用基于注意的自我训练(AST)技术和点类激活映射(PCAM)来估计伪标签。通过伪标签进行进一步培训并精制网络。在两个大型基准测试中的实验,包括S3DIS和Scannet,证明了该方法的竞争性能。特别是,所提出的网络可以培训,甚至是均匀的空缺边界箱级注释和子环级标签。
translated by 谷歌翻译