强大的海上障碍物检测对于安全导航自动船和及时避免碰撞至关重要。当前的最新技术基于在大型数据集上训练的深度分割网络。但是，此类数据集的每个像素地面真相标签是劳动密集型且昂贵的。我们提出了一个新的脚手架学习制度（SLR），该制度利用薄弱的注释，包括水边缘，地平线和障碍物边界框来训练基于细分的障碍物检测网络，从而将所需的地面真相标记工作减少了21倍。 SLR从弱注释中训练初始模型，然后在重新估计分割伪标签和改进网络参数之间交替。实验表明，在弱标签上使用SLR训练的海上障碍分割网络不仅匹配，而且优于接受密集地面真相标签的相同网络，这是一个了不起的结果。除了提高精度外，SLR还增加了域的概括，可用于较低的手动注释负载，用于域的适应性。代码和预培训模型可在https://github.com/lojzezust/slr上找到。
translated by 谷歌翻译
2022-11-24
The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.
translated by 谷歌翻译
强大的海上障碍物检测对于完全自动的无人体表面车辆（USV）至关重要。目前广泛采用的基于细分的障碍检测方法容易分类对象反射和阳光作为障碍，从而产生许多假阳性检测，从而有效地使USV导航的方法不切实际。但是，对物体反射的水扰动引起的时间外观变化与真实物体的外观动力学非常独特。我们利用这一属性来设计wasr-t，这是一个新型的海上障碍检测网络，从最近的一系列框架中提取时间上下文，以减少歧义。通过学习水面上对象反射的局部时间特征，WASR-T可以在存在反射和闪光的情况下显着提高障碍物检测精度。与现有的单帧方法相比，WASR-T将假阳性检测的数量降低了41％，在船的危险区域内将超过53％的人降低了53％，同时保留了很高在具有挑战性的MODS海上障碍物检测基准上的艺术表现。代码，预处理的模型和扩展数据集可在https://github.com/lojzezust/wasr-t上获得
translated by 谷歌翻译
必须在密集的注释图像上培训最先进的实例分段方法。虽然一般而言，这一要求对于生物医学图像尤其令人生畏，其中域专业知识通常需要注释，没有大的公共数据收集可用于预培训。我们建议通过基于非空间嵌入的非空间嵌入的联盟分割方法来解决密集的注释瓶颈，该方法利用所学习的嵌入空间的结构以可分散的方式提取单个实例。然后可以将分割损耗直接应用于实例，整体管道可以以完全或弱监督的方式培训，包括积极解贴的监管的具有挑战性的情况，其中为未标记的部分引入了一种新的自我监督的一致性损失训练数据。我们在不同显微镜模型以及城市景观和CVPPP实例分段基准中评估了对2D和3D分段问题的提出的方法，在后者上实现最先进的结果。该代码可用于：https://github.com/kreshuklab/spoco
translated by 谷歌翻译
This paper presents the first attempt to learn semantic boundary detection using image-level class labels as supervision. Our method starts by estimating coarse areas of object classes through attentions drawn by an image classification network. Since boundaries will locate somewhere between such areas of different classes, our task is formulated as a multiple instance learning (MIL) problem, where pixels on a line segment connecting areas of two different classes are regarded as a bag of boundary candidates. Moreover, we design a new neural network architecture that can learn to estimate semantic boundaries reliably even with uncertain supervision given by the MIL strategy. Our network is used to generate pseudo semantic boundary labels of training images, which are in turn used to train fully supervised models. The final model trained with our pseudo labels achieves an outstanding performance on the SBD dataset, where it is as competitive as some of previous arts trained with stronger supervision.
translated by 谷歌翻译
深度学习的快速发展在分割方面取得了长足的进步，这是计算机视觉的基本任务之一。但是，当前的细分算法主要取决于像素级注释的可用性，这些注释通常昂贵，乏味且费力。为了减轻这一负担，过去几年见证了越来越多的关注，以建立标签高效，深度学习的细分算法。本文对标签有效的细分方法进行了全面的审查。为此，我们首先根据不同类型的弱标签提供的监督（包括没有监督，粗略监督，不完整的监督和嘈杂的监督和嘈杂的监督），首先开发出一种分类法来组织这些方法，并通过细分类型（包括语义细分）补充，实例分割和全景分割）。接下来，我们从统一的角度总结了现有的标签有效的细分方法，该方法讨论了一个重要的问题：如何弥合弱监督和密集预测之间的差距 - 当前的方法主要基于启发式先导，例如交叉像素相似性，跨标签约束，跨视图一致性，跨图像关系等。最后，我们分享了对标签有效深层细分的未来研究方向的看法。
translated by 谷歌翻译
半弱监督和监督的学习最近在对象检测文献中引起了很大的关注，因为它们可以减轻成功训练深度学习模型所需的注释成本。半监督学习的最先进方法依赖于使用多阶段过程训练的学生老师模型，并大量数据增强。为弱监督的设置开发了自定义网络，因此很难适应不同的检测器。在本文中，引入了一种弱半监督的训练方法，以减少这些训练挑战，但通过仅利用一小部分全标记的图像，并在弱标记图像中提供信息来实现最先进的性能。特别是，我们基于通用抽样的学习策略以在线方式产生伪基真实（GT）边界框注释，消除了对多阶段培训的需求和学生教师网络配置。这些伪GT框是根据通过得分传播过程累积的对象建议的分类得分从弱标记的图像中采样的。 PASCAL VOC数据集的经验结果表明，使用VOC 2007作为完全标记的拟议方法可提高性能5.0％，而VOC 2012作为弱标记数据。同样，有了5-10％的完全注释的图像，我们观察到MAP中的10％以上的改善，表明对图像级注释的适度投资可以大大改善检测性能。
translated by 谷歌翻译
当前的3D分割方法很大程度上依赖于大规模的点状数据集，众所周知，这些数据集众所周知。很少有尝试规避需要每点注释的需求。在这项工作中，我们研究了弱监督的3D语义实例分割。关键的想法是利用3D边界框标签，更容易，更快地注释。确实，我们表明只有仅使用边界框标签训练密集的分割模型。在我们方法的核心上，\ name {}是一个深层模型，灵感来自经典的霍夫投票，直接投票赞成边界框参数，并且是专门针对边界盒票的专门定制的群集方法。这超出了常用的中心票，这不会完全利用边界框注释。在扫描仪测试中，我们弱监督的模型在其他弱监督的方法中获得了领先的性能（+18 MAP@50）。值得注意的是，它还达到了当前完全监督模型的50分数的地图的97％。为了进一步说明我们的工作的实用性，我们在最近发布的Arkitscenes数据集中训练Box2mask，该数据集仅使用3D边界框注释，并首次显示引人注目的3D实例细分掩码。
translated by 谷歌翻译
从非结构化的3D点云学习密集点语义，虽然是一个逼真的问题，但在文献中探讨了逼真的问题。虽然现有的弱监督方法可以仅具有小数点的点级注释来有效地学习语义，但我们发现香草边界箱级注释也是大规模3D点云的语义分割信息。在本文中，我们介绍了一个神经结构，称为Box2Seg，以了解3D点云的点级语义，具有边界盒级监控。我们方法的关键是通过探索每个边界框内和外部的几何和拓扑结构来生成准确的伪标签。具体地，利用基于注意的自我训练（AST）技术和点类激活映射（PCAM）来估计伪标签。通过伪标签进行进一步培训并精制网络。在两个大型基准测试中的实验，包括S3DIS和Scannet，证明了该方法的竞争性能。特别是，所提出的网络可以培训，甚至是均匀的空缺边界箱级注释和子环级标签。
translated by 谷歌翻译
现有的计算机视觉系统可以与人类竞争，以理解物体的可见部分，但在描绘部分被遮挡物体的无形部分时，仍然远远远远没有达到人类。图像Amodal的完成旨在使计算机具有类似人类的Amodal完成功能，以了解完整的对象，尽管该对象被部分遮住。这项调查的主要目的是对图像Amodal完成领域的研究热点，关键技术和未来趋势提供直观的理解。首先，我们对这个新兴领域的最新文献进行了全面的评论，探讨了图像Amodal完成中的三个关键任务，包括Amodal形状完成，Amodal外观完成和订单感知。然后，我们检查了与图像Amodal完成有关的流行数据集及其共同的数据收集方法和评估指标。最后，我们讨论了现实世界中的应用程序和未来的研究方向，以实现图像的完成，从而促进了读者对现有技术和即将到来的研究趋势的挑战的理解。
translated by 谷歌翻译
深度学习技术的最新进展引发了地面车辆的自主权的根本性进步。定期用于监视，监视和其他常规任务的海洋沿海自动级别的表面车辆（ASV）可以从这种自治中受益。长期的深海运输活动是额外的机会。这两个用例的地形非常不同 - 第一个是沿海水域 - 具有许多障碍，结构和人类的存在，而后者大多没有这样的障碍。环境条件的变化都是两种地形的共同点。绘制此类地形的强大标记数据集对于提高可以推动自主权的情境意识至关重要。但是，只有此类海事数据集有限，这些数据集主要由光学图像组成。虽然，长浪红外（LWIR）是对极端光条件下有助于的光谱的强烈补充，但目前尚不存在带有LWIR图像的标记的公共数据集。在本文中，我们通过在不同条件下呈现在沿海海上环境中捕获的2,900多个LWIR分段图像的标签数据集来填补这一空白。这些图像使用实例分割标记，并分为七个类别 - 天空，水，障碍物，生活障碍，桥梁，自我和背景。我们还评估了三个深度学习体系结构（UNET，PSPNET，DEEPLABV3）的数据集，并对其功效提供了详细的分析。尽管数据集专注于沿海地形，但可以同样有助于深海用例。这种地形的流量将较小，在混乱环境中训练的分类器将能够有效地处理稀疏场景。我们与研究界分享此数据集，希望它刺激新的场景理解海上环境中的能力。
translated by 谷歌翻译
用于对象检测的注释边界框很昂贵，耗时且容易出错。在这项工作中，我们提出了一个基于DITR的框架，该框架旨在在部分注释的密集场景数据集中明确完成丢失的注释。这减少了注释场景中的每个对象实例，从而降低注释成本。完成DETR解码器中的对象查询，并使用图像中对象的补丁信息。结合匹配损失，它可以有效地找到与输入补丁相似的对象并完成丢失的注释。我们表明，我们的框架优于最先进的方法，例如软采样和公正的老师，同时可以与这些方法一起使用以进一步提高其性能。我们的框架对下游对象探测器的选择也不可知。我们显示了多个流行探测器的性能改进，例如在多个密集的场景数据集中更快的R-CNN，CASCADE R-CNN，CENTERNET2和可变形的DETR。
translated by 谷歌翻译
视频分析的图像分割在不同的研究领域起着重要作用，例如智能城市，医疗保健，计算机视觉和地球科学以及遥感应用。在这方面，最近致力于发展新的细分策略;最新的杰出成就之一是Panoptic细分。后者是由语义和实例分割的融合引起的。明确地，目前正在研究Panoptic细分，以帮助获得更多对视频监控，人群计数，自主驾驶，医学图像分析的图像场景的更细致的知识，以及一般对场景更深入的了解。为此，我们介绍了本文的首次全面审查现有的Panoptic分段方法，以获得作者的知识。因此，基于所采用的算法，应用场景和主要目标的性质，执行现有的Panoptic技术的明确定义分类。此外，讨论了使用伪标签注释新数据集的Panoptic分割。继续前进，进行消融研究，以了解不同观点的Panoptic方法。此外，讨论了适合于Panoptic分割的评估度量，并提供了现有解决方案性能的比较，以告知最先进的并识别其局限性和优势。最后，目前对主题技术面临的挑战和吸引不久的将来吸引相当兴趣的未来趋势，可以成为即将到来的研究研究的起点。提供代码的文件可用于：https：//github.com/elharroussomar/awesome-panoptic-egation
translated by 谷歌翻译
2022-01-13
场景文本检测的具有挑战性的领域需要复杂的数据注释，这是耗时和昂贵的。弱监管等技术可以减少所需的数据量。本文提出了一种薄弱的现场文本检测监控方法，这是利用加强学习（RL）。RL代理收到的奖励由神经网络估算，而不是从地面真理标签推断出来。首先，我们增强了具有多种培训优化的文本检测的现有监督RL方法，允许我们将性能差距缩放到基于回归的算法。然后，我们将拟议的系统在现实世界数据的漏洞和半监督培训中使用。我们的结果表明，在弱监督环境中培训是可行的。但是，我们发现在半监督设置中使用我们的模型，例如，将标记的合成数据与未经发布的实际数据相结合，产生最佳结果。
translated by 谷歌翻译
基于深度学习的对象建议方法已在许多计算机视觉管道中取得了重大进展。但是，当前的最新提案网络使用封闭世界的假设，这意味着它们仅接受培训以检测培训课程的实例，同时将每个其他区域视为背景。这种解决方案的样式无法对分发对象进行高度召回，因此可以在可以观察到新颖的对象类别类别的现实开放世界应用程序中使用它。为了更好地检测所有对象，我们提出了一个无分类的自我训练的建议网络（STPN），该提案网络（STPN）利用了一种新型的自我训练优化策略，并结合了动态加权损失功能，以解决诸如类不平衡和伪标签的不确定性之类的挑战。我们的模型不仅旨在在现有的乐观开放世界基准中表现出色，而且在具有重大标签偏见的具有挑战性的操作环境中。为了展示这一点，当培训数据包含（1）标记类中的多样性较小，并且（2）标记实例较少时，我们就设计了两个挑战来测试建议模型的概括。我们的结果表明，STPN在所有任务上都实现了最新的对象概括。
translated by 谷歌翻译
分类网络已用于弱监督语义分割（WSSS）中，以通过类激活图（CAM）进行细分对象。但是，没有像素级注释，已知它们主要是（1）集中在歧视区域上，以及（2）产生弥漫性凸轮而没有定义明确的预测轮廓。在这项工作中，我们通过改善CAM学习来缓解这两个问题。首先，我们根据CAM引起的类别概率质量函数来合并重要性抽样，以产生随机图像级别的类预测。如我们的经验研究所示，这导致分割涵盖更大程度的对象。其次，我们制定了特征相似性损失项，该术语进一步改善了图像中边缘的预测轮廓的对齐。此外，我们通过测量轮廓f-评分作为对公共区域MIOU度量的补充，将新的光芒放到了WSS的问题上。我们表明，我们的方法在轮廓质量方面显着优于以前的方法，同时匹配了区域相似性的最新方法。
translated by 谷歌翻译
语义分割在广泛的计算机视觉应用中起着基本作用，提供了全球对图像的理解的关键信息。然而，最先进的模型依赖于大量的注释样本，其比在诸如图像分类的任务中获得更昂贵的昂贵的样本。由于未标记的数据替代地获得更便宜，因此无监督的域适应达到了语义分割社区的广泛成功并不令人惊讶。本调查致力于总结这一令人难以置信的快速增长的领域的五年，这包含了语义细分本身的重要性，以及将分段模型适应新环境的关键需求。我们提出了最重要的语义分割方法;我们对语义分割的域适应技术提供了全面的调查;我们揭示了多域学习，域泛化，测试时间适应或无源域适应等较新的趋势;我们通过描述在语义细分研究中最广泛使用的数据集和基准测试来结束本调查。我们希望本调查将在学术界和工业中提供具有全面参考指导的研究人员，并有助于他们培养现场的新研究方向。
translated by 谷歌翻译
标记数据通常昂贵且耗时，特别是对于诸如对象检测和实例分割之类的任务，这需要对图像的密集标签进行密集的标签。虽然几张拍摄对象检测是关于培训小说中的模型（看不见的）对象类具有很少的数据，但它仍然需要在许多标记的基础（见）类的课程上进行训练。另一方面，自我监督的方法旨在从未标记数据学习的学习表示，该数据转移到诸如物体检测的下游任务。结合几次射击和自我监督的物体检测是一个有前途的研究方向。在本调查中，我们审查并表征了几次射击和自我监督对象检测的最新方法。然后，我们给我们的主要外卖，并讨论未来的研究方向。https://gabrielhuang.github.io/fsod-survey/的项目页面
translated by 谷歌翻译
For best performance, today's semantic segmentation methods use large and carefully labeled datasets, requiring expensive annotation budgets. In this work, we show that coarse annotation is a low-cost but highly effective alternative for training semantic segmentation models. Considering the urban scene segmentation scenario, we leverage cheap coarse annotations for real-world captured data, as well as synthetic data to train our model and show competitive performance compared with finely annotated real-world data. Specifically, we propose a coarse-to-fine self-training framework that generates pseudo labels for unlabeled regions of the coarsely annotated data, using synthetic data to improve predictions around the boundaries between semantic classes, and using cross-domain data augmentation to increase diversity. Our extensive experimental results on Cityscapes and BDD100k datasets demonstrate that our method achieves a significantly better performance vs annotation cost tradeoff, yielding a comparable performance to fully annotated data with only a small fraction of the annotation budget. Also, when used as pretraining, our framework performs better compared to the standard fully supervised setting.
translated by 谷歌翻译
The semantic image segmentation task presents a trade-off between test time accuracy and training-time annotation cost. Detailed per-pixel annotations enable training accurate models but are very timeconsuming to obtain; image-level class labels are an order of magnitude cheaper but result in less accurate models. We take a natural step from image-level annotation towards stronger supervision: we ask annotators to point to an object if one exists. We incorporate this point supervision along with a novel objectness potential in the training loss function of a CNN model. Experimental results on the PASCAL VOC 2012 benchmark reveal that the combined effect of point-level supervision and objectness potential yields an improvement of 12.9% mIOU over image-level supervision. Further, we demonstrate that models trained with pointlevel supervision are more accurate than models trained with image-level, squiggle-level or full supervision given a fixed annotation budget.
translated by 谷歌翻译