最近在现实世界应用中部署对象检测的深度神经网络的努力，例如自主驾驶，假设在训练期间已经观察到所有相关的对象类。在训练集中不表示测试数据时，在设置中的性能大多专注于用于语义分割的模型的像素级不确定性估计技术。本文建议利用对语义分割模型的额外预测，并量化其信心，然后以已知的对象与未知的对象分类分类。我们使用由区域提议网络（RPN）生成的对象提案，并使用径向基函数网络（RBFN）来适应语义分割的距离意识不确定性估计，用于类别不可知对象掩码预测。然后使用增强的对象提案来训练已知对象类别的分类器。实验结果表明，该方法实现了对未知物体检测的现有技术的状态的平行性能，并且还可以有效地用于减少对象检测器的假阳性率。我们的方法非常适合于通过语义分割获得的非对象背景类别的预测是可靠的。
translated by 谷歌翻译
由于全景分割为输入中的每个像素提供了一个预测，因此，非标准和看不见的对象系统地导致了错误的输出。但是，在关键的环境中，针对分发样本的鲁棒性和角案件对于避免危险行为至关重要，例如忽略动物或道路上的货物丢失。由于驾驶数据集不能包含足够的数据点来正确采样基础分布的长尾巴，因此方法必须处理未知和看不见的方案才能安全部署。以前的方法是通过重新识别已经看到未标记的对象来针对此问题的一部分。在这项工作中，我们扩大了提出整体分割的范围：一项任务，以识别和将看不见的对象分为实例，而无需从未知数中学习，同时执行已知类别的全面分割。我们用U3HS解决了这个新问题，U3HS首先将未知数视为高度不确定的区域，然后将相应的实例感知嵌入到各个对象中。通过这样做，这是第一次使用未知对象进行综合分割，我们的U3HS未接受未知数据的训练，因此使对象类型的设置不受限制，并允许对整体场景理解。在两个公共数据集上进行了广泛的实验和比较，即CityScapes和作为转移的丢失和发现，证明了U3HS在挑战性的整体分段任务中的有效性，并具有竞争性的封闭式全盘分段性能。
translated by 谷歌翻译
对于现代自治系统来说，可靠的场景理解是必不可少的。当前基于学习的方法通常试图根据仅考虑分割质量的细分指标来最大化其性能。但是，对于系统在现实世界中的安全操作，考虑预测的不确定性也至关重要。在这项工作中，我们介绍了不确定性感知的全景分段的新任务，该任务旨在预测每个像素语义和实例分割，以及每个像素不确定性估计。我们定义了两个新颖的指标，以促进其定量分析，不确定性感知的综合质量（UPQ）和全景预期校准误差（PECE）。我们进一步提出了新型的自上而下的证据分割网络（EVPSNET），以解决此任务。我们的架构采用了一个简单而有效的概率融合模块，该模块利用了预测的不确定性。此外，我们提出了一种新的LOV \'ASZ证据损失函数，以优化使用深度证据学习概率的分割的IOU。此外，我们提供了几个强大的基线，将最新的泛型分割网络与无抽样的不确定性估计技术相结合。广泛的评估表明，我们的EVPSNET可以实现标准综合质量（PQ）的新最新技术，以及我们的不确定性倾斜度指标。
translated by 谷歌翻译
关于观察者网络的最新工作显示出关于语义分割的分布（OOD）检测的有希望的结果。这些方法在精确定位图像（即异常）中的兴趣点上很难。这种限制是由于像素水平上细粒度预测的难度。为了解决这个问题，我们向观察者提供实例知识。我们通过利用实例掩码预测来扩展obsnet的方法。我们使用其他类别的对象检测器来过滤和汇总观察者预测。最后，我们预测图像中每个实例的唯一异常得分。我们表明，我们提出的方法准确地将三个数据集中的分布对象准确地分发对象。
translated by 谷歌翻译
2022-09-28
3D对象检测是自动驾驶的重要组成部分，深层神经网络（DNNS）已达到此任务的最新性能。但是，深层模型臭名昭著，因为将高置信度得分分配给分布（OOD）输入，即未从训练分布中得出的输入。检测OOD输入是具有挑战性的，对于模型的安全部署至关重要。已经针对分类任务进行了广泛研究OOD检测，但是它尚未对对象检测任务，特别是基于激光雷达的3D对象检测的注意力。在本文中，我们关注基于激光雷达的3D对象检测的OOD输入的检测。我们制定了OOD输入对于对象检测的含义，并提议适应几种OOD检测方法进行对象检测。我们通过提出的特征提取方法来实现这一目标。为了评估OOD检测方法，我们开发了一种简单但有效的技术，用于为给定的对象检测模型生成OOD对象。我们基于KITTI数据集的评估表明，不同的OOD检测方法具有检测特定OOD对象的偏差。它强调了联合OOD检测方法的重要性以及在这个方向上进行更多研究。
translated by 谷歌翻译
许多开放世界应用程序需要检测新的对象，但最先进的对象检测和实例分段网络在此任务中不屈服。关键问题在于他们假设没有任何注释的地区应被抑制为否定，这教导了将未经讨犯的对象视为背景的模型。为了解决这个问题，我们提出了一个简单但令人惊讶的强大的数据增强和培训方案，我们呼唤学习来检测每件事（LDET）。为避免抑制隐藏的对象，背景对象可见但未标记，我们粘贴在从原始图像的小区域采样的背景图像上粘贴带有的注释对象。由于仅对这种综合增强的图像培训遭受域名，我们将培训与培训分为两部分：1）培训区域分类和回归头在增强图像上，2）在原始图像上训练掩模头。通过这种方式，模型不学习将隐藏对象作为背景分类，同时概括到真实图像。 LDET导致开放式世界实例分割任务中的许多数据集的重大改进，表现出CoCo上的交叉类别概括的基线，以及对UVO和城市的交叉数据集评估。
translated by 谷歌翻译
We introduce Similarity Group Proposal Network (SGPN), a simple and intuitive deep learning framework for 3D object instance segmentation on point clouds. SGPN uses a single network to predict point grouping proposals and a corresponding semantic class for each proposal, from which we can directly extract instance segmentation results. Important to the effectiveness of SGPN is its novel representation of 3D instance segmentation results in the form of a similarity matrix that indicates the similarity between each pair of points in embedded feature space, thus producing an accurate grouping proposal for each point. Experimental results on various 3D scenes show the effectiveness of our method on 3D instance segmentation, and we also evaluate the capability of SGPN to improve 3D object detection and semantic segmentation results. We also demonstrate its flexibility by seamlessly incorporating 2D CNN features into the framework to boost performance.
translated by 谷歌翻译
最先进的（SOTA）复杂城市驾驶场景的异常分割方法探索从异常曝光或外部重建模型中了解的像素明智的分类不确定性。然而，之前将高不确定性直接对异常关联的不确定性方法有时可能导致不正确的异常预测，外部重建模型对于实时自动驾驶嵌入式系统往往是过低的。在本文中，我们提出了一种新的异常分段方法，命名为像素 - 明智的能量偏置的弃权学习（PEBAL），探讨了与学习自适应像素级异常类的模型的像素 - 方向弃权学习（AL），以及基于能量的模型（EBM），了解了Inlier像素分布。更具体地说，PEBAL基于EBM和A1的非琐碎的关节训练，其中EBM培训以输出用于异常像素的高能（来自异常曝光），并且培训AL，使得这些高能量像素接受自适应低罚款被纳入异常课程。我们广泛评估PEBAL对抗SOTA，并表明它可以实现四个基准的最佳性能。代码可在https://github.com/tianyu0207/pebal上获得。
translated by 谷歌翻译
异常意识是安全关键型应用的重要能力，如自主驾驶。虽然最近的机器人和计算机视觉的进展使得对图像分类的异常检测，但对语义细分的异常检测不太探讨。传统的异常感知系统假设其他现有类作为用于训练模型的分发（伪未知）类的类将导致两个缺点。 （1）未知类，需要应对哪些应用程序，在培训时间内实际上无法实际存在。 （2）模型性能强烈依赖课堂选择。观察这一点，我们提出了一种新的合成未知数据生成，打算解决异常感知语义分割任务。我们设计一个新的蒙版渐变更新（MGU）模块，以沿着分布边界生成辅助数据。此外，我们修改了传统的跨熵损失，强调边界数据点。我们在两个异常分段数据集上达到最先进的性能。消融研究还证明了所提出的模块的有效性。
translated by 谷歌翻译
自主驾驶的当代深度学习对象检测方法通常会假定前缀类别的共同交通参与者，例如行人和汽车。大多数现有的探测器无法检测到罕见的物体和拐角案例（例如，越过街道的狗），这可能会导致某些情况下发生严重的事故，从而使真实世界应用可靠的自动驾驶不确定。阻碍了真正可靠的自动驾驶系统发展的主要原因是缺乏评估对象探测器在角案例上的性能的公共数据集。因此，我们介绍了一个名为CODA的具有挑战性的数据集，该数据集揭示了基于视力的检测器的关键问题。该数据集由1500个精心选择的现实世界驾驶场景组成，每个场景平均包含四个对象级角案例（平均），涵盖30多个对象类别。在CODA上，在大型自动驾驶数据集中训练的标准对象探测器的性能显着下降到3月的12.8％。此外，我们试验了最新的开放世界对象检测器，发现它也无法可靠地识别尾声中的新对象，这表明对自主驾驶的强大感知系统可能远离触及。我们希望我们的CODA数据集有助于对现实世界自动驾驶的可靠检测进行进一步的研究。我们的数据集将在https://coda-dataset.github.io上发布。
translated by 谷歌翻译
最先进的语义或实例分割深度神经网络（DNN）通常在封闭的语义类上培训。因此，它们的装备不适用于处理以前的未持续的对象。然而，检测和定位这些物体对于安全关键应用至关重要，例如对自动驾驶的感知，特别是如果它们出现在前方的道路上。虽然某些方法已经解决了异常或分发的对象分割的任务，但由于缺乏固体基准，在很大程度上存在进展仍然缓慢;现有数据集由合成数据组成，或遭受标签不一致。在本文中，我们通过介绍“SegmentMeifyOUCAN”基准来弥合这个差距。我们的基准解决了两个任务：异常对象分割，这将考虑任何以前的未持续的对象类别;和道路障碍分割，它侧重于道路上的任何物体，可能是已知的或未知的。我们将两个相应的数据集与执行深入方法分析的测试套件一起提供，考虑到已建立的像素 - 明智的性能度量和最近的组件 - 明智的，这对对象尺寸不敏感。我们凭经验评估了多种最先进的基线方法，包括使用我们的测试套件在我们的数据集和公共数据上专门为异常/障碍分割而设计的多种型号。异常和障碍分割结果表明，我们的数据集有助于数据景观的多样性和难度。
translated by 谷歌翻译
In this work, we study 3D object detection from RGB-D data in both indoor and outdoor scenes. While previous methods focus on images or 3D voxels, often obscuring natural 3D patterns and invariances of 3D data, we directly operate on raw point clouds by popping up RGB-D scans. However, a key challenge of this approach is how to efficiently localize objects in point clouds of large-scale scenes (region proposal). Instead of solely relying on 3D proposals, our method leverages both mature 2D object detectors and advanced 3D deep learning for object localization, achieving efficiency as well as high recall for even small objects. Benefited from learning directly in raw point clouds, our method is also able to precisely estimate 3D bounding boxes even under strong occlusion or with very sparse points. Evaluated on KITTI and SUN RGB-D 3D detection benchmarks, our method outperforms the state of the art by remarkable margins while having real-time capability. * Majority of the work done as an intern at Nuro, Inc. depth to point cloud 2D region (from CNN) to 3D frustum 3D box (from PointNet)
translated by 谷歌翻译
由于新型神经网络体系结构的设计和大规模数据集的可用性，对象检测方法在过去几年中取得了令人印象深刻的改进。但是，当前的方法有一个重要的限制：他们只能检测到在训练时间内观察到的类，这只是检测器在现实世界中可能遇到的所有类的子集。此外，在训练时间通常不考虑未知类别的存在，从而导致方法甚至无法检测到图像中存在未知对象。在这项工作中，我们解决了检测未知对象的问题，称为开放集对象检测。我们提出了一种名为Unkad的新颖培训策略，能够预测未知的对象，而无需对其进行任何注释，利用训练图像背景中已经存在的非注释对象。特别是，unkad首先利用更快的R-CNN的四步训练策略，识别和伪标签未知对象，然后使用伪通量来训练其他未知类。尽管UNKAD可以直接检测未知的对象，但我们将其与以前未知的检测技术相结合，表明它不成本就可以提高其性能。
translated by 谷歌翻译
2022-05-03
在过去几年中，深度学习的巨大进展已导致了我们道路上有自动驾驶汽车的未来。然而，他们的感知系统的性能在很大程度上取决于使用的培训数据的质量。由于这些系统通常仅覆盖所有对象类别的一部分，因此自主驾驶系统将面临，因此这种系统在处理意外事件方面努力。为了安全地在公共道路上运行，对未知类别的对象的识别仍然是一项至关重要的任务。在本文中，我们提出了一条新的管道来检测未知物体。我们没有专注于单个传感器模式，而是通过以顺序结合最先进的检测模型来利用LiDAR和相机数据。我们在Waymo开放感知数据集上评估我们的方法，并指出当前的异常检测研究差距。
translated by 谷歌翻译
In this paper, we propose a unified panoptic segmentation network (UPSNet) for tackling the newly proposed panoptic segmentation task. On top of a single backbone residual network, we first design a deformable convolution based semantic segmentation head and a Mask R-CNN style instance segmentation head which solve these two subtasks simultaneously. More importantly, we introduce a parameter-free panoptic head which solves the panoptic segmentation via pixel-wise classification. It first leverages the logits from the previous two heads and then innovatively expands the representation for enabling prediction of an extra unknown class which helps better resolve the conflicts between semantic and instance segmentation. Additionally, it handles the challenge caused by the varying number of instances and permits back propagation to the bottom modules in an end-to-end manner. Extensive experimental results on Cityscapes, COCO and our internal dataset demonstrate that our UPSNet achieves stateof-the-art performance with much faster inference. Code has been made available at: https://github.com/ uber-research/UPSNet. * Equal contribution.† This work was done when Hengshuang Zhao was an intern at Uber ATG.
translated by 谷歌翻译
在重建掩码的实例分段网络的设计中，分段通常是其文字定义 - 分配每个像素标签。这导致了将问题视为匹配一个问题，其中一个目标是最小化重建和地面真相像素之间的损耗。重新思考重建网络作为发电机，我们定义了预测掩模作为GAN游戏框架的问题：分割网络生成掩码，鉴别器网络决定掩码的质量。为了演示这个游戏，我们对掩模R-CNN的普通分段框架显示了有效修改。我们发现，在特征空间中播放游戏比导致鉴别器和发电机之间的稳定训练的像素空间更有效，应该通过预测对象的上下文区域来替换预测对象坐标，并且整体对抗性损失有助于性能和消除每个不同数据域的任何自定义设置都需要。我们在各个域中测试我们的框架并报告手机回收，自动驾驶，大规模对象检测和医用腺体。我们观察到一般的GANS产生掩模，该掩模占克里克里德界，杂乱，小物体和细节，处于规则形状或异质和聚结形状的领域。我们的再现结果的代码可公开提供。
translated by 谷歌翻译
Image segmentation is a key topic in image processing and computer vision with applications such as scene understanding, medical image analysis, robotic perception, video surveillance, augmented reality, and image compression, among many others. Various algorithms for image segmentation have been developed in the literature. Recently, due to the success of deep learning models in a wide range of vision applications, there has been a substantial amount of works aimed at developing image segmentation approaches using deep learning models. In this survey, we provide a comprehensive review of the literature at the time of this writing, covering a broad spectrum of pioneering works for semantic and instance-level segmentation, including fully convolutional pixel-labeling networks, encoder-decoder architectures, multi-scale and pyramid based approaches, recurrent networks, visual attention models, and generative models in adversarial settings. We investigate the similarity, strengths and challenges of these deep learning models, examine the most widely used datasets, report performances, and discuss promising future research directions in this area.
translated by 谷歌翻译
视频分析的图像分割在不同的研究领域起着重要作用，例如智能城市，医疗保健，计算机视觉和地球科学以及遥感应用。在这方面，最近致力于发展新的细分策略;最新的杰出成就之一是Panoptic细分。后者是由语义和实例分割的融合引起的。明确地，目前正在研究Panoptic细分，以帮助获得更多对视频监控，人群计数，自主驾驶，医学图像分析的图像场景的更细致的知识，以及一般对场景更深入的了解。为此，我们介绍了本文的首次全面审查现有的Panoptic分段方法，以获得作者的知识。因此，基于所采用的算法，应用场景和主要目标的性质，执行现有的Panoptic技术的明确定义分类。此外，讨论了使用伪标签注释新数据集的Panoptic分割。继续前进，进行消融研究，以了解不同观点的Panoptic方法。此外，讨论了适合于Panoptic分割的评估度量，并提供了现有解决方案性能的比较，以告知最先进的并识别其局限性和优势。最后，目前对主题技术面临的挑战和吸引不久的将来吸引相当兴趣的未来趋势，可以成为即将到来的研究研究的起点。提供代码的文件可用于：https：//github.com/elharroussomar/awesome-panoptic-egation
translated by 谷歌翻译
X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.
translated by 谷歌翻译
近年来，3D对象检测已疯狂地研究，特别是对于机器人感知系统。但是，现有的3D对象检测位于闭合状态条件下，这意味着网络只能输出培训的类盒。不幸的是，这种封闭式条件不够强大，因为实际使用，因为它将识别错误的未知对象。因此，在本文中，我们提出了一个开放式3D对象检测器，其旨在（1）识别已知对象，如闭合设置检测，并且（2）识别未知对象并提供其准确的边界框。具体而言，我们将开放式3D对象检测问题分为两个步骤：（1）找出包含具有高概率的未知对象的区域和（2）用适当的边界框封闭这些区域的点。第一步是通过该发现，未知对象通常被归类为具有低置信度的已知对象，并且我们表明基于度量学习的欧几里德距离总和是比天真的Softmax概率与来自已知对象区分区别的更好的置信度。 。在此基础上，使用无人监督的群集来改进未知对象的边界框。所提出的方法组合度量学习和无监督群集称为MLUC网络。我们的实验表明，我们的MLUC网络实现了最先进的性能，可以根据预期识别已知和未知的物体。
translated by 谷歌翻译