在此贡献中,我们使用一种合奏深度学习方法来组合两个单个单阶段探测器(即Yolov4和Yolact)的预测,目的是检测内窥镜图像中的伪像。这种整体策略使我们能够改善各个模型的鲁棒性,而无需损害其实时计算功能。我们通过训练和测试两个单独的模型和各种集合配置在“内窥镜伪影检测挑战”数据集中证明了方法的有效性。广泛的实验表明,在平均平均精度方面,合奏方法比单个模型和以前的作品的优越性。
translated by 谷歌翻译
In object detection, the intersection over union (IoU) threshold is frequently used to define positives/negatives. The threshold used to train a detector defines its quality. While the commonly used threshold of 0.5 leads to noisy (low-quality) detections, detection performance frequently degrades for larger thresholds. This paradox of high-quality detection has two causes: 1) overfitting, due to vanishing positive samples for large thresholds, and 2) inference-time quality mismatch between detector and test hypotheses. A multi-stage object detection architecture, the Cascade R-CNN, composed of a sequence of detectors trained with increasing IoU thresholds, is proposed to address these problems. The detectors are trained sequentially, using the output of a detector as training set for the next. This resampling progressively improves hypotheses quality, guaranteeing a positive training set of equivalent size for all detectors and minimizing overfitting. The same cascade is applied at inference, to eliminate quality mismatches between hypotheses and detectors. An implementation of the Cascade R-CNN without bells or whistles achieves state-of-the-art performance on the COCO dataset, and significantly improves high-quality detection on generic and specific object detection datasets, including VOC, KITTI, CityPerson, and WiderFace. Finally, the Cascade R-CNN is generalized to instance segmentation, with nontrivial improvements over the Mask R-CNN. To facilitate future research, two implementations are made available at https://github.com/zhaoweicai/cascade-rcnn (Caffe) and https://github.com/zhaoweicai/Detectron-Cascade-RCNN (Detectron).
translated by 谷歌翻译
精确的仪器分割辅助外科医生更容易导航身体并提高患者安全性。虽然在实时的准确跟踪外科手术仪器在微创的计算机辅助手术中起着至关重要的作用,但这是一个具有挑战性的任务,主要是由于1个复杂的外科环境和2)模型设计,具有最佳的精度和速度。深度学习使我们有机会从大型手术场景环境和在现实世界的情景中学习复杂的环境和这些仪器的展示位置。稳健的医疗仪器分割2019挑战(鲁棒MIS)在不同的临床环境中提供了超过10,000帧的手术工具。在本文中,我们使用轻量级单级实例分段模型,辅助卷积块注意模块,用于实现更快和准确的推理。我们通过数据增强和最佳锚定本地化策略进一步提高了准确性。据我们所知,这是第一个明确关注实时性能和提高准确性的工作。我们在强大的策略中进行了彻底的最高团队表演,对基于区域的公制MI_DSC和距离的公制MI_DSD有超过44%。我们还展示了我们最终方法的不同但竞争变种的实时性能(> 60帧框架)。
translated by 谷歌翻译
腕骨骨折是医院的常见情况,特别是在紧急服务中。医生需要来自各种医疗设备的图像,以及患者的病史和身体检查,正确诊断这些骨折并采用适当的治疗。本研究旨在使用腕X射线图像的深度学习进行骨折检测,以帮助专门在现场专门的医生,特别是在骨折的诊断中工作。为此目的,使用从Gazi大学医院获得的腕X射线图像数据集的基于深度学习的物体检测模型来执行20个不同的检测程序。这里使用了DCN,动态R_CNN,更快的R_CNN,FSAF,Libra R_CNN,PAA,RetinAnet,Regnet和具有各种骨架的基于SABL深度学习的物体检测模型。为了进一步改进研究中的检测程序,开发了5种不同的集合模型,后来用于改革集合模型,为我们的研究开发一个独一无二的检测模型,标题为腕骨骨折检测组合(WFD_C)。根据检测到总共26种不同的骨折,检测结果的最高结果是WFD_C模型中的0.8639平均精度(AP50)。本研究支持华为土耳其研发中心,范围在持续的合作项目编码071813中,华为大学,华为和Medskor。
translated by 谷歌翻译
胃肠道(GI)癌症的患病率每年令人震惊,导致死亡率大幅上升。内窥镜检测提供了至关重要的诊断支持,但是,上胃肠道中的细微病变很难检测到,并引起大量的错过检测。在这项工作中,我们利用深度学习来开发一个框架,以改善难以检测病变的本地化并最大程度地减少遗漏的检测率。我们提出了一个端到端的学生教师学习设置,其中使用较大数据集的一个班级训练有素的教师模型的班级概率用于惩罚多级学生网络。我们的模型在两种内窥镜疾病检测(EDD2020)挑战和Kvasir-SEG数据集上,在平均平均精度(MAP)方面达到了更高的性能。此外,我们表明,使用这样的学习范式,我们的模型可以推广到看不见的测试集,从而为临床上关键的肿瘤和息肉类别提供更高的APS
translated by 谷歌翻译
In object detection, an intersection over union (IoU) threshold is required to define positives and negatives. An object detector, trained with low IoU threshold, e.g. 0.5, usually produces noisy detections. However, detection performance tends to degrade with increasing the IoU thresholds. Two main factors are responsible for this: 1) overfitting during training, due to exponentially vanishing positive samples, and 2) inference-time mismatch between the IoUs for which the detector is optimal and those of the input hypotheses. A multi-stage object detection architecture, the Cascade R-CNN, is proposed to address these problems. It consists of a sequence of detectors trained with increasing IoU thresholds, to be sequentially more selective against close false positives. The detectors are trained stage by stage, leveraging the observation that the output of a detector is a good distribution for training the next higher quality detector. The resampling of progressively improved hypotheses guarantees that all detectors have a positive set of examples of equivalent size, reducing the overfitting problem. The same cascade procedure is applied at inference, enabling a closer match between the hypotheses and the detector quality of each stage. A simple implementation of the Cascade R-CNN is shown to surpass all single-model object detectors on the challenging COCO dataset. Experiments also show that the Cascade R-CNN is widely applicable across detector architectures, achieving consistent gains independently of the baseline detector strength. The code will be made available at https://github.com/zhaoweicai/cascade-rcnn.
translated by 谷歌翻译
及时的手枪检测是提高公共安全的关键问题;然而,许多监视系统的有效性仍然依赖于有限的人类注意。以前关于手枪检测的大部分研究基于静态图像检测器,撇开可用于改善视频中的对象检测的有价值的时间信息。为了提高监控系统的性能,应建造实时颞尾手枪检测系统。使用时间yolov5,基于准反复性神经网络的架构,从视频中提取时间信息以改善手枪检测的结果。此外,提出了两种宣传数据集,用手,枪支和手机标记。一个包含2199静态图像来训练静态探测器,另一个包含5960帧视频来训练时间模块。此外,我们探索基于马赛克和混合的两个时间数据增强技术。得到的系统是三个时间架构:一个专注于减少使用地图$ _ {50:95} $ 56.1的推论,另一个在使用地图$ _ {50:95} $ 59.4之间具有良好的平衡。 ,最后一个专门从事准确性,用地图$ _ {50:95} $ 60.2。时间YOLOV5在中小型架构中实现实时检测。此外,它利用了视频中包含的时间特征,以便在我们的时间数据集中执行更好的YOLOV5,使TYOLOV5适用于现实世界应用。源代码在https://github.com/marioduran/tyolov5上公开使用。
translated by 谷歌翻译
从汽车和交通检测到自动驾驶汽车系统,可以将街道对象的对象检测应用于各种用例。因此,找到最佳的对象检测算法对于有效应用它至关重要。已经发布了许多对象检测算法,许多对象检测算法比较了对象检测算法,但是很少有人比较了最新的算法,例如Yolov5,主要是侧重于街道级对象。本文比较了各种单阶段探测器算法; SSD MobilenetV2 FPN-Lite 320x320,Yolov3,Yolov4,Yolov5L和Yolov5S在实时图像中用于街道级对象检测。该实验利用了带有3,169张图像的修改后的自动驾驶汽车数据集。数据集分为火车,验证和测试;然后,使用重新处理,色相转移和噪音对其进行预处理和增强。然后对每种算法进行训练和评估。基于实验,算法根据推论时间及其精度,召回,F1得分和平均平均精度(MAP)产生了不错的结果。结果还表明,Yolov5L的映射@.5 of 0.593,MobileNetV2 FPN-Lite的推理时间最快,而其他推理时间仅为3.20ms。还发现Yolov5s是最有效的,其具有Yolov5L精度和速度几乎与MobilenetV2 FPN-Lite一样快。这表明各种算法适用于街道级对象检测,并且足够可行,可以用于自动驾驶汽车。
translated by 谷歌翻译
The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.
translated by 谷歌翻译
对象探测器对于许多现代计算机视觉应用至关重要。但是,即使是最新的对象探测器也不是完美的。在两个看起来与人眼类似的图像上,同一探测器可以做出不同的预测,因为摄像机传感器噪声和照明变化等小图像变形。这个问题称为不一致。现有的准确性指标不能正确解释不一致的情况,并且在该领域的类似工作仅针对人造图像扭曲的改善。因此,我们提出了一种使用非人工视频框架来测量对象检测一致性,随着时间的流逝,跨帧的方法来测量对象检测一致性。使用此方法,我们表明,来自多个对象跟踪挑战的不同视频数据集,现代对象检测器的一致性范围从83.2%至97.1%。最后,我们表明应用图像失真校正(例如.WEBP图像压缩和UNSHARP遮罩)可以提高一致性多达5.1%,而准确性没有损失。
translated by 谷歌翻译
水果和蔬菜的检测,分割和跟踪是精确农业的三个基本任务,实现了机器人的收获和产量估计。但是,现代算法是饥饿的数据,并非总是有可能收集足够的数据来运用最佳性能的监督方法。由于数据收集是一项昂贵且繁琐的任务,因此在农业中使用计算机视觉的能力通常是小企业无法实现的。在此背景下的先前工作之后,我们提出了一种初始弱监督的解决方案,以减少在精确农业应用程序中获得最新检测和细分所需的数据,在这里,我们在这里改进该系统并探索跟踪果实的问题果园。我们介绍了拉齐奥南部(意大利)葡萄的葡萄园案例,因为葡萄由于遮挡,颜色和一般照明条件而难以分割。当有一些可以用作源数据的初始标记数据(例如,葡萄酒葡萄数据)时,我们会考虑这种情况,但与目标数据有很大不同(例如表格葡萄数据)。为了改善目标数据的检测和分割,我们建议使用弱边界框标签训练分割算法,而对于跟踪,我们从运动算法中利用3D结构来生成来自已标记样品的新标签。最后,将两个系统组合成完整的半监督方法。与SOTA监督解决方案的比较表明,我们的方法如何能够训练以很少的标记图像和非常简单的标签来实现高性能的新型号。
translated by 谷歌翻译
本文推动了在图像中分解伪装区域的信封,成了有意义的组件,即伪装的实例。为了促进伪装实例分割的新任务,我们将在数量和多样性方面引入DataSet被称为Camo ++,该数据集被称为Camo ++。新数据集基本上增加了具有分层像素 - 明智的地面真理的图像的数量。我们还为伪装实例分割任务提供了一个基准套件。特别是,我们在各种场景中对新构造的凸轮++数据集进行了广泛的评估。我们还提出了一种伪装融合学习(CFL)伪装实例分割框架,以进一步提高最先进的方法的性能。数据集,模型,评估套件和基准测试将在我们的项目页面上公开提供:https://sites.google.com/view/ltnghia/research/camo_plus_plus
translated by 谷歌翻译
肺超声(LUS)可能是唯一可用于连续和周期性监测肺的医学成像方式。这对于在肺部感染开始期间跟踪肺表现或跟踪疫苗接种对肺部的影响非常有用,如Covid-19中的肺部作用。有许多尝试将肺严重程度分为各个类别或自动分割各种LUS地标和表现形式的尝试。但是,所有这些方法均基于训练静态机器学习模型,该模型需要大量临床注释的大数据集,并且在计算上是沉重的,并且大部分时间非现实时间。在这项工作中,提出了一种实时重量的基于活跃的学习方法,以在资源约束设置中在COVID-19的受试者中更快地进行分类。该工具基于您看起来仅一次(YOLO)网络,具有基于各种LUS地标,人工制品和表现形式的标识,肺部感染严重程度的预测,基于主动学习的可能性,提供图像质量的能力。临床医生的反馈或图像质量以及对感染严重程度高的重要框架的汇总,以进一步分析。结果表明,对于LUS地标的预测,该提议的工具在联合(IOU)阈值的交叉点上的平均平均精度(MAP)为66%。在Quadro P4000 GPU运行时,14MB轻量级Yolov5S网络可实现123 fps。该工具可根据作者的要求进行使用和分析。
translated by 谷歌翻译
我们介绍混音,一个用于对象检测的新培训范例,可以免费提高现有探测器的性能。混合通过利用不同优点的增强来增强数据增强,同时排除某些可能对培训可能有害的培训样本的强大增强。此外,它通过结合可以补偿这些错误的伪框来解决人类注释中的本地化噪声和丢失标签。通过对探测器的自动启动,可以使用这些混音功能,这可以用于预测对强大增强的训练难度,以及由于神经网络对标记错误的鲁棒性而产生可靠的伪框。发现混音是在Coco DataSet上的各种探测器上带来一致的改进。特别是,使用Reset-50 \ Cite {REN2015Faster}更快的R-CNN \ CITE {REN2015FAST}骨架的性能从41.7地图改进到44.0地图,以及CASCADE-RCNN \ CITE {CAI2018CASCADE}的准确性-small \ cite {liu2021swin}骨干从50.9地图提出到52.8地图。代码和模型将在\ url {https://github.com/mendelxu/mixtraining}上公开可用。
translated by 谷歌翻译
We propose a fully convolutional one-stage object detector (FCOS) to solve object detection in a per-pixel prediction fashion, analogue to semantic segmentation. Almost all state-of-the-art object detectors such as RetinaNet, SSD, YOLOv3, and Faster R-CNN rely on pre-defined anchor boxes. In contrast, our proposed detector FCOS is anchor box free, as well as proposal free. By eliminating the predefined set of anchor boxes, FCOS completely avoids the complicated computation related to anchor boxes such as calculating overlapping during training. More importantly, we also avoid all hyper-parameters related to anchor boxes, which are often very sensitive to the final detection performance. With the only post-processing non-maximum suppression (NMS), FCOS with ResNeXt-64x4d-101 achieves 44.7% in AP with single-model and single-scale testing, surpassing previous one-stage detectors with the advantage of being much simpler. For the first time, we demonstrate a much simpler and flexible detection framework achieving improved detection accuracy. We hope that the proposed FCOS framework can serve as a simple and strong alternative for many other instance-level tasks. Code is available at:tinyurl.com/FCOSv1
translated by 谷歌翻译
改善和快速癌症诊断的关键组成部分是计算机辅助工具的发展。在本文中,我们提出了赢得SEGPC-2021竞争的解决方案,用于在显微镜图像中分割多发性骨髓瘤等离子体细胞。竞争数据集中使用的标签是生成半自动和呈现的噪声。要处理它,进行了沉重的图像增强程序,并使用自定义集合策略相结合了来自多种模型的预测。使用最先进的功能提取器和实例分段架构,导致SEGPC-2021最终测试集上的0.9389的平均交叉联盟。
translated by 谷歌翻译
本文介绍了Houghnet,这是一种单阶段,无锚,基于投票的,自下而上的对象检测方法。受到广义的霍夫变换的启发,霍尼特通过在该位置投票的总和确定了某个位置的物体的存在。投票是根据对数极极投票领域的近距离和长距离地点收集的。由于这种投票机制,Houghnet能够整合近距离和远程的班级条件证据以进行视觉识别,从而概括和增强当前的对象检测方法,这通常仅依赖于本地证据。在可可数据集中,Houghnet的最佳型号达到$ 46.4 $ $ $ ap $(和$ 65.1 $ $ $ ap_ {50} $),与自下而上的对象检测中的最先进的作品相同,超越了最重要的一项 - 阶段和两阶段方法。我们进一步验证了提案在其他视觉检测任务中的有效性,即视频对象检测,实例分割,3D对象检测和人为姿势估计的关键点检测以及其他“图像”图像生成任务的附加“标签”,其中集成的集成在所有情况下,我们的投票模块始终提高性能。代码可在https://github.com/nerminsamet/houghnet上找到。
translated by 谷歌翻译
物体检测在计算机视觉中取得了巨大的进步。具有外观降级的小物体检测是一个突出的挑战,特别是对于鸟瞰观察。为了收集足够的阳性/阴性样本进行启发式训练,大多数物体探测器预设区域锚,以便将交叉联盟(iou)计算在地面判处符号数据上。在这种情况下,小物体经常被遗弃或误标定。在本文中,我们提出了一种有效的动态增强锚(DEA)网络,用于构建新颖的训练样本发生器。与其他最先进的技术不同,所提出的网络利用样品鉴别器来实现基于锚的单元和无锚单元之间的交互式样本筛选,以产生符合资格的样本。此外,通过基于保守的基于锚的推理方案的多任务联合训练增强了所提出的模型的性能,同时降低计算复杂性。所提出的方案支持定向和水平对象检测任务。对两个具有挑战性的空中基准(即,DotA和HRSC2016)的广泛实验表明,我们的方法以适度推理速度和用于训练的计算开销的准确性实现最先进的性能。在DotA上,我们的DEA-NET与ROI变压器的基线集成了0.40%平均平均精度(MAP)的先进方法,以便用较弱的骨干网(Resnet-101 VS Resnet-152)和3.08%平均 - 平均精度(MAP),具有相同骨干网的水平对象检测。此外,我们的DEA网与重新排列的基线一体化实现最先进的性能80.37%。在HRSC2016上,它仅使用3个水平锚点超过1.1%的最佳型号。
translated by 谷歌翻译
手动检查粪便涂片样品以鉴定寄生卵的存在非常耗时,只能由专家进行。因此,需要自动化系统来解决此问题,因为它可以与严重的肠道寄生虫感染有关。本文回顾了微观图像中关于寄生卵检测和分类的ICIP 2022挑战。我们描述了此应用程序的新数据集,该数据集是同类数据集的最大数据集。参与者在挑战中使用的方法及其结果及其结果进行了汇总和讨论。
translated by 谷歌翻译
在过去的几年中,360 {\ deg}摄像机在过去几年中越来越受欢迎。在本文中,我们提出了两种基本技术-360 {\ deg}图像中的对象检测的视野IOU(fov-iou)和360Augmentation。尽管大多数专为透视图像设计的对象检测神经网络适用于EquiretectAffular投影(ERP)格式的360 {\ deg}图像,但由于ERP图像中的失真,它们的性能会恶化。我们的方法可以很容易地与现有的透视对象检测器集成在一起,并显着改善了性能。 FOV-iou计算球形图像中两个视野边界框的交叉点,该框可用于训练,推理和评估,而360augmentation是一种数据增强技术,特定于360 {\ deg}对象检测任务随机旋转球形图像并由于球体对平面投影而解决偏差。我们在具有不同类型的透视对象检测器的360室数据集上进行了广泛的实验,并显示了我们方法的一致有效性。
translated by 谷歌翻译