在这个有联系的社会中,CCTV通过记录非法活动以供当局采取行动,在执行公民的安全和保障方面发挥了关键作用。在智能的城市环境中,使用深层卷积神经网络(DCNN)来检测CCTV视频中的暴力和武器暴力行为,将通过确保全天候实时检测来提供额外的安全性。在这项工作中,我们通过收集武器化和非武器暴力以及YouTube的非暴力视频的真正CCTV镜头,引入了一个新的专业数据集。我们还提出了一种新颖的方法,将连续的视频框架合并为单个显着图像,然后将成为DCNN的输入。多个DCNN架构的结果证明了我们方法的有效性99 \%。我们还通过几个参数权衡考虑了我们方法的效率,以确保智能城市的可持续性。
translated by 谷歌翻译
犯罪率与人口的增加率成比例地增加。最突出的方法是引入基于闭路电视(CCTV)相机的监视以解决问题。视频监控摄像机增加了一个新的维度来检测犯罪。目前正在进行自动安全摄像机监控的几项研究工作,基本目标是从视频饲料发现暴力活动。从技术方面来看,这是一个具有挑战性的问题,因为分析了一组帧,即时间维度的视频,以检测暴力可能需要仔细的机器学习模型训练,以减少错误的结果。本研究通过整合最先进的深度学习方法来重点介绍该问题,以确保用于检测暴力活动的自主监测的强大管道,例如,踢,冲压和拍打。最初,我们设计了这种特定兴趣的数据集,其中包含600个视频(每个动作200个)。稍后,我们已经利用现有的预先训练的模型架构来提取特征,后来使用深度学习网络进行分类。此外,我们在不同预先训练的架构上分类了我们的模型'准确性,以及像VGG16,Inceptionv3,Reset50,七峰和MobileNet V2的不同预先训练的架构中的混淆矩阵,其中VGG16和MobileNet V2更好。
translated by 谷歌翻译
自动交通事故检测已吸引机器视觉社区,因为它对自动智能运输系统(ITS)的发展产生了影响和对交通安全的重要性。然而,大多数关于有效分析和交通事故预测的研究都使用了覆盖范围有限的小规模数据集,从而限制了其效果和适用性。交通事故中现有的数据集是小规模,不是来自监视摄像机,而不是开源的,或者不是为高速公路场景建造的。由于在高速公路上发生事故,因此往往会造成严重损坏,并且太快了,无法赶上现场。针对从监视摄像机收集的高速公路交通事故的开源数据集非常需要和实际上。为了帮助视觉社区解决这些缺点,我们努力收集涵盖丰富场景的真实交通事故的视频数据。在通过各个维度进行集成和注释后,在这项工作中提出了一个名为TAD的大规模交通事故数据集。在这项工作中,使用公共主流视觉算法或框架进行了有关图像分类,对象检测和视频分类任务的各种实验,以证明不同方法的性能。拟议的数据集以及实验结果将作为改善计算机视觉研究的新基准提出,尤其是在其中。
translated by 谷歌翻译
机器学习和非接触传感器的进步使您能够在医疗保健环境中理解复杂的人类行为。特别是,已经引入了几种深度学习系统,以实现对自闭症谱系障碍(ASD)等神经发展状况的全面分析。这种情况会影响儿童的早期发育阶段,并且诊断完全依赖于观察孩子的行为和检测行为提示。但是,诊断过程是耗时的,因为它需要长期的行为观察以及专家的稀缺性。我们展示了基于区域的计算机视觉系统的效果,以帮助临床医生和父母分析孩子的行为。为此,我们采用并增强了一个数据集,用于使用在不受控制的环境中捕获的儿童的视频来分析自闭症相关的动作(例如,在各种环境中使用消费级摄像机收集的视频)。通过检测视频中的目标儿童以减少背景噪声的影响,可以预处理数据。在时间卷积模型的有效性的推动下,我们提出了能够从视频帧中提取动作功能并通过分析视频中的框架之间的关系来从视频帧中提取动作功能并分类与自闭症相关的行为。通过对功能提取和学习策略的广泛评估,我们证明了通过膨胀的3D Convnet和多阶段的时间卷积网络实现最佳性能,达到了0.83加权的F1得分,以分类三种自闭症相关的动作,超越表现优于表现现有方法。我们还通过在同一系统中采用ESNET主链来提出一个轻重量解决方案,实现0.71加权F1得分的竞争结果,并在嵌入式系统上实现潜在的部署。
translated by 谷歌翻译
当今智能城市中产生的大型视频数据从其有目的的用法角度引起了人们的关注,其中监视摄像机等是最突出的资源,是为大量数据做出贡献的最突出的资源,使其自动化分析成为计算方面的艰巨任务。和精确。暴力检测(VD)在行动和活动识别域中广泛崩溃,用于分析大型视频数据,以了解由于人类而引起的异常动作。传统上,VD文献基于手动设计的功能,尽管开发了基于深度学习的独立模型的进步用于实时VD分析。本文重点介绍了深度序列学习方法以及检测到的暴力的本地化策略。该概述还介入了基于机器学习的初始图像处理和基于机器学习的文献及其可能具有的优势,例如针对当前复杂模型的效率。此外,讨论了数据集,以提供当前模型的分析,并用对先前方法的深入分析得出的VD域中的未来方向解释了他们的利弊。
translated by 谷歌翻译
在视频中,人类的行为是三维(3D)信号。这些视频研究了人类行为的时空知识。使用3D卷积神经网络(CNN)研究了有希望的能力。 3D CNN尚未在静止照片中为其建立良好的二维(2D)等效物获得高输出。董事会3D卷积记忆和时空融合面部训练难以防止3D CNN完成非凡的评估。在本文中,我们实施了混合深度学习体系结构,该体系结构结合了Stip和3D CNN功能,以有效地增强3D视频的性能。实施后,在每个时空融合圈中进行训练的较详细和更深的图表。训练模型在处理模型的复杂评估后进一步增强了结果。视频分类模型在此实现模型中使用。引入了使用深度学习的多媒体数据分类的智能3D网络协议,以进一步了解人类努力中的时空关联。在实施结果时,著名的数据集(即UCF101)评估了提出的混合技术的性能。结果击败了提出的混合技术,该混合动力技术基本上超过了最初的3D CNN。将结果与文献的最新框架进行比较,以识别UCF101的行动识别,准确度为95%。
translated by 谷歌翻译
从社交媒体共享的静止图像中检测战斗是限制暴力场景分布所需的重要任务,以防止它们的负面影响。出于这个原因,在本研究中,我们解决了从网络和社交媒体收集的静止图像的战斗检测问题。我们探索一个人可以从单个静态图像中检测到战斗的程度。我们还提出了一个新的数据集,名为社交媒体的战斗图像(SMFI),包括现实世界的战斗行为图像。拟议数据集的广泛实验结果表明,可以从静止图像中成功识别战斗行动。也就是说,即使在不利用时间信息,也可以通过仅利用外观来检测高精度的斗争。我们还执行跨数据集实验以评估收集数据集的表示能力。这些实验表明,与其他计算机视觉问题一样,存在用于战斗识别问题的数据集偏差。虽然在同一战斗数据集上训练和测试时,该方法可实现接近100%的精度,但是交叉数据集精度显着降低,即,当更多代表性数据集用于培训时,约为70%。 SMFI数据集被发现是使用的五个战斗数据集中的两个最代表性的数据集之一。
translated by 谷歌翻译
Human activity recognition (HAR) using drone-mounted cameras has attracted considerable interest from the computer vision research community in recent years. A robust and efficient HAR system has a pivotal role in fields like video surveillance, crowd behavior analysis, sports analysis, and human-computer interaction. What makes it challenging are the complex poses, understanding different viewpoints, and the environmental scenarios where the action is taking place. To address such complexities, in this paper, we propose a novel Sparse Weighted Temporal Attention (SWTA) module to utilize sparsely sampled video frames for obtaining global weighted temporal attention. The proposed SWTA is comprised of two parts. First, temporal segment network that sparsely samples a given set of frames. Second, weighted temporal attention, which incorporates a fusion of attention maps derived from optical flow, with raw RGB images. This is followed by a basenet network, which comprises a convolutional neural network (CNN) module along with fully connected layers that provide us with activity recognition. The SWTA network can be used as a plug-in module to the existing deep CNN architectures, for optimizing them to learn temporal information by eliminating the need for a separate temporal stream. It has been evaluated on three publicly available benchmark datasets, namely Okutama, MOD20, and Drone-Action. The proposed model has received an accuracy of 72.76%, 92.56%, and 78.86% on the respective datasets thereby surpassing the previous state-of-the-art performances by a margin of 25.26%, 18.56%, and 2.94%, respectively.
translated by 谷歌翻译
行动检测和公共交通安全是安全社区和更好社会的关键方面。使用不同的监视摄像机监视智能城市中的交通流量可以在识别事故和提醒急救人员中发挥重要作用。计算机视觉任务中的动作识别(AR)的利用为视频监视,医学成像和数字信号处理中的高精度应用做出了贡献。本文提出了一项密集的审查,重点是智能城市的事故检测和自动运输系统中的行动识别。在本文中,我们专注于使用各种交通视频捕获来源的AR系统,例如交通交叉点上的静态监视摄像头,高速公路监控摄像头,无人机摄像头和仪表板。通过这篇综述,我们确定了AR中用于自动运输和事故检测的主要技术,分类法和算法。我们还检查了AR任务中使用的数据集,并识别数据集的数据集和功能的主要来源。本文提供了潜在的研究方向,以开发和整合为自动驾驶汽车和公共交通安全系统的事故检测系统,通过警告紧急人员和执法部门,如果道路事故发生道路事故,以最大程度地减少事故报告中的人为错误,并对受害者提供自发的反应。
translated by 谷歌翻译
及时的手枪检测是提高公共安全的关键问题;然而,许多监视系统的有效性仍然依赖于有限的人类注意。以前关于手枪检测的大部分研究基于静态图像检测器,撇开可用于改善视频中的对象检测的有价值的时间信息。为了提高监控系统的性能,应建造实时颞尾手枪检测系统。使用时间yolov5,基于准反复性神经网络的架构,从视频中提取时间信息以改善手枪检测的结果。此外,提出了两种宣传数据集,用手,枪支和手机标记。一个包含2199静态图像来训练静态探测器,另一个包含5960帧视频来训练时间模块。此外,我们探索基于马赛克和混合的两个时间数据增强技术。得到的系统是三个时间架构:一个专注于减少使用地图$ _ {50:95} $ 56.1的推论,另一个在使用地图$ _ {50:95} $ 59.4之间具有良好的平衡。 ,最后一个专门从事准确性,用地图$ _ {50:95} $ 60.2。时间YOLOV5在中小型架构中实现实时检测。此外,它利用了视频中包含的时间特征,以便在我们的时间数据集中执行更好的YOLOV5,使TYOLOV5适用于现实世界应用。源代码在https://github.com/marioduran/tyolov5上公开使用。
translated by 谷歌翻译
本文介绍了我们关于使用时间图像进行深泡探测的结果和发现。我们通过使用这些面部地标上的像素值构造图像(称为时间图像),模拟了在给定视频跨帧的468个面部标志物横跨给定视频框架中的临时关系。CNN能够识别给定图像的像素之间存在的空间关系。研究了10种不同的成像网模型。
translated by 谷歌翻译
本章旨在帮助开发网络 - 物理系统(CPS)在视频监控的各种应用中自动理解事件和活动。这些事件主要由无人机,中央电视台或新手和低端设备上的非熟板捕获。由于许多质量因素,这些视频是不受约束的,这些视频是非常挑战性的。我们在多年来提出了为解决问题的各种方法提供了广泛的陈述。这根据来自基于运动(SFM)的结构的方法,涉及涉及深神经网络的最近解决方案框架的方法。我们表明,长期运动模式在识别事件的任务中,单独发挥枢轴作用。因此,每个视频由使用基于图形的方法的固定数量的键帧显着表示。仅使用混合卷积神经网络(CNN)+经常性神经网络(RNN)架构利用时间特征。我们获得的结果是令人鼓舞的,因为它们优于标准的时间CNN,并且与使用空间信息以及运动提示的人员相提并论。进一步探索多际型号,我们构思了网络的空间和时间翼的多层融合策略。使用偏置的混合技术获得对视频和帧级别的各个预测载体的整合表示。与最先进的方法相比,融合策略在每个阶段的精度赋予我们更高的精度,因此在分类中实现了强大的共识。结果记录在动作识别域,即CCV,HMDB,UCF-101和KCV中广泛使用的四个基准数据集。可推动的是,专注于视频序列的更好分类肯定会导致强大的致动设计用于事件监视和对象暨活动跟踪的系统。
translated by 谷歌翻译
The increasing number of surveillance cameras and security concerns have made automatic violent activity detection from surveillance footage an active area for research. Modern deep learning methods have achieved good accuracy in violence detection and proved to be successful because of their applicability in intelligent surveillance systems. However, the models are computationally expensive and large in size because of their inefficient methods for feature extraction. This work presents a novel architecture for violence detection called Two-stream Multi-dimensional Convolutional Network (2s-MDCN), which uses RGB frames and optical flow to detect violence. Our proposed method extracts temporal and spatial information independently by 1D, 2D, and 3D convolutions. Despite combining multi-dimensional convolutional networks, our models are lightweight and efficient due to reduced channel capacity, yet they learn to extract meaningful spatial and temporal information. Additionally, combining RGB frames and optical flow yields 2.2% more accuracy than a single RGB stream. Regardless of having less complexity, our models obtained state-of-the-art accuracy of 89.7% on the largest violence detection benchmark dataset.
translated by 谷歌翻译
主要对象通常存在于图像或视频中,因为它们是摄影师想要突出的物体。人类观众可以轻松识别它们,但算法经常将它们与其他物体混为一组。检测主要受试者是帮助机器理解图像和视频内容的重要技术。我们展示了一个新的数据集,其目标是培训模型来了解对象的布局和图像的上下文,然后找到它们之间的主要拍摄对象。这是在三个方面实现的。通过通过专业射击技能创建的电影镜头收集图像,我们收集了具有强大多样性的数据集,具体而言,它包含107 \,700图像,从21 \,540电影拍摄。我们将其标记为两个类的边界框标签:主题和非主题前景对象。我们对数据集进行了详细分析,并将任务与显着性检测和对象检测进行比较。 imagesBject是第一个尝试在摄影师想要突出显示的图像中本地化主题的数据集。此外,我们发现基于变压器的检测模型提供了其他流行模型架构中的最佳结果。最后,我们讨论了潜在的应用并以数据集的重要性讨论。
translated by 谷歌翻译
基于视觉的人类活动识别已成为视频分析领域的重要研究领域之一。在过去的十年中,已经引入了许多先进的深度学习算法,以识别视频流中复杂的人类行为。这些深度学习算法对人类活动识别任务显示出令人印象深刻的表现。但是,这些新引入的方法仅专注于模型性能或这些模型在计算效率和鲁棒性方面的有效性,从而导致其解决挑战性人类活动识别问题的提议中的偏差折衷。为了克服当代深度学习模型对人类活动识别的局限性,本文提出了一个计算高效但通用的空间级联框架,该框架利用了深层歧视性的空间和时间特征,以识别人类活动的识别。为了有效地表示人类行动,我们提出了有效的双重注意卷积神经网络(CNN)体系结构,该结构利用统一的通道空间注意机制来提取视频框架中以人为中心的显着特征。双通道空间注意力层与卷积层一起学会在具有特征图数量的物体的空间接收场中更加专注。然后将提取的判别显着特征转发到堆叠的双向封闭式复发单元(BI-GRU),以使用前进和后传球梯度学习,以实现长期时间建模和对人类行为的识别。进行了广泛的实验,其中获得的结果表明,与大多数当代动作识别方法相比,所提出的框架的执行时间的改善最高167倍。
translated by 谷歌翻译
被称为超声心动图的心脏成像是一种非侵入性工具,用于生成包括图像和视频的数据,心脏病专家用来诊断心脏异常,尤其是心肌梗死(MI)。超声心动图机可以提供大量数据,需要由心脏病专家快速分析,以帮助他们做出诊断和治疗心脏病。但是,获得的数据质量取决于购置条件以及患者对设置说明的响应能力。这些限制对医生的挑战尤其是当患者面对MI并且他们的生命受到威胁时。在本文中,我们提出了一种基于卷积神经网络(CNN)的创新实时端到端全自动模型,以根据由左心室(LV)的区域壁运动异常(RWMA)检测到MI,该模型是由左心室(LV)的视频中的。超声心动图。我们的模型是由2D CNN组成的管道实现Mi。我们在由165个超声心动图视频组成的数据集上培训了两个CNN,每个CNN从一个独特的患者中获得。 2D CNN在数据分割方面达到了97.18%的精度,而3D CNN获得了90.9%的精度,100%的精度和95%的召回率。我们的结果表明,创建一个完全自动化的MI检测系统是可行且有利的。
translated by 谷歌翻译
人类行动识别是计算机视觉中的重要应用领域。它的主要目的是准确地描述人类的行为及其相互作用,从传感器获得的先前看不见的数据序列中。识别,理解和预测复杂人类行动的能力能够构建许多重要的应用,例如智能监视系统,人力计算机界面,医疗保健,安全和军事应用。近年来,计算机视觉社区特别关注深度学习。本文使用深度学习技术的视频分析概述了当前的动作识别最新识别。我们提出了识别人类行为的最重要的深度学习模型,并分析它们,以提供用于解决人类行动识别问题的深度学习算法的当前进展,以突出其优势和缺点。基于文献中报道的识别精度的定量分析,我们的研究确定了动作识别中最新的深层体系结构,然后为该领域的未来工作提供当前的趋势和开放问题。
translated by 谷歌翻译
在这个项目中,我们提出了一个CNN架构来检测异常和可疑活动。为该项目选择的活动正在公共场所开展,跳跃和踢球,并在公共场所携带枪支,蝙蝠和刀。通过训练有素的模型,我们将其与Yolo,VGG16,VGG19等先前的模型进行了比较。然后实现训练有素的模型进行实时检测,并使用。训练有素的.H5模型的TFLITE格式以构建Android分类。
translated by 谷歌翻译
我们可以看到这一切吗?我们知道这一切吗?这些是我们当代社会中人类提出的问题,以评估我们解决问题的趋势。最近的研究探索了对象检测中的几种模型。但是,大多数人未能满足对客观性和预测准确性的需求,尤其是在发展中和发达国家中。因此,几种全球安全威胁需要开发有效解决这些问题的方法。本文提出了一种被称为智能监视系统(3S)的网络物理系统的对象检测模型。这项研究提出了一种2阶段的方法,突出了Yolo V3深度学习体系结构在实时和视觉对象检测中的优势。该研究实施了一种转移学习方法,以减少培训时间和计算资源。用于培训模型的数据集是MS COCO数据集,其中包含328,000个注释的图像实例。实施了深度学习技术,例如预处理,数据管道调查和检测,以提高效率。与其他新型研究模型相比,该模型的结果在检测监视镜头中的野生物体方面表现出色。记录了99.71%的精度,改进的地图为61.5。
translated by 谷歌翻译
在本文中,一种称为VigAt的纯粹发行的自下而上的方法,该方法将对象检测器与视觉变压器(VIT)骨干网络一起得出对象和框架功能,以及一个头网络来处理这些功能,以处理事件的任务提出了视频中的识别和解释。VIGAT头由沿空间和时间维度分解的图形注意网络(GAT)组成,以便有效捕获对象或帧之间的局部和长期依赖性。此外,使用从各个GAT块的邻接矩阵得出的加权内(wids),我们表明所提出的体系结构可以识别解释网络决策的最显着对象和框架。进行了全面的评估研究,表明所提出的方法在三个大型公开视频数据集(FCVID,Mini-Kinetics,ActivityNet)上提供了最先进的结果。
translated by 谷歌翻译