由于独特的驾驶特征,人类驾驶员具有独特的驾驶技术,知识和情感。驾驶员嗜睡一直是一个严重的问题,危害道路安全。因此,必须设计有效的嗜睡检测算法以绕过道路事故。杂项研究工作已经解决了检测异常的人类驾驶员行为的问题,以通过计算机视觉技术检查驾驶员和汽车动力学的正面面孔。尽管如此,常规方法仍无法捕获复杂的驾驶员行为特征。但是,以深度学习体系结构的起源,还进行了大量研究,以分析和识别使用神经网络算法的驾驶员的嗜睡。本文介绍了一个基于视觉变形金刚和Yolov5架构的新颖框架,以实现驾驶员嗜睡的识别。提出了定制的Yolov5预训练的结构,以提取面部提取,目的是提取感兴趣的区域(ROI)。由于以前的体系结构的局限性,本文引入了视觉变压器进行二进制图像分类,该二进制图像分类在公共数据集UTA-RLDD上经过训练和验证。该模型分别达到了96.2 \%和97.4 \%的培训和验证精度。为了进行进一步的评估,在各种光明情况下的39名参与者的自定义数据集上测试了拟议的框架,并获得了95.5 \%的准确性。进行的实验揭示了我们在智能运输系统中实用应用框架的重要潜力。
translated by 谷歌翻译
执法和城市安全受到监视系统中的暴力事件的严重影响。尽管现代(智能)相机广泛可用且负担得起,但在大多数情况下,这种技术解决方案无能为力。此外,监测CCTV记录的人员经常显示出迟来的反应,从而导致对人和财产的灾难。因此,对迅速行动的暴力自动检测至关重要。拟议的解决方案使用了一种新颖的端到端深度学习视频视觉变压器(Vivit),可以在视频序列中熟练地辨别战斗,敌对运动和暴力事件。该研究提出了利用数据增强策略来克服较弱的电感偏见的缺点,同时在较小的培训数据集中训练视觉变压器。评估的结果随后可以发送给当地有关当局,可以分析捕获的视频。与最先进的(SOTA)相比,所提出的方法在某些具有挑战性的基准数据集上实现了吉祥的性能。
translated by 谷歌翻译
人类活动识别是计算机视觉中的新出现和重要领域,旨在确定个体或个体正在执行的活动。该领域的应用包括从体育中生成重点视频到智能监视和手势识别。大多数活动识别系统依赖于卷积神经网络(CNN)的组合来从数据和复发性神经网络(RNN)中进行特征提取来确定数据的时间依赖性。本文提出并设计了两个用于人类活动识别的变压器神经网络:一个经常性变压器(RET),这是一个专门的神经网络,用于对数据序列进行预测,以及视觉变压器(VIT),一种用于提取显着的变压器的变压器(VIT)图像的特征,以提高活动识别的速度和可扩展性。我们在速度和准确性方面提供了对拟议的变压器神经网络与现代CNN和基于RNN的人类活动识别模型的广泛比较。
translated by 谷歌翻译
我们的粮食安全建立在土壤的基础上。如果土壤不健康,农民将无法用纤维,食物和燃料喂养我们。准确预测土壤的类型有助于规划土壤的使用,从而提高生产率。这项研究采用了最先进的视觉变压器,并与SVM,Alexnet,Resnet和CNN等不同模型进行了比较。此外,这项研究还着重于区分不同的视觉变压器体系结构。对于土壤类型的分类,数据集由4种不同类型的土壤样品组成,例如冲积,红色,黑色和粘土。 Visual Transformer模型在测试和测试时达到98.13%的训练和93.62%的范围,在测试和训练精度方面都优于其他模型。视觉变压器的性能超过了其他模型的性能至少2%。因此,新颖的视觉变压器可用于计算机视觉任务,包括土壤分类。
translated by 谷歌翻译
Designing efficient and labor-saving prosthetic hands requires powerful hand gesture recognition algorithms that can achieve high accuracy with limited complexity and latency. In this context, the paper proposes a compact deep learning framework referred to as the CT-HGR, which employs a vision transformer network to conduct hand gesture recognition using highdensity sEMG (HD-sEMG) signals. The attention mechanism in the proposed model identifies similarities among different data segments with a greater capacity for parallel computations and addresses the memory limitation problems while dealing with inputs of large sequence lengths. CT-HGR can be trained from scratch without any need for transfer learning and can simultaneously extract both temporal and spatial features of HD-sEMG data. Additionally, the CT-HGR framework can perform instantaneous recognition using sEMG image spatially composed from HD-sEMG signals. A variant of the CT-HGR is also designed to incorporate microscopic neural drive information in the form of Motor Unit Spike Trains (MUSTs) extracted from HD-sEMG signals using Blind Source Separation (BSS). This variant is combined with its baseline version via a hybrid architecture to evaluate potentials of fusing macroscopic and microscopic neural drive information. The utilized HD-sEMG dataset involves 128 electrodes that collect the signals related to 65 isometric hand gestures of 20 subjects. The proposed CT-HGR framework is applied to 31.25, 62.5, 125, 250 ms window sizes of the above-mentioned dataset utilizing 32, 64, 128 electrode channels. The average accuracy over all the participants using 32 electrodes and a window size of 31.25 ms is 86.23%, which gradually increases till reaching 91.98% for 128 electrodes and a window size of 250 ms. The CT-HGR achieves accuracy of 89.13% for instantaneous recognition based on a single frame of HD-sEMG image.
translated by 谷歌翻译
无意识和自发的,微小表达在一个人的真实情绪的推动中是有用的,即使尝试隐藏它们。由于它们短的持续时间和低强度,对微表达的识别是情感计算中的艰巨任务。基于手工制作的时空特征的早期工作最近被不同的深度学习方法取代了现在竞争最先进的性能。然而,捕获本地和全球时空模式的问题仍然挑战。为此,本文我们提出了一种新颖的时空变压器架构 - 据我们所知,是微表达识别的第一种纯粹变压器的方法(即任何卷积网络使用的方法)。该架构包括用于学习空间模式的空间编码器,用于时间维度分析的时间聚合器和分类头。三种广泛使用的自发性微表达数据集,即Smic-HS,Casme II和SAMM的综合评估表明,该方法始终如一地优于现有技术,是发表在微表达上发表文献中的第一个框架在任何上述数据集上识别以实现未加权的F1分数大于0.9。
translated by 谷歌翻译
传统的基于视频的人类活动识别与深度学习的兴起有关,但这种效果较慢,因为涉及驾驶员行为的下游任务。了解车辆机舱内部的情况对于高级驾驶助理系统(ADA)至关重要,因为它可以识别出干扰,预测驾驶员的意图并导致更方便的人车相互作用。同时,驾驶员观察系统需要捕获驾驶状态的不同粒度,而驾驶员观察系统则面临着严重的障碍,而此类次级活动的复杂性随着自动化的上升和增加的驾驶员自由而增长。此外,很少在与训练集中相同的条件下部署模型,因为传感器的放置和类型因车辆而异,因此构成了数据驱动模型的现实生活的实质性障碍。在这项工作中,我们提出了一个基于视觉的新型框架,用于识别基于视觉变压器的次级驱动器行为和额外的增强功能分布校准模块。该模块在潜在的功能空间丰富和多样化功能级的训练集中运行,以改善对新型数据出现(例如传感器变化)和一般功能质量的概括。我们的框架始终导致更好的识别率,超过了所有粒度水平上公共驱动器和ACT基准的先前最新结果。我们的代码可在https://github.com/kpeng9510/transdarc上公开获取。
translated by 谷歌翻译
植物疾病是全球作物损失的主要原因,对世界经济产生了影响。为了解决这些问题,智能农业解决方案正在发展,将物联网和机器学习结合起来,以进行早期疾病检测和控制。许多这样的系统使用基于视觉的机器学习方法进行实时疾病检测和诊断。随着深度学习技术的发展,已经出现了新方法,这些方法采用卷积神经网络进行植物性疾病检测和鉴定。基于视觉的深度学习的另一个趋势是使用视觉变压器,事实证明,这些变压器是分类和其他问题的强大模型。但是,很少研究视力变压器以进行植物病理应用。在这项研究中,为植物性疾病鉴定提出了一个启用视觉变压器的卷积神经网络模型。提出的模型将传统卷积神经网络的能力与视觉变压器有效地识别出多种农作物的大量植物疾病。拟议的模型具有轻巧的结构,只有80万个可训练的参数,这使其适合基于物联网的智能农业服务。 PlantXvit的性能在五个公开可用的数据集上进行了评估。拟议的PlantXvit网络在所有五个数据集上的性能要比五种最先进的方法更好。即使在挑战性的背景条件下,识别植物性疾病的平均准确性分别超过了苹果,玉米和稻米数据集的93.55%,92.59%和98.33%。使用梯度加权的类激活图和局部可解释的模型不可思议的解释来评估所提出模型的解释性效率。
translated by 谷歌翻译
作物疾病显着影响农业生产的数量和质量。在精确农业的目标是最大程度地减少甚至避免使用农药的目的,具有深度学习的天气和遥感数据可以在检测作物疾病中发挥关键作用,从而允许对农作物的局部治疗。但是,将天气和图像等异质数据结合在一起仍然是一个热门话题和具有挑战性的任务。变压器体系结构的最新发展显示了从不同领域(例如文本图像)融合数据的可能性。当前的趋势是仅定制一个变压器来创建多模式融合模型。相反,我们提出了一种使用三个变压器实现数据融合的新方法。在本文中,我们首先通过使用ConvlstM模型来插值来解决缺失的卫星图像问题。然后,提出了一种多模式融合体系结构,该体系结构共同学习处理视觉和天气信息。该体系结构是由三个主要组件,一个视觉变压器和两个变压器编码器构建的,可以融合图像和天气方式。所提出的方法的结果有望达到97 \%的总体准确性。
translated by 谷歌翻译
X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.
translated by 谷歌翻译
使用视频/图像的驾驶员嗜睡检测是当今驾驶员安全时间最重要的领域之一。在诸如嗜睡检测的计算机视觉应用中应用的深度学习技术,尤其是卷积神经网络(CNN)的发展,由于近几十年来,由于技术的巨大增加,已经显示出有前途的结果。关闭或闪烁过度,打呵欠,点头和闭塞的眼睛都是嗜睡的关键方面。在这项工作中,我们在Yawdd数据集上应用了四种不同的卷积神经网络(CNN)技术,以检测和检查困难程度的程度,这取决于具有特定姿势和遮挡变化的打开频率。初步计算结果表明,我们所提出的集合卷积神经网络(ECNN)通过实现0.935的F1得分优于传统的基于CNN的方法,而另外三个CNN,如CNN1,CNN2和CNN3接近的方法,则获得0.92,0.90,和0.912 F1分别分别分别进行评分。
translated by 谷歌翻译
视觉变压器正在成为解决计算机视觉问题的强大工具。最近的技术还证明了超出图像域之外的变压器来解决许多与视频相关的任务的功效。其中,由于其广泛的应用,人类的行动识别是从研究界受到特别关注。本文提供了对动作识别的视觉变压器技术的首次全面调查。我们朝着这个方向分析并总结了现有文献和新兴文献,同时突出了适应变形金刚以进行动作识别的流行趋势。由于其专业应用,我们将这些方法统称为``动作变压器''。我们的文献综述根据其架构,方式和预期目标为动作变压器提供了适当的分类法。在动作变压器的背景下,我们探讨了编码时空数据,降低维度降低,框架贴片和时空立方体构造以及各种表示方法的技术。我们还研究了变压器层中时空注意的优化,以处理更长的序列,通常通过减少单个注意操作中的令牌数量。此外,我们还研究了不同的网络学习策略,例如自我监督和零局学习,以及它们对基于变压器的行动识别的相关损失。这项调查还总结了在具有动作变压器重要基准的评估度量评分方面取得的进步。最后,它提供了有关该研究方向的挑战,前景和未来途径的讨论。
translated by 谷歌翻译
通过验证SOTIF-ISO / PAS-21448(预期功能的安全)来验证安全标准,构思自动车辆以提供安全和安全的服务。在这种情况下,对环境的感知与本地化,规划和控制模块结合起作用乐器作用。作为感知堆栈中的枢轴算法,对象检测提供了广泛的洞察,进入自动车辆的周围环境。相机和激光雷达广泛用于不同的传感器模式之间的物体检测,但这些脱离传感器在分辨率和恶劣天气条件下具有局限性。在这项工作中,探索基于雷达的对象检测提供了部署的对应传感器模块,并用于恶劣天气条件。雷达提供复杂的数据;为此目的,提出了一种具有变压器编码器 - 解码器网络的通道升压功能集合方法。使用雷达的对象检测任务被制定为一个设置的预测问题,并在公共可用的数据集中进行评估,在良好和良好的天气条件下。使用Coco评估度量广泛评估所提出的方法的功效,最佳拟议的模型将其最先进的同行方法超过12.55 \%$ 12.48 \%$ 12.48 \%$。
translated by 谷歌翻译
最近,由于社交媒体数字取证中的安全性和隐私问题,DeepFake引起了广泛的公众关注。随着互联网上广泛传播的深层视频变得越来越现实,传统的检测技术未能区分真实和假货。大多数现有的深度学习方法主要集中于使用卷积神经网络作为骨干的局部特征和面部图像中的关系。但是,本地特征和关系不足以用于模型培训,无法学习足够的一般信息以进行深层检测。因此,现有的DeepFake检测方法已达到瓶颈,以进一步改善检测性能。为了解决这个问题,我们提出了一个深度卷积变压器,以在本地和全球范围内纳入决定性图像。具体而言,我们应用卷积池和重新注意事项来丰富提取的特征并增强功效。此外,我们在模型训练中采用了几乎没有讨论的图像关键框架来改进性能,并可视化由视频压缩引起的密钥和正常图像帧之间的特征数量差距。我们最终通过在几个DeepFake基准数据集上进行了广泛的实验来说明可传递性。所提出的解决方案在内部和跨数据库实验上始终优于几个最先进的基线。
translated by 谷歌翻译
在驾驶的背景下进行警觉性监控可改善安全性并挽救生命。基于计算机视觉的警报监视是一个活跃的研究领域。但是,存在警觉性监控的算法和数据集主要针对年轻人(18-50岁)。我们提出了一个针对老年人进行车辆警报监控的系统。通过设计研究,我们确定了适合在5级车辆中独立旅行的老年人的变量和参数。我们实施了一个原型旅行者监测系统,并评估了十个老年人(70岁及以上)的警报检测算法。我们以适合初学者或从业者的详细级别报告系统设计和实施。我们的研究表明,数据集的开发是开发针对老年人的警觉性监测系统的首要挑战。这项研究是迄今为止研究不足的人群中的第一项研究,并通过参与方法对未来的算法开发和系统设计具有影响。
translated by 谷歌翻译
由于对人工智能的大量解释,我们日常生活的各个领域都使用了机器学习技术。在世界上,在许多情况下,可以预防简单的犯罪,甚至可能发生或找到对此负责的人。面孔是我们拥有的一个独特特征,并且可以轻松区分许多其他物种。但是,不仅不同的物种,它在确定与我们同一物种的人的人类中也起着重要作用。关于这个关键功能,如今最常发生一个问题。当相机指向时,它无法检测到一个人的脸,并且变成了糟糕的图像。另一方面,在安装了抢劫和安全摄像头的地方,由于较低的摄像头,强盗的身份几乎无法区分。但是,仅制作出出色的算法来工作和检测面部就会降低硬件的成本,而专注于该领域的成本并不多。面部识别,小部件控制等可以通过正确检测到面部来完成。这项研究旨在创建和增强正确识别面孔的机器学习模型。总共有627个数据是从孟加拉国不同的四个天使的面孔中收集的。在这项工作中,CNN,Harr Cascade,Cascaded CNN,Deep CNN和MTCNN是实施的五种机器学习方法,以获得我们数据集的最佳准确性。创建和运行模型后,多任务卷积神经网络(MTCNN)通过培训数据而不是其他机器学习模型实现了96.2%的最佳模型精度。
translated by 谷歌翻译
与2020年相比,由于注意力和嗜睡的增加,汽车撞车事故增长了20%。昏昏欲睡和分心的驾驶是所有车祸的45%的原因。作为减少昏昏欲睡和分心的驾驶的一种手段,使用计算机视觉的检测方法可以设计为低成本,准确和微创。这项工作调查了视觉变压器以优于3D-CNN的最先进准确性。两个独立的变压器接受了嗜睡和分心。昏昏欲睡的视频变压器模型接受了全国Tsing-hua大学昏昏欲睡的驾驶数据集(NTHU-DDD)的培训,其中有一个视频Swin Transformer模型,可在两个类别上进行10个时代 - 昏昏欲睡和非der脚模拟10.5个小时。分散注意力的视频变压器在驾驶员监视数据集(DMD)上接受了带有视频SWIN变压器的50个时代的培训,该时期超过9个分心相关的类。嗜睡模型的准确性达到44%,测试集的损失值高,表明过度拟合和模型性能差。过度拟合表明有限的培训数据和应用模型体系结构缺乏可量化的参数。分散注意力的模型优于DMD上的最新模型,达到97.5%,表明有足够的数据和强大的体系结构,变压器适合不适合驾驶检测。未来的研究应使用较新的模型,例如Tokenlearner来实现更高的准确性和效率,合并现有数据集以扩展以检测酒后驾车和道路愤怒,以创建全面的解决方案,以防止交通崩溃,并部署功能性的原型,以革新自动安全安全性行业。
translated by 谷歌翻译
这项研究提出了一个可靠的模型,用于识别具有最高精度的不同建筑材料,该模型被利用为用于广泛的施工应用(例如自动进度监控)的有利工具。在这项研究中,一种称为视觉变压器(VIT)的新型深度学习结构用于检测和分类建筑材料。使用不同的图像数据集评估了所采用方法的鲁棒性。为此,对模型进行了训练和测试,并在两个大型不平衡数据集上进行了测试,即建筑材料库(CML)和建筑材料数据集(BMD)。还通过组合CML和BMD来创建更不平衡的数据集并评估使用方法的功能来生成第三个数据集。所达到的结果揭示了评估指标的精度为100%,例如三个不同数据集的每个材料类别的准确性,精度,召回率和F1得分。据信,建议的模型实现了用于检测和分类不同材料类型的强大工具。迄今为止,许多研究试图自动对仍然存在一些错误的各种建筑材料进行分类。这项研究将解决上述缺点,并提出一个模型以更高的精度检测材料类型。所采用的模型也能够被推广到不同的数据集。
translated by 谷歌翻译
海洋生态系统及其鱼类栖息地越来越重要,因为它们在提供有价值的食物来源和保护效果方面的重要作用。由于它们的偏僻且难以接近自然,因此通常使用水下摄像头对海洋环境和鱼类栖息地进行监测。这些相机产生了大量数字数据,这些数据无法通过当前的手动处理方法有效地分析,这些方法涉及人类观察者。 DL是一种尖端的AI技术,在分析视觉数据时表现出了前所未有的性能。尽管它应用于无数领域,但仍在探索其在水下鱼类栖息地监测中的使用。在本文中,我们提供了一个涵盖DL的关键概念的教程,该教程可帮助读者了解对DL的工作原理的高级理解。该教程还解释了一个逐步的程序,讲述了如何为诸如水下鱼类监测等挑战性应用开发DL算法。此外,我们还提供了针对鱼类栖息地监测的关键深度学习技术的全面调查,包括分类,计数,定位和细分。此外,我们对水下鱼类数据集进行了公开调查,并比较水下鱼类监测域中的各种DL技术。我们还讨论了鱼类栖息地加工深度学习的新兴领域的一些挑战和机遇。本文是为了作为希望掌握对DL的高级了解,通过遵循我们的分步教程而为其应用开发的海洋科学家的教程,并了解如何发展其研究,以促进他们的研究。努力。同时,它适用于希望调查基于DL的最先进方法的计算机科学家,以进行鱼类栖息地监测。
translated by 谷歌翻译
从汽车和交通检测到自动驾驶汽车系统,可以将街道对象的对象检测应用于各种用例。因此,找到最佳的对象检测算法对于有效应用它至关重要。已经发布了许多对象检测算法,许多对象检测算法比较了对象检测算法,但是很少有人比较了最新的算法,例如Yolov5,主要是侧重于街道级对象。本文比较了各种单阶段探测器算法; SSD MobilenetV2 FPN-Lite 320x320,Yolov3,Yolov4,Yolov5L和Yolov5S在实时图像中用于街道级对象检测。该实验利用了带有3,169张图像的修改后的自动驾驶汽车数据集。数据集分为火车,验证和测试;然后,使用重新处理,色相转移和噪音对其进行预处理和增强。然后对每种算法进行训练和评估。基于实验,算法根据推论时间及其精度,召回,F1得分和平均平均精度(MAP)产生了不错的结果。结果还表明,Yolov5L的映射@.5 of 0.593,MobileNetV2 FPN-Lite的推理时间最快,而其他推理时间仅为3.20ms。还发现Yolov5s是最有效的,其具有Yolov5L精度和速度几乎与MobilenetV2 FPN-Lite一样快。这表明各种算法适用于街道级对象检测,并且足够可行,可以用于自动驾驶汽车。
translated by 谷歌翻译