由于独特的驾驶特征，人类驾驶员具有独特的驾驶技术，知识和情感。驾驶员嗜睡一直是一个严重的问题，危害道路安全。因此，必须设计有效的嗜睡检测算法以绕过道路事故。杂项研究工作已经解决了检测异常的人类驾驶员行为的问题，以通过计算机视觉技术检查驾驶员和汽车动力学的正面面孔。尽管如此，常规方法仍无法捕获复杂的驾驶员行为特征。但是，以深度学习体系结构的起源，还进行了大量研究，以分析和识别使用神经网络算法的驾驶员的嗜睡。本文介绍了一个基于视觉变形金刚和Yolov5架构的新颖框架，以实现驾驶员嗜睡的识别。提出了定制的Yolov5预训练的结构，以提取面部提取，目的是提取感兴趣的区域（ROI）。由于以前的体系结构的局限性，本文引入了视觉变压器进行二进制图像分类，该二进制图像分类在公共数据集UTA-RLDD上经过训练和验证。该模型分别达到了96.2 \％和97.4 \％的培训和验证精度。为了进行进一步的评估，在各种光明情况下的39名参与者的自定义数据集上测试了拟议的框架，并获得了95.5 \％的准确性。进行的实验揭示了我们在智能运输系统中实用应用框架的重要潜力。

执法和城市安全受到监视系统中的暴力事件的严重影响。尽管现代（智能）相机广泛可用且负担得起，但在大多数情况下，这种技术解决方案无能为力。此外，监测CCTV记录的人员经常显示出迟来的反应，从而导致对人和财产的灾难。因此，对迅速行动的暴力自动检测至关重要。拟议的解决方案使用了一种新颖的端到端深度学习视频视觉变压器（Vivit），可以在视频序列中熟练地辨别战斗，敌对运动和暴力事件。该研究提出了利用数据增强策略来克服较弱的电感偏见的缺点，同时在较小的培训数据集中训练视觉变压器。评估的结果随后可以发送给当地有关当局，可以分析捕获的视频。与最先进的（SOTA）相比，所提出的方法在某些具有挑战性的基准数据集上实现了吉祥的性能。

人类活动识别是计算机视觉中的新出现和重要领域，旨在确定个体或个体正在执行的活动。该领域的应用包括从体育中生成重点视频到智能监视和手势识别。大多数活动识别系统依赖于卷积神经网络（CNN）的组合来从数据和复发性神经网络（RNN）中进行特征提取来确定数据的时间依赖性。本文提出并设计了两个用于人类活动识别的变压器神经网络：一个经常性变压器（RET），这是一个专门的神经网络，用于对数据序列进行预测，以及视觉变压器（VIT），一种用于提取显着的变压器的变压器（VIT）图像的特征，以提高活动识别的速度和可扩展性。我们在速度和准确性方面提供了对拟议的变压器神经网络与现代CNN和基于RNN的人类活动识别模型的广泛比较。

Diabetic Retinopathy (DR) is considered one of the primary concerns due to its effect on vision loss among most people with diabetes globally. The severity of DR is mostly comprehended manually by ophthalmologists from fundus photography-based retina images. This paper deals with an automated understanding of the severity stages of DR. In the literature, researchers have focused on this automation using traditional machine learning-based algorithms and convolutional architectures. However, the past works hardly focused on essential parts of the retinal image to improve the model performance. In this paper, we adopt transformer-based learning models to capture the crucial features of retinal images to understand DR severity better. We work with ensembling image transformers, where we adopt four models, namely ViT (Vision Transformer), BEiT (Bidirectional Encoder representation for image Transformer), CaiT (Class-Attention in Image Transformers), and DeiT (Data efficient image Transformers), to infer the degree of DR severity from fundus photographs. For experiments, we used the publicly available APTOS-2019 blindness detection dataset, where the performances of the transformer-based models were quite encouraging.

我们的粮食安全建立在土壤的基础上。如果土壤不健康，农民将无法用纤维，食物和燃料喂养我们。准确预测土壤的类型有助于规划土壤的使用，从而提高生产率。这项研究采用了最先进的视觉变压器，并与SVM，Alexnet，Resnet和CNN等不同模型进行了比较。此外，这项研究还着重于区分不同的视觉变压器体系结构。对于土壤类型的分类，数据集由4种不同类型的土壤样品组成，例如冲积，红色，黑色和粘土。 Visual Transformer模型在测试和测试时达到98.13％的训练和93.62％的范围，在测试和训练精度方面都优于其他模型。视觉变压器的性能超过了其他模型的性能至少2％。因此，新颖的视觉变压器可用于计算机视觉任务，包括土壤分类。

无意识和自发的，微小表达在一个人的真实情绪的推动中是有用的，即使尝试隐藏它们。由于它们短的持续时间和低强度，对微表达的识别是情感计算中的艰巨任务。基于手工制作的时空特征的早期工作最近被不同的深度学习方法取代了现在竞争最先进的性能。然而，捕获本地和全球时空模式的问题仍然挑战。为此，本文我们提出了一种新颖的时空变压器架构 - 据我们所知，是微表达识别的第一种纯粹变压器的方法（即任何卷积网络使用的方法）。该架构包括用于学习空间模式的空间编码器，用于时间维度分析的时间聚合器和分类头。三种广泛使用的自发性微表达数据集，即Smic-HS，Casme II和SAMM的综合评估表明，该方法始终如一地优于现有技术，是发表在微表达上发表文献中的第一个框架在任何上述数据集上识别以实现未加权的F1分数大于0.9。

Designing efficient and labor-saving prosthetic hands requires powerful hand gesture recognition algorithms that can achieve high accuracy with limited complexity and latency. In this context, the paper proposes a compact deep learning framework referred to as the CT-HGR, which employs a vision transformer network to conduct hand gesture recognition using highdensity sEMG (HD-sEMG) signals. The attention mechanism in the proposed model identifies similarities among different data segments with a greater capacity for parallel computations and addresses the memory limitation problems while dealing with inputs of large sequence lengths. CT-HGR can be trained from scratch without any need for transfer learning and can simultaneously extract both temporal and spatial features of HD-sEMG data. Additionally, the CT-HGR framework can perform instantaneous recognition using sEMG image spatially composed from HD-sEMG signals. A variant of the CT-HGR is also designed to incorporate microscopic neural drive information in the form of Motor Unit Spike Trains (MUSTs) extracted from HD-sEMG signals using Blind Source Separation (BSS). This variant is combined with its baseline version via a hybrid architecture to evaluate potentials of fusing macroscopic and microscopic neural drive information. The utilized HD-sEMG dataset involves 128 electrodes that collect the signals related to 65 isometric hand gestures of 20 subjects. The proposed CT-HGR framework is applied to 31.25, 62.5, 125, 250 ms window sizes of the above-mentioned dataset utilizing 32, 64, 128 electrode channels. The average accuracy over all the participants using 32 electrodes and a window size of 31.25 ms is 86.23%, which gradually increases till reaching 91.98% for 128 electrodes and a window size of 250 ms. The CT-HGR achieves accuracy of 89.13% for instantaneous recognition based on a single frame of HD-sEMG image.

驾驶员分心检测是一个重要的计算机视觉问题，可以在增强交通安全和减少交通事故方面发挥关键作用。在本文中，提出了一种基于视觉变压器（VIT）的方法来进行驾驶员分心检测。具体而言，开发了多模式视觉变压器（VIT-DD），该变压器（VIT-DD）利用了分散注意力检测以及驾驶员情绪识别信号中包含的归纳信息。此外，半激动的学习算法旨在将无情绪标签的驱动程序数据包括在VIT-DD的监督多任务培训中。在SFDDD和AUCDD数据集上进行的广泛实验表明，拟议的VIT-DD的表现分别优于最先进的驾驶员分心检测方法6.5％和0.9％。我们的源代码在https://github.com/purduedigitaltwin/vit-dd上发布。

植物疾病是全球作物损失的主要原因，对世界经济产生了影响。为了解决这些问题，智能农业解决方案正在发展，将物联网和机器学习结合起来，以进行早期疾病检测和控制。许多这样的系统使用基于视觉的机器学习方法进行实时疾病检测和诊断。随着深度学习技术的发展，已经出现了新方法，这些方法采用卷积神经网络进行植物性疾病检测和鉴定。基于视觉的深度学习的另一个趋势是使用视觉变压器，事实证明，这些变压器是分类和其他问题的强大模型。但是，很少研究视力变压器以进行植物病理应用。在这项研究中，为植物性疾病鉴定提出了一个启用视觉变压器的卷积神经网络模型。提出的模型将传统卷积神经网络的能力与视觉变压器有效地识别出多种农作物的大量植物疾病。拟议的模型具有轻巧的结构，只有80万个可训练的参数，这使其适合基于物联网的智能农业服务。 PlantXvit的性能在五个公开可用的数据集上进行了评估。拟议的PlantXvit网络在所有五个数据集上的性能要比五种最先进的方法更好。即使在挑战性的背景条件下，识别植物性疾病的平均准确性分别超过了苹果，玉米和稻米数据集的93.55％，92.59％和98.33％。使用梯度加权的类激活图和局部可解释的模型不可思议的解释来评估所提出模型的解释性效率。

视觉变压器正在成为解决计算机视觉问题的强大工具。最近的技术还证明了超出图像域之外的变压器来解决许多与视频相关的任务的功效。其中，由于其广泛的应用，人类的行动识别是从研究界受到特别关注。本文提供了对动作识别的视觉变压器技术的首次全面调查。我们朝着这个方向分析并总结了现有文献和新兴文献，同时突出了适应变形金刚以进行动作识别的流行趋势。由于其专业应用，我们将这些方法统称为``动作变压器''。我们的文献综述根据其架构，方式和预期目标为动作变压器提供了适当的分类法。在动作变压器的背景下，我们探讨了编码时空数据，降低维度降低，框架贴片和时空立方体构造以及各种表示方法的技术。我们还研究了变压器层中时空注意的优化，以处理更长的序列，通常通过减少单个注意操作中的令牌数量。此外，我们还研究了不同的网络学习策略，例如自我监督和零局学习，以及它们对基于变压器的行动识别的相关损失。这项调查还总结了在具有动作变压器重要基准的评估度量评分方面取得的进步。最后，它提供了有关该研究方向的挑战，前景和未来途径的讨论。

Accurate travel time estimation is paramount for providing transit users with reliable schedules and dependable real-time information. This paper is the first to utilize roadside urban imagery for direct transit travel time prediction. We propose and evaluate an end-to-end framework integrating traditional transit data sources with a roadside camera for automated roadside image data acquisition, labeling, and model training to predict transit travel times across a segment of interest. First, we show how the GTFS real-time data can be utilized as an efficient activation mechanism for a roadside camera unit monitoring a segment of interest. Second, AVL data is utilized to generate ground truth labels for the acquired images based on the observed transit travel time percentiles across the camera-monitored segment during the time of image acquisition. Finally, the generated labeled image dataset is used to train and thoroughly evaluate a Vision Transformer (ViT) model to predict a discrete transit travel time range (band). The results illustrate that the ViT model is able to learn image features and contents that best help it deduce the expected travel time range with an average validation accuracy ranging between 80%-85%. We assess the interpretability of the ViT model's predictions and showcase how this discrete travel time band prediction can subsequently improve continuous transit travel time estimation. The workflow and results presented in this study provide an end-to-end, scalable, automated, and highly efficient approach for integrating traditional transit data sources and roadside imagery to improve the estimation of transit travel duration. This work also demonstrates the value of incorporating real-time information from computer-vision sources, which are becoming increasingly accessible and can have major implications for improving operations and passenger real-time information.

由于对人工智能的大量解释，我们日常生活的各个领域都使用了机器学习技术。在世界上，在许多情况下，可以预防简单的犯罪，甚至可能发生或找到对此负责的人。面孔是我们拥有的一个独特特征，并且可以轻松区分许多其他物种。但是，不仅不同的物种，它在确定与我们同一物种的人的人类中也起着重要作用。关于这个关键功能，如今最常发生一个问题。当相机指向时，它无法检测到一个人的脸，并且变成了糟糕的图像。另一方面，在安装了抢劫和安全摄像头的地方，由于较低的摄像头，强盗的身份几乎无法区分。但是，仅制作出出色的算法来工作和检测面部就会降低硬件的成本，而专注于该领域的成本并不多。面部识别，小部件控制等可以通过正确检测到面部来完成。这项研究旨在创建和增强正确识别面孔的机器学习模型。总共有627个数据是从孟加拉国不同的四个天使的面孔中收集的。在这项工作中，CNN，Harr Cascade，Cascaded CNN，Deep CNN和MTCNN是实施的五种机器学习方法，以获得我们数据集的最佳准确性。创建和运行模型后，多任务卷积神经网络（MTCNN）通过培训数据而不是其他机器学习模型实现了96.2％的最佳模型精度。

作物疾病显着影响农业生产的数量和质量。在精确农业的目标是最大程度地减少甚至避免使用农药的目的，具有深度学习的天气和遥感数据可以在检测作物疾病中发挥关键作用，从而允许对农作物的局部治疗。但是，将天气和图像等异质数据结合在一起仍然是一个热门话题和具有挑战性的任务。变压器体系结构的最新发展显示了从不同领域（例如文本图像）融合数据的可能性。当前的趋势是仅定制一个变压器来创建多模式融合模型。相反，我们提出了一种使用三个变压器实现数据融合的新方法。在本文中，我们首先通过使用ConvlstM模型来插值来解决缺失的卫星图像问题。然后，提出了一种多模式融合体系结构，该体系结构共同学习处理视觉和天气信息。该体系结构是由三个主要组件，一个视觉变压器和两个变压器编码器构建的，可以融合图像和天气方式。所提出的方法的结果有望达到97 \％的总体准确性。

这项研究提出了一个可靠的模型，用于识别具有最高精度的不同建筑材料，该模型被利用为用于广泛的施工应用（例如自动进度监控）的有利工具。在这项研究中，一种称为视觉变压器（VIT）的新型深度学习结构用于检测和分类建筑材料。使用不同的图像数据集评估了所采用方法的鲁棒性。为此，对模型进行了训练和测试，并在两个大型不平衡数据集上进行了测试，即建筑材料库（CML）和建筑材料数据集（BMD）。还通过组合CML和BMD来创建更不平衡的数据集并评估使用方法的功能来生成第三个数据集。所达到的结果揭示了评估指标的精度为100％，例如三个不同数据集的每个材料类别的准确性，精度，召回率和F1得分。据信，建议的模型实现了用于检测和分类不同材料类型的强大工具。迄今为止，许多研究试图自动对仍然存在一些错误的各种建筑材料进行分类。这项研究将解决上述缺点，并提出一个模型以更高的精度检测材料类型。所采用的模型也能够被推广到不同的数据集。

X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.

通过验证SOTIF-ISO / PAS-21448（预期功能的安全）来验证安全标准，构思自动车辆以提供安全和安全的服务。在这种情况下，对环境的感知与本地化，规划和控制模块结合起作用乐器作用。作为感知堆栈中的枢轴算法，对象检测提供了广泛的洞察，进入自动车辆的周围环境。相机和激光雷达广泛用于不同的传感器模式之间的物体检测，但这些脱离传感器在分辨率和恶劣天气条件下具有局限性。在这项工作中，探索基于雷达的对象检测提供了部署的对应传感器模块，并用于恶劣天气条件。雷达提供复杂的数据;为此目的，提出了一种具有变压器编码器 - 解码器网络的通道升压功能集合方法。使用雷达的对象检测任务被制定为一个设置的预测问题，并在公共可用的数据集中进行评估，在良好和良好的天气条件下。使用Coco评估度量广泛评估所提出的方法的功效，最佳拟议的模型将其最先进的同行方法超过12.55 \％$ 12.48 \％$ 12.48 \％$。

要识别蒙面的脸，可能的解决方案之一可能是首先恢复面部的遮挡部分，然后应用面部识别方法。受到最新图像介绍方法的启发，我们提出了一个端到端杂交遮罩的面部识别系统，即HIMFR，由三个重要部分组成：遮罩的面部探测器，脸部涂上涂料和脸部识别。蒙面的面部检测器模块应用了预验证的视觉变压器（VIT \ _B32），以检测面部是否被掩盖覆盖。该模块使用基于生成对抗网络（GAN）的微调图像插入模型来恢复面部。最后，基于VIT的混合面部识别模块具有有效的NETB3骨架，可以识别面部。我们已经在四个不同的公开数据集上实施并评估了我们提出的方法：Celeba，ssdmnv2，mafa，{bubfig83}与我们本地收集的小数据集，即面对5。全面的实验结果表明，提出的HIMFR方法具有竞争性能的功效。代码可从https://github.com/mdhosen/himfr获得

农民常规施用氮气（N）肥料以增加作物产量。目前，农民经常在某些位置或时间点上过度应用N肥料，因为它们没有高分辨率作物N状态数据。 N用效率可以很低，剩下的N损失环境，导致生产成本高，环境污染。准确和及时估计作物中的N状况至关重要，从而提高种植系统的经济和环境可持续性。基于组织分析的常规方法在实验室中估算植物中的N个状态是耗时和破坏性的。遥感和机器学习的最新进展表明了以非破坏性方式解决上述挑战的承诺。我们提出了一种新的深度学习框架：一种基于频道空间关注的视觉变压器（CSVT），用于估计从麦田中从UAV收集的大图像的作物N状态。与现有的作品不同，所提出的CSVT引入了通道注意力块（CAB）和空间交互块（SIB），其允许捕获来自UAV数字空中图像的空间和通道功能的非线性特性，以获得准确的N状态预测在小麦作物。此外，由于获得标记的数据是耗时且昂贵的，因此引入了本地到全局自我监督的学习，以预先培训CSVT，具有广泛的未标记数据。建议的CSVT与最先进的模型进行了比较，在测试和独立数据集上进行测试和验证。该方法实现了高精度（0.96），具有良好的普遍性和对小麦N状况估算的再现性。

为了处理变异长度的长视频，先前的作品提取了多模式功能并将其融合以预测学生的参与强度。在本文中，我们在视频变压器（CAVT）中提出了一个新的端到端方法类的关注，该方法涉及一个向量来处理类嵌入并均匀地对变异长的视频和固定的端到端学习 - 长度短视频。此外，为了解决缺乏足够的样本，我们提出了一种二进制代表采样方法（BOR）来添加每个视频的多个视频序列以增强训练集。BORS+CAVT不仅可以在EMOTIW-EP数据集上实现最先进的MSE（0.0495），而且还可以在Daisee数据集上获得最新的MSE（0.0377）。代码和模型将在https://github.com/mountainai/cavt上公开提供。

传统的基于视频的人类活动识别与深度学习的兴起有关，但这种效果较慢，因为涉及驾驶员行为的下游任务。了解车辆机舱内部的情况对于高级驾驶助理系统（ADA）至关重要，因为它可以识别出干扰，预测驾驶员的意图并导致更方便的人车相互作用。同时，驾驶员观察系统需要捕获驾驶状态的不同粒度，而驾驶员观察系统则面临着严重的障碍，而此类次级活动的复杂性随着自动化的上升和增加的驾驶员自由而增长。此外，很少在与训练集中相同的条件下部署模型，因为传感器的放置和类型因车辆而异，因此构成了数据驱动模型的现实生活的实质性障碍。在这项工作中，我们提出了一个基于视觉的新型框架，用于识别基于视觉变压器的次级驱动器行为和额外的增强功能分布校准模块。该模块在潜在的功能空间丰富和多样化功能级的训练集中运行，以改善对新型数据出现（例如传感器变化）和一般功能质量的概括。我们的框架始终导致更好的识别率，超过了所有粒度水平上公共驱动器和ACT基准的先前最新结果。我们的代码可在https://github.com/kpeng9510/transdarc上公开获取。