步态冻结（FOG）是帕金森氏病的最常见症状之一，这是中枢神经系统的神经退行性疾病，影响了世界各地数百万的人。为了满足提高雾的治疗质量的紧迫需求，设计雾计算机辅助检测和量化工具的需求越来越重要。作为一种用于收集运动模式的非侵入性技术，从压力敏感步态垫中获得的脚步压力序列为评估诊所和家庭环境中的雾气提供了绝佳的机会。在这项研究中，提出了雾检测为一项顺序建模任务，并提出了一种新颖的深度学习结构，即对对抗性时空网络（ASTN），提出了跨多个级别的雾模式。引入了一种新型的对抗训练方案，并具有多级主题鉴别器，以获得独立的雾代表示，这有助于降低由于高主体间方差而导致的过度拟合风险。结果，对于看不见的受试者，可以实现强大的雾检测。拟议的计划还阐明了从其他场景中改善主题级临床研究，因为它可以与许多现有的深层建筑集成在一起。据我们所知，这是基于脚步压力的雾检测的最早研究之一，利用ASTN的方法是追求独立于主题的表示形式的第一个深神经网络架构。从21名受试者收集的393次试验的实验结果表明，AUC 0.85的雾检测提出的ASTN表现令人鼓舞。

通常，基于生物谱系的控制系统可能不依赖于各个预期行为或合作适当运行。相反，这种系统应该了解未经授权的访问尝试的恶意程序。文献中提供的一些作品建议通过步态识别方法来解决问题。这些方法旨在通过内在的可察觉功能来识别人类，尽管穿着衣服或配件。虽然该问题表示相对长时间的挑战，但是为处理问题的大多数技术存在与特征提取和低分类率相关的几个缺点，以及其他问题。然而，最近的深度学习方法是一种强大的一组工具，可以处理几乎任何图像和计算机视觉相关问题，为步态识别提供最重要的结果。因此，这项工作提供了通过步态认可的关于生物识别检测的最近作品的调查汇编，重点是深入学习方法，强调他们的益处，暴露出弱点。此外，它还呈现用于解决相关约束的数据集，方法和体系结构的分类和表征描述。

人类相互作用的分析是人类运动分析的一个重要研究主题。它已经使用第一人称视觉（FPV）或第三人称视觉（TPV）进行了研究。但是，到目前为止，两种视野的联合学习几乎没有引起关注。原因之一是缺乏涵盖FPV和TPV的合适数据集。此外，FPV或TPV的现有基准数据集具有多个限制，包括样本数量有限，参与者，交互类别和模态。在这项工作中，我们贡献了一个大规模的人类交互数据集，即FT-HID数据集。 FT-HID包含第一人称和第三人称愿景的成对对齐的样本。该数据集是从109个不同受试者中收集的，并具有三种模式的90K样品。该数据集已通过使用几种现有的动作识别方法验证。此外，我们还引入了一种新型的骨骼序列的多视图交互机制，以及针对第一人称和第三人称视野的联合学习多流框架。两种方法都在FT-HID数据集上产生有希望的结果。可以预期，这一视力一致的大规模数据集的引入将促进FPV和TPV的发展，以及他们用于人类行动分析的联合学习技术。该数据集和代码可在\ href {https://github.com/endlichere/ft-hid} {here} {herefichub.com/endlichere.com/endlichere}中获得。

步态识别旨在通过相机来识别一个距离的人。随着深度学习的出现，步态识别的重大进步通过使用深度学习技术在许多情况下取得了鼓舞人心的成功。然而，对视频监视的越来越多的需求引入了更多的挑战，包括在各种方差下进行良好的识别，步态序列中的运动信息建模，由于协议方差，生物量标准安全性和预防隐私而引起的不公平性能比较。本文对步态识别的深度学习进行了全面的调查。我们首先介绍了从传统算法到深层模型的步态识别的奥德赛，从而提供了对步态识别系统的整个工作流程的明确知识。然后，从深度表示和建筑的角度讨论了步态识别的深入学习，并深入摘要。具体而言，深层步态表示分为静态和动态特征，而深度体系结构包括单流和多流架构。遵循我们提出的新颖性分类法，它可能有益于提供灵感并促进对步态认识的感知。此外，我们还提供了所有基于视觉的步态数据集和性能分析的全面摘要。最后，本文讨论了一些潜在潜在前景的开放问题。

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.

人类行动识别是计算机视觉中的重要应用领域。它的主要目的是准确地描述人类的行为及其相互作用，从传感器获得的先前看不见的数据序列中。识别，理解和预测复杂人类行动的能力能够构建许多重要的应用，例如智能监视系统，人力计算机界面，医疗保健，安全和军事应用。近年来，计算机视觉社区特别关注深度学习。本文使用深度学习技术的视频分析概述了当前的动作识别最新识别。我们提出了识别人类行为的最重要的深度学习模型，并分析它们，以提供用于解决人类行动识别问题的深度学习算法的当前进展，以突出其优势和缺点。基于文献中报道的识别精度的定量分析，我们的研究确定了动作识别中最新的深层体系结构，然后为该领域的未来工作提供当前的趋势和开放问题。

基于视觉的人类活动识别已成为视频分析领域的重要研究领域之一。在过去的十年中，已经引入了许多先进的深度学习算法，以识别视频流中复杂的人类行为。这些深度学习算法对人类活动识别任务显示出令人印象深刻的表现。但是，这些新引入的方法仅专注于模型性能或这些模型在计算效率和鲁棒性方面的有效性，从而导致其解决挑战性人类活动识别问题的提议中的偏差折衷。为了克服当代深度学习模型对人类活动识别的局限性，本文提出了一个计算高效但通用的空间级联框架，该框架利用了深层歧视性的空间和时间特征，以识别人类活动的识别。为了有效地表示人类行动，我们提出了有效的双重注意卷积神经网络（CNN）体系结构，该结构利用统一的通道空间注意机制来提取视频框架中以人为中心的显着特征。双通道空间注意力层与卷积层一起学会在具有特征图数量的物体的空间接收场中更加专注。然后将提取的判别显着特征转发到堆叠的双向封闭式复发单元（BI-GRU），以使用前进和后传球梯度学习，以实现长期时间建模和对人类行为的识别。进行了广泛的实验，其中获得的结果表明，与大多数当代动作识别方法相比，所提出的框架的执行时间的改善最高167倍。

Wearable sensor-based human activity recognition (HAR) has emerged as a principal research area and is utilized in a variety of applications. Recently, deep learning-based methods have achieved significant improvement in the HAR field with the development of human-computer interaction applications. However, they are limited to operating in a local neighborhood in the process of a standard convolution neural network, and correlations between different sensors on body positions are ignored. In addition, they still face significant challenging problems with performance degradation due to large gaps in the distribution of training and test data, and behavioral differences between subjects. In this work, we propose a novel Transformer-based Adversarial learning framework for human activity recognition using wearable sensors via Self-KnowledgE Distillation (TASKED), that accounts for individual sensor orientations and spatial and temporal features. The proposed method is capable of learning cross-domain embedding feature representations from multiple subjects datasets using adversarial learning and the maximum mean discrepancy (MMD) regularization to align the data distribution over multiple domains. In the proposed method, we adopt the teacher-free self-knowledge distillation to improve the stability of the training procedure and the performance of human activity recognition. Experimental results show that TASKED not only outperforms state-of-the-art methods on the four real-world public HAR datasets (alone or combined) but also improves the subject generalization effectively.

微表达（MES）是非自愿的面部运动，揭示了人们在高利害情况下隐藏的感受，并对医疗，国家安全，审讯和许多人机交互系统具有实际重要性。早期的MER方法主要基于传统的外观和几何特征。最近，随着各种领域的深度学习（DL）的成功，神经网络已得到MER的兴趣。不同于宏观表达，MES是自发的，微妙的，快速的面部运动，导致数据收集困难，因此具有小规模的数据集。由于上述我的角色，基于DL的MER变得挑战。迄今为止，已提出各种DL方法来解决我的问题并提高MER表现。在本调查中，我们对深度微表达识别（MER）进行了全面的审查，包括数据集，深度MER管道和最具影响力方法的基准标记。本调查定义了该领域的新分类法，包括基于DL的MER的所有方面。对于每个方面，总结和讨论了基本方法和高级发展。此外，我们得出了坚固的深层MER系统设计的剩余挑战和潜在方向。据我们所知，这是对深度MEL方法的第一次调查，该调查可以作为未来MER研究的参考点。

设计可以成功部署在日常生活环境中的活动检测系统需要构成现实情况典型挑战的数据集。在本文中，我们介绍了一个新的未修剪日常生存数据集，该数据集具有几个现实世界中的挑战：Toyota Smarthome Untrimmed（TSU）。 TSU包含以自发方式进行的各种活动。数据集包含密集的注释，包括基本的，复合活动和涉及与对象相互作用的活动。我们提供了对数据集所需的现实世界挑战的分析，突出了检测算法的开放问题。我们表明，当前的最新方法无法在TSU数据集上实现令人满意的性能。因此，我们提出了一种新的基线方法，以应对数据集提供的新挑战。此方法利用一种模态（即视线流）生成注意力权重，以指导另一种模态（即RGB）以更好地检测活动边界。这对于检测以高时间差异为特征的活动特别有益。我们表明，我们建议在TSU和另一个受欢迎的挑战数据集Charades上优于最先进方法的方法。

手语翻译（SLT），它以手语中的视觉内容以口语中的语言生成文本，很重要，以协助听力态度的沟通。灵感来自神经机翻译（NMT），最现有的SLT研究采用了一般序列来序列学习策略。然而，SLT与常规NMT任务显着不同，因为Sign语言通过多个视觉手动方面传达了消息。因此，在本文中，标志语言的这些独特的特征被制定为分层时空图表示，包括高级和微级图形，顶点表征指定的身体部位和边缘表示它们的交互。特别地，高级图表代表了手表和面部的区域中的图案，并且细级图考虑了面部区域的手和地标的关系。为了了解这些图形模式，提出了一种新颖的深度学习架构，即分层时空图神经网络（HST-GNN）。提出了具有邻域上下文的图形卷积和图形自我关注，以表征本地和全局图形属性。基准数据集的实验结果证明了该方法的有效性。

近年来，WiFi传感一直在迅速发展。通过传播模型和深度学习方法的能力，实现了许多具有挑战性的应用，例如基于WiFi的人类活动识别和手势识别。但是，与深入学习视觉识别和自然语言处理相反，没有足够全面的公共基准。在本文中，我们强调了最新的深度学习进展，使WiFi传感能够感测，然后提出了一个基准SensenFI，以研究各种深度学习模型对WiFi传感的有效性。这些高级模型是根据独特的传感任务，WiFi平台，识别精度，模型大小，计算复杂性，功能可传递性以及无监督学习的适应性进行比较的。从CSI硬件平台到传感算法，它也被认为是基于深度学习的WiFi传感的教程。广泛的实验为我们提供了深层模型设计，学习策略技能和培训技术的经验。据我们所知，这是第一个带开源库的基准，用于WiFi传感研究中的深度学习。基准代码可在https://github.com/chenxinyan-sg/wifi-csi-sensing-benchmark上获得。

在急诊室（ER）环境中，中风分类或筛查是一个普遍的挑战。由于MRI的慢速吞吐量和高成本，通常会进行快速CT而不是MRI。在此过程中通常提到临床测试，但误诊率仍然很高。我们提出了一个新型的多模式深度学习框架，深沉的中风，以通过识别较小的面部肌肉不协调的模式来实现计算机辅助中风的存在评估，并使怀疑急性环境中的中风的患者无能为力。我们提出的深雷克斯（Deepstroke）在中风分流器中容易获得一分钟的面部视频数据和音频数据，用于局部面部瘫痪检测和全球语音障碍分析。采用了转移学习来减少面部侵蚀偏见并提高普遍性。我们利用多模式的横向融合来结合低水平和高级特征，并为关节训练提供相互正则化。引入了新型的对抗训练以获得无身份和中风的特征。与实际急诊室患者进行的视频ADIO数据集进行的实验表明，与分类团队和ER医生相比，中风的表现要优于最先进的模型，并且取得更好的性能，比传统的敏感性高出10.94％，高7.37％的精度高出7.37％。当特异性对齐时，中风分类。同时，每个评估都可以在不到六分钟的时间内完成，这表明该框架的临床翻译潜力很大。

步态识别的关键目标是从步态序列中获取框架间的步行习惯代表。但是，与框架内特征相比，框架之间的关系尚未得到足够的关注。在本文中，出于光流的动​​机，提出了双边运动导向的特征，这可以使经典的卷积结构具有直接在功能级别上直接描绘步态运动模式的能力。基于此类特征，我们开发了一组多尺度的时间表示，迫使运动上下文在各个时间分辨率上都可以丰富描述。此外，设计了一个校正块，以消除轮廓的分割噪声，以获取更精确的步态信息。随后，将时间特征集和空间特征组合在一起，以全面地表征步态过程。广泛的实验是在CASIA-B和OU-MVLP数据集上进行的，结果实现了出色的识别性能，这证明了该方法的有效性。

机器学习和非接触传感器的进步使您能够在医疗保健环境中理解复杂的人类行为。特别是，已经引入了几种深度学习系统，以实现对自闭症谱系障碍（ASD）等神经发展状况的全面分析。这种情况会影响儿童的早期发育阶段，并且诊断完全依赖于观察孩子的行为和检测行为提示。但是，诊断过程是耗时的，因为它需要长期的行为观察以及专家的稀缺性。我们展示了基于区域的计算机视觉系统的效果，以帮助临床医生和父母分析孩子的行为。为此，我们采用并增强了一个数据集，用于使用在不受控制的环境中捕获的儿童的视频来分析自闭症相关的动作（例如，在各种环境中使用消费级摄像机收集的视频）。通过检测视频中的目标儿童以减少背景噪声的影响，可以预处理数据。在时间卷积模型的有效性的推动下，我们提出了能够从视频帧中提取动作功能并通过分析视频中的框架之间的关系来从视频帧中提取动作功能并分类与自闭症相关的行为。通过对功能提取和学习策略的广泛评估，我们证明了通过膨胀的3D Convnet和多阶段的时间卷积网络实现最佳性能，达到了0.83加权的F1得分，以分类三种自闭症相关的动作，超越表现优于表现现有方法。我们还通过在同一系统中采用ESNET主链来提出一个轻重量解决方案，实现0.71加权F1得分的竞争结果，并在嵌入式系统上实现潜在的部署。

基于签名的技术使数学洞察力洞悉不断发展的数据的复杂流之间的相互作用。这些见解可以自然地转化为理解流数据的数值方法，也许是由于它们的数学精度，已被证明在数据不规则而不是固定的情况下分析流的数据以及数据和数据的尺寸很有用样本量均为中等。了解流的多模式数据是指数的：$ d $ d $的字母中的$ n $字母中的一个单词可以是$ d^n $消息之一。签名消除了通过采样不规则性引起的指数级噪声，但仍然存在指数量的信息。这项调查旨在留在可以直接管理指数缩放的域中。在许多问题中，可伸缩性问题是一个重要的挑战，但需要另一篇调查文章和进一步的想法。这项调查描述了一系列环境集足够小以消除大规模机器学习的可能性，并且可以有效地使用一小部分免费上下文和原则性功能。工具的数学性质可以使他们对非数学家的使用恐吓。本文中介绍的示例旨在弥合此通信差距，并提供从机器学习环境中绘制的可进行的工作示例。笔记本可以在线提供这些示例中的一些。这项调查是基于伊利亚·雪佛兰（Ilya Chevryev）和安德烈·科米利津（Andrey Kormilitzin）的早期论文，它们在这种机械开发的较早时刻大致相似。本文说明了签名提供的理论见解是如何在对应用程序数据的分析中简单地实现的，这种方式在很大程度上对数据类型不可知。

在视频中，人类的行为是三维（3D）信号。这些视频研究了人类行为的时空知识。使用3D卷积神经网络（CNN）研究了有希望的能力。 3D CNN尚未在静止照片中为其建立良好的二维（2D）等效物获得高输出。董事会3D卷积记忆和时空融合面部训练难以防止3D CNN完成非凡的评估。在本文中，我们实施了混合深度学习体系结构，该体系结构结合了Stip和3D CNN功能，以有效地增强3D视频的性能。实施后，在每个时空融合圈中进行训练的较详细和更深的图表。训练模型在处理模型的复杂评估后进一步增强了结果。视频分类模型在此实现模型中使用。引入了使用深度学习的多媒体数据分类的智能3D网络协议，以进一步了解人类努力中的时空关联。在实施结果时，著名的数据集（即UCF101）评估了提出的混合技术的性能。结果击败了提出的混合技术，该混合动力技术基本上超过了最初的3D CNN。将结果与文献的最新框架进行比较，以识别UCF101的行动识别，准确度为95％。

当今智能城市中产生的大型视频数据从其有目的的用法角度引起了人们的关注，其中监视摄像机等是最突出的资源，是为大量数据做出贡献的最突出的资源，使其自动化分析成为计算方面的艰巨任务。和精确。暴力检测（VD）在行动和活动识别域中广泛崩溃，用于分析大型视频数据，以了解由于人类而引起的异常动作。传统上，VD文献基于手动设计的功能，尽管开发了基于深度学习的独立模型的进步用于实时VD分析。本文重点介绍了深度序列学习方法以及检测到的暴力的本地化策略。该概述还介入了基于机器学习的初始图像处理和基于机器学习的文献及其可能具有的优势，例如针对当前复杂模型的效率。此外，讨论了数据集，以提供当前模型的分析，并用对先前方法的深入分析得出的VD域中的未来方向解释了他们的利弊。

本章旨在帮助开发网络 - 物理系统（CPS）在视频监控的各种应用中自动理解事件和活动。这些事件主要由无人机，中央电视台或新手和低端设备上的非熟板捕获。由于许多质量因素，这些视频是不受约束的，这些视频是非常挑战性的。我们在多年来提出了为解决问题的各种方法提供了广泛的陈述。这根据来自基于运动（SFM）的结构的方法，涉及涉及深神经网络的最近解决方案框架的方法。我们表明，长期运动模式在识别事件的任务中，单独发挥枢轴作用。因此，每个视频由使用基于图形的方法的固定数量的键帧显着表示。仅使用混合卷积神经网络（CNN）+经常性神经网络（RNN）架构利用时间特征。我们获得的结果是令人鼓舞的，因为它们优于标准的时间CNN，并且与使用空间信息以及运动提示的人员相提并论。进一步探索多际型号，我们构思了网络的空间和时间翼的多层融合策略。使用偏置的混合技术获得对视频和帧级别的各个预测载体的整合表示。与最先进的方法相比，融合策略在每个阶段的精度赋予我们更高的精度，因此在分类中实现了强大的共识。结果记录在动作识别域，即CCV，HMDB，UCF-101和KCV中广泛使用的四个基准数据集。可推动的是，专注于视频序列的更好分类肯定会导致强大的致动设计用于事件监视和对象暨活动跟踪的系统。

人口级社会事件，如民事骚乱和犯罪，往往对我们的日常生活产生重大影响。预测此类事件对于决策和资源分配非常重要。由于缺乏关于事件发生的真实原因和潜在机制的知识，事件预测传统上具有挑战性。近年来，由于两个主要原因，研究事件预测研究取得了重大进展：（1）机器学习和深度学习算法的开发和（2）社交媒体，新闻来源，博客，经济等公共数据的可访问性指标和其他元数据源。软件/硬件技术中的数据的爆炸性增长导致了社会事件研究中的深度学习技巧的应用。本文致力于提供社会事件预测的深层学习技术的系统和全面概述。我们专注于两个社会事件的域名：\ Texit {Civil unrest}和\ texit {犯罪}。我们首先介绍事件预测问题如何作为机器学习预测任务制定。然后，我们总结了这些问题的数据资源，传统方法和最近的深度学习模型的发展。最后，我们讨论了社会事件预测中的挑战，并提出了一些有希望的未来研究方向。