帕金森氏病（PD）是一种进行性神经退行性疾病，导致各种运动功能障碍症状，包括震颤，胸肌，僵硬和姿势不稳定。 PD的诊断主要取决于临床经验，而不是确定的医学测试，诊断准确性仅为73-84％，因为它受到不同医学专家的主观意见或经验的挑战。因此，有效且可解释的自动PD诊断系统对于支持更强大的诊断决策的临床医生很有价值。为此，我们建议对帕金森的震颤进行分类，因为它是PD的最主要症状之一，具有强烈的普遍性。与其他计算机辅助时间和资源消耗的帕金森震颤（PT）分类系统不同，我们提出了SPAPNET，该系统仅需要消费者级的非侵入性视频记录人类面向摄像机的动作作为输入，以提供无诊断低成本分类的患者作为PD警告标志。我们首次提议使用带有轻质金字塔通道 - 融合式结构的新型注意模块来提取相关的PT信息并有效地过滤噪声。这种设计有助于提高分类性能和系统的解释性。实验结果表明，我们的系统在将PT与非PT类别分类中的平衡精度达到90.9％和90.6％的F1得分来胜过最先进的。

早期预测在临床上被认为是脑瘫（CP）治疗的重要部分之一。我们建议实施一个基于一般运动评估（GMA）的CP预测的低成本和可解释的分类系统。我们设计了一个基于Pytorch的注意力图形卷积网络，以识别从RGB视频中提取的骨骼数据中有CP风险的早期婴儿。我们还设计了一个频率模块，用于在过滤噪声时学习频域中的CP运动。我们的系统仅需要消费级RGB视频进行培训，以通过提供可解释的CP分类结果来支持交互式时间CP预测。

肌肉骨骼和神经系统疾病是老年人行走问题的最常见原因，它们通常导致生活质量降低。分析步行运动数据手动需要训练有素的专业人员，并且评估可能并不总是客观的。为了促进早期诊断，最近基于深度学习的方法显示了自动分析的有希望的结果，这些方法可以发现传统的机器学习方法中未发现的模式。我们观察到，现有工作主要应用于单个联合特征，例如时间序列的联合职位。由于发现了诸如通常较小规模的医疗数据集的脚之间的距离（即步幅宽度）之类的挑战，因此这些方法通常是优选的。结果，我们提出了一种解决方案，该解决方案明确地将单个关节特征和关节间特征作为输入，从而使系统免于从小数据中发现更复杂的功能。由于两种特征的独特性质，我们引入了一个两流框架，其中一个流从关节位置的时间序列中学习，另一个从相对关节位移的时间序列中学习。我们进一步开发了一个中层融合模块，以将发现的两个流中发现的模式结合起来进行诊断，从而导致数据互补表示，以获得更好的预测性能。我们使用3D骨架运动的基准数据集涉及45例肌肉骨骼和神经系统疾病的患者，并实现95.56％的预测准确性，效果优于最先进的方法，从而验证了我们的系统。

超声检查广泛用于甲状腺结节（良性/恶性）的临床诊断。但是，准确性在很大程度上取决于放射科医生的经验。尽管已经研究了甲状腺结节识别的深度学习技术。当前的解决方案主要基于静态超声图像，其时间信息有限，并且与临床诊断不一致。本文提出了一种通过详尽的超声视频和钥匙框架进行详尽的探索来自动识别甲状腺结节的新方法。我们首先提出一个检测 - 定位框架，以自动识别每个超声视频中典型结节的临床密钥框架。根据本地化的键框架，我们为甲状腺结节识别开发了一个钥匙框引导的视频分类模型。此外，我们引入了运动注意模块，以帮助网络关注超声视频中的重要帧，这与临床诊断一致。拟议的甲状腺结节识别框架已在临床收集的超声视频上进行了验证，与其他最先进的方法相比，表现出卓越的性能。

建模各种时空依赖项是识别骨架序列中人类动作的关键。大多数现有方法过度依赖于遍历规则或图形拓扑的设计，以利用动态关节的依赖性，这是反映远处但重要的关节的关系不足。此外，由于本地采用的操作，因此在现有的工作中探索了重要的远程时间信息。为了解决这个问题，在这项工作中，我们提出了LSTA-Net：一种新型长期短期时空聚合网络，可以以时空的方式有效地捕获长/短距离依赖性。我们将我们的模型设计成纯粹的分解体系结构，可以交替执行空间特征聚合和时间特征聚合。为了改善特征聚合效果，还设计和采用了一种通道明智的注意机制。在三个公共基准数据集中进行了广泛的实验，结果表明，我们的方法可以在空间和时域中捕获长短短程依赖性，从而产生比其他最先进的方法更高的结果。代码可在https://github.com/tailin1009/lsta-net。

步态情绪识别在智能系统中起着至关重要的作用。大多数现有方法通过随着时间的推移专注于当地行动来识别情绪。但是，他们忽略了时间域中不同情绪的有效距离是不同的，而且步行过程中的当地行动非常相似。因此，情绪应由全球状态而不是间接的本地行动代表。为了解决这些问题，这项工作通过构建动态的时间接受场并设计多尺度信息聚集以识别情绪，从而在这项工作中介绍了新型的多量表自适应图卷积网络（MSA-GCN）。在我们的模型中，自适应选择性时空图卷积旨在动态选择卷积内核，以获得不同情绪的软时空特征。此外，跨尺度映射融合机制（CSFM）旨在构建自适应邻接矩阵，以增强信息相互作用并降低冗余。与以前的最先进方法相比，所提出的方法在两个公共数据集上实现了最佳性能，将地图提高了2 \％。我们还进行了广泛的消融研究，以显示不同组件在我们的方法中的有效性。

图形卷积网络由于非欧几里得数据的出色建模能力而广泛用于基于骨架的动作识别。由于图形卷积是局部操作，因此它只能利用短距离关节依赖性和短期轨迹，但无法直接建模遥远的关节关系和远程时间信息，这些信息对于区分各种动作至关重要。为了解决此问题，我们提出了多尺度的空间图卷积（MS-GC）模块和一个多尺度的时间图卷积（MT-GC）模块，以在空间和时间尺寸中丰富模型的接受场。具体而言，MS-GC和MT-GC模块将相应的局部图卷积分解为一组子图形卷积，形成了层次的残差体系结构。在不引入其他参数的情况下，该功能将通过一系列子图卷积处理，每个节点都可以与其邻域一起完成多个空间和时间聚集。因此，最终的等效接收场被扩大，能够捕获空间和时间域中的短期和远程依赖性。通过将这两个模块耦合为基本块，我们进一步提出了一个多尺度的空间时间图卷积网络（MST-GCN），该网络（MST-GCN）堆叠了多个块以学习有效的运动表示行动识别的运动表示。拟议的MST-GCN在三个具有挑战性的基准数据集（NTU RGB+D，NTU-1220 RGB+D和动力学 - 骨骼）上实现了出色的性能，用于基于骨架的动作识别。

现有的基于视频的人重新识别（REID）的方法主要通过功能提取器和功能聚合器来了解给定行人的外观特征。但是，当不同的行人外观相似时，外观模型将失败。考虑到不同的行人具有不同的步行姿势和身体比例，我们建议学习视频检索的外观功能之外的歧视性姿势功能。具体而言，我们实现了一个两分支的体系结构，以单独学习外观功能和姿势功能，然后将它们串联在一起进行推理。为了学习姿势特征，我们首先通过现成的姿势检测器检测到每个框架中的行人姿势，并使用姿势序列构建时间图。然后，我们利用复发图卷积网络（RGCN）来学习时间姿势图的节点嵌入，该姿势图设计了一种全局信息传播机制，以同时实现框内节点的邻域聚集，并在框架间图之间传递消息。最后，我们提出了一种由节点注意和时间注意的双重意见方法，以从节点嵌入中获得时间图表示，其中采用自我注意机制来了解每个节点和每个帧的重要性。我们在三个基于视频的REID数据集（即火星，Dukemtmc和Ilids-Vid）上验证了所提出的方法，其实验结果表明，学习的姿势功能可以有效地改善现有外观模型的性能。

图形卷积网络（GCN）优于基于骨架的人类动作识别领域的先前方法，包括人类的互动识别任务。但是，在处理相互作用序列时，基于GCN的当前方法只需将两人骨架分为两个离散序列，然后以单人动作分类的方式分别执行图形卷积。这种操作忽略了丰富的交互信息，并阻碍了语义模式学习的有效空间关系建模。为了克服上述缺点，我们引入了一个新型的统一的两人图，代表关节之间的空间相互作用相关性。此外，提出了适当设计的图形标记策略，以使我们的GCN模型学习判别时空交互特征。实验显示了使用拟议的两人图形拓扑时的相互作用和单个动作的准确性提高。最后，我们提出了一个两人的图形卷积网络（2P-GCN）。提出的2P-GCN在三个相互作用数据集（SBU，NTU-RGB+D和NTU-RGB+D 120）的四个基准测试基准上获得了最新结果。

帕金森氏病（PD）是一种神经系统疾病，具有各种可观察到的与运动相关的症状，例如运动缓慢，震颤，肌肉僵硬和姿势受损。 PD通常通过评估运动障碍系统（例如运动障碍协会统一帕金森氏病评级量表（MDS-UPDRS））的评分系统来诊断PD。使用个体视频记录的自动严重性预测为无侵入性监测运动障碍提供了有希望的途径。但是，PD步态数据的大小有限阻碍模型能力和临床潜力。由于这种临床数据的稀缺性，并受到自我监督的大规模语言模型（例如GPT-3）的最新进展的启发，我们将人类运动预测用作有效的自我监督预训练的任务来估计运动障碍的严重性。我们介绍步态预测和损伤估计变压器，该变压器首先在公共数据集中进行预测以预测步态运动，然后应用于临床数据以预测MDS-UPDRS步态障碍的严重性。我们的方法的表现优于以前的方法，这些方法仅依赖于临床数据，从而达到了0.76的F1得分，精度为0.79，召回率为0.75。使用GaitForemer，我们展示了公共人类运动数据存储库如何通过学习通用运动表示来帮助临床用例。该代码可从https://github.com/markendo/gaitforemer获得。

随着姿势估计和图形卷积网络的进步，基于骨架的两人互动识别一直在越来越多的关注。尽管准确性逐渐提高，但计算复杂性的提高使其在现实环境中更不切实际。由于常规方法不能完全代表体内关节之间的关系，因此仍然存在准确性改善的空间。在本文中，我们提出了一个轻巧的模型，以准确识别两人的交互。除了结合了中间融合的体系结构外，我们还引入了一种分解卷积技术，以减少模型的重量参数。我们还引入了一个网络流，该网络说明体内关节之间的相对距离变化以提高准确性。使用两个大规模数据集NTU RGB+D 60和120的实验表明，与常规方法相比，我们的方法同时达到了最高准确性和相对较低的计算复杂性。

视频中的人类对象相互作用（HOI）识别对于分析人类活动很重要。在现实世界中，大多数关注视觉特征的工作通常都会受到阻塞。当HOI中有多个人和物体涉及时，这种问题将更加复杂。考虑到诸如人类姿势和物体位置之类的几何特征提供有意义的信息来了解HOI，我们认为将视觉和几何特征的好处结合在HOI识别中，并提出了一个新颖的两级几何形状特征信息信息图形卷积（2G） -GCN）。几何级图模拟了人类和对象的几何特征之间的相互依赖性，而融合级别的图将它们与人类和对象的视觉特征融合在一起。为了证明我们方法在挑战性场景中的新颖性和有效性，我们提出了一个新的多人HOI数据集（Mphoi-72）。关于Mphoi-72（多人HOI），CAD-1220（单人HOI）和双人动作（双手HOI）数据集的广泛实验证明了我们的表现与最先进的表现相比。

Dynamics of human body skeletons convey significant information for human action recognition. Conventional approaches for modeling skeletons usually rely on hand-crafted parts or traversal rules, thus resulting in limited expressive power and difficulties of generalization. In this work, we propose a novel model of dynamic skeletons called Spatial-Temporal Graph Convolutional Networks (ST-GCN), which moves beyond the limitations of previous methods by automatically learning both the spatial and temporal patterns from data. This formulation not only leads to greater expressive power but also stronger generalization capability. On two large datasets, Kinetics and NTU-RGBD, it achieves substantial improvements over mainstream methods.

图表卷积网络（GCNS）的方法在基于骨架的动作识别任务上实现了高级性能。然而，骨架图不能完全代表骨架数据中包含的运动信息。此外，基于GCN的方法中的骨架图的拓扑是根据自然连接手动设置的，并且它为所有样本都固定，这不能很好地适应不同的情况。在这项工作中，我们提出了一种新的动态超图卷积网络（DHGCN），用于基于骨架的动作识别。 DHGCN使用超图来表示骨架结构，以有效利用人类关节中包含的运动信息。根据其移动动态地分配了骨架超图中的每个接头，并且我们模型中的超图拓扑可以根据关节之间的关系动态调整到不同的样本。实验结果表明，我们的模型的性能在三个数据集中实现了竞争性能：动力学 - 骨架400，NTU RGB + D 60和NTU RGB + D 120。

在基于骨架的动作识别中，图形卷积网络将人类骨骼关节模拟为顶点，并通过邻接矩阵将其连接起来，可以将其视为局部注意力掩码。但是，在大多数现有的图形卷积网络中，局部注意力面膜是根据人类骨架关节的自然连接来定义的，而忽略了例如头部，手和脚关节之间的动态关系。此外，注意机制已被证明在自然语言处理和图像描述中有效，在现有方法中很少研究。在这项工作中，我们提出了一个新的自适应空间注意层，该层将局部注意力图扩展到基于相对距离和相对角度信息的全局。此外，我们设计了一个连接头部，手脚的新初始图邻接矩阵，该矩阵在动作识别精度方面显示出可见的改进。在日常生活中人类活动领域的两个大规模且挑战性的数据集上，评估了该模型：NTU-RGB+D和动力学骨架。结果表明，我们的模型在两个数据集上都有很强的性能。

捕获关节之间的依赖关系对于基于骨架的动作识别任务至关重要。变压器显示出模拟重要关节相关性的巨大潜力。然而，基于变压器的方法不能捕获帧之间的不同关节的相关性，因此相邻帧之间的不同体部（例如在长跳跃中的臂和腿）一起移动的相关性非常有用。专注于这个问题，提出了一种新的时空组元变压器（Sttformer）方法。骨架序列被分成几个部分，并且每个部分包含的几个连续帧被编码。然后提出了一种时空元组的自我关注模块，以捕获连续帧中不同关节的关系。另外，在非相邻帧之间引入特征聚合模块以增强区分类似动作的能力。与最先进的方法相比，我们的方法在两个大型数据集中实现了更好的性能。

In skeleton-based action recognition, graph convolutional networks (GCNs), which model the human body skeletons as spatiotemporal graphs, have achieved remarkable performance. However, in existing GCN-based methods, the topology of the graph is set manually, and it is fixed over all layers and input samples. This may not be optimal for the hierarchical GCN and diverse samples in action recognition tasks. In addition, the second-order information (the lengths and directions of bones) of the skeleton data, which is naturally more informative and discriminative for action recognition, is rarely investigated in existing methods. In this work, we propose a novel two-stream adaptive graph convolutional network (2s-AGCN) for skeletonbased action recognition. The topology of the graph in our model can be either uniformly or individually learned by the BP algorithm in an end-to-end manner. This data-driven method increases the flexibility of the model for graph construction and brings more generality to adapt to various data samples. Moreover, a two-stream framework is proposed to model both the first-order and the second-order information simultaneously, which shows notable improvement for the recognition accuracy. Extensive experiments on the two large-scale datasets, NTU-RGBD and Kinetics-Skeleton, demonstrate that the performance of our model exceeds the state-of-the-art with a significant margin.

对于基于骨架的动作识别中的当前方法通常是将长期时间依赖性作为骨骼序列捕获通常长的（> 128帧），这很常见，这对于先前的方法构成了一个具有挑战性的问题。在这种情况下，短期依赖性很少被正式考虑，这对于对类似动作进行分类至关重要。大多数当前的方法包括相互交织的仅空间模块和仅时间的模块，在这些模块中，在相邻框架中的关节之间的直接信息流受到阻碍，因此不如捕获短期运动并区分相似的动作对。为了应对这一限制，我们提出了一个作为stgat创造的一般框架，以建模跨天空信息流。它使仅空间模块与区域感知的时空建模相称。尽管STGAT在理论上对时空建模具有有效性，但我们提出了三个简单的模块，以减少局部时空特征冗余，并进一步释放STGAT的潜力，（1）（1）自我关注机制的范围，（2）动态重量的范围（2）沿时间尺寸的关节和（3）分别与静态特征分开的微妙运动。作为一个可靠的特征提取器，STGAT在对以前的方法进行分类时，在定性和定量结果中都证明了相似的动作。 STGAT在三个大规模数据集上实现了最先进的性能：NTU RGB+D 60，NTU RGB+D 120和动力学骨架400。释放了代码。

目前，现有的步态识别系统专注于从轮廓图像中提取强大的步态特征的开发方法，他们确实取得了巨大的成功。然而，步态可以对衣服和携带物品等外观特征敏感。与基于外观的方法相比，由于对这些变化的稳健性，基于模型的步态识别是有前途的。近年来，随着人类姿势估计的发展，基于模型的步态识别方法的难度已被减轻。在本文中，为了抵抗受试者的增加和视图变化，建立了局部特征，提出了暹罗网络以最大化来自相同主题的样本的距离。我们利用近期行动识别的进步将人类姿势序列嵌入到向量中，并引入空间 - 时间图卷积块（STGCB），该卷积块（STGCB）已经过去用于步态识别的动作识别。在名为OuMVLP-POSE的非常大的人口数据集的实验和流行的DataSet，Casia-B，表明我们的方法在基于模型的步态识别中归档一些最先进的（SOTA）性能。我们的方法的代码和模型可在接受后的https://github.com/timelesnive/gait-for-large-dataset中获得。

现有的基于3D骨架的动作识别方法通过将手工制作的动作功能编码为图像格式和CNN解码，从而达到了令人印象深刻的性能。但是，这种方法在两种方面受到限制：a）手工制作的动作功能很难处理具有挑战性的动作，b）通常需要复杂的CNN模型来提高动作识别精度，这通常会发生重大计算负担。为了克服这些局限性，我们引入了一种新颖的AFE-CNN，它致力于增强基于3D骨架的动作的特征，以适应具有挑战性的动作。我们提出了功能增强从关键关节，骨向量，关键框架和时间视角的模块，因此，AFE-CNN对摄像头视图和车身大小变化更为强大，并显着提高了对挑战性动作的识别精度。此外，我们的AFE-CNN采用了轻巧的CNN模型以增强动作功能来解码图像，从而确保了比最新方法低得多的计算负担。我们在三个基于基准骨架的动作数据集上评估了AFE-CNN：NTU RGB+D，NTU RGB+D 120和UTKINECT-ACTION3D，并取得了广泛的实验结果，这表明我们对AFE-CNN的出色表现。