准确的睡眠阶段分类对于睡眠健康评估很重要。近年来，已经开发了几种基于深度学习和机器学习的睡眠阶段算法，并且在人类注释方面取得了表现。尽管性能提高，但最深入学习算法的局限性是其黑盒行为，它限制了它们在临床环境中的使用。在这里，我们提出了跨模式变压器，这是一种基于变压器的睡眠阶段分类的方法。我们的模型通过最先进的方法实现了竞争性能，并通过利用注意模块的可解释性方面消除了深度学习模型的黑盒行为。提出的跨模式变压器由一种新型的跨模式变压器编码器结构以及多尺度的一维卷积神经网络组成，用于自动表示学习。基于此设计的我们的睡眠阶段分类器能够以与最先进的方法相同或更好地达到睡眠阶段分类性能，以及可解释性，参数数量减少了四倍，并且比较培训时间减少了。到当前的最新。我们的代码可从https://github.com/jathurshan0330/cross-modal-transformer获得。

本文提出了一个新颖的框架，以根据权威的睡眠医学指导自动捕获人睡眠的脑电图（EEG）信号的时间频率。该框架由两个部分组成：第一部分通过将输入EEG频谱图将其划分为一系列时频贴片来提取信息特征。第二部分是由基于注意力的体系结构有效地搜索分配的时频贴片和并行睡眠阶段定义因素之间的相关性构成的。拟议的管道在Sleep Heart Health研究数据集上进行了验证，其阶段唤醒，N2和N3的新最新结果获得了相应的F1分数为0.93、0.88和0.87，仅使用EEG信号。该提出的方法还具有高评分者间可靠性为0.80 kappa。我们还可以看到睡眠分期决策与提出方法提取的特征之间的对应关系，为我们的模型提供了强大的解释性。

自动睡眠评分对于诊断和治疗睡眠障碍至关重要，并在家庭环境中实现纵向睡眠跟踪。通常，对单渠道脑电图（EEG）进行基于学习的自动睡眠评分是积极研究的，因为困难在睡眠过程中获得多通道信号。但是，由于以下问题，来自原始脑电图信号的学习表示形式挑战：1）与睡眠相关的脑电图模式发生在不同的时间和频率尺度上，2）睡眠阶段共享相似的脑电图模式。为了解决这些问题，我们提出了一个名为Sleepyco的深度学习框架，该框架结合了1）功能金字塔和2）自动睡眠评分的监督对比度学习。对于特征金字塔，我们提出了一个名为sleepyco-backbone的骨干网络，以考虑在不同的时间和频率尺度上的多个特征序列。监督的对比学习允许网络通过最大程度地降低类内部特征之间的距离并同时最大程度地提高阶层间特征之间的距离来提取类别特征。对四个公共数据集的比较分析表明，Sleepyco始终优于基于单渠道EEG的现有框架。广泛的消融实验表明，Sleepyco表现出增强的总体表现，N1和快速眼运动（REM）阶段之间的歧视有了显着改善。

近年来，深度学习显示了广泛区域的潜力和效率，包括计算机视觉，图像和信号处理。然而，由于缺乏算法决策和结果的解释性，用户应用程序仍然存在转化挑战。这个黑匣子问题对于高风险应用程序（例如与医疗相关的决策制定）尤其有问题。当前的研究目标是设计一个可解释的深度学习系统，用于对脑电图的时间序列分类（EEG）进行睡眠阶段评分，以此作为设计透明系统的一步。我们已经开发了一个可解释的深神经网络，该网络包括基于内核的层，该层是基于人类专家在视觉分析记录的视觉分析中用于睡眠评分的一组原理。将基于内核的卷积层定义并用作系统的第一层，并可用于用户解释。训练有素的系统及其结果从脑电图信号的微观结构（例如训练的内核）以及每个内核对检测到的阶段的效果，宏观结构（例如阶段之间的过渡）中解释了四个级别。拟议的系统表现出比先前的研究更大的性能，而解释的结果表明，该系统学习了与专家知识一致的信息。

对于诊断各种疾病的诊断，对睡眠阶段进行分类至关重要。但是，现有的自动诊断方法主要采用“金标准”局部脑图（EEG）或医院中多摄像机仪（PSG）机器的其他单型模式传感信号，这些信号昂贵，导入且因此不适合保健点监测在家。为了在家中启用睡眠阶段监控，我们在本文中分析了红外视频与脑电图信号之间的关系，并提出了一项新任务：通过将有用的知识从EEG信号提炼到视觉视频，使用红外视频对睡眠阶段进行分类。为了为该应用程序建立可靠的跨模式基准，我们开发了一个新的数据集，称为通过红外视频和脑电图（$ s^3ve $）看到您的睡眠阶段。 $ s^3ve $是一个大型数据集，包括用于睡眠阶段分类的同步红外视频和脑电图信号，包括105个主题和154,573个视频剪辑，长度超过1100小时。我们的贡献不仅限于数据集，而且还涉及一种新型的跨模式蒸馏基线模型，即结构感知的对比度蒸馏（SACD），以将脑电图知识提升为红外视频特征。 SACD在我们的$ S^3ve $和现有的跨模式蒸馏基准上都达到了最先进的表演。基准方法和基线方法都将被释放给社区。我们希望在睡眠阶段分类中提高更多注意力并促进更多的发展，更重要的是，从临床信号/媒体到传统媒体的跨模式蒸馏。

在过去的几年中，自动睡眠评分的研究主要集中在开发日益复杂的深度学习体系结构上。但是，最近，这些方法仅实现了边际改进，通常以需要更多数据和更昂贵的培训程序为代价。尽管所有这些努力及其令人满意的表现，但在临床背景下，自动睡眠期临时解决方案并未被广泛采用。我们认为，由于很难训练，部署和繁殖，大多数对睡眠评分的深度学习解决方案在现实世界中的适用性受到限制。此外，这些解决方案缺乏可解释性和透明度，这通常是提高采用率的关键。在这项工作中，我们使用经典的机器学习来重新审视睡眠阶段分类的问题。结果表明，通过传统的机器学习管道可以实现最新的性能，该管道包括预处理，功能提取和简单的机器学习模型。特别是，我们分析了线性模型和非线性（梯度提升）模型的性能。我们的方法超过了两个公共数据集上的最新方法（使用相同的数据）：Sleep--EDF SC-20（MF1 0.810）和Sleep-eDF ST（MF1 0.795），同时在Sleep-eDF上取得了竞争成果SC-78（MF1 0.775）和质量SS3（MF1 0.817）。我们表明，对于睡眠阶段评分任务，工程特征向量的表现力与深度学习模型的内部学表现相当。该观察结果为临床采用打开了大门，因为代表性功能向量允许利用传统机器学习模型的可解释性和成功记录。

目的：脑电图（EEG）和肌电图（EMG）是两个非侵入性的生物信号，它们在人类机器界面（HMI）技术（EEG-HMI和EMG-HMI范式）中广泛用于康复，用于康复的物理残疾人。将脑电图和EMG信号成功解码为各自的控制命令是康复过程中的关键步骤。最近，提出了几个基于卷积的神经网络（CNN）架构，它们直接将原始的时间序列信号映射到决策空间中，并同时执行有意义的特征提取和分类的过程。但是，这些网络是根据学习给定生物信号的预期特征量身定制的，并且仅限于单个范式。在这项工作中，我们解决了一个问题，即我们可以构建一个单个体系结构，该架构能够从不同的HMI范式中学习不同的功能并仍然成功地对其进行分类。方法：在这项工作中，我们引入了一个称为Controanet的单个混合模型，该模型基于CNN和Transformer架构，该模型对EEG-HMI和EMG-HMI范式同样有用。 Contranet使用CNN块在模型中引入电感偏置并学习局部依赖性，而变压器块则使用自我注意机制来学习信号中的长距离依赖性，这对于EEG和EMG信号的分类至关重要。主要结果：我们在三个属于EEG-HMI和EMG-HMI范式的公开数据集上评估并比较了Contronet与最先进的方法。 Contranet在所有不同类别任务（2级，3类，4级和10级解码任务）中的表现优于其对应。意义：结果表明，与当前的最新算法状态相比，从不同的HMI范式中学习不同的特征并概述了矛盾。

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

眼目光信息的收集为人类认知，健康和行为的许多关键方面提供了一个窗口。此外，许多神经科学研究补充了从眼睛跟踪中获得的行为信息，以及脑电图（EEG）提供的高时间分辨率和神经生理学标记。必不可少的眼睛跟踪软件处理步骤之一是将连续数据流的分割为与扫视，固定和眨眼等眼睛跟踪应用程序相关的事件。在这里，我们介绍了Detrtime，这是一个新颖的时间序列分割框架，该框架创建了不需要额外记录的眼睛跟踪模式并仅依靠脑电图数据的眼部事件检测器。我们的端到端基于深度学习的框架将计算机视觉的最新进展带到了脑电图数据的《时代》系列分割的最前沿。 Detr Time在各种眼睛追踪实验范式上实现眼部事件检测中的最新性能。除此之外，我们还提供了证据表明我们的模型在脑电图阶段分割的任务中很好地概括了。

变形金刚占据了自然语言处理领域，最近影响了计算机视觉区域。在医学图像分析领域中，变压器也已成功应用于全栈临床应用，包括图像合成/重建，注册，分割，检测和诊断。我们的论文旨在促进变压器在医学图像分析领域的认识和应用。具体而言，我们首先概述了内置在变压器和其他基本组件中的注意机制的核心概念。其次，我们回顾了针对医疗图像应用程序量身定制的各种变压器体系结构，并讨论其局限性。在这篇综述中，我们调查了围绕在不同学习范式中使用变压器，提高模型效率及其与其他技术的耦合的关键挑战。我们希望这篇评论可以为读者提供医学图像分析领域的读者的全面图片。

尽管最近对成人自动睡眠分期进行了巨大进展，但目前是未知的，如果最先进的算法概括为儿科人群，这在过夜多核心摄影（PSG）中显示出独特的特征。为了回答这个问题，在这项工作中，我们对儿科自动睡眠分期的最先进的深层学习方法进行了大规模比较研究。采用各种具有发散特征的六种不同的深神经网络的选择来评估超过1,200名儿童的样品，横跨宽度的阻塞性睡眠呼吸暂停（OSA）严重程度。我们的实验结果表明，在新科目评估时自动儿科睡眠滞高器的个性表现相当于在成人报告的专家级。将六个级别与集合模型相结合，进一步提高了暂存精度，达到了87.7％的整体准确性，一个0.837的Cohen的Kappa，在新科目评估时，单通道EEG的宏观F1分数为84.2％。当使用双通道EEG $ \ CDOT $ EOT时，达到88.8％的准确性，即0.852的精度，宏观F1分数为85.8％时，该性能进一步提高。同时，集合模型导致预测性不确定性降低。结果还表明，当训练和测试数据分开和临床干预后7个月记录7个月时，研究了算法及其集合对于概念漂移是强大的。详细分析进一步展示了自动分级彼此之间的“几乎完美”协议及其在分期错误上的类似模式。

自动情绪识别（ER）最近由于其在许多实际应用中的潜力而引起了很多兴趣。在这种情况下，已经证明多模式方法可以通过结合多样化和互补的信息来源，从而提高性能（超过单峰方法），从而为嘈杂和缺失的方式提供了一些鲁棒性。在本文中，我们根据从视频中提取的面部和声音方式融合的尺寸ER专注于尺寸，其中探索了互补的视听（A-V）关系，以预测个人在价值空间中的情绪状态。大多数最先进的融合技术都依赖于反复的网络或常规的注意机制，这些机制无法有效利用A-V模式的互补性。为了解决这个问题，我们引入了A-V融合的联合跨注意模型，该模型在A-V模态上提取显着特征，从而可以有效利用模式间关系，同时保留模式内关系。特别是，它根据联合特征表示与单个模式的相关性计算交叉意义权重。通过将联合A-V特征表示形式部署到交叉意见模块中，它有助于同时利用内模式和模态关系，从而显着改善系统的性能，而不是香草交叉意见模块。我们提出的方法的有效性是在Recola和AffWild2数据集的挑战性视频中通过实验验证的。结果表明，我们的跨注意A-V融合模型提供了一种具有成本效益的解决方案，即使模式是嘈杂或不存在的，也可以超越最先进的方法。

自我监督学习（SSL）是一个新的范式，用于学习判别性表示没有标记的数据，并且与受监督的对手相比，已经达到了可比甚至最新的结果。对比度学习（CL）是SSL中最著名的方法之一，试图学习一般性的信息表示数据。 CL方法主要是针对仅使用单个传感器模态的计算机视觉和自然语言处理应用程序开发的。但是，大多数普遍的计算应用程序都从各种不同的传感器模式中利用数据。虽然现有的CL方法仅限于从一个或两个数据源学习，但我们提出了可可（Crockoa）（交叉模态对比度学习），这是一种自我监督的模型，该模型采用新颖的目标函数来通过计算多功能器数据来学习质量表示形式不同的数据方式，并最大程度地减少了无关实例之间的相似性。我们评估可可对八个最近引入最先进的自我监督模型的有效性，以及五个公共数据集中的两个受监督的基线。我们表明，可可与所有其他方法相比，可可的分类表现出色。同样，可可比其他可用标记数据的十分之一的基线（包括完全监督的模型）的标签高得多。

睡眠是一种基本的生理过程，对于维持健康的身心至关重要。临床睡眠监测的黄金标准是多核桃摄影（PSG），基于哪个睡眠可以分为五个阶段，包括尾脉冲睡眠（REM睡眠）/非REM睡眠1（N1）/非REM睡眠2 （n2）/非REM睡眠3（n3）。然而，PSG昂贵，繁重，不适合日常使用。对于长期睡眠监测，无处不在的感测可以是解决方案。最近，心脏和运动感测在分类三阶段睡眠方面变得流行，因为两种方式都可以从研究级或消费者级设备中获得（例如，Apple Watch）。但是，为最大准确性融合数据的最佳仍然是一个打开的问题。在这项工作中，我们综合地研究了深度学习（DL）的高级融合技术，包括三种融合策略，三个融合方法以及三级睡眠分类，基于两个公共数据集。实验结果表明，通过融合心脏/运动传感方式可以可靠地分类三阶段睡眠，这可能成为在睡眠中进行大规模睡眠阶段评估研究或长期自动跟踪的实用工具。为了加快普遍存在/可穿戴计算社区的睡眠研究的进展，我们制作了该项目开源，可以在：https://github.com/bzhai/ubi-sleepnet找到代码。

Wearable sensor-based human activity recognition (HAR) has emerged as a principal research area and is utilized in a variety of applications. Recently, deep learning-based methods have achieved significant improvement in the HAR field with the development of human-computer interaction applications. However, they are limited to operating in a local neighborhood in the process of a standard convolution neural network, and correlations between different sensors on body positions are ignored. In addition, they still face significant challenging problems with performance degradation due to large gaps in the distribution of training and test data, and behavioral differences between subjects. In this work, we propose a novel Transformer-based Adversarial learning framework for human activity recognition using wearable sensors via Self-KnowledgE Distillation (TASKED), that accounts for individual sensor orientations and spatial and temporal features. The proposed method is capable of learning cross-domain embedding feature representations from multiple subjects datasets using adversarial learning and the maximum mean discrepancy (MMD) regularization to align the data distribution over multiple domains. In the proposed method, we adopt the teacher-free self-knowledge distillation to improve the stability of the training procedure and the performance of human activity recognition. Experimental results show that TASKED not only outperforms state-of-the-art methods on the four real-world public HAR datasets (alone or combined) but also improves the subject generalization effectively.

学习模当融合的表示和处理未对准的多模式序列在多式联情绪识别中是有意义的，具有挑战性。现有方法使用定向成对注意力或消息中心到熔丝语言，视觉和音频模态。然而，这些方法在融合特征时介绍信息冗余，并且在不考虑方式的互补性的情况下效率低效。在本文中，我们提出了一种高效的神经网络，以学习与CB变压器（LMR-CBT）的模型融合表示，用于从未对准的多模式序列进行多峰情绪识别。具体地，我们首先为三种方式执行特征提取，以获得序列的局部结构。然后，我们设计具有跨模块块（CB变压器）的新型变压器，其能够实现不同模式的互补学习，主要分为局部时间学习，跨模型特征融合和全球自我关注表示。此外，我们将融合功能与原始特征拼接以对序列的情绪进行分类。最后，我们在三个具有挑战性的数据集，IEMocap，CMU-MOSI和CMU-MOSEI进行词语对齐和未对准的实验。实验结果表明我们在两个设置中提出的方法的优势和效率。与主流方法相比，我们的方法以最小数量的参数达到最先进的。

脑电图（EEG）解码旨在识别基于非侵入性测量的脑活动的神经处理的感知，语义和认知含量。当应用于在静态，受控的实验室环境中获取的数据时，传统的EEG解码方法取得了适度的成功。然而，开放世界的环境是一个更现实的环境，在影响EEG录音的情况下，可以意外地出现，显着削弱了现有方法的鲁棒性。近年来，由于其在特征提取的卓越容量，深入学习（DL）被出现为潜在的解决方案。它克服了使用浅架构提取的“手工制作”功能或功能的限制，但通常需要大量的昂贵，专业标记的数据 - 并不总是可获得的。结合具有域特定知识的DL可能允许开发即使具有小样本数据，也可以开发用于解码大脑活动的鲁棒方法。虽然已经提出了各种DL方法来解决EEG解码中的一些挑战，但目前缺乏系统的教程概述，特别是对于开放世界应用程序。因此，本文为开放世界EEG解码提供了对DL方法的全面调查，并确定了有前途的研究方向，以激发现实世界应用中的脑电图解码的未来研究。

多模式分析最近对情感计算的兴趣很大，因为它可以提高情感识别对孤立的单模态方法的整体准确性。多式联情绪识别最有效的技术有效地利用各种和互补的信息来源，例如面部，声带和生理方式，提供全面的特征表示。在本文中，我们专注于基于视频中提取的面部和声乐方式的融合的尺寸情感识别，其中可以捕获复杂的时空关系。大多数现有的融合技术依赖于经常性网络或传统的注意机制，这些机制没有有效地利用视听（A-V）方式的互补性质。我们介绍了一种跨关注融合方法来提取A-V模式的显着特征，允许准确地预测连续值的价值和唤醒。我们的新的跨关节A-V融合模型有效利用了模态关系。特别地，它计算跨关注权重，以专注于各个模态跨越更贡献的特征，从而组合贡献特征表示，然后将其馈送到完全连接的层以用于预测价和唤醒。所提出的方法的有效性在通过Recolat和疲劳（私人）数据集中的视频上进行了实验验证。结果表明，我们的跨关节A-V融合模型是一种经济高效的方法，优于最先进的融合方法。代码可用：\ url {https://github.com/praveena2j/cross-attentional-av-fusion}

我们提出了跨模式的细心连接，这是一种从可穿戴数据中学习的新型动态和有效技术。我们的解决方案可以集成到管道的任何阶段，即在任何卷积层或块之后，以在负责处理每种模式的单个流之间创建中间连接。此外，我们的方法受益于两个属性。首先，它可以单向共享信息（从一种方式到另一种方式）或双向分别。其次，可以同时将其集成到多个阶段中，以进一步允许以几个接触点交换网络梯度。我们对三个公共多模式可穿戴数据集（Wesad，Swell-KW和案例）进行了广泛的实验，并证明我们的方法可以有效地调节不同模式之间的信息，以学习更好的表示。我们的实验进一步表明，一旦整合到基于CNN的多模式溶液（2、3或4模态）中，我们的方法就会导致卓越或竞争性的性能，而不是最先进的表现，并且表现优于各种基线模式和经典的多模式方法。

睡眠分期在诊断和治疗睡眠障碍中非常重要。最近，已经提出了许多数据驱动的深度学习模型，用于自动睡眠分期。他们主要在一个大型公共标签的睡眠数据集上训练该模型，并在较小的主题上对其进行测试。但是，他们通常认为火车和测试数据是从相同的分布中绘制的，这可能在现实世界中不存在。最近已经开发了无监督的域适应性（UDA）来处理此域移位问题。但是，以前用于睡眠分期的UDA方法具有两个主要局限性。首先，他们依靠一个完全共享的模型来对齐，该模型可能会在功能提取过程中丢失特定于域的信息。其次，它们仅在全球范围内将源和目标分布对齐，而无需考虑目标域中的类信息，从而阻碍了测试时模型的分类性能。在这项工作中，我们提出了一个名为Adast的新型对抗性学习框架，以解决未标记的目标域中的域转移问题。首先，我们开发了一个未共享的注意机制，以保留两个领域中的域特异性特征。其次，我们设计了一种迭代自我训练策略，以通过目标域伪标签提高目标域上的分类性能。我们还建议双重分类器，以提高伪标签的鲁棒性和质量。在六个跨域场景上的实验结果验证了我们提出的框架的功效及其优于最先进的UDA方法。源代码可在https://github.com/emadeldeen24/adast上获得。