在最近对基于听觉的诱发电位（AEP）的脑电器界面（BCI）的研究中，显示出具有编码器解码器框架，可以将人的神经活动转化为语音（T-CAS）。然而，基于当前的编码器 - 解码器的方法实现T-CAS通常具有两步方法，其中信息在编码器和解码器之间传递，利用共享尺寸还原向量，这可能导致信息丢失。解决这个问题的潜在方法是通过使用双生成的对抗性网络（Dualgan）来设计端到端的方法，而无需尺寸减少传递信息，但它无法实现一对一的信号到信号转换（参见图1（a）和（b））。在本文中，我们提出了一个端到端模型，将人类神经活动转化为直接语音，创建一个新的脑电图（EEG）数据集，为参与者设计了一个良好的关注，设计了一种检测参与者的注意力，并引入了双重 - 双生成对抗网络（Dual-Dualgan）（参见图1（c）和（d）），以通过组标记EEG信号和语音来解决人类神经活动的端到端平衡对语音（et-CAS）问题信号，插入过渡域以实现跨域映射。在过渡域中，转换信号由相应的EEG和语音信号级联，并且可以以一定比例构建脑电图和语音信号的桥梁而不相应的特征，并实现一对一跨域EEG-语音翻译。该方法可以将神经活动的单词长度和句子长度序列转换为语音。已经进行了实验评估，表明该方法显着优于听觉刺激的单词和句子的最先进方法。

单通道盲源分离（SCBS）是指从由单个传感器收集的混合信号分离多个源。 SCBS的现有方法主要集中在分离两个来源并具有较弱的泛化性能。为了解决这些问题，在本文中提出了一种算法，通过设计并行双生成的对冲网络（PDUPGAN）来分离来自混合的多个源，其可以构建混合和相应的多个源之间的关系以实现一对多跨域映射。该算法可以应用于任何混合模型，例如线性瞬时混合模型和卷积混合模型。此外，创建了一对多数据集，包括该研究的混音和相应来源。实验在四个不同的数据集上进行，并用不同比例混合的信号进行测试。实验结果表明，该算法可以实现高性能的峰值信噪比（PSNR）和相关性，其优于最先进的算法。

语音神经调节物有可能为患有扰动或休闲症的人提供沟通。最近的进展已经证明了从放置在皮质表面上的电加电网的高质量文本解码和语音合成。在这里，我们研究了较少的侵入性测量模态，即立体定向脑电图（SEEG），其提供来自多个脑区的稀疏抽样，包括皮质区域。为了评估Seeg是否也可用于综合神经录音的高质量音频，我们采用了一种基于现代深度学习方法的经常性编码器 - 解码器框架。我们证明，尽管有限的训练数据，但是可以从这些微创录音来重建高质量的言论。最后，我们利用变分特征丢失来成功识别最具信息丰富的电极触点。

脑电图（EEG）解码旨在识别基于非侵入性测量的脑活动的神经处理的感知，语义和认知含量。当应用于在静态，受控的实验室环境中获取的数据时，传统的EEG解码方法取得了适度的成功。然而，开放世界的环境是一个更现实的环境，在影响EEG录音的情况下，可以意外地出现，显着削弱了现有方法的鲁棒性。近年来，由于其在特征提取的卓越容量，深入学习（DL）被出现为潜在的解决方案。它克服了使用浅架构提取的“手工制作”功能或功能的限制，但通常需要大量的昂贵，专业标记的数据 - 并不总是可获得的。结合具有域特定知识的DL可能允许开发即使具有小样本数据，也可以开发用于解码大脑活动的鲁棒方法。虽然已经提出了各种DL方法来解决EEG解码中的一些挑战，但目前缺乏系统的教程概述，特别是对于开放世界应用程序。因此，本文为开放世界EEG解码提供了对DL方法的全面调查，并确定了有前途的研究方向，以激发现实世界应用中的脑电图解码的未来研究。

视觉关注估计是不同学科的十字路口的一个积极的研究领域：计算机视觉，人工智能和医学。估计表示关注的显着图的最常见方法之一是基于观察到的图像。在本文中，我们表明可以从EEG采集中检索视觉注意力。结果与观察到的图像的传统预测相当，这具有很大的兴趣。为此目的，已经记录了一组信号，并且已经开发出不同的模型来研究视觉关注与大脑活动之间的关系。结果令人鼓舞，与其他方式的其他方法令人鼓舞，与其他方式相比。本文考虑的代码和数据集已在\ URL {https://figshare.com/s/3e353bd1c621962888AD}中提供，以促进该领域的研究。

口吃是一种言语障碍，在此期间，语音流被非自愿停顿和声音重复打断。口吃识别是一个有趣的跨学科研究问题，涉及病理学，心理学，声学和信号处理，使检测很难且复杂。机器和深度学习的最新发展已经彻底彻底改变了语音领域，但是对口吃的识别受到了最小的关注。这项工作通过试图将研究人员从跨学科领域聚集在一起来填补空白。在本文中，我们回顾了全面的声学特征，基于统计和深度学习的口吃/不足分类方法。我们还提出了一些挑战和未来的指示。

从大脑活动中解码语言是医疗保健和神经科学中期待已久的目标。由于颅内设备，最近已经达到了主要里程碑：对基本语言任务的侵入性大脑反应训练的主题特定管道现在开始有效地解释可解释的功能（例如字母，单词，频谱图）。但是，将这种方法扩展到自然语音和非侵入性脑记录仍然是一个主要挑战。在这里，我们提出了一个端到端的架构，该体系结构在大量个体中进行了对比学习，以预测自然语音的自我监督的表现。我们在四个公共数据集上评估了我们的模型，其中包括169名用磁性或电脑图（M/EEG）记录的志愿者，同时他们听了自然的语音。结果表明，我们的模型可以从3s MEG信号中识别出相应的语音段，其中1,594个不同的段中最高72.5％的前10个精度（和44％的TOP-1准确性），最多可在19.1％中获得19.1％。脑电图记录的2,604个细分市场 - 因此允许训练集中不存在短语。模型比较和消融分析表明，这些性能直接从我们的原始设计选择中受益，即（i）对比目标，（ii）语音的预估计表示和（iii）在几个参与者中同时培训的常见卷积架构。这些结果共同描述了一个有希望的途径，可以从无创的大脑活动记录中实时解码自然语言处理。

工作记忆（WM）表示在脑海中存储的信息，是人类认知领域的一个基本研究主题。可以监测大脑的电活动的脑电图（EEG）已被广泛用于测量WM的水平。但是，关键的挑战之一是个体差异可能会导致无效的结果，尤其是当既定模型符合陌生主题时。在这项工作中，我们提出了一个具有空间注意力（CS-DASA）的跨主题深层适应模型，以概括跨科目的工作负载分类。首先，我们将EEG时间序列转换为包含空间，光谱和时间信息的多帧EEG图像。首先，CS-DASA中的主题共享模块从源和目标主题中接收多帧的EEG图像数据，并学习了共同的特征表示。然后，在特定于主题的模块中，实现了最大平均差异，以测量重现的内核希尔伯特空间中的域分布差异，这可以为域适应增加有效的罚款损失。此外，采用主题对象的空间注意机制专注于目标图像数据的判别空间特征。在包含13个受试者的公共WM EEG数据集上进行的实验表明，所提出的模型能够达到比现有最新方法更好的性能。

视频到语音是从口语说话视频中重建音频演讲的过程。此任务的先前方法依赖于两个步骤的过程，该过程从视频中推断出中间表示，然后使用Vocoder或波形重建算法将中间表示形式解码为波形音频。在这项工作中，我们提出了一个基于生成对抗网络（GAN）的新的端到端视频到语音模型，该模型将口语视频转换为波形端到端，而无需使用任何中间表示或单独的波形合成算法。我们的模型由一个编码器架构组成，该体系结构接收原始视频作为输入并生成语音，然后将其馈送到波形评论家和权力评论家。基于这两个批评家的对抗损失的使用可以直接综合原始音频波形并确保其现实主义。此外，我们的三个比较损失的使用有助于建立生成的音频和输入视频之间的直接对应关系。我们表明，该模型能够用诸如网格之类的受约束数据集重建语音，并且是第一个为LRW（野外唇读）生成可理解的语音的端到端模型，以数百名扬声器为特色。完全记录在“野外”。我们使用四个客观指标来评估两种不同的情况下生成的样本，这些客观指标衡量了人工语音的质量和清晰度。我们证明，所提出的方法在Grid和LRW上的大多数指标上都优于以前的所有作品。

人们对人类情感状态的稀疏代表性格式的需求日益增长，这些格式可以在有限的计算记忆资源的情况下使用。我们探讨了在潜在矢量空间中代表神经数据对情绪刺激的响应是否可以用于预测情绪状态，并生成参与者和/或情绪特定于情绪的合成EEG数据。我们提出了一个有条件的基于变异自动编码器的框架EEG2VEC，以从脑电图数据中学习生成歧视性表示。关于情感脑电图记录数据集的实验结果表明，我们的模型适用于无监督的脑电图建模，基于潜在表示的三个不同情绪类别（正，中性，负）的分类，可实现68.49％的稳健性能，并产生的合成eeg序列共同存在于真实的脑电图数据输入到特别重建低频信号组件。我们的工作推进了情感脑电图表示可以在例如生成人工（标签）训练数据或减轻手动功能提取的领域，并为记忆约束的边缘计算应用程序提供效率。

从大脑对听觉和视觉刺激的响应中的信息检索通过在记录脑电图信号时呈现给参与者的歌曲名称和图像类别的分类显示了成功。以重建听觉刺激的形式进行信息检索也显示出一些成功，但是在这里我们通过对音乐刺激的重建足够好，可以独立地看到和识别来改进以前的方法。此外，为每个相应的脑电图记录的一秒钟窗口，对深度学习模型进行了对时间对齐的音乐刺激谱的培训，与先前的研究相比，这大大降低了所需的提取步骤。参与者的NMED-TEMPO和NMED-HINDI数据集被动地收听全长歌曲，用于训练和验证卷积神经网络（CNN）回归器。测试了原始电压与功率谱输入以及线性与MEL频谱图的功效，并将所有输入和输出转换为2D图像。通过训练分类器评估了重建光谱图的质量，该分类器的MEL光谱图的精度为81％，线性光谱图（10％的机会精度）的精度为72％。最后，在两种抗性的匹配到样本任务中，听众以85％的成功率（50％机会）歧视听觉音乐刺激的重建。

Objective: Despite numerous studies proposed for audio restoration in the literature, most of them focus on an isolated restoration problem such as denoising or dereverberation, ignoring other artifacts. Moreover, assuming a noisy or reverberant environment with limited number of fixed signal-to-distortion ratio (SDR) levels is a common practice. However, real-world audio is often corrupted by a blend of artifacts such as reverberation, sensor noise, and background audio mixture with varying types, severities, and duration. In this study, we propose a novel approach for blind restoration of real-world audio signals by Operational Generative Adversarial Networks (Op-GANs) with temporal and spectral objective metrics to enhance the quality of restored audio signal regardless of the type and severity of each artifact corrupting it. Methods: 1D Operational-GANs are used with generative neuron model optimized for blind restoration of any corrupted audio signal. Results: The proposed approach has been evaluated extensively over the benchmark TIMIT-RAR (speech) and GTZAN-RAR (non-speech) datasets corrupted with a random blend of artifacts each with a random severity to mimic real-world audio signals. Average SDR improvements of over 7.2 dB and 4.9 dB are achieved, respectively, which are substantial when compared with the baseline methods. Significance: This is a pioneer study in blind audio restoration with the unique capability of direct (time-domain) restoration of real-world audio whilst achieving an unprecedented level of performance for a wide SDR range and artifact types. Conclusion: 1D Op-GANs can achieve robust and computationally effective real-world audio restoration with significantly improved performance. The source codes and the generated real-world audio datasets are shared publicly with the research community in a dedicated GitHub repository1.

基于电动机图像（MI）的脑电脑界面（BCIS）允许通过解码神经生理现象来控制几种应用，这些现象通常通过使用非侵入性技术被脑电图（EEG）记录。尽管在基于MI的BCI的进展方面很大，但脑电图有特定于受试者和各种变化随时间。这些问题指出了提高分类绩效的重大挑战，特别是在独立的方式。为了克服这些挑战，我们提出了Min2Net，这是一个新的端到端多任务学习来解决这项任务。我们将深度度量学习集成到多任务AutoEncoder中，以从脑电图中学习紧凑且识别的潜在表示，并同时执行分类。这种方法降低了预处理的复杂性，导致EEG分类的显着性能改善。实验结果以本语独立的方式表明，MIN2Net优于最先进的技术，在SMR-BCI和OpenBMI数据集中分别实现了6.72％的F1分数提高，以及2.23％。我们证明MIN2NET在潜在代表中提高了歧视信息。本研究表明使用此模型的可能性和实用性为新用户开发基于MI的BCI应用，而无需校准。

这项工作的目的是通过利用视频中的音频和视觉流的自然共同发生来研究语音重建（视频到音频）对语音重建（视频到音频）的影响。我们提出了Lipsound2，其包括编码器 - 解码器架构和位置感知注意机制，可直接将面部图像序列映射到熔化谱图，而无需任何人类注释。提出的Lipsound2模型首先在$ 2400H的$ 2400h多语言（例如英语和德语）视听数据（VoxceleB2）上进行预先培训。为了验证所提出的方法的概括性，我们将在与以前的方法相比，微调在域特定数据集（网格，TCD-Timit）上进行预先训练的模型，以实现对语音质量和可懂度的显着提高扬声器依赖和依赖的设置。除了英语外，我们还在CMLR数据集上进行中文语音重建，以验证对转移性的影响。最后，我们通过微调在预先训练的语音识别系统上产生生成的音频并在英语和中文基准数据集中实现最先进的性能来培训级联唇读（视频到文本）系统。

目的：脑电图（EEG）和肌电图（EMG）是两个非侵入性的生物信号，它们在人类机器界面（HMI）技术（EEG-HMI和EMG-HMI范式）中广泛用于康复，用于康复的物理残疾人。将脑电图和EMG信号成功解码为各自的控制命令是康复过程中的关键步骤。最近，提出了几个基于卷积的神经网络（CNN）架构，它们直接将原始的时间序列信号映射到决策空间中，并同时执行有意义的特征提取和分类的过程。但是，这些网络是根据学习给定生物信号的预期特征量身定制的，并且仅限于单个范式。在这项工作中，我们解决了一个问题，即我们可以构建一个单个体系结构，该架构能够从不同的HMI范式中学习不同的功能并仍然成功地对其进行分类。方法：在这项工作中，我们引入了一个称为Controanet的单个混合模型，该模型基于CNN和Transformer架构，该模型对EEG-HMI和EMG-HMI范式同样有用。 Contranet使用CNN块在模型中引入电感偏置并学习局部依赖性，而变压器块则使用自我注意机制来学习信号中的长距离依赖性，这对于EEG和EMG信号的分类至关重要。主要结果：我们在三个属于EEG-HMI和EMG-HMI范式的公开数据集上评估并比较了Contronet与最先进的方法。 Contranet在所有不同类别任务（2级，3类，4级和10级解码任务）中的表现优于其对应。意义：结果表明，与当前的最新算法状态相比，从不同的HMI范式中学习不同的特征并概述了矛盾。

神经科学研究表明，大脑编码视觉内容并将信息嵌入神经活动中。最近，深度学习技术通过将大脑活动映射到使用生成的对抗网络（GAN）来刺激来解决视觉重建的尝试。但是，这些研究都没有考虑图像空间中潜在代码的语义含义。省略语义信息可能会限制性能。在这项研究中，我们提出了一个新框架，以从功能磁共振成像（fMRI）数据中重建面部图像。使用此框架，首先将GAN倒置用于训练图像编码器以在图像空间中提取潜在代码，然后使用线性转换将其桥接到fMRI数据中。遵循从fMRI数据使用属性分类器确定的属性，确定操纵属性的方向，属性操纵器调整了潜在代码，以提高可见图像和重建图像之间的一致性。我们的实验结果表明，提出的框架实现了两个目标：（1）从fMRI数据中重建清晰的面部图像，以及（2）保持语义特征的一致性。

本文介绍了蒙古人的高质量开源文本到语音（TTS）合成数据集，蒙古是一种低资源的语言，该语言是全球超过1000万人所讲的。该数据集名为MNTTS，由一位22岁专业女性蒙古播音员说的大约8个小时的录音录音组成。它是第一个开发的公开数据集，旨在促进学术界和行业中的蒙古TTS应用程序。在本文中，我们通过描述数据集开发程序并面临挑战来分享我们的经验。为了证明数据集的可靠性，我们建立了一个基于FastSpeech2模型和HIFI-GAN Vocoder的强大的非自动回调基线系统，并使用主观平均意见分数（MOS）和实时因素（RTF）指标对其进行了评估。评估结果表明，在我们的数据集上训练的功能强大的基线系统可在4和RTF上获得MOS，大约3.30美元\ times10^{ - 1} $，这使其适用于实际使用。数据集，培训配方和预估计的TTS模型是免费可用的\ footNote {\ label {github} \ url {https://github.com/walker.com/walker-hyf/mntts}}}。

最近的语音情绪识别分析与使用MFCCS频谱图特征和实现诸如卷积神经网络（CNNS）的神经网络方法的实施进行了相当大的进展。胶囊网络（CAPSNET）对CNN的替代品感谢其具有较大容量的分层表示。为了解决这些问题，本研究介绍了独立于文本和独立的讲话者独立的SER新颖体系结构，其中基于结构特征提出了双通道长短短期内存压缩帽（DC-LSTM Compsnet）算法Capsnet。我们所提出的新型分类器可以确保语音情感识别中模型和足够的压缩方法的能效，这不会通过彩铃的原始结构提供。此外，网格搜索方法用于获得最佳解决方案。结果目睹了培训和测试运行时间的性能和减少。用于评估我们的算法的语音数据集是：阿拉伯语Emirati-Egrented语料库，模拟和实际压力语料库下的英语演讲，情感语音和歌曲语料库的英语Ryerson Audio-Visual数据库，以及人群源性情绪多模式演员数据集。这项工作揭示了与其他已知方法相比的最佳特征提取方法是MFCCS Delta-Delta。使用四个数据集和MFCCS Delta-Delta，DC-LSTM CompsNet超越了所有最先进的系统，古典分类器，CNN和原始帽。我们的结果表明，基于Capsnet的拟议工作产生了89.3％的平均情绪识别准确性，其结果表明，拟议的工作产生了89.3％的89.3％。 CNN，支持向量机，多层Perceptron，K-最近邻居，径向基函数和幼稚贝叶斯。

Seizure type identification is essential for the treatment and management of epileptic patients. However, it is a difficult process known to be time consuming and labor intensive. Automated diagnosis systems, with the advancement of machine learning algorithms, have the potential to accelerate the classification process, alert patients, and support physicians in making quick and accurate decisions. In this paper, we present a novel multi-path seizure-type classification deep learning network (MP-SeizNet), consisting of a convolutional neural network (CNN) and a bidirectional long short-term memory neural network (Bi-LSTM) with an attention mechanism. The objective of this study was to classify specific types of seizures, including complex partial, simple partial, absence, tonic, and tonic-clonic seizures, using only electroencephalogram (EEG) data. The EEG data is fed to our proposed model in two different representations. The CNN was fed with wavelet-based features extracted from the EEG signals, while the Bi-LSTM was fed with raw EEG signals to let our MP-SeizNet jointly learns from different representations of seizure data for more accurate information learning. The proposed MP-SeizNet was evaluated using the largest available EEG epilepsy database, the Temple University Hospital EEG Seizure Corpus, TUSZ v1.5.2. We evaluated our proposed model across different patient data using three-fold cross-validation and across seizure data using five-fold cross-validation, achieving F1 scores of 87.6% and 98.1%, respectively.

The key to electroencephalography (EEG)-based brain-computer interface (BCI) lies in neural decoding, and its accuracy can be improved by using hybrid BCI paradigms, that is, fusing multiple paradigms. However, hybrid BCIs usually require separate processing processes for EEG signals in each paradigm, which greatly reduces the efficiency of EEG feature extraction and the generalizability of the model. Here, we propose a two-stream convolutional neural network (TSCNN) based hybrid brain-computer interface. It combines steady-state visual evoked potential (SSVEP) and motor imagery (MI) paradigms. TSCNN automatically learns to extract EEG features in the two paradigms in the training process, and improves the decoding accuracy by 25.4% compared with the MI mode, and 2.6% compared with SSVEP mode in the test data. Moreover, the versatility of TSCNN is verified as it provides considerable performance in both single-mode (70.2% for MI, 93.0% for SSVEP) and hybrid-mode scenarios (95.6% for MI-SSVEP hybrid). Our work will facilitate the real-world applications of EEG-based BCI systems.