情感语音分析是一个持续的研究主题。在该领域的一个相对较新的问题是对声乐爆发的分析，即笑声或叹息等非语言发声。解决情感声音爆发分析的当前最新方法主要基于WAV2VEC2或Hubert功能。在本文中，我们研究了WAV2VEC后继数据2VEC与多任务学习管道的使用，以一次解决不同的分析问题。为了评估我们有效的多任务学习体系结构的性能，我们参与了2022 ACII情感声音爆发挑战，这表明我们的方法在三个不同的子任务中大大胜过基线。

声乐爆发在交流情感中起着重要的作用，使它们对于改善语音情感识别很有价值。在这里，我们介绍了我们在ACII情感声乐爆发工作室和挑战2022（A-VB）中预测声音爆发并预测其情感意义的方法。我们使用大型的自我监督音频模型作为共享的功能提取器，并比较在分类器链和注意力网络上构建的多个体系结构，并结合不确定性减少减肥策略。我们的方法超过了所有四个任务的挑战基线。

我们介绍了我们的多任务学习方法，以预测人声爆发中的情感，年龄和起源（即祖国/语言）。BUST2VEC利用预先训练的语音表示来捕获原始波形的声学信息，并通过对抗训练结合了模型偏见的概念。我们的模型使用预提取的功能获得了相对30％的性能增长，并在ICML EXVO 2022多任务挑战中的所有参与者中得分最高。

ACII情感声音爆发研讨会和竞争的重点是理解声乐爆发的多个情感维度：笑声，喘息，哭泣，尖叫声以及许多其他非语言声音，这是情感表达和人类交流的核心。今年的比赛包括四首曲目，使用1,702位扬声器的大规模和野外数据集提供59,299个发声。首先是A-VB高任务，要求竞争参与者使用十个类似的注释的情感表达强度，对情感进行新型模型进行多标签回归，包括：敬畏，恐惧和惊喜。第二个是A-VB-TWO任务，利用更传统的二维模型来进行情感，唤醒和价值。第三个是A-VB文化任务，要求参与者探索数据集的文化方面，培训本地国家依赖模型。最后，对于第四个任务，A-VB型，参与者应认识到声乐爆发的类型（例如，笑声，哭泣，咕unt）是8级分类。本文介绍了使用最先进的机器学习方法的四个轨道和基线系统。每条轨道的基线性能是通过使用端到端深度学习模型获得的，如下所示：对于A-VB-高，平均（超过10维）一致性相关系数（CCC）为0.5687 CCC为获得;对于A-VB-TWO，获得了0.5084的平均值（超过2维）；对于A-VB培养物，从四个培养物中获得了0.4401的平均CCC；对于A-VB型，来自8类的基线未加权平均召回（UAR）为0.4172 UAR。

口吃是一种多种言语障碍，会损害个人的沟通能力。口吃（PWS）的人经常使用语音疗法来应对自己的病情。改善具有这种非典型语音或跟踪语音疗法的人的语音识别系统将需要能够检测功能障碍的系统，同时能够检测到治疗中获得的语​​音技术。本文表明，用于在含有口吃的语音上结结巴巴的口吃的微调2VEC 2.0 [1]，结合多任务的学习，增强了通用Purepose Wav2VEC 2.0的有效性，以检测语音在语音中检测说话的功能;内部和跨语言。我们通过训练支持向量机分类器评估我们的FluencyBank的方法[2]和以德国治疗为中心的Kassel Fluency（KSOF）[3]数据集[3]数据集，该数据集使用六种不同结肠相关的事件类型中提取的功能：块：块： ，延长，声音重复，单词重复，插入和 - 特定于治疗 - 语音修改。使用来自微调模型的嵌入式嵌入会导致相对分类的性能增长到高达27％W.R.T. F1得分。

ICML表达性发声（EXVO）的竞争重点是理解和产生声音爆发：笑声，喘息，哭泣和其他非语言发声，这是情感表达和交流至关重要的。 EXVO 2022，包括三个竞赛曲目，使用来自1,702位扬声器的59,201个发声的大规模数据集。首先是Exvo-Multitask，要求参与者训练多任务模型，以识别声音爆发中表达的情绪和人口特征。第二个，即exvo生成，要求参与者训练一种生成模型，该模型产生声音爆发，传达了十种不同的情绪。第三个exvo-fewshot要求参与者利用少量的学习融合说话者身份来训练模型，以识别声音爆发传达的10种情感。本文描述了这三个曲目，并使用最先进的机器学习策略为基线模型提供了绩效指标。每个曲目的基线如下，对于exvo-multitask，一个组合得分，计算一致性相关系数的谐波平均值（CCC），未加权的平均召回（UAR）和反向平均绝对错误（MAE）（MAE）（$ s_ {mtl） } $）充其量是0.335 $ s_ {mtl} $;对于exvo生成，我们报告了Fr \'Echet Inception距离（FID）的得分范围为4.81至8.27（取决于情绪），在训练集和生成的样品之间。然后，我们将倒置的FID与生成样品的感知评级（$ s_ {gen} $）相结合，并获得0.174 $ s_ {gen} $;对于Exvo-Fewshot，获得平均CCC为0.444。

这项工作为2022年ICML表达性发声挑战exvo-multitask轨道的人声爆发音频介绍了对年龄，原产国和情感的同时估计的多任务方法。选择的方法利用了光谱 - 周期调制和自我监督的特征的组合，然后是在多任务范式中组织的编码器编码网络。我们通过检查独立的任务特定模型和联合模型来评估所构成的任务之间的互补性，并探索不同特征集的相对强度。我们还引入了一种简单的分数融合机制，以利用此任务的不同特征集的互补性。我们发现，与光谱 - 周期性接收场的得分融合结合进行了强大的数据预处理，而Hubert模型达到了我们最佳的EXVO-Multitask测试评分为0.412。

Through solving pretext tasks, self-supervised learning leverages unlabeled data to extract useful latent representations replacing traditional input features in the downstream task. In audio/speech signal processing, a wide range of features where engineered through decades of research efforts. As it turns out, learning to predict such features (a.k.a pseudo-labels) has proven to be a particularly relevant pretext task, leading to useful self-supervised representations which prove to be effective for downstream tasks. However, methods and common practices for combining such pretext tasks for better performance on the downstream task have not been explored and understood properly. In fact, the process relies almost exclusively on a computationally heavy experimental procedure, which becomes intractable with the increase of the number of pretext tasks. This paper introduces a method to select a group of pretext tasks among a set of candidates. The method we propose estimates calibrated weights for the partial losses corresponding to the considered pretext tasks during the self-supervised training process. The experiments conducted on automatic speech recognition, speaker and emotion recognition validate our approach, as the groups selected and weighted with our method perform better than classic baselines, thus facilitating the selection and combination of relevant pseudo-labels for self-supervised representation learning.

Human speech can be characterized by different components, including semantic content, speaker identity and prosodic information. Significant progress has been made in disentangling representations for semantic content and speaker identity in Automatic Speech Recognition (ASR) and speaker verification tasks respectively. However, it is still an open challenging research question to extract prosodic information because of the intrinsic association of different attributes, such as timbre and rhythm, and because of the need for unsupervised training schemes to achieve robust large-scale and speaker-independent ASR. The aim of this paper is to address the disentanglement of emotional prosody from speech based on unsupervised reconstruction. Specifically, we identify, design, implement and integrate three crucial components in our proposed speech reconstruction model Prosody2Vec: (1) a unit encoder that transforms speech signals into discrete units for semantic content, (2) a pretrained speaker verification model to generate speaker identity embeddings, and (3) a trainable prosody encoder to learn prosody representations. We first pretrain the Prosody2Vec representations on unlabelled emotional speech corpora, then fine-tune the model on specific datasets to perform Speech Emotion Recognition (SER) and Emotional Voice Conversion (EVC) tasks. Both objective and subjective evaluations on the EVC task suggest that Prosody2Vec effectively captures general prosodic features that can be smoothly transferred to other emotional speech. In addition, our SER experiments on the IEMOCAP dataset reveal that the prosody features learned by Prosody2Vec are complementary and beneficial for the performance of widely used speech pretraining models and surpass the state-of-the-art methods when combining Prosody2Vec with HuBERT representations. Some audio samples can be found on our demo website.

自我监督的语音表示，如Wav2Vec 2.0和Hubert正在自动语音识别（ASR）中进行革命性进展。但是，未经监督模型没有完全证明在ASR以外的任务中产生更好的性能。在这项工作中，我们探索了Wav2Vec 2.0和Hubert预先训练模型的部分微调和整个微调，适用于三个非ASR语音任务：语音情感识别，发言者验证和口语理解。我们还比较带有/没有ASR微调的预训练型号。通过简单的下游框架，最佳分数对IEMocap上的语音情感识别的加权精度达到79.58％，扬声器验证对voxcereB1的2.36％，意图分类的准确性为87.51％，Slotp的槽填充的75.32％f1，因此为这三个基准设置新的最先进，证明了微调Wave2VEC 2.0和Hubert模型可以更好地学习韵律，语音印刷和语义表示。

该技术报告介绍了我们提交给ICML表达性发声研讨会和竞争多任务轨迹（EXVO-Multitask）的建模方法。我们首先将各种尺寸的图像分类模型应用于声乐爆发的MEL-SPECTROGRAM表示，这是声音事件检测文献中的标准。这些模型的结果显示，就任务指标的谐波平均值而言，基线系统的增加了21.24％，并构成了团队对多任务轨道的主要提交。然后，我们试图通过应用大型预训练的构象模型来表征多任务轨道中的净空，该模型以前在语言学识别和掩盖膜检测等副语言任务上实现了最新的结果。我们还研究了情感表达，原产国和年龄预测的子任务之间的关系，并发现最佳性能模型被培训为单任务模型，质疑该问题是否真正从多任务设置中受益。

In this paper, we propose a novel multi-modal multi-task encoder-decoder pre-training framework (MMSpeech) for Mandarin automatic speech recognition (ASR), which employs both unlabeled speech and text data. The main difficulty in speech-text joint pre-training comes from the significant difference between speech and text modalities, especially for Mandarin speech and text. Unlike English and other languages with an alphabetic writing system, Mandarin uses an ideographic writing system where character and sound are not tightly mapped to one another. Therefore, we propose to introduce the phoneme modality into pre-training, which can help capture modality-invariant information between Mandarin speech and text. Specifically, we employ a multi-task learning framework including five self-supervised and supervised tasks with speech and text data. For end-to-end pre-training, we introduce self-supervised speech-to-pseudo-codes (S2C) and phoneme-to-text (P2T) tasks utilizing unlabeled speech and text data, where speech-pseudo-codes pairs and phoneme-text pairs are a supplement to the supervised speech-text pairs. To train the encoder to learn better speech representation, we introduce self-supervised masked speech prediction (MSP) and supervised phoneme prediction (PP) tasks to learn to map speech into phonemes. Besides, we directly add the downstream supervised speech-to-text (S2T) task into the pre-training process, which can further improve the pre-training performance and achieve better recognition results even without fine-tuning. Experiments on AISHELL-1 show that our proposed method achieves state-of-the-art performance, with a more than 40% relative improvement compared with other pre-training methods.

识别和理解文本中的潜在情绪或情绪是多种自然语言处理应用程序的关键组成部分。虽然简单的极性情感分析是一个良好研究的主题，但在识别使用文本数据的更复杂，更精细的情绪方面取得了更少的进步。在本文中，我们介绍了一种基于变压器的模型，具有适配器层的融合，它利用更简单的情绪分析任务来改善大规模数据集（例如CMU-MOSEI）上的情绪检测任务，仅使用文本方式。结果表明，我们的建议方法与其他方法具有竞争力。即使使用仅使用文本方式，我们也能为CMU-MOSEI的情感识别获得最先进的结果。

最近的言语和语言技术的方法预先rain非常大型模型，用于特定任务。然而，这种大型模型的好处通常仅限于世界上少数资源丰富的语言。在这项工作中，我们对来自印度次大陆的低资源语言构建ASR系统进行多种贡献。首先，我们从各种领域策划40个印度语言的17,000小时的原始语音数据，包括教育，新闻，技术和金融。其次，使用这种原始语音数据，我们预先存在于40个印度语言的Wav2Vec样式模型的多个变体。第三，我们分析佩带的模型以查找关键特点：码本矢量的类似探测音素在语言中共享，跨层的表示是语言系列的判别，并且注意力头通常会在小型本地窗口中注意。第四，我们微调了9种语言的下游ASR模型，并在3个公共数据集上获得最先进的结果，包括非常低的资源语言，如Sinhala和Nepali。我们的工作建立了多语言预介质是建立ASR系统的有效策略，为印度次大陆的语言上不同的扬声器建立ASR系统。

转移学习已通过深度审慎的语言模型广泛用于自然语言处理，例如来自变形金刚和通用句子编码器的双向编码器表示。尽管取得了巨大的成功，但语言模型应用于小型数据集时会过多地适合，并且很容易忘记与分类器进行微调时。为了解决这个忘记将深入的语言模型从一个域转移到另一个领域的问题，现有的努力探索了微调方法，以减少忘记。我们建议DeepeMotex是一种有效的顺序转移学习方法，以检测文本中的情绪。为了避免忘记问题，通过从Twitter收集的大量情绪标记的数据来仪器进行微调步骤。我们使用策划的Twitter数据集和基准数据集进行了一项实验研究。 DeepeMotex模型在测试数据集上实现多级情绪分类的精度超过91％。我们评估了微调DeepeMotex模型在分类Emoint和刺激基准数据集中的情绪时的性能。这些模型在基准数据集中的73％的实例中正确分类了情绪。所提出的DeepeMotex-Bert模型优于BI-LSTM在基准数据集上的BI-LSTM增长23％。我们还研究了微调数据集的大小对模型准确性的影响。我们的评估结果表明，通过大量情绪标记的数据进行微调提高了最终目标任务模型的鲁棒性和有效性。

对于语音情绪数据集，与日常生活中显示的表现力较低的情绪相比，很难获得大量可靠的数据，而表现出的情绪可能超过了最高。最近，已经创建了具有自然情绪的较大数据集。这项研究并没有忽略较小的，行为的数据集，而是研究了从动作情绪中学到的信息是否对检测自然情绪有用。跨科普斯研究主要考虑了跨语言甚至跨年龄数据集，并且源于注释情绪导致性能下降的不同方法。为了保持一致，考虑了四个涵盖行为的成年英语数据集，考虑了自然情绪。提出了最先进的模型，以准确研究性能的降解。该系统涉及双向LSTM具有注意机制，以对数据集进行分类。实验研究了跨科普斯和多域的训练模型的影响，结果表明信息的传递不成功。室外模型，其次是适应丢失的数据集，而域对抗训练（DAT）被证明更适合于跨数据集的情绪概括。这显示了从ACT的数据集转移到具有更多自然情绪以及对不同语料库培训的好处的积极信息。

虚拟对手培训（增值税）在计算机视觉和NLP任务的监督和半监控设置下有效地学习强大的模型。但是，尚未探讨VAT对多语言和多议书文本分类的疗效。在这项工作中，我们探索了Mullilabel情感认知的增值税，重点是利用不同语言的未标记数据来提高模型性能。我们在Semeval2018 Multilabel和多语言情感识别数据集上进行广泛的半监督实验，并显示6.2％（阿拉伯语），3.8％（西班牙语）和1.8％（英语）的性能增益，通过监督的学习，具有相同数量的标记数据（10％培训数据）。我们还将现有的现有最先进7％，4.5％和1％（Jaccard指数）分别用于西班牙语，阿拉伯语和英语，并对了解不同层面模型的影响的探讨实验。

Self-supervised speech models have grown fast during the past few years and have proven feasible for use in various downstream tasks. Some recent work has started to look at the characteristics of these models, yet many concerns have not been fully addressed. In this work, we conduct a study on emotional corpora to explore a popular self-supervised model -- wav2vec 2.0. Via a set of quantitative analysis, we mainly demonstrate that: 1) wav2vec 2.0 appears to discard paralinguistic information that is less useful for word recognition purposes; 2) for emotion recognition, representations from the middle layer alone perform as well as those derived from layer averaging, while the final layer results in the worst performance in some cases; 3) current self-supervised models may not be the optimal solution for downstream tasks that make use of non-lexical features. Our work provides novel findings that will aid future research in this area and theoretical basis for the use of existing models.

该技术报告介绍了我们在ACII情感声音爆发（A-VB）2022研讨会和竞争中的高维情感任务（A-VB高）的情感识别管道。我们提出的方法包含三个阶段。首先，我们通过自我监督的学习方法从原始音频信号及其MEL光谱图中提取潜在特征。然后，将原始信号的功能馈送到自相关的注意力和时间意识（SA-TA）模块，以学习这些潜在特征之间的宝贵信息。最后，我们串联所有功能，并利用完全连接的层来预测每个情绪的得分。通过经验实验，我们提出的方法在测试集上实现了平均一致性相关系数（CCC）为0.7295，而基线模型上的平均一致性相关系数（CCC）为0.5686。我们方法的代码可从https://github.com/linhtd812/a-vb2022获得。

由自我发项层组成的大型，预训练的神经网络（变形金刚）最近在几种语音情绪识别（SER）数据集上取得了最新的结果。这些模型通常以自我监督的方式进行预训练，以提高自动语音识别性能，从而了解语言信息。在这项工作中，我们研究了在Ser微调过程中利用此信息的程度。使用基于开源工具的可重现方法，我们在改变文本的情感时综合了韵律中性的语音话语。变压器模型的价预测对正面和负面情绪含量以及否定性非常反应，但对增强剂或还原器不反应，而这些语言特征都没有影响唤醒或优势。这些发现表明，变形金刚可以成功利用语言信息来改善其价预测，并且应将语言分析包括在其测试中。