声乐爆发在交流情感中起着重要的作用，使它们对于改善语音情感识别很有价值。在这里，我们介绍了我们在ACII情感声乐爆发工作室和挑战2022（A-VB）中预测声音爆发并预测其情感意义的方法。我们使用大型的自我监督音频模型作为共享的功能提取器，并比较在分类器链和注意力网络上构建的多个体系结构，并结合不确定性减少减肥策略。我们的方法超过了所有四个任务的挑战基线。

我们提出了一种新型的动态约束不确定性加权损失，以实验处理平衡多个任务对ICML EXVO 2022挑战的贡献的问题。多任务旨在共同认识到声乐爆发中表达的情绪和人口特征。我们的策略结合了不确定性重量和平均动态重量的优势，通过用约束术语扩展权重以使学习过程更具解释。我们使用轻巧的多EXIT CNN体系结构来实施我们提出的损失方法。实验性H-均值得分（0.394）显示出比基线H均值得分的显着改善（0.335）。

情感语音分析是一个持续的研究主题。在该领域的一个相对较新的问题是对声乐爆发的分析，即笑声或叹息等非语言发声。解决情感声音爆发分析的当前最新方法主要基于WAV2VEC2或Hubert功能。在本文中，我们研究了WAV2VEC后继数据2VEC与多任务学习管道的使用，以一次解决不同的分析问题。为了评估我们有效的多任务学习体系结构的性能，我们参与了2022 ACII情感声音爆发挑战，这表明我们的方法在三个不同的子任务中大大胜过基线。

我们介绍了我们的多任务学习方法，以预测人声爆发中的情感，年龄和起源（即祖国/语言）。BUST2VEC利用预先训练的语音表示来捕获原始波形的声学信息，并通过对抗训练结合了模型偏见的概念。我们的模型使用预提取的功能获得了相对30％的性能增长，并在ICML EXVO 2022多任务挑战中的所有参与者中得分最高。

ACII情感声音爆发研讨会和竞争的重点是理解声乐爆发的多个情感维度：笑声，喘息，哭泣，尖叫声以及许多其他非语言声音，这是情感表达和人类交流的核心。今年的比赛包括四首曲目，使用1,702位扬声器的大规模和野外数据集提供59,299个发声。首先是A-VB高任务，要求竞争参与者使用十个类似的注释的情感表达强度，对情感进行新型模型进行多标签回归，包括：敬畏，恐惧和惊喜。第二个是A-VB-TWO任务，利用更传统的二维模型来进行情感，唤醒和价值。第三个是A-VB文化任务，要求参与者探索数据集的文化方面，培训本地国家依赖模型。最后，对于第四个任务，A-VB型，参与者应认识到声乐爆发的类型（例如，笑声，哭泣，咕unt）是8级分类。本文介绍了使用最先进的机器学习方法的四个轨道和基线系统。每条轨道的基线性能是通过使用端到端深度学习模型获得的，如下所示：对于A-VB-高，平均（超过10维）一致性相关系数（CCC）为0.5687 CCC为获得;对于A-VB-TWO，获得了0.5084的平均值（超过2维）；对于A-VB培养物，从四个培养物中获得了0.4401的平均CCC；对于A-VB型，来自8类的基线未加权平均召回（UAR）为0.4172 UAR。

自动识别面部和声音的明显情绪很难，部分原因是各种不确定性来源，包括输入数据和机器学习框架中使用的标签。本文介绍了一种不确定性感知的视听融合方法，该方法量化了对情绪预测的模态不确定性。为此，我们提出了一个新颖的融合框架，在该框架中，我们首先通过视听时间上下文向量学习潜在分布，然后限制单峰潜在分布的方差向量，以便它们表示每种模式的信息量，以提供W.R.T.情绪识别。特别是，我们对视听潜在分布的方差向量施加了校准和序数排名约束。当经过良好校准时，将模态不确定性得分表明它们的相应预测可能与地面真实标签有多大不同。排名良好的不确定性得分允许在模式中对不同框架进行顺序排名。为了共同施加这两种约束，我们提出了软马克斯分布匹配损失。在分类和回归设置中，我们将不确定性感知的融合模型与标准模型 - 静态融合基线进行了比较。我们对两个情绪识别语料库（AVEC 2019 CES和IEMOCAP）的评估表明，视听情绪识别可以从良好的和良好的潜在不确定性度量中受益匪浅。

对于语音情绪数据集，与日常生活中显示的表现力较低的情绪相比，很难获得大量可靠的数据，而表现出的情绪可能超过了最高。最近，已经创建了具有自然情绪的较大数据集。这项研究并没有忽略较小的，行为的数据集，而是研究了从动作情绪中学到的信息是否对检测自然情绪有用。跨科普斯研究主要考虑了跨语言甚至跨年龄数据集，并且源于注释情绪导致性能下降的不同方法。为了保持一致，考虑了四个涵盖行为的成年英语数据集，考虑了自然情绪。提出了最先进的模型，以准确研究性能的降解。该系统涉及双向LSTM具有注意机制，以对数据集进行分类。实验研究了跨科普斯和多域的训练模型的影响，结果表明信息的传递不成功。室外模型，其次是适应丢失的数据集，而域对抗训练（DAT）被证明更适合于跨数据集的情绪概括。这显示了从ACT的数据集转移到具有更多自然情绪以及对不同语料库培训的好处的积极信息。

ICML表达性发声（EXVO）的竞争重点是理解和产生声音爆发：笑声，喘息，哭泣和其他非语言发声，这是情感表达和交流至关重要的。 EXVO 2022，包括三个竞赛曲目，使用来自1,702位扬声器的59,201个发声的大规模数据集。首先是Exvo-Multitask，要求参与者训练多任务模型，以识别声音爆发中表达的情绪和人口特征。第二个，即exvo生成，要求参与者训练一种生成模型，该模型产生声音爆发，传达了十种不同的情绪。第三个exvo-fewshot要求参与者利用少量的学习融合说话者身份来训练模型，以识别声音爆发传达的10种情感。本文描述了这三个曲目，并使用最先进的机器学习策略为基线模型提供了绩效指标。每个曲目的基线如下，对于exvo-multitask，一个组合得分，计算一致性相关系数的谐波平均值（CCC），未加权的平均召回（UAR）和反向平均绝对错误（MAE）（MAE）（$ s_ {mtl） } $）充其量是0.335 $ s_ {mtl} $;对于exvo生成，我们报告了Fr \'Echet Inception距离（FID）的得分范围为4.81至8.27（取决于情绪），在训练集和生成的样品之间。然后，我们将倒置的FID与生成样品的感知评级（$ s_ {gen} $）相结合，并获得0.174 $ s_ {gen} $;对于Exvo-Fewshot，获得平均CCC为0.444。

该技术报告介绍了我们在ACII情感声音爆发（A-VB）2022研讨会和竞争中的高维情感任务（A-VB高）的情感识别管道。我们提出的方法包含三个阶段。首先，我们通过自我监督的学习方法从原始音频信号及其MEL光谱图中提取潜在特征。然后，将原始信号的功能馈送到自相关的注意力和时间意识（SA-TA）模块，以学习这些潜在特征之间的宝贵信息。最后，我们串联所有功能，并利用完全连接的层来预测每个情绪的得分。通过经验实验，我们提出的方法在测试集上实现了平均一致性相关系数（CCC）为0.7295，而基线模型上的平均一致性相关系数（CCC）为0.5686。我们方法的代码可从https://github.com/linhtd812/a-vb2022获得。

在本文中，首先，研究了Imagenet预训练对细粒度面部情感识别（FER）的影响，这表明当应用图像的足够增强时，从头开始的训练比ImageNet Pre的微调提供了更好的结果。 -训练。接下来，我们提出了一种改善细粒度和野外FER的方法，称为混合多任务学习（HMTL）。 HMTL以多任务学习（MTL）的形式使用自我监督学习（SSL）作为经典监督学习（SL）期间的辅助任务。在训练过程中利用SSL可以从图像中获得其他信息，以完成主要细粒度SL任务。我们研究了如何在FER域中使用所提出的HMTL，通过设计两种定制版本的普通文本任务技术，令人困惑和涂漆。我们通过两种类型的HMTL在不利用其他数据的情况下，通过两种类型的HMTL在altimnet基准测试上实现了最新的结果。关于常见SSL预训练和提出的HMTL的实验结果证明了我们工作的差异和优势。但是，HMTL不仅限于FER域。对两种类型的细粒面部任务（即头部姿势估计和性别识别）进行的实验揭示了使用HMTL改善细粒度面部表示的潜力。

这项工作为2022年ICML表达性发声挑战exvo-multitask轨道的人声爆发音频介绍了对年龄，原产国和情感的同时估计的多任务方法。选择的方法利用了光谱 - 周期调制和自我监督的特征的组合，然后是在多任务范式中组织的编码器编码网络。我们通过检查独立的任务特定模型和联合模型来评估所构成的任务之间的互补性，并探索不同特征集的相对强度。我们还引入了一种简单的分数融合机制，以利用此任务的不同特征集的互补性。我们发现，与光谱 - 周期性接收场的得分融合结合进行了强大的数据预处理，而Hubert模型达到了我们最佳的EXVO-Multitask测试评分为0.412。

Self-supervised speech models have grown fast during the past few years and have proven feasible for use in various downstream tasks. Some recent work has started to look at the characteristics of these models, yet many concerns have not been fully addressed. In this work, we conduct a study on emotional corpora to explore a popular self-supervised model -- wav2vec 2.0. Via a set of quantitative analysis, we mainly demonstrate that: 1) wav2vec 2.0 appears to discard paralinguistic information that is less useful for word recognition purposes; 2) for emotion recognition, representations from the middle layer alone perform as well as those derived from layer averaging, while the final layer results in the worst performance in some cases; 3) current self-supervised models may not be the optimal solution for downstream tasks that make use of non-lexical features. Our work provides novel findings that will aid future research in this area and theoretical basis for the use of existing models.

面部影响分析仍然是一项艰巨的任务，其设置从实验室控制到野外情况。在本文中，我们提出了新的框架，以应对第四次情感行为分析（ABAW）竞争的两个挑战：i）多任务学习（MTL）挑战和II）从合成数据（LSD）中学习挑战。对于MTL挑战，我们采用SMM-EmotionNet具有更好的特征向量策略。对于LSD挑战，我们建议采用各自的方法来应对单个标签，不平衡分布，微调限制和模型体系结构的选择。竞争的官方验证集的实验结果表明，我们提出的方法的表现优于基线。该代码可在https://github.com/sylyoung/abaw4-hust-ant上找到。

传统上，将情感建模视为映射可测量的影响表现的过程，这些过程来自用户输入的多种方式，以影响标签。该映射通常是通过机器学习过程来推断的。如果相反，一个人训练一般的主题不变表示，考虑影响信息，然后使用此类表示形式来建模？在本文中，我们假设影响标签构成了情感表示形式的组成部分，而不仅仅是训练信号，我们探讨了如何采用对比度学习的最新范式来发现目的的一般高级感动式的表示形式建模影响。我们介绍了三种不同的监督对比学习方法，用于考虑影响信息的培训表示。在这项最初的研究中，我们根据来自多种模式的用户信息来测试Recola数据集中唤醒预测的建议方法。结果证明了对比度学习的表示能力及其在提高情感模型准确性方面的效率。除了与端到端的唤醒分类相比，其证据更高的性能之外，最终的表示是通用和主题不合时式的，因为训练受到了任何多模式语料库可用的一般影响信息的指导。

该技术报告介绍了我们提交给ICML表达性发声研讨会和竞争多任务轨迹（EXVO-Multitask）的建模方法。我们首先将各种尺寸的图像分类模型应用于声乐爆发的MEL-SPECTROGRAM表示，这是声音事件检测文献中的标准。这些模型的结果显示，就任务指标的谐波平均值而言，基线系统的增加了21.24％，并构成了团队对多任务轨道的主要提交。然后，我们试图通过应用大型预训练的构象模型来表征多任务轨道中的净空，该模型以前在语言学识别和掩盖膜检测等副语言任务上实现了最新的结果。我们还研究了情感表达，原产国和年龄预测的子任务之间的关系，并发现最佳性能模型被培训为单任务模型，质疑该问题是否真正从多任务设置中受益。

口吃是一种多种言语障碍，会损害个人的沟通能力。口吃（PWS）的人经常使用语音疗法来应对自己的病情。改善具有这种非典型语音或跟踪语音疗法的人的语音识别系统将需要能够检测功能障碍的系统，同时能够检测到治疗中获得的语​​音技术。本文表明，用于在含有口吃的语音上结结巴巴的口吃的微调2VEC 2.0 [1]，结合多任务的学习，增强了通用Purepose Wav2VEC 2.0的有效性，以检测语音在语音中检测说话的功能;内部和跨语言。我们通过训练支持向量机分类器评估我们的FluencyBank的方法[2]和以德国治疗为中心的Kassel Fluency（KSOF）[3]数据集[3]数据集，该数据集使用六种不同结肠相关的事件类型中提取的功能：块：块： ，延长，声音重复，单词重复，插入和 - 特定于治疗 - 语音修改。使用来自微调模型的嵌入式嵌入会导致相对分类的性能增长到高达27％W.R.T. F1得分。

自动影响使用视觉提示的识别是对人类和机器之间完全互动的重要任务。可以在辅导系统和人机交互中找到应用程序。朝向该方向的关键步骤是面部特征提取。在本文中，我们提出了一个面部特征提取器模型，由Realey公司提供的野外和大规模收集的视频数据集培训。数据集由百万标记的框架组成，2,616万科目。随着时间信息对情绪识别域很重要，我们利用LSTM单元来捕获数据中的时间动态。为了展示我们预先训练的面部影响模型的有利性质，我们使用Recola数据库，并与当前的最先进的方法进行比较。我们的模型在一致的相关系数方面提供了最佳结果。

情绪识别（ER）旨在将人的话语分类为不同的情感类别。基于本文和声学模式之间的早期融合和基于自我注意力的多模式相互作用，在本文中，我们提出了一种多模式多任务学习方法，用于从孤立的单个话语中进行ER。Iemocap基准测试的实验表明，我们提出的模型的表现要比我们对最新的改性的重新实现要好，并且比文献中所有其他单峰和多模式方法更好地实现了性能。此外，强大的基准和消融研究证明了我们提出的方法的有效性。我们在GitHub上公开提供所有代码。

Through solving pretext tasks, self-supervised learning leverages unlabeled data to extract useful latent representations replacing traditional input features in the downstream task. In audio/speech signal processing, a wide range of features where engineered through decades of research efforts. As it turns out, learning to predict such features (a.k.a pseudo-labels) has proven to be a particularly relevant pretext task, leading to useful self-supervised representations which prove to be effective for downstream tasks. However, methods and common practices for combining such pretext tasks for better performance on the downstream task have not been explored and understood properly. In fact, the process relies almost exclusively on a computationally heavy experimental procedure, which becomes intractable with the increase of the number of pretext tasks. This paper introduces a method to select a group of pretext tasks among a set of candidates. The method we propose estimates calibrated weights for the partial losses corresponding to the considered pretext tasks during the self-supervised training process. The experiments conducted on automatic speech recognition, speaker and emotion recognition validate our approach, as the groups selected and weighted with our method perform better than classic baselines, thus facilitating the selection and combination of relevant pseudo-labels for self-supervised representation learning.

在初级诊断的日常诊断中采用卷积神经网络（CNN）不仅需要接近完美的精度，而且还需要对数据采集变化和透明度的足够概括。现有的CNN模型充当黑匣子，不确保医生认为模型使用重要的诊断功能。本文以成功现有的技术（例如多任务学习，域对抗性培训和基于概念的解释性）为基础，该论文解决了在培训目标中引入诊断因素的挑战。在这里，我们表明，通过学习端到端学习多任务和对抗性损失的基于不确定性的加权组合，鼓励将重点放在病理学特征上，例如核的密度和多态性，例如。大小和外观的变化，同时丢弃诸如染色差异之类的误导性特征。我们在乳腺淋巴结组织上的结果显示，在肿瘤组织的检测中的概括显着改善，最佳平均AUC为0.89（0.01），针对基线AUC 0.86（0.005）。通过应用线性探测中间表示的可解释性技术，我们还证明了可解释的病理特征（例如核密度）是通过提出的CNN结构来学习的，从而证实了该模型的透明度的提高。该结果是构建可解释的多任务体系结构的起点，这些架构对数据异质性具有鲁棒性。我们的代码可在https://bit.ly/356yq2u上找到。