抑郁症的心理运动迟缓与二元临床访谈中的语音时机变化有关。在这项工作中，我们研究了自由生活二元相互作用的语音定时特征。除了进行连续监测以补充临床就诊的可能性外，在自由生活条件下进行的研究还可以推断社交特征，例如与抑郁症有关的二元相互作用频率。我们将扬声器计数估计量调整为二元相互作用检测器，特异性为89.5％，在Dihard数据集中的灵敏度为86.1％。使用探测器，我们从32名参与者的多天音频记录中获得了语音定时特征，该记录由13位健康个体，11个患有抑郁症的人和8个患有精神疾病的人组成。没有或轻度抑郁的参与者的二元相互作用频率随着抑郁的严重程度而增加，表明潜在的抑郁症发作标记。但是，中度或重度抑郁症的参与者的二元相互作用频率随着抑郁严重程度的增加而降低。在语音时序特征方面，响应时间与抑郁严重程度有显着的正相关。我们的工作表明了自由生活的音频记录的二元相互作用分析的潜力，以获得抑郁严重程度的标记。

扬声器日流是一个标签音频或视频录制的任务，与扬声器身份或短暂的任务标记对应于扬声器标识的类，以识别“谁谈到何时发表讲话”。在早期，对MultiSpeaker录音的语音识别开发了扬声器日益衰退算法，以使扬声器自适应处理能够实现扬声器自适应处理。这些算法还将自己的价值作为独立应用程序随着时间的推移，为诸如音频检索等下游任务提供特定于扬声器的核算。最近，随着深度学习技术的出现，这在讲话应用领域的研究和实践中引起了革命性的变化，对扬声器日益改善已经进行了快速进步。在本文中，我们不仅审查了扬声器日益改善技术的历史发展，而且还审查了神经扬声器日益改善方法的最新进步。此外，我们讨论了扬声器日复速度系统如何与语音识别应用相结合，以及最近深度学习的激增是如何引领联合建模这两个组件互相互补的方式。通过考虑这种令人兴奋的技术趋势，我们认为本文对社区提供了有价值的贡献，以通过巩固具有神经方法的最新发展，从而促进更有效的扬声器日益改善进一步进展。

爆发两年多后，Covid-19的大流行继续困扰世界各地的医疗系统，给稀缺资源带来压力，并夺走了人类的生命。从一开始，已经采用了各种基于AI的CoVID-19检测和监测工具，以试图通过及时诊断来阻止感染的潮流。特别是，已经建议计算机试听是一种非侵入性，成本效益和环保的替代方法，可通过声音通过声音来检测COVID-19的感染。但是，像所有AI方法一样，计算机试镜也很大程度上取决于可用数据的数量和质量，并且由于此类数据的敏感性，大规模的COVID-19声音数据集很难获取 - 除其他原因外。为此，我们介绍了COVYT数据集 - 一种新颖的Covid-19数据集，该数据集是从包含来自65位演讲者的8个小时以上语音的公共资源中收集的。与其他现有的COVID-19声音数据集相比，COVYT数据集的独特功能是，它包括所有65位扬声器的covid-19正和负样本。我们使用可解释的音频描述来分析Covid-19的声学表现，并使用可解释的音频描述，并研究几种分类场景，并调查一些分类场景，以将基于公平的言语的COVID进行适当的分配策略-19检测。

这项工作对最近的努力进行了系统的综述（自2010年以来），旨在自动分析面对面共同关联的人类社交互动中显示的非语言提示。专注于非语言提示的主要原因是，这些是社会和心理现象的物理，可检测到的痕迹。因此，检测和理解非语言提示至少在一定程度上意味着检测和理解社会和心理现象。所涵盖的主题分为三个：a）建模社会特征，例如领导力，主导，人格特质，b）社会角色认可和社会关系检测以及c）群体凝聚力，同情，rapport和so的互动动态分析向前。我们针对共同的相互作用，其中相互作用的人永远是人类。该调查涵盖了各种各样的环境和场景，包括独立的互动，会议，室内和室外社交交流，二元对话以及人群动态。对于他们每个人，调查都考虑了非语言提示分析的三个主要要素，即数据，传感方法和计算方法。目的是突出显示过去十年的主要进步，指出现有的限制并概述未来的方向。

本文重点介绍了重叠的语音和性别检测，以研究法国视听媒体中男女之间的互动（性别平等监测项目）。在这种应用程序上下文中，我们需要根据说话者的性别自动划分语音信号，并确定至少有两个说话者同时讲话。我们建议使用WAVLM模型，该模型具有在大量语音数据上进行预训练的优点，以构建重叠的语音检测（OSD）和性别检测（GD）系统。在这项研究中，我们使用两个不同的语料库。 Dihard III语料库非常适合OSD任务，但缺乏性别信息。盟友语料库符合项目申请上下文。我们最好的OSD系统是具有WAVLM预训练功能作为输入的时间卷积网络（TCN），该功能达到了Dihard上最先进的F1得分性能。神经GD在法国广播新闻盟友数据的性别平衡子集上接受了WAVLM输入的培训，并获得了97.9％的准确性。这项工作为人类科学研究人员开辟了有关法国媒体中男女表示差异的新观点。

对话场景是语音处理技术最重要，最具挑战性的场景之一，因为对话中的人们以随意的方式相互反应。在对话中检测每个人的语音活动对于下游任务，例如自然语言处理，机器翻译等。人们指的是“何时说话”作为说话者诊断（SD）的检测技术。传统上，诊断错误率（DER）长期以来一直用作SD系统的标准评估度量。但是，der没有给简短的对话短语提供足够的重视，这在语义层面上很重要。此外，在语音社区中，仍然无法使用精心准确的手动测试数据集，适合评估对话性SD技术。在本文中，我们设计和描述了对话式短语扬声器诊断（CSSD）任务，该任务包括培训和测试数据集，评估指标和基线。在数据集方面，尽管先前开源的180小时对话魔术Data-RAMC数据集，但我们还准备了一个20小时的对话演讲测试数据集，并精心验证了CSSD任务的时间戳注释。在度量方面，我们设计了新的对话der（CDER）评估度量，该评估度量计算出语音级别的SD准确性。在基线方面，我们采用了一种常用的方法：变异贝叶斯HMM X-vector系统，作为CSSD任务的基线。我们的评估指标可在https://github.com/speechclub/cder_metric上公开获得。

口吃是一种言语障碍，在此期间，语音流被非自愿停顿和声音重复打断。口吃识别是一个有趣的跨学科研究问题，涉及病理学，心理学，声学和信号处理，使检测很难且复杂。机器和深度学习的最新发展已经彻底彻底改变了语音领域，但是对口吃的识别受到了最小的关注。这项工作通过试图将研究人员从跨学科领域聚集在一起来填补空白。在本文中，我们回顾了全面的声学特征，基于统计和深度学习的口吃/不足分类方法。我们还提出了一些挑战和未来的指示。

标准化测试在检测认知障碍中起着至关重要的作用。先前的工作表明，使用标准化图片描述任务中的音频数据可以自动检测认知障碍。提出的研究超出了这一点，评估了我们对来自两个标准化神经心理学测试的数据，即德国SKT和德国版本的CERAD-NB，以及患者与心理学家之间的半结构化临床访谈。对于测试，我们关注三个子测试的语音记录：阅读数字（SKT 3），干扰（SKT 7）和口头流利度（Cerad-NB 1）。我们表明，标准化测试的声学特征可用于可靠地区分非受损的人的认知受损个体。此外，我们提供的证据表明，即使是从访谈的随机语音样本中提取的特征也可能是认知障碍的歧视者。在我们的基线实验中，我们使用开米的功能和支持向量机分类器。在改进的设置中，我们表明使用WAV2VEC 2.0功能，我们可以达到高达85％的精度。

With the advancements in deep learning (DL) and an increasing interest in data-driven speech processing methods, there is a major challenge in accessing pathological speech data. Public challenge data offers a potential remedy for this but may expose patient health information by re-identification attacks. Therefore, we investigate in this study whether or not pathological speech is more vulnerable to such re-identification than healthy speech. Our study is the first large-scale investigation on the effects of different speech pathology on automatic speaker verification (ASV) using a real-world pathological speech corpus of more than 2,000 test subjects with various speech and voice disorders from different ages. Utilizing a DL-based ASV method, we obtained a mean equal error rate (EER) of 0.89% with a standard deviation of 0.06%, which is a factor of three lower than comparable healthy speech databases. We further perform detailed analyses of external influencing factors on ASV such as age, pathology, recording environment, utterance length, and intelligibility, to explore their respective effect. Our experiments indicate that some types of speech pathology, in particular dysphonia, regardless of speech intelligibility, are more vulnerable to a breach of privacy compared to healthy speech. We also observe that the effect of pathology lies in the range of other factors, such as age, microphone, and recording environment.

在本文中，我们介绍了Amharic语音情绪数据集（亚胺），涵盖了四条方言（Gojjam，Wollo，Shewa和Londer）和五种不同的情绪（中性，恐惧，快乐，悲伤和生气）。我们认为它是Amharic语言的第一个语音情感认可（Ser）数据集。 65志愿者参与者，所有母语人员，记录2,474个声音样本，长度为2至4秒。八名法官将情绪分配给具有高协议水平的样本（Fleiss Kappa = 0.8）。生成的数据集可免费下载。接下来，我们开发了一个四层变体，我们称之为vggb。然后使用vggb进行三种实验，用于Ser，使用ASED。首先，我们研究了熔融谱图特征或熔融频率谱系数（MFCC）的特点是Amharic最适合的。这是通过培训ASID的两个VGGB SER模型来完成的，使用MEL-谱图和使用MFCC的另一个。尝试了四种形式的培训，标准交叉验证和三种变体，基于句子，方言和扬声器组。因此，用于训练的句子不会用于测试，以及方言和扬声器组的句子。结论是，在所有四种训练方案下，MFCC功能都是优越的。因此，MFCC采用实验2，其中VGGB和其他三种现有模型进行了验证：Resnet50，Alex-Net和LSTM。 vggb被发现具有非常好的准确性（90.73％）以及最快的培训时间。在实验3中，在培训在两个现有的SER数据集，RAVDES（英语）和EMO-DB（德语）以及ASED（Amharic）上进行培训时比较VGGB的性能。结果与这些语言相当，仿真是最高的。这表明VGGB可以成功应用于其他语言。我们希望Ased将鼓励研究人员试验其他模型为Amharic Ser。

最近的工作表明，在Covid-19筛选中使用音频数据的可能性。然而，对监测疾病进展进行了很少的探索，特别是通过音频在Covid-19中恢复。跟踪疾病进展特征和复苏模式可能导致巨大的见解和更及时的治疗或治疗调整，以及在医疗保健系统中更好的资源管理。本研究的主要目的是利用顺序深度学习技术探讨Covid-19监测的纵向音频动力学的潜力，专注于疾病进展预测，特别是恢复趋势预测。我们分析了5天至385天的212个个体中众包呼吸系统数据，以及其自我报告的Covid-19测试结果。我们首先探讨捕获音频生物标志物的纵向动态的好处，用于Covid-19检测。强化性能，产生0.79的AUC-ROC，灵敏度为0.75，特异性为0.70，与不利用纵向动态的方法相比，该方法的有效性。我们进一步检查了预测的疾病进展轨迹，其显示出高一致性与纵向试验结果，测试队列中的0.76中的相关性，测试队列的子集中为0.86，其中12名参与者报告疾病恢复。我们的研究结果表明，通过纵向音频数据监测Covid-19进展在追踪个人疾病进展和恢复方面具有巨大潜力。

播客本质上是对话性的，说话者的变化很频繁 - 需要说话者诊断以了解内容。我们在不依赖语言特定组件的情况下提出了一种无监督的技术诊断技术。该算法是重叠的，不需要有关说话者数量的信息。我们的方法显示，针对播客数据的Google Cloud Platform解决方案，纯度得分（F-评分为34％）的纯度得分提高了79％。

对于新参与者 - 执行摘要：（1）任务是为语音数据开发语音匿名系统，该系统隐藏了说话者的语音身份，同时保护语言内容，副语言属性，清晰度和自然性。 （2）除3种不同的基线匿名系统，评估脚本和指标外，还提供了培训，开发和评估数据集。参与者应用其开发的匿名系统，运行评估脚本并向组织者提交客观评估结果和匿名语音数据。 （3）结果将在与Interspeech 2022结合的研讨会上展示，邀请所有参与者介绍其挑战系统并提交其他研讨会论文。对于熟悉语音挑战的读者 - 更改W.R.T. 2020年：（1）以自动扬声器验证（ASV）系统的形式进行了更强的半信息攻击模型，该系统接受了匿名（每位）语音数据的训练。 （2）互补指标包括等于误差率（EER）作为隐私指标，单词错误率（WER）作为主要实用性度量，以及音调相关性和声音独特性作为辅助效用度量标准。 （3）基于一组最小目标隐私要求的新排名策略。

学习一种新语言涉及不断比较语音作品与环境的参考作品。在言语获取的早期，孩子们进行了发音调整以符合他们的看护人的言论。一种语言的成年学习者调整他们的演讲以匹配导师参考。本文提出了一种合成产生正确的发音反馈的方法。此外，我们的目标是在保持演讲者的原始声音的同时产生校正后的生产。该系统提示用户发音短语。记录语音，并用与不准确音素相关的样品用零掩盖。该波形是对语音生成器的输入，作为具有U-NET体系结构的深度学习介绍系统实现，并经过培训以输出重建的语音。该训练集由未损坏的适当语音示例组成，并且对发电机进行了训练以重建原始的适当语音。我们评估了系统的性能在音素替代英语以及发音障碍儿童的最小对单词方面的性能。结果表明，人类听众稍微偏爱我们产生的语音，而不是用不同的扬声器的生产来平滑地替换音素。

通过未计算的数据情况和缺乏本领域缺乏标准基准的动机，我们补充了我们以前的努力，并提出了一个专为培训和评估文本无关的多通道扬声器验证系统的全面语料库。还可以容易地用于DERE失去，去噪和语音增强的实验。我们通过利用VOXECEB数据集的清洁部分顶部的数据仿真来解决缺乏多通道训练数据的缺乏问题。开发和评估试验基于复杂的传统的声音，这些声音在复杂的环境环境（声音）语料库中，我们修改以提供多渠道试验。我们发布从公共来源创建数据集的完整食谱作为Multisv语料库，我们提供了两种多通道扬声器验证系统，其中两个多通道扬声器验证系统，基于神经网络的波束成形，基于预测理想二进制掩码或更新的CONV-TASNet更新。

公开演讲期间的压力很普遍，会对绩效和自信产生不利影响。已经进行了广泛的研究以开发各种模型以识别情绪状态。但是，已经进行了最少的研究，以实时使用语音分析来检测公众演讲期间的压力。在这种情况下，当前的审查表明，算法的应用未正确探索，并有助于确定创建合适的测试环境的主要障碍，同时考虑当前的复杂性和局限性。在本文中，我们介绍了我们的主要思想，并提出了一个应力检测计算算法模型，该模型可以集成到虚拟现实（VR）应用程序中，以创建一个智能的虚拟受众，以提高公开讲话技能。当与VR集成时，开发的模型将能够通过分析与指示压力的生理参数相关的语音功能来实时检测过度压力，并帮助用户逐渐控制过度的压力并改善公众演讲表现

可以通过串联协作来启用第二语言学习，在该协作中，学生在呼叫中学习其他学生的母语时，将学生分组为视频电话会议。这使学生处于在线环境中，更外向的人可以积极贡献和进行对话，而那些更害羞和不确定其第二语言技能的人可以通过电话坐下来坐下来。我们已经构建并部署了L2L系统，该系统记录了所有参与者在呼叫中的对话说话的时间。我们生成可视化的，包括每个呼叫中​​每个学生的参与率和时间表，并在仪表板上呈现。我们最近制定了一种称为个人对话波动率的措施，以表明每个学生在每个呼叫中​​对对话的贡献如何。我们介绍了来自大学学习Frenchm的19个讲英语的学生的样本的对话波动率措施的分析，在一个教学学期的86个串联电信呼叫中。我们的分析表明，有必要研究互动的本质，看看分配给他们的讨论主题的选择是否太难了，这可能会以某种方式影响他们的参与。

言语分离的许多最近进步主要针对具有高重叠程度的短音频话语的合成混合物。这些数据集与真实的会话数据显着不同，因此，在这些数据集上培训和评估的模型不会概括到真实的会话方案。使用大多数这些模型用于长形式语音的另一个问题是由于时间频率掩模或置换不变训练（PIT）损耗的无监督聚类，因此是分离的语音段的非明确顺序。这导致准确地缝合用于自动语音识别（ASR）的下游任务的均匀扬声器段。在本文中，我们提出了一种扬声器调节分离器，在直接从混合信号中提取的扬声器嵌入物上训练。我们使用定向丢失训练此模型，该丢失调节分离的段的顺序。使用此模型，我们对真实会话数据的单词错误率（WER）进行了重大改进，而无需额外的重新拼接步骤。

使用未知数量的扬声器数量的单通道远场录制的自动语音识别（ASR）传统上由级联模块解决。最近的研究表明，与模块化系统相比，端到端（E2E）多扬声器ASR模型可以实现卓越的识别准确性。但是，这些模型不会确保由于其对完整音频上下文的依赖性而实时适用性。这项工作采用实时适用性，作为模型设计的第一优先级，并解决了以前的多扬声器经常性神经网络传感器（MS-RNN-T）的几个挑战。首先，我们在训练期间介绍一般的重叠言论模拟，在LibrisPeechMix测试集上产生14％的相对字错误率（WER）改进。其次，我们提出了一种新的多转RNN-T（MT-RNN-T）模型，其具有基于重叠的目标布置策略，其概括为任意数量的扬声器，而没有模型架构的变化。我们调查在Liblics测试集上培训训练期间看到的最大扬声器数量的影响，并在两位扬声器MS-RNN-T上报告28％的相对加速。第三，我们试验丰富的转录战略，共同承认和分割多方言论。通过深入分析，我们讨论所提出的系统的潜在陷阱以及未来的未来研究方向。

我们引入了一种新的自动评估方法，用于说话者相似性评估，这与人类感知得分一致。现代神经文本到语音模型需要大量的干净训练数据，这就是为什么许多解决方案从单个扬声器模型转换为在许多不同扬声器的示例中训练的解决方案的原因。多扬声器模型带来了新的可能性，例如更快地创建新声音，也是一个新问题 - 扬声器泄漏，其中合成示例的扬声器身份可能与目标扬声器的示例不符。当前，发现此问题的唯一方法是通过昂贵的感知评估。在这项工作中，我们提出了一种评估说话者相似性的自动方法。为此，我们扩展了有关说话者验证系统的最新工作，并评估不同的指标和说话者嵌入模型如何以隐藏的参考和锚（Mushra）分数反映多个刺激。我们的实验表明，我们可以训练一个模型来预测扬声器嵌入的扬声器相似性，其精度为0.96的扬声器嵌入，并且在话语级别上最高0.78 Pearson分数。