VOXECEL数据集广泛用于扬声器识别研究。我们的工作有两个目的。首先，我们提供发言者年龄标签和（替代）发言人性别的注释。其次，我们通过构建具有不同特征和分类器的年龄和性别识别模型来展示这种元数据的使用。我们查询不同的名人数据库，并申请共识规则以获得年龄和性别标签。我们还使用我们的标签进行比较原始的VoxceleB性别标签，以识别可能在原始VoxceleB数据中误标记的记录。在建模方面，我们设计了对识别性别和年龄的多种功能和模型的综合研究。我们使用I-Vector特征的最佳系统实现了使用Logistic回归的性别识别任务的F1分数0.9829，并且使用RIDGE回归获得了9.443年的年龄回归的最低平均绝对误差（MAE）。这表明来自野外风格语音数据的年龄估计的挑战。

可以处理各种扬声器和声学条件的模型在语音情感识别（Ser）中至关重要。通常，这些模型往往会在培训期间呈现扬声器或声学条件时显示混合结果。本文调查了交叉组件数据互补和数据增强对Ser模型的影响（从相同的语料库中的测试设置）和不匹配（从不同的语料库测试）条件。介绍了使用六种情绪语音集团的调查，其中包括单一和多个扬声器以及情感风格的变化（作用，引发，自然）和记录条件。观察结果表明，正如预期的那样，在单一语料库上培训的模型在匹配条件下表现最佳，而性能在不匹配的条件下减少10-40％，具体取决于语料库特定功能。在混合语料库上培训的型号在不匹配的上下文中可以更稳定，与匹配条件中的单个语料库模型相比，性能减少的范围为1％至8％。数据增强产生额外的收益高达4％，似乎有利于比匹配的不匹配条件。

在商业应用程序中使用基于扬声器验证（SV）的系统时，重要的是客户与他们的性别，年龄或种族有关。在本文中，我们分析了性别和年龄对SV的影响，并在不同性别和年龄组中发现，对于不同性别和年龄组的期望的常见验证率（FRR），不同的性别和年龄组不同。为了优化所有用户的FRR，我们提出了一种关于SV的上下文（例如性别，年龄）自适应阈值框架。这些上下文可以作为许多实际应用程序的先前信息。我们还提出了一个连接的性别/年龄检测模型，以在没有这样的事先信息的情况下进行算法导出的背景。我们通过实验表明我们的上下文 - 自适应阈值化方法在建立更有效的包容性SV系统方面是有效的。具体而言，我们表明我们可以通过使用特定于性别特定阈值对VoxceB1测试设置的所需性别来减少特定性别的FRR。对OGI Kids的语音语料库类似的分析表明，通过使用年龄特定的阈值，我们可以显着减少某些年龄段的FRR，以便远远。

自动说话者识别使用数据处理来通过声音来识别说话者。如今，自动化发言人的认可已在数十亿个智能设备和呼叫中心等服务中部署。尽管在面部识别和自然语言处理等相关领域中它们的范围广泛的部署和已知偏见来源，但自动说话者识别的偏见尚未被系统地研究。我们介绍了机器学习开发工作流程中的偏见的深入经验和分析研究，这是自动说话者识别的语音生物特征和核心任务。利用一个既定的框架来理解机器学习中的伤害来源，我们表明在著名的Voxceleb说话者识别挑战中的每个开发阶段都存在偏见，包括数据生成，模型构建和实施。受影响的大多数是女性演讲者和非美国国籍，他们经历了重大的绩效退化。利用我们的发现中的见解，我们提出了减轻自动说话者识别偏见的实用建议，并概述了未来的研究指示。

爆发两年多后，Covid-19的大流行继续困扰世界各地的医疗系统，给稀缺资源带来压力，并夺走了人类的生命。从一开始，已经采用了各种基于AI的CoVID-19检测和监测工具，以试图通过及时诊断来阻止感染的潮流。特别是，已经建议计算机试听是一种非侵入性，成本效益和环保的替代方法，可通过声音通过声音来检测COVID-19的感染。但是，像所有AI方法一样，计算机试镜也很大程度上取决于可用数据的数量和质量，并且由于此类数据的敏感性，大规模的COVID-19声音数据集很难获取 - 除其他原因外。为此，我们介绍了COVYT数据集 - 一种新颖的Covid-19数据集，该数据集是从包含来自65位演讲者的8个小时以上语音的公共资源中收集的。与其他现有的COVID-19声音数据集相比，COVYT数据集的独特功能是，它包括所有65位扬声器的covid-19正和负样本。我们使用可解释的音频描述来分析Covid-19的声学表现，并使用可解释的音频描述，并研究几种分类场景，并调查一些分类场景，以将基于公平的言语的COVID进行适当的分配策略-19检测。

本文重点介绍了重叠的语音和性别检测，以研究法国视听媒体中男女之间的互动（性别平等监测项目）。在这种应用程序上下文中，我们需要根据说话者的性别自动划分语音信号，并确定至少有两个说话者同时讲话。我们建议使用WAVLM模型，该模型具有在大量语音数据上进行预训练的优点，以构建重叠的语音检测（OSD）和性别检测（GD）系统。在这项研究中，我们使用两个不同的语料库。 Dihard III语料库非常适合OSD任务，但缺乏性别信息。盟友语料库符合项目申请上下文。我们最好的OSD系统是具有WAVLM预训练功能作为输入的时间卷积网络（TCN），该功能达到了Dihard上最先进的F1得分性能。神经GD在法国广播新闻盟友数据的性别平衡子集上接受了WAVLM输入的培训，并获得了97.9％的准确性。这项工作为人类科学研究人员开辟了有关法国媒体中男女表示差异的新观点。

口吃是一种言语障碍，在此期间，语音流被非自愿停顿和声音重复打断。口吃识别是一个有趣的跨学科研究问题，涉及病理学，心理学，声学和信号处理，使检测很难且复杂。机器和深度学习的最新发展已经彻底彻底改变了语音领域，但是对口吃的识别受到了最小的关注。这项工作通过试图将研究人员从跨学科领域聚集在一起来填补空白。在本文中，我们回顾了全面的声学特征，基于统计和深度学习的口吃/不足分类方法。我们还提出了一些挑战和未来的指示。

With the advancements in deep learning (DL) and an increasing interest in data-driven speech processing methods, there is a major challenge in accessing pathological speech data. Public challenge data offers a potential remedy for this but may expose patient health information by re-identification attacks. Therefore, we investigate in this study whether or not pathological speech is more vulnerable to such re-identification than healthy speech. Our study is the first large-scale investigation on the effects of different speech pathology on automatic speaker verification (ASV) using a real-world pathological speech corpus of more than 2,000 test subjects with various speech and voice disorders from different ages. Utilizing a DL-based ASV method, we obtained a mean equal error rate (EER) of 0.89% with a standard deviation of 0.06%, which is a factor of three lower than comparable healthy speech databases. We further perform detailed analyses of external influencing factors on ASV such as age, pathology, recording environment, utterance length, and intelligibility, to explore their respective effect. Our experiments indicate that some types of speech pathology, in particular dysphonia, regardless of speech intelligibility, are more vulnerable to a breach of privacy compared to healthy speech. We also observe that the effect of pathology lies in the range of other factors, such as age, microphone, and recording environment.

The objective of this paper is speaker recognition under noisy and unconstrained conditions.We make two key contributions. First, we introduce a very large-scale audio-visual speaker recognition dataset collected from open-source media. Using a fully automated pipeline, we curate VoxCeleb2 which contains over a million utterances from over 6,000 speakers. This is several times larger than any publicly available speaker recognition dataset.Second, we develop and compare Convolutional Neural Network (CNN) models and training strategies that can effectively recognise identities from voice under various conditions. The models trained on the VoxCeleb2 dataset surpass the performance of previous works on a benchmark dataset by a significant margin.

本文经验研究了不同数据拆分和分裂策略对功能障碍检测系统性能的影响。为此，我们使用具有分类头的WAV2VEC 2.0模型以及支持向量机（SVM）以及从WAV2VEC 2.0模型中提取的功能进行实验。我们使用播客（SEP-28K）数据集中的口吃事件的不同非说明书和说话者的分裂训练和评估系统，以阐明结果W.R.T.的可变性。使用使用的分区方法。此外，我们表明SEP-28K数据集仅由少数扬声器主导，因此很难评估。为了解决这个问题，我们创建了Sep-28k扩展（Sep-28k-e），其中包含半自动生成的扬声器和性别信息，为SEP-28K语料库，建议不同的数据拆分，每个数据分配有用，可用于评估方法的其他方面用于功能障碍检测。

AI研究中的基石是创建和采用标准化培训和测试数据集，以指定最新模型的进度。一个特别成功的例子是用于培训和评估英语自然语言理解（NLU）模型的胶水数据集。围绕基于BERT的语言模型的大量研究围绕着胶水中NLU任务的性能改进。为了评估其他语言的语言模型，创建了几个特定语言的胶水数据集。语音语言理解（SLU）的领域遵循了类似的轨迹。大型自我监督模型（例如WAV2VEC2）的成功实现了具有相对易于访问的未标记数据的语音模型。然后可以在SLU任务（例如出色的基准测试）上评估这些模型。在这项工作中，我们将其扩展到通过释放Indicsuperb基准测试来指示语言。具体来说，我们做出以下三项贡献。 （i）我们收集了Kathbath，其中包含来自印度203个地区的1,218个贡献者的12个印度语言的1,684小时的标记语音数据。 （ii）使用Kathbath，我们在6个语音任务中创建基准：自动语音识别，扬声器验证，说话者识别（单声道/多），语言识别，逐个示例查询以及对12种语言的关键字发现。 （iii）在发布的基准测试中，我们与常用的基线Fbank一起训练和评估不同的自我监督模型。我们表明，在大多数任务上，特定于语言的微调模型比基线更准确，包括对于语言识别任务的76 \％差距。但是，对于说话者识别，在大型数据集上训练的自我监督模型证明了一个优势。我们希望Indicsuperb有助于发展印度语言的语音语言理解模型的进步。

识别人类非语音发声是一项重要的任务，并且具有广泛的应用，例如自动音频转录和健康状况监测。但是，现有数据集具有相对少量的声音样本或嘈杂的标签。结果，最先进的音频事件分类模型在检测人声音方面的表现可能不佳。为了支持建立强大而准确的声音识别的研究，我们创建了一个人声数据集，该数据集由21,000多个众包笑声，叹息，咳嗽，喉咙清理，打喷嚏和嗅探组成，来自3,365个独特的主题。实验表明，通过将人声数据集添加到现有数据集中作为培训材料，模型的人声识别性能可以显着提高41.9％。此外，与以前的数据集不同，人声数据集包含元信息，例如说话者年龄，性别，母语，国家和健康状况。

In this paper, we present a novel method for phoneme-level prosody control of F0 and duration using intuitive discrete labels. We propose an unsupervised prosodic clustering process which is used to discretize phoneme-level F0 and duration features from a multispeaker speech dataset. These features are fed as an input sequence of prosodic labels to a prosody encoder module which augments an autoregressive attention-based text-to-speech model. We utilize various methods in order to improve prosodic control range and coverage, such as augmentation, F0 normalization, balanced clustering for duration and speaker-independent clustering. The final model enables fine-grained phoneme-level prosody control for all speakers contained in the training set, while maintaining the speaker identity. Instead of relying on reference utterances for inference, we introduce a prior prosody encoder which learns the style of each speaker and enables speech synthesis without the requirement of reference audio. We also fine-tune the multispeaker model to unseen speakers with limited amounts of data, as a realistic application scenario and show that the prosody control capabilities are maintained, verifying that the speaker-independent prosodic clustering is effective. Experimental results show that the model has high output speech quality and that the proposed method allows efficient prosody control within each speaker's range despite the variability that a multispeaker setting introduces.

AI的最新进展，尤其是深度学习，导致创建新的现实合成媒体（视频，图像和音频）以及对现有媒体的操纵的创建显着增加，这导致了新术语的创建。 'deepfake'。基于英语和中文中的研究文献和资源，本文对Deepfake进行了全面的概述，涵盖了这一新兴概念的多个重要方面，包括1）不同的定义，2）常用的性能指标和标准以及3）与DeepFake相关的数据集，挑战，比赛和基准。此外，该论文还报告了2020年和2021年发表的12条与DeepFake相关的调查论文的元评估，不仅关注上述方面，而且集中在对关键挑战和建议的分析上。我们认为，就涵盖的各个方面而言，本文是对深层的最全面评论，也是第一个涵盖英语和中国文学和资源的文章。

我们引入了一种新的自动评估方法，用于说话者相似性评估，这与人类感知得分一致。现代神经文本到语音模型需要大量的干净训练数据，这就是为什么许多解决方案从单个扬声器模型转换为在许多不同扬声器的示例中训练的解决方案的原因。多扬声器模型带来了新的可能性，例如更快地创建新声音，也是一个新问题 - 扬声器泄漏，其中合成示例的扬声器身份可能与目标扬声器的示例不符。当前，发现此问题的唯一方法是通过昂贵的感知评估。在这项工作中，我们提出了一种评估说话者相似性的自动方法。为此，我们扩展了有关说话者验证系统的最新工作，并评估不同的指标和说话者嵌入模型如何以隐藏的参考和锚（Mushra）分数反映多个刺激。我们的实验表明，我们可以训练一个模型来预测扬声器嵌入的扬声器相似性，其精度为0.96的扬声器嵌入，并且在话语级别上最高0.78 Pearson分数。

Personal assistants, automatic speech recognizers and dialogue understanding systems are becoming more critical in our interconnected digital world. A clear example is air traffic control (ATC) communications. ATC aims at guiding aircraft and controlling the airspace in a safe and optimal manner. These voice-based dialogues are carried between an air traffic controller (ATCO) and pilots via very-high frequency radio channels. In order to incorporate these novel technologies into ATC (low-resource domain), large-scale annotated datasets are required to develop the data-driven AI systems. Two examples are automatic speech recognition (ASR) and natural language understanding (NLU). In this paper, we introduce the ATCO2 corpus, a dataset that aims at fostering research on the challenging ATC field, which has lagged behind due to lack of annotated data. The ATCO2 corpus covers 1) data collection and pre-processing, 2) pseudo-annotations of speech data, and 3) extraction of ATC-related named entities. The ATCO2 corpus is split into three subsets. 1) ATCO2-test-set corpus contains 4 hours of ATC speech with manual transcripts and a subset with gold annotations for named-entity recognition (callsign, command, value). 2) The ATCO2-PL-set corpus consists of 5281 hours of unlabeled ATC data enriched with automatic transcripts from an in-domain speech recognizer, contextual information, speaker turn information, signal-to-noise ratio estimate and English language detection score per sample. Both available for purchase through ELDA at http://catalog.elra.info/en-us/repository/browse/ELRA-S0484. 3) The ATCO2-test-set-1h corpus is a one-hour subset from the original test set corpus, that we are offering for free at https://www.atco2.org/data. We expect the ATCO2 corpus will foster research on robust ASR and NLU not only in the field of ATC communications but also in the general research community.

扬声器日流是一个标签音频或视频录制的任务，与扬声器身份或短暂的任务标记对应于扬声器标识的类，以识别“谁谈到何时发表讲话”。在早期，对MultiSpeaker录音的语音识别开发了扬声器日益衰退算法，以使扬声器自适应处理能够实现扬声器自适应处理。这些算法还将自己的价值作为独立应用程序随着时间的推移，为诸如音频检索等下游任务提供特定于扬声器的核算。最近，随着深度学习技术的出现，这在讲话应用领域的研究和实践中引起了革命性的变化，对扬声器日益改善已经进行了快速进步。在本文中，我们不仅审查了扬声器日益改善技术的历史发展，而且还审查了神经扬声器日益改善方法的最新进步。此外，我们讨论了扬声器日复速度系统如何与语音识别应用相结合，以及最近深度学习的激增是如何引领联合建模这两个组件互相互补的方式。通过考虑这种令人兴奋的技术趋势，我们认为本文对社区提供了有价值的贡献，以通过巩固具有神经方法的最新发展，从而促进更有效的扬声器日益改善进一步进展。

Speech-centric machine learning systems have revolutionized many leading domains ranging from transportation and healthcare to education and defense, profoundly changing how people live, work, and interact with each other. However, recent studies have demonstrated that many speech-centric ML systems may need to be considered more trustworthy for broader deployment. Specifically, concerns over privacy breaches, discriminating performance, and vulnerability to adversarial attacks have all been discovered in ML research fields. In order to address the above challenges and risks, a significant number of efforts have been made to ensure these ML systems are trustworthy, especially private, safe, and fair. In this paper, we conduct the first comprehensive survey on speech-centric trustworthy ML topics related to privacy, safety, and fairness. In addition to serving as a summary report for the research community, we point out several promising future research directions to inspire the researchers who wish to explore further in this area.

创伤后应激障碍（PTSD）是一种长期衰弱的精神状况，是针对灾难性生活事件（例如军事战斗，性侵犯和自然灾害）而发展的。 PTSD的特征是过去的创伤事件，侵入性思想，噩梦，过度维护和睡眠障碍的闪回，所有这些都会影响一个人的生活，并导致相当大的社会，职业和人际关系障碍。 PTSD的诊断是由医学专业人员使用精神障碍诊断和统计手册（DSM）中定义的PTSD症状的自我评估问卷进行的。在本文中，这是我们第一次收集，注释并为公共发行准备了一个新的视频数据库，用于自动PTSD诊断，在野生数据集中称为PTSD。该数据库在采集条件下表现出“自然”和巨大的差异，面部表达，照明，聚焦，分辨率，年龄，性别，种族，遮挡和背景。除了描述数据集集合的详细信息外，我们还提供了评估野生数据集中PTSD的基于计算机视觉和机器学习方法的基准。此外，我们建议并评估基于深度学习的PTSD检测方法。提出的方法显示出非常有希望的结果。有兴趣的研究人员可以从：http：//www.lissi.fr/ptsd-dataset/下载PTSD-in-wild数据集的副本

口吃是一种复杂的言语障碍，会对个人有效沟通的能力产生负面影响。口吃（PWS）的人通常在这种情况下遭受很大的痛苦，并通过治疗寻求帮助。流利的塑形是一种治疗方法，PWSS学会修改他们的语音以帮助他们克服口吃。即使在治疗后，掌握这种语音技术也需要时间和练习。治疗后不久，对成功的评估很高，但复发率很高。为了能够长期监视语音行为，检测口吃事件和语音修改的能力可以帮助PWSS和语音病理学家跟踪流利程度。监测可以通过检测流利度的失误来提早进行干预的能力。据我们所知，没有公共数据集可用，其中包含接受口吃疗法的人的演讲，这些疗法改变了口语风格。这项工作介绍了Kassel Fluency（KSOF），这是一项基于疗法的数据集，其中包含超过5500个PWSS。这些剪辑标记为六种与口吃相关的事件类型：块，延长，声音重复，单词重复，插入和 - 特定于治疗 - 语音修改。音频是在Kasseler Stottertherapie研究所期间记录的。该数据将根据要求提供用于研究目的。