本文提出了一种针对英语，韩语和泰米尔语的跨语性分类方法，该方法采用了与语言无关的功能和语言唯一功能。首先，我们从语音质量，发音和韵律等各种语音维度中提取39个特征。其次，应用功能选择来确定每种语言的最佳功能集。通过比较三种语言的特征选择结果来区分一组共享功能和一组独特的功能。最后，使用两个功能集，进行自动严重性分类。值得注意的是，所提出的方法删除了语言的不同特征，以防止其他语言的唯一特征的负面影响。因此，由于其强度归因于缺失的数据，因此采用了极端梯度提升（XGBoost）算法进行分类。为了验证我们提出的方法的有效性，进行了两个基线实验：使用单语言特征集的交点集（交叉路口）和使用单语语言特征集（UNIOM）的联合集合进行实验。根据实验结果，我们的方法以67.14％的F1得分获得更好的性能，而交叉路口实验为64.52％，联合实验为66.74％。此外，所提出的方法比所有三种语言的单语言分类都能获得更好的性能，分别达到17.67％，2.28％，7.79％的相对百分比增加了英语，韩语和泰米尔语。结果规定，必须单独考虑通常共享特征和特定于语言的特征，以进行跨语音质心严重性分类。

本文分析了三种具有不同韵律系统的语言的违反语音数据集：英语，韩语和泰米尔语。我们检查39个声学测量值，反映了三个语音维度，包括语音质量，发音和韵律。作为多语言分析，通过可理解水平对声学测量的平均值进行检查。此外，执行自动清晰度分类以审查语言设置的最佳功能。分析表明发音特征，例如正确的辅音百分比，正确的元音百分比以及正确的音素比例为语言无关的测量。但是，语音质量和韵律特征通常通过语言呈现不同的方面。实验结果还表明，不同的语音维度对不同的语言起着更大的作用：英语的韵律，韩语的发音，韵律和泰米尔语的发音。本文有助于言语病理学，因为它在英语，韩语和泰米尔语构想中的可理解分类中区分了与语言无关和语言依赖性测量。

最近最近提出了使用音韵特征而不是音素作为输入到序列TTS的输入，用于零拍摄的多语言语音合成。这种方法对于代码切换是有用的，因为它促进了嵌入在本机的流中的外语的无缝发出。在我们的工作中，我们培训了一种语言 - 无人物多相箱模型，在不同语言中常见的一组音牙衍生特征上，其目标是实现交叉语言扬声器适应。我们首先尝试语言语音相似性对几种源语言组合的交叉语言的影响。随后，我们可以在看见或一个看不见的语言中使用非常有限的新扬声器语音数据进行微调，并实现了相同质量的合成语音，同时保留了目标扬声器的身份。随着目标扬声器数据的32和8个话语，我们获得高扬声器相似性分数和与相应文献相当的自然。在仅为2种可用的适应话语的极端情况下，我们发现我们的模型表现为几滴学习者，因为在所见和看不见的语言方案中的性能相似。

在本文中，我们提出了Sanane-TTS，这是一种稳定且自然的端到端多语言TTS模型。由于很难为给定的演讲者获得多语言语料库，因此不可避免地会使用单语语料库进行多语言TTS模型。我们介绍了扬声器正规化损失，该损失可改善跨语性合成期间的语音自然性以及域对抗训练，该训练适用于其他多语言TTS模型。此外，通过添加扬声器正规化损失，以持续时间为零矢量嵌入的扬声器可以稳定跨语性推断。通过此替代品，我们的模型将产生以中等节奏的语音，而不论跨语性合成中的源说话者如何。在MOS评估中，Sane-TTS在跨语义和内部合成中的自然性得分高于3.80，地面真相评分为3.99。同样，即使在跨语性的推论中，Sane-TTS也保持了接近地面真理的说话者相似性。音频样本可在我们的网页上找到。

在本文中，我们首先提供了述评最先进的情感语音转换研究以及现有的情绪语音数据库。然后，我们激励开发一种新颖的情绪语音数据库（ESD），这些数据库（ESD）解决了越来越多的研究需求。借鉴了本文，现在可以向研究界提供ESD数据库。ESD数据库由10名母语和10个母语的扬声器发表的350个平行话语组成，涵盖5个情感类别（中性，快乐，愤怒，悲伤和惊喜）。在受控的声学环境中记录了超过29小时的语音数据。该数据库适用于多扬声器和交叉语言情绪转换研究。如案例研究，我们在ESD数据库上实施了几种最先进的情绪转换系统。本文在释放释放时提供了对ESD的参考研究。

情感计算在人与机器之间的关系中非常重要。在本文中，提出了一种基于语音信号的语音情感识别（SER）的系统，其利用不同处理阶段的新技术。该系统由三个阶段组成：功能提取，功能选择，最终要素分类。在第一阶段，使用新的和多样性特征（如韵律，光谱和频谱）特征，从语音信号和光泽 - 波形信号中提取复杂的长期统计特征。 SER系统的挑战之一是区分相关情绪。这些特征是言语情绪的好鉴别者，并提高Ser识别类似和不同情绪的能力。此特征向量具有大量维度自然具有冗余。在第二阶段，使用经典特征选择技术以及用于减少特征向量维度的新量子启发技术，减少了特征向量尺寸的数量。在第三阶段，优化的特征向量由加权深稀疏的极端学习机（ELM）分类器分类。分类器以三个步骤执行分类：稀疏随机特征学习，使用奇异值分解（SVD）技术的正交随机投影，以及使用广义Tikhonov正规技术的最后一步中的鉴别分类。此外，许多现有的情绪数据集遭受数据不平衡分布的问题，这反过来增加了分类误差并降低了系统性能。在本文中，还提出了一种新的加权方法来处理类别不平衡，比现有的加权方法更有效。所提出的方法是在三个标准情绪数据库上进行评估。

In most cases, bilingual TTS needs to handle three types of input scripts: first language only, second language only, and second language embedded in the first language. In the latter two situations, the pronunciation and intonation of the second language are usually quite different due to the influence of the first language. Therefore, it is a big challenge to accurately model the pronunciation and intonation of the second language in different contexts without mutual interference. This paper builds a Mandarin-English TTS system to acquire more standard spoken English speech from a monolingual Chinese speaker. We introduce phonology embedding to capture the English differences between different phonology. Embedding mask is applied to language embedding for distinguishing information between different languages and to phonology embedding for focusing on English expression. We specially design an embedding strength modulator to capture the dynamic strength of language and phonology. Experiments show that our approach can produce significantly more natural and standard spoken English speech of the monolingual Chinese speaker. From analysis, we find that suitable phonology control contributes to better performance in different scenarios.

识别语音情绪的语言不可知论的方法仍然是一个不完整和具有挑战性的任务。在本文中，我们使用Bangla和英语语言来评估与语音中的情感是否与语言无关。这项研究分类了以下情绪：幸福，愤怒，中立，悲伤，厌恶和恐惧。我们雇用了三种情绪言论，其中前两组是由孟加拉和英语语言的本土孟加拉语扬声器开发的。第三个是多伦多情感演讲（苔丝），由加拿大母语的英语发言者开发。我们仔细选择了语言无关的韵律特征，采用了支持向量机（SVM）模型，并进行了三个实验来执行我们的主张。在第一个实验中，我们单独测量三种语音组的性能。接下来是第二种实验，我们通过组合语音集来记录分类率。最后，在第三个实验中，我们通过培训和测试不同语音集来测量识别率。虽然这项研究表明，言语情感认可（SER）大多是语言无关的，但在识别出在这两种语言中的厌恶和恐惧之类的情绪状态时存在一些差异。此外，我们的调查推断出非母语人员通过言语传达情绪，就像以其母语在母语中表达自己。

口吃是一种言语障碍，在此期间，语音流被非自愿停顿和声音重复打断。口吃识别是一个有趣的跨学科研究问题，涉及病理学，心理学，声学和信号处理，使检测很难且复杂。机器和深度学习的最新发展已经彻底彻底改变了语音领域，但是对口吃的识别受到了最小的关注。这项工作通过试图将研究人员从跨学科领域聚集在一起来填补空白。在本文中，我们回顾了全面的声学特征，基于统计和深度学习的口吃/不足分类方法。我们还提出了一些挑战和未来的指示。

由于人工智能的改进，扬声器识别（SI）技术带来了一个伟大的方向，现在广泛用于各种各样的领域。Si最重要的组件之一是特征提取，对Si过程和性能具有显着影响。结果，彻底研究，对比和分析了许多特征提取策略。本文利用了情绪环境下伪装声音中的发言者识别五个不同的特征提取方法。为了显着评估这项工作，使用了三种效果：高倾斜，低音和电子语音转换（EVC）。实验结果报道称，级联的熔融频率谱系数（MFCCs），MFCCS-DERTA和MFCCS-DELTA-DELTA是最佳特征提取方法。

这项工作的目的是研究互补的特征，这些特征可以帮助典型的MEL频率经系系数（MFCC），以封闭，有限的set set Word识别为不同母亲说话的英语说话者。与源自语音信号的光谱能量的MFCC不同，提议的频率饮食（FCS）封装了语音光谱不同带的光谱中心，由MEL FILLEC BANK定义。观察到这些功能与MFCC结合使用，可提供英语单词识别的相对性能提高，尤其是在各种嘈杂条件下。两阶段的卷积神经网络（CNN）用于模拟用阿拉伯语，法语和西班牙口音说出的英语单词的特征。

In this paper, we present a novel method for phoneme-level prosody control of F0 and duration using intuitive discrete labels. We propose an unsupervised prosodic clustering process which is used to discretize phoneme-level F0 and duration features from a multispeaker speech dataset. These features are fed as an input sequence of prosodic labels to a prosody encoder module which augments an autoregressive attention-based text-to-speech model. We utilize various methods in order to improve prosodic control range and coverage, such as augmentation, F0 normalization, balanced clustering for duration and speaker-independent clustering. The final model enables fine-grained phoneme-level prosody control for all speakers contained in the training set, while maintaining the speaker identity. Instead of relying on reference utterances for inference, we introduce a prior prosody encoder which learns the style of each speaker and enables speech synthesis without the requirement of reference audio. We also fine-tune the multispeaker model to unseen speakers with limited amounts of data, as a realistic application scenario and show that the prosody control capabilities are maintained, verifying that the speaker-independent prosodic clustering is effective. Experimental results show that the model has high output speech quality and that the proposed method allows efficient prosody control within each speaker's range despite the variability that a multispeaker setting introduces.

我们提出了一项对基于自我监督的语音表示（S3R）语音转换（VC）的大规模比较研究。在识别合成VC的背景下，S3RS由于其替代昂贵的监督表示的潜力，例如语音后验（PPG），因此很有吸引力，这些表示是由最先进的VC系统采用的。使用先前开发的开源VC软件S3PRL-VC，我们在三种VC设置下提供了一系列深入的目标和主观分析：内部/跨语义的任何一对一（A2O）和任何对象 - 使用语音转换挑战2020（VCC2020）数据集。我们在各个方面研究了基于S3R的VC，包括模型类型，多语言和监督。我们还研究了通过K-均值聚类的滴定过程的效果，并展示了其在A2A设置中的改进。最后，与最先进的VC系统的比较证明了基于S3R的VC的竞争力，并阐明了可能的改进方向。

在本文中，介绍了文本到读取/唱歌系统，可以适应任何扬声器的声音。它利用基于TacoTron的多级箱子声学模型在只读语音数据训练，并且在音素级别提供韵律控制。还研究了基于传统DSP算法的数据集增强和额外的韵律操纵。神经TTS模型对看不见的扬声器的有限录音进行了微调，允许与目标的扬声器语音进行敲击/歌唱合成。描述了系统的详细管道，其包括从Capella歌曲的目标音调和持续时间值提取，并将其转换为在合成之前的目标扬声器的有效音符范围内。还研究了通过WSOLA输出的输出的韵律操纵的另外的阶段，以便更好地匹配目标持续时间值。合成的话语可以与乐器伴奏轨道混合以产生完整的歌曲。通过主观聆听测试评估所提出的系统，以及与可用的备用系统相比，该系统还旨在从只读训练数据产生合成歌唱语音。结果表明，该拟议的方法可以产生高质量的敲击/歌声，具有增加的自然。

尽管针对正常语音的自动语音识别（ASR）技术取得了迅速的进展，但迄今为止，准确认识违反障碍和老年语音仍然是高度挑战的任务。由于这些用户中经常发现的移动性问题，很难为ASR系统开发收集大量此类数据。为此，数据增强技术起着至关重要的作用。与现有的数据增强技术相反，仅修改光谱轮廓的说话速率或整体形状，使用一组新颖的扬声器依赖（SD）生成对抗网络（Gan ）本文基于数据增强方法。这些既可以灵活地允许：a）在可用的语音数据可用时修改时间或速度的正常语音光谱，并更接近受损说话者的扬声器； b）对于非平行数据，SVD分解了正常语音频谱基础特征，要转换为目标老年人说话者的特征，然后再与时间基础重组以生成最先进的TDNN的增强数据和构象体ASR系统培训。实验是针对四个任务进行的：英语Uapseech和Torgo违反语音语音Corpora；英国痴呆症皮特和广东话JCCOCC MOCA老年语音数据集。所提出的基于GAN的数据增强方法始终优于基线速度扰动方法，最多可在Torgo和Dementiabank数据上降低4.91％和3.0％的绝对速度（相对相对9.61％和6.4％）。应用基于LHUC的扬声器适应后，保留了一致的性能改进。

在这项工作中，我们对情感和压力环境中的文本独立扬声器验证性能进行了实证对比研究。这项工作结合了浅架构的深层模型，导致新的混合分类器。利用了四种不同的混合模型：深神经网络隐藏式马尔可夫模型（DNN-HMM），深神经网络 - 高斯混合模型（DNN-GMM），高斯混合模型 - 深神经网络（GMM-DNN）和隐藏的马尔可夫模型-Deep神经网络（HMM-DNN）。所有模型都基于新颖的实施架构。比较研究使用了三个不同的语音数据集：私人阿拉伯数据集和两个公共英语数据库，即在模拟和实际压力下的演讲（Susas）和情感语音和歌曲（Ravdess）的ryerson视听数据库。上述混合模型的测试结果表明，所提出的HMM-DNN利用情绪和压力环境中的验证性能。结果还表明，HMM-DNN在曲线（AUC）评估度量下的相同错误率（eer）和面积方面优于所有其他混合模型。基于三个数据集的平均所产生的验证系统分别基于HMM-DNN，DNN-HMM，DNN-GMM和GMM-DNN产生7.19％，16.85％，11.51％和11.90％的eERs。此外，我们发现，与两个谈话环境中的所有其他混合模型相比，DNN-GMM模型展示了最少的计算复杂性。相反，HMM-DNN模型需要最多的培训时间。调查结果还证明了EER和AUC值在比较平均情绪和压力表演时依赖于数据库。

爆发两年多后，Covid-19的大流行继续困扰世界各地的医疗系统，给稀缺资源带来压力，并夺走了人类的生命。从一开始，已经采用了各种基于AI的CoVID-19检测和监测工具，以试图通过及时诊断来阻止感染的潮流。特别是，已经建议计算机试听是一种非侵入性，成本效益和环保的替代方法，可通过声音通过声音来检测COVID-19的感染。但是，像所有AI方法一样，计算机试镜也很大程度上取决于可用数据的数量和质量，并且由于此类数据的敏感性，大规模的COVID-19声音数据集很难获取 - 除其他原因外。为此，我们介绍了COVYT数据集 - 一种新颖的Covid-19数据集，该数据集是从包含来自65位演讲者的8个小时以上语音的公共资源中收集的。与其他现有的COVID-19声音数据集相比，COVYT数据集的独特功能是，它包括所有65位扬声器的covid-19正和负样本。我们使用可解释的音频描述来分析Covid-19的声学表现，并使用可解释的音频描述，并研究几种分类场景，并调查一些分类场景，以将基于公平的言语的COVID进行适当的分配策略-19检测。

最近的语音情绪识别分析与使用MFCCS频谱图特征和实现诸如卷积神经网络（CNNS）的神经网络方法的实施进行了相当大的进展。胶囊网络（CAPSNET）对CNN的替代品感谢其具有较大容量的分层表示。为了解决这些问题，本研究介绍了独立于文本和独立的讲话者独立的SER新颖体系结构，其中基于结构特征提出了双通道长短短期内存压缩帽（DC-LSTM Compsnet）算法Capsnet。我们所提出的新型分类器可以确保语音情感识别中模型和足够的压缩方法的能效，这不会通过彩铃的原始结构提供。此外，网格搜索方法用于获得最佳解决方案。结果目睹了培训和测试运行时间的性能和减少。用于评估我们的算法的语音数据集是：阿拉伯语Emirati-Egrented语料库，模拟和实际压力语料库下的英语演讲，情感语音和歌曲语料库的英语Ryerson Audio-Visual数据库，以及人群源性情绪多模式演员数据集。这项工作揭示了与其他已知方法相比的最佳特征提取方法是MFCCS Delta-Delta。使用四个数据集和MFCCS Delta-Delta，DC-LSTM CompsNet超越了所有最先进的系统，古典分类器，CNN和原始帽。我们的结果表明，基于Capsnet的拟议工作产生了89.3％的平均情绪识别准确性，其结果表明，拟议的工作产生了89.3％的89.3％。 CNN，支持向量机，多层Perceptron，K-最近邻居，径向基函数和幼稚贝叶斯。

We investigate how humans perform the task of dubbing video content from one language into another, leveraging a novel corpus of 319.57 hours of video from 54 professionally produced titles. This is the first such large-scale study we are aware of. The results challenge a number of assumptions commonly made in both qualitative literature on human dubbing and machine-learning literature on automatic dubbing, arguing for the importance of vocal naturalness and translation quality over commonly emphasized isometric (character length) and lip-sync constraints, and for a more qualified view of the importance of isochronic (timing) constraints. We also find substantial influence of the source-side audio on human dubs through channels other than the words of the translation, pointing to the need for research on ways to preserve speech characteristics, as well as semantic transfer such as emphasis/emotion, in automatic dubbing systems.

关节特征本质上是声信号失真的不变，并且已成功地纳入了为正常语音设计的自动语音识别（ASR）系统。它们在非典型任务领域（例如老年人和跨语言的言语无序）的实际应用通常受到从目标扬声器收集此类专家数据的困难。本文介绍了一种跨域和跨语性A2A反演方法，该方法利用了A2A模型中24小时TAL Corpus的平行音频，视觉和超声舌成像（UTI）数据，然后进行交叉训练和交叉训练。语言适用于两种语言的三个数据集：英语dementiabank pitt和antonese JCCOCC MOCA老年演讲Corpora;以及英语Torgo违反语音数据，以产生基于UTI的发音特征。 Experiments conducted on three tasks suggested incorporating the generated articulatory features consistently outperformed the baseline hybrid TDNN and Conformer based end-to-end systems constructed using acoustic features only by statistically significant word error rate or character error rate reductions up to 2.64%, 1.92% and数据增强和说话者适应后，绝对4.17％，7.89％和13.28％相对1.21％。