本研究旨在为印地语开发半自动标记的韵律数据库，用于增强ASR和TTS系统中的语调组件，这也有助于向语音机翻译系统构建语音。虽然印地语中没有单一的韵律标签标准，但过去的研究人员在文献中使用了感知和统计方法，以利用印地语中韵律模式的行为的推论。基于此类现有研究并在很大程度上商定了印地语中的语调理论，这项研究试图首先开发印地语语音数据的手动注释的韵律语料库，然后用于培训用于产生自动韵律标签的预测模型。已经标记了总数为5,000句话（23,500字）的声明和疑问类型。训练有素的型号的音高型号，中级短语和呼吸界界限分别为73.40％，93.20％和43％。
translated by 谷歌翻译
最近的一些研究测试了变压器语言模型表示的使用来推断文本到语音综合（TTS）的韵律特征。尽管这些研究总体上探讨了韵律，但在这项工作中，我们专门研究了对对比的个人代词的预测。这是一项特别具有挑战性的任务，因为它通常需要语义，话语和/或务实的知识才能正确预测。我们收集包含对比焦点的话语语料库，并评估了BERT模型的准确性，该模型的准确性是在这些样品上预测量化的量化声学突出特征。我们还研究了过去的话语如何为该预测提供相关信息。此外，我们评估了以声音突出特征为条件的TTS模型中代词突出性的可控性。
translated by 谷歌翻译
自动语音识别（ASR）是一个复杂和具有挑战性的任务。近年来，该地区出现了重大进展。特别是对于巴西葡萄牙语（BP）语言，在2020年的下半年，有大约376小时的公众可供ASR任务。在2021年初发布新数据集，这个数字增加到574小时。但是，现有资源由仅包含读取和准备的演讲的Audios组成。缺少数据集包括自发性语音，这在不同的ASR应用中是必不可少的。本文介绍了Coraa（注释Audios语料库）V1。使用290.77小时，在包含验证对（音频转录）的BP中ASR的公共可用数据集。科拉还含有欧洲葡萄牙音像（4.69小时）。我们还提供了一个基于Wav2VEC 2.0 XLSR-53的公共ASR模型，并通过CoraA进行微调。我们的模型在CoraA测试集中实现了24.18％的单词误差率，并且在常见的语音测试集上为20.08％。测量字符错误率时，我们分别获得11.02％和6.34％，分别为CoraA和常见声音。 Coraa Corpora在自发言论中与BP中的改进ASR模型进行了组装，并激励年轻研究人员开始研究葡萄牙语的ASR。所有Corpora都在CC By-NC-ND 4.0许可证下公开提供Https://github.com/nilc-nlp/coraa。
translated by 谷歌翻译
te reo m \ = aori（称为m \ = aori），新西兰的土著语言在语言技术中的资源不足。 m \ = aori扬声器是双语的，其中m \ = aori用英语进行了代码开关。不幸的是，M \ = AORI语言技术，语言检测和M \ = Aori-English对之间的代码转换检测的资源最少。英语和M \ = AORI都使用罗马衍生的拼字法制作基于规则的系统来检测语言和代码转换限制性。大多数M \ = AORI语言检测是由语言专家手动完成的。这项研究构建了66,016,807个单词的Aori英语双语数据库，并带有单词级语言注释。新西兰议会汉萨德辩论报告用于构建数据库。语言标签是使用特定语言规则和专家手册注释分配的。 M \ = AORI和英语的单词具有相同的拼写，但含义不同。这些词不能根据单词级的语言规则将其归类为M \ = AORI或英语。因此，需要手动注释。还报道了报告数据库的各个方面的分析，例如元数据，逐年分析，经常出现的单词，句子长度和n-grams。这里开发的数据库是新西兰Aotearoa的未来语言和语音技术开发的宝贵工具。遵循标签数据库的方法也可以遵循其他低资源的语言对。
translated by 谷歌翻译
声带煎炸或吱吱作响的声音是指以不规则的发光开口和低音为特征的语音质量。它以各种语言发生，并且在美国英语中很普遍，不仅可以标记词组结局，还用于社会语言因素和影响。由于其不规则的周期性，吱吱作响的声音挑战自动语音处理和识别系统，尤其是对于经常使用吱吱作响的语言。本文提出了一个深度学习模型，以检测流利的语音中的吱吱作响的声音。该模型由编码器和经过训练的分类器组成。编码器采用原始波形，并使用卷积神经网络学习表示。分类器被实现为多头完全连接的网络，该网络训练有素，可检测吱吱作响的声音，发声和音调，最后两个用于完善吱吱作响的预测。该模型经过对美国英语说话者的言语的培训和测试，并由训练有素的语音家注释。我们使用两个编码器评估了系统的性能：一个是为任务量身定制的，另一个是基于最新的无监督表示。结果表明，与看不见的数据相比，我们表现最佳的系统的回忆和F1得分有所改善。
translated by 谷歌翻译
在本文中，我们首先提供了述评最先进的情感语音转换研究以及现有的情绪语音数据库。然后，我们激励开发一种新颖的情绪语音数据库（ESD），这些数据库（ESD）解决了越来越多的研究需求。借鉴了本文，现在可以向研究界提供ESD数据库。ESD数据库由10名母语和10个母语的扬声器发表的350个平行话语组成，涵盖5个情感类别（中性，快乐，愤怒，悲伤和惊喜）。在受控的声学环境中记录了超过29小时的语音数据。该数据库适用于多扬声器和交叉语言情绪转换研究。如案例研究，我们在ESD数据库上实施了几种最先进的情绪转换系统。本文在释放释放时提供了对ESD的参考研究。
translated by 谷歌翻译
在语音交流中，如何说某物（副语言信息）与所说的（语言信息）至关重要。作为一种副语言信息，英语语音使用句子压力，这是句子中最重的突出，以传达重点。尽管句子压力的不同放置会传达出不同的强调含义，但如果话语在语言上相同，丢失了副语言信息，那么当前的语音翻译系统会返回相同的翻译。专注于重点，一种重点，我们建议使用词汇和语法设备将副语言信息映射到源语言中的语言领域。此方法使我们能够翻译释义的文本表示，而不是原始语音的转录，并获得保留副语言信息的翻译。作为第一步，我们介绍了一个英语语料库的集合，其中包含语音，该语音在焦点的放置以及相应的文本中不同，该文本旨在反映演讲的隐含含义。同样，对我们的语料库的分析表明，从副语言领域映射到语言领域涉及各种词汇和语法方法。我们分析的数据和见解将进一步提高对副语言翻译的研究。该语料库将通过最不发达国家和我们的网站发布。
translated by 谷歌翻译
孟加拉语是世界上说话最多的语言之一，全球有超过3亿的演讲者。尽管它很受欢迎，但由于缺乏多样化的开源数据集，对孟加拉语音识别系统的发展的研究受到阻碍。作为前进的道路，我们已经众包孟加拉语音语音数据集，这是句子级自动语音识别语料库。该数据集于Mozilla Common Voice平台上收集，是正在进行的广告系列的一部分，该活动已在2个月内收集了超过400个小时的数据，并且正在迅速增长。我们的分析表明，与OpenSLR孟加拉ASR数据集相比，该数据集具有更多的发言人，音素和环境多样性，这是最大的现有开源孟加拉语语音数据集。我们提供从数据集获得的见解，并讨论未来版本中需要解决的关键语言挑战。此外，我们报告了一些自动语音识别（ASR）算法的当前性能，并为将来的研究设定了基准。
translated by 谷歌翻译
低资源语言的自动语音识别（ASR）改善了语言少数群体的访问，以便人工智能（AI）提供的技术优势。在本文中，我们通过创建一个新的粤语数据集来解决香港广东语言的数据稀缺问题。我们的数据集多域粤语语料库（MDCC）由73.6小时的清洁阅读语音与成绩单配对，从香港的粤语有声读物收集。它结合了哲学，政治，教育，文化，生活方式和家庭领域，涵盖了广泛的主题。我们还查看所有现有的粤语数据集，并在两个最大的数据集（MDCC和公共语音ZH-HK）上执行实验。我们根据其语音类型，数据源，总大小和可用性分析现有数据集。使用Fairseq S2T变压器，最先进的ASR模型进行实验结果，显示了我们数据集的有效性。此外，我们通过在MDCC和常见的声音ZH-HK上应用多数据集学习来创建一个强大而强大的粤语ASR模型。
translated by 谷歌翻译
我们展示了哈萨克克坦命名实体识别的数据集的开发。该数据集是在哈萨克公开可用的注释Corpora的情况下建立的，以及包含简单但严谨的规则和示例的注释指南。基于IOB2计划的数据集注释是在第一个作者的监督下由两个本土哈萨克演讲者进行电视新闻文本。生成的数据集包含112,702个句子和25个实体类的136,333注释。最先进的机器学习模型自动化哈萨克人命名实体识别，具有最佳性能模型，在测试集上实现了97.22％的精确匹配。用于培训模型的注释数据集，指南和代码可从HTTPS://github.com/kaznerd自由下载4.0许可。
translated by 谷歌翻译
口吃是一种言语障碍，在此期间，语音流被非自愿停顿和声音重复打断。口吃识别是一个有趣的跨学科研究问题，涉及病理学，心理学，声学和信号处理，使检测很难且复杂。机器和深度学习的最新发展已经彻底彻底改变了语音领域，但是对口吃的识别受到了最小的关注。这项工作通过试图将研究人员从跨学科领域聚集在一起来填补空白。在本文中，我们回顾了全面的声学特征，基于统计和深度学习的口吃/不足分类方法。我们还提出了一些挑战和未来的指示。
translated by 谷歌翻译
本文分析了三种具有不同韵律系统的语言的违反语音数据集：英语，韩语和泰米尔语。我们检查39个声学测量值，反映了三个语音维度，包括语音质量，发音和韵律。作为多语言分析，通过可理解水平对声学测量的平均值进行检查。此外，执行自动清晰度分类以审查语言设置的最佳功能。分析表明发音特征，例如正确的辅音百分比，正确的元音百分比以及正确的音素比例为语言无关的测量。但是，语音质量和韵律特征通常通过语言呈现不同的方面。实验结果还表明，不同的语音维度对不同的语言起着更大的作用：英语的韵律，韩语的发音，韵律和泰米尔语的发音。本文有助于言语病理学，因为它在英语，韩语和泰米尔语构想中的可理解分类中区分了与语言无关和语言依赖性测量。
translated by 谷歌翻译
自动语音识别和文本到语音系统主要以监督方式培训，需要高质量，准确标记的语音数据集。在这项工作中，我们研究语音数据的常见问题，并为语音数据集的构建和交互式错误分析引入工具箱。施工工具基于K \“urzinger等。工作，并且，尽我们所知，数据集探索工具是世界上第一个这类开源工具。我们演示了如何应用这些工具来创建一个俄语语音数据集并分析现有语音数据集（多语种LibrisPeech，Mozilla Common语音）。该工具是开放的，作为Nemo框架的一部分。
translated by 谷歌翻译
芬兰语是一种具有多种方言的语言，不仅在口音（发音）方面彼此不同，而且在形态形式和词汇选择方面也不同。我们介绍了基于方言转录器和转录器自动检测扬声器方言的方法，以及由23个不同方言组成的数据集中的音频录制。我们的结果表明，通过组合两个模式来接收最佳精度，因为文本只达到57 \％的整体准确性，其中文本和音频达到85 \％。我们的代码，模型和数据在Github和Zenodo上公开发布。
translated by 谷歌翻译
在本文中，我们使用语言数据收集的现场方法讨论了四种低资源印度语语言的演讲语料库的过程中的工作 - Awadhi，Bhojpuri，Braj和Magahi。目前，语料库的总大小约为18小时（每种语言约4-5小时），并用语法信息进行转录和注释，例如词性标签，形态学特征和普遍的依赖关系。我们讨论了以这些语言收集数据的方法，其中大多数是在Covid-19大流行中心进行的，其中之一是为低收入群体带来一些额外的收入，说这些语言。在本文中，我们还讨论了这些语言中自动语音识别系统的基线实验的结果。
translated by 谷歌翻译
开发语音技术是对低资源语言的挑战，其中注释和原始语音数据稀疏。马耳他是一种这样的语言。近年来，对马耳他的计算处理有所增加，包括语音技术，但后者的资源仍然稀疏。在本文中，我们考虑提高这些语言的语音识别的数据增强技术，专注于马耳他作为测试用例。我们考虑三种不同类型的数据增强：无监督的培训，多语言培训和合成演讲的使用作为培训数据。目标是确定这些技术或它们的组合，是改善起始点是大约7小时转录语音的语言的语言的最有效。我们的结果表明，在这里研究了三种数据增强技术，导致我们在不使用语言模型的情况下实现15％的绝对增长。
translated by 谷歌翻译
识别语音情绪的语言不可知论的方法仍然是一个不完整和具有挑战性的任务。在本文中，我们使用Bangla和英语语言来评估与语音中的情感是否与语言无关。这项研究分类了以下情绪：幸福，愤怒，中立，悲伤，厌恶和恐惧。我们雇用了三种情绪言论，其中前两组是由孟加拉和英语语言的本土孟加拉语扬声器开发的。第三个是多伦多情感演讲（苔丝），由加拿大母语的英语发言者开发。我们仔细选择了语言无关的韵律特征，采用了支持向量机（SVM）模型，并进行了三个实验来执行我们的主张。在第一个实验中，我们单独测量三种语音组的性能。接下来是第二种实验，我们通过组合语音集来记录分类率。最后，在第三个实验中，我们通过培训和测试不同语音集来测量识别率。虽然这项研究表明，言语情感认可（SER）大多是语言无关的，但在识别出在这两种语言中的厌恶和恐惧之类的情绪状态时存在一些差异。此外，我们的调查推断出非母语人员通过言语传达情绪，就像以其母语在母语中表达自己。
translated by 谷歌翻译
研究界长期以来一直在非本地语音中研究了计算机辅助的发音训练（上尉）方法。研究人员致力于研究各种模型架构，例如贝叶斯网络和深度学习方法，以及分析语音信号的不同表示。尽管近年来取得了重大进展，但现有的CAPT方法仍无法以高精度检测发音误差（在40 \％-80 \％召回时只有60 \％精度）。关键问题之一是发音错误检测模型的可靠培训所需的语音错误的可用性较低。如果我们有一个可以模仿非本地语音并产生任何数量的训练数据的生成模型，那么检测发音错误的任务将容易得多。我们介绍了基于音素到音量（P2P），文本到语音（T2S）以及语音到语音（S2S）转换的三种创新技术，以生成正确发音和错误发音的合成语音。我们表明，这些技术不仅提高了三个机器学习模型的准确性，以检测发音错误，而且还有助于在现场建立新的最新技术。早期的研究使用了简单的语音生成技术，例如P2P转换，但仅是提高发音误差检测准确性的附加机制。另一方面，我们认为语音生成是检测发音误差的第一类方法。这些技术的有效性在检测发音和词汇应力误差的任务中进行了评估。评估中使用了非本地英语言语语料库。与最先进的方法相比，最佳提出的S2S技术将AUC度量误差的准确性从41 \％提高到41 \％从0.528提高到0.749。
translated by 谷歌翻译
我们为自然主义儿童和以英文为指导的语音介绍了句法依赖性树库（Macwhinney，2000年）。我们的注释在很大程度上遵循了通用依赖项目的准则（UD（Zeman等，2022）），并详细扩展了对会话语音独有的词汇/句法结构（反对书面文本）。与现有的UD风格的口语库以及其他儿童互动的依赖性语料库相比，我们的数据集具有（大量）的大小（n tusterances = 44,744; n of单词= 233，907），并包含来自一个的语音总共有10名儿童覆盖了年龄范围（18-66个月）。使用此数据集，我们问：（1）针对书面域名量身定制的最先进的依赖解析器将如何为自发对话中的不同对话者的语音执行吗？ （2）解析器表现与孩子的发展阶段之间有什么关系？为了解决这些问题，在正在进行的工作中，我们使用基于图的基于图和过渡的解析器进行了彻底的依赖解析器评估，这些解析器具有不同的高参数化，并从三种不同类型的室外书面文本进行培训：新闻，推文和学习者：数据。
translated by 谷歌翻译
在本文中，我们推出了一种新的通用依赖树木库，用于亚马逊尼亚的一种濒危语言：秘鲁在秘鲁说的Panoan语言Kakataibo。我们首先讨论实施的协作方法，事实证明，在本科生的计算语言课程的背景下创建树库有效。然后，我们描述了树库的一般细节以及针对拟议的注释实施的特定于语言的注意事项。我们最终对词性标记和句法依赖性解析进行了一些实验。我们专注于单语和转移学习设置，在这里我们研究了另一种Panoan语言资源的Shipibo-Konibo Treebos的影响。
translated by 谷歌翻译