Automatic speech recognition (ASR) meets more informal and free-form input data as voice user interfaces and conversational agents such as the voice assistants such as Alexa, Google Home, etc., gain popularity. Conversational speech is both the most difficult and environmentally relevant sort of data for speech recognition. In this paper, we take a linguistic perspective, and take the French language as a case study toward disambiguation of the French homophones. Our contribution aims to provide more insight into human speech transcription accuracy in conditions to reproduce those of state-of-the-art ASR systems, although in a much focused situation. We investigate a case study involving the most common errors encountered in the automatic transcription of French language.
translated by 谷歌翻译
最近围绕语言处理模型的复杂性的最新炒作使人们对机器获得了类似人类自然语言的指挥的乐观情绪。人工智能中自然语言理解的领域声称在这一领域取得了长足的进步，但是，在这方面和其他学科中使用“理解”的概念性清晰，使我们很难辨别我们实际上有多近的距离。目前的方法和剩余挑战的全面，跨学科的概述尚待进行。除了语言知识之外，这还需要考虑我们特定于物种的能力，以对，记忆，标签和传达我们（足够相似的）体现和位置经验。此外，测量实际约束需要严格分析当前模型的技术能力，以及对理论可能性和局限性的更深入的哲学反思。在本文中，我将所有这些观点（哲学，认知语言和技术）团结在一起，以揭开达到真实（人类般的）语言理解所涉及的挑战。通过解开当前方法固有的理论假设，我希望说明我们距离实现这一目标的实际程度，如果确实是目标。
translated by 谷歌翻译
基于变压器的语言模型最近在许多自然语言任务中取得了显着的结果。但是，通常通过利用大量培训数据来实现排行榜的性能，并且很少通过将明确的语言知识编码为神经模型。这使许多人质疑语言学对现代自然语言处理的相关性。在本文中，我介绍了几个案例研究，以说明理论语言学和神经语言模型仍然相互关联。首先，语言模型通过提供一个客观的工具来测量语义距离，这对语言学家很有用，语义距离很难使用传统方法。另一方面，语言理论通过提供框架和数据源来探究我们的语言模型，以了解语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法 - 听觉界面的不同方面。在论文的第一部分中，我将语言模型应用于单词类灵活性的问题。我将Mbert作为语义距离测量的来源，我提供了有利于将单词类灵活性分析为方向过程的证据。在论文的第二部分中，我提出了一种方法来测量语言模型中间层的惊奇方法。我的实验表明，包含形态句法异常的句子触发了语言模型早期的惊喜，而不是语义和常识异常。最后，在论文的第三部分中，我适应了一些心理语言学研究，以表明语言模型包含了论证结构结构的知识。总而言之，我的论文在自然语言处理，语言理论和心理语言学之间建立了新的联系，以为语言模型的解释提供新的观点。
translated by 谷歌翻译
自动语音识别（ASR）服务无处不在，将语音转换为Amazon's Alexa，Google助手和Microsoft的Cortana等系统的文本。但是，研究人员已经确定了种族群体和国籍的特定英语口音之间的ASR表现的偏见。在本文中，我们通过大规模审核将其与历史先例和定量相关联，从定性地扩展了这一讨论。语言的标准化和使用语言维持全球和政治权力的使用在历史上发挥了重要作用，我们解释说，这表明ASR服务对当今英语说话者的行为方式表明了相似之处。然后，使用来自Speakent Accent Archive的大量和全球数据集，其中包括2700多名在171个不同国家 /地区出生的英语演讲者，我们对一些最受欢迎的英语ASR服务进行了国际审核。我们表明，绩效差异的存在是说话者的母语是否是英语，即使在控制多种语言协变量时，这些差异与说话者出生国家的政治统一性具有统计学意义的关系美国的地缘政治力量。
translated by 谷歌翻译
代码切换是在对话期间交换语言时的语音现象。尽管对会话语言中的代码切换的自发性，但大多数现有工程通过读取语音而不是自发的语音来收集代码切换数据。Ascend（一个自发的中国英语数据集）介绍了香港收集的自发多转对话对话中英语代码切换语料库的高质量资源。我们报告了提升的设计和收集语音数据的程序，包括在这项工作中的注释。上升包括23个双语，这些双语流利，汉英都流利，而且由9.23小时的清洁语音组成。
translated by 谷歌翻译
语法提示有时具有自然语言的单词含义。例如，英语单词顺序规则限制了句子的单词顺序，例如“狗咀嚼骨头”，即使可以从世界知识和合理性中推断出“狗”作为代理人和“骨头”的状态。量化这种冗余的发生频率，以及冗余水平如何在类型上多样化的语言中变化，可以阐明语法的功能和演变。为此，我们在英语和俄语中进行了一个行为实验，并进行了跨语言计算分析，以测量从自然主义文本中提取的及物子句中语法线索的冗余性。从自然发生的句子中提取的主题，动词和物体（按随机顺序和形态标记）提出了英语和俄罗斯说话者（n = 484），并被要求确定哪个名词是该动作的推动者。两种语言的准确性都很高（英语约为89％，俄语为87％）。接下来，我们在类似的任务上训练了神经网络机分类器：预测主题对象三合会中的哪个名义是主题。在来自八个语言家庭的30种语言中，性能始终很高：中位准确性为87％，与人类实验中观察到的准确性相当。结论是，语法提示（例如单词顺序）对于仅在10-15％的自然句子中传达了代理和耐心是必要的。然而，他们可以（a）提供重要的冗余来源，（b）对于传达无法从单词中推断出的预期含义至关重要，包括对人类互动的描述，在这些含义中，角色通常是可逆的（例如，雷（Ray）帮助lu/ Lu帮助雷），表达了非典型的含义（例如，“骨头咀嚼狗”。）。
translated by 谷歌翻译
The success of the large neural language models on many NLP tasks is exciting. However, we find that these successes sometimes lead to hype in which these models are being described as "understanding" language or capturing "meaning". In this position paper, we argue that a system trained only on form has a priori no way to learn meaning. In keeping with the ACL 2020 theme of "Taking Stock of Where We've Been and Where We're Going", we argue that a clear understanding of the distinction between form and meaning will help guide the field towards better science around natural language understanding.
translated by 谷歌翻译
口语理解（SLU）是大多数人机相互作用系统中的核心任务。随着智能家居，智能手机和智能扬声器的出现，SLU已成为该行业的关键技术。在经典的SLU方法中，自动语音识别（ASR）模块将语音信号转录为文本表示，自然语言理解（NLU）模块从中提取语义信息。最近，基于深神经网络的端到端SLU（E2E SLU）已经获得了动力，因为它受益于ASR和NLU部分的联合优化，因此限制了管道架构的误差效应的级联反应。但是，对于E2E模型用于预测语音输入的概念和意图的实际语言特性知之甚少。在本文中，我们提出了一项研究，以确定E2E模型执行SLU任务的信号特征和其他语言特性。该研究是在必须处理非英语（此处法语）语音命令的智能房屋的应用领域进行的。结果表明，良好的E2E SLU性能并不总是需要完美的ASR功能。此外，结果表明，与管道模型相比，E2E模型在处理背景噪声和句法变化方面具有出色的功能。最后，更细粒度的分析表明，E2E模型使用输入信号的音调信息来识别语音命令概念。本文概述的结果和方法提供了一个跳板，以进一步分析语音处理中的E2E模型。
translated by 谷歌翻译
扬声器日流是一个标签音频或视频录制的任务，与扬声器身份或短暂的任务标记对应于扬声器标识的类，以识别“谁谈到何时发表讲话”。在早期，对MultiSpeaker录音的语音识别开发了扬声器日益衰退算法，以使扬声器自适应处理能够实现扬声器自适应处理。这些算法还将自己的价值作为独立应用程序随着时间的推移，为诸如音频检索等下游任务提供特定于扬声器的核算。最近，随着深度学习技术的出现，这在讲话应用领域的研究和实践中引起了革命性的变化，对扬声器日益改善已经进行了快速进步。在本文中，我们不仅审查了扬声器日益改善技术的历史发展，而且还审查了神经扬声器日益改善方法的最新进步。此外，我们讨论了扬声器日复速度系统如何与语音识别应用相结合，以及最近深度学习的激增是如何引领联合建模这两个组件互相互补的方式。通过考虑这种令人兴奋的技术趋势，我们认为本文对社区提供了有价值的贡献，以通过巩固具有神经方法的最新发展，从而促进更有效的扬声器日益改善进一步进展。
translated by 谷歌翻译
大规模的语言技术越来越多地用于与人类在不同情况下的各种形式的交流中。这些技术的一种特殊用例是对话剂，它会根据提示和查询输出自然语言文本。这种参与方式提出了许多社会和道德问题。例如，将对话剂与人类规范或价值观相结合意味着什么？它们应该与哪些规范或价值观保持一致？如何实现这一目标？在本文中，我们提出了许多步骤来帮助回答这些问题。我们首先要对对话代理人和人类对话者之间语言交流的基础进行哲学分析。然后，我们使用此分析来识别和制定理想的对话规范，这些规范可以控制人类与对话代理之间的成功语言交流。此外，我们探讨了如何使用这些规范来使对话剂与在一系列不同的话语领域中的人类价值相结合。最后，我们讨论了我们对与这些规范和价值观一致的对话代理设计的建议的实际含义。
translated by 谷歌翻译
孟加拉语是世界上说话最多的语言之一，全球有超过3亿的演讲者。尽管它很受欢迎，但由于缺乏多样化的开源数据集，对孟加拉语音识别系统的发展的研究受到阻碍。作为前进的道路，我们已经众包孟加拉语音语音数据集，这是句子级自动语音识别语料库。该数据集于Mozilla Common Voice平台上收集，是正在进行的广告系列的一部分，该活动已在2个月内收集了超过400个小时的数据，并且正在迅速增长。我们的分析表明，与OpenSLR孟加拉ASR数据集相比，该数据集具有更多的发言人，音素和环境多样性，这是最大的现有开源孟加拉语语音数据集。我们提供从数据集获得的见解，并讨论未来版本中需要解决的关键语言挑战。此外，我们报告了一些自动语音识别（ASR）算法的当前性能，并为将来的研究设定了基准。
translated by 谷歌翻译
日常生活中交流最关键的方面之一是言语识别。基于自然语言处理的语音识别是将一个系统转换为另一个系统的基本要素之一。在本文中，我们创建了一个界面，将语音和其他听觉输入转换为使用数字过滤器的文本。与这种转换的许多方法相反，语言缺陷偶尔出现，性别识别，语音识别，失败（无法识别声音）和性别识别失败。由于涉及技术问题，我们开发了一个程序，该程序充当调解人，以防止启动软件问题，以消除这种小偏差。其计划的MFCC和HMM与其AI系统同步。结果，已经避免了技术错误。
translated by 谷歌翻译
基于自动语音识别（ASR）的相互作用已被广泛使用，语音输入越来越多地用于创建文档。但是，由于没有简单的方法可以区分发出的命令和语音输入所需的文本，因此很难识别和纠正错误的认可，这意味着需要手动编辑和更正文档。符号和命令的输入也很具有挑战性，因为这些输入可能被误认为是文本字母。为了解决这些问题，本研究提出了一种称为dualVoice的语音交互方法，可以用它以普通语音以低语的语音和字母输入命令。所提出的方法除了常规麦克风外不需要任何专门的硬件，从而实现了完整的免提互动。该方法可以在已经可用的各种情况下使用，从文本输入到移动/可穿戴计算。在这项研究中设计了两个神经网络，一个是为了区分语言语音的正常语音，第二个是为了识别窃窃私语的语音。然后开发了文本输入系统的原型，以显示如何在语音文本输入中使用正常和耳语的语音。还讨论了使用DualVoice的其他潜在应用。
translated by 谷歌翻译
研究界长期以来一直在非本地语音中研究了计算机辅助的发音训练（上尉）方法。研究人员致力于研究各种模型架构，例如贝叶斯网络和深度学习方法，以及分析语音信号的不同表示。尽管近年来取得了重大进展，但现有的CAPT方法仍无法以高精度检测发音误差（在40 \％-80 \％召回时只有60 \％精度）。关键问题之一是发音错误检测模型的可靠培训所需的语音错误的可用性较低。如果我们有一个可以模仿非本地语音并产生任何数量的训练数据的生成模型，那么检测发音错误的任务将容易得多。我们介绍了基于音素到音量（P2P），文本到语音（T2S）以及语音到语音（S2S）转换的三种创新技术，以生成正确发音和错误发音的合成语音。我们表明，这些技术不仅提高了三个机器学习模型的准确性，以检测发音错误，而且还有助于在现场建立新的最新技术。早期的研究使用了简单的语音生成技术，例如P2P转换，但仅是提高发音误差检测准确性的附加机制。另一方面，我们认为语音生成是检测发音误差的第一类方法。这些技术的有效性在检测发音和词汇应力误差的任务中进行了评估。评估中使用了非本地英语言语语料库。与最先进的方法相比，最佳提出的S2S技术将AUC度量误差的准确性从41 \％提高到41 \％从0.528提高到0.749。
translated by 谷歌翻译
发现别人认为是我们信息收集策略的关键方面。现在，人们可以积极利用信息技术来寻找和理解他人的想法，这要归功于越来越多的意见资源（例如在线评论网站和个人博客）的越来越多。由于其在理解人们的意见方面的关键功能，因此情感分析（SA）是一项至关重要的任务。另一方面，现有的研究主要集中在英语上，只有少量研究专门研究低资源语言。对于情感分析，这项工作根据用户评估提供了一个新的多级乌尔都语数据集。高音扬声器网站用于获取乌尔都语数据集。我们提出的数据集包括10,000项评论，这些评论已被人类专家精心归类为两类：正面，负面。这项研究的主要目的是构建一个手动注释的数据集进行乌尔都语情绪分析，并确定基线结果。采用了五种不同的词典和规则的算法，包括NaiveBayes，Stanza，TextBlob，Vader和Flair，实验结果表明，其精度为70％的天赋优于其他经过测试的算法。
translated by 谷歌翻译
自然语言处理的机器学习快速进步有可能改变有关人类学习语言的辩论。但是，当前人工学习者和人类的学习环境和偏见以削弱从学习模拟获得的证据的影响的方式分歧。例如，当今最有效的神经语言模型接受了典型儿童可用的语言数据量的大约一千倍。为了增加计算模型的可学习性结果的相关性，我们需要培训模型学习者，而没有比人类具有显着优势的学习者。如果合适的模型成功地获得了一些目标语言知识，则可以提供一个概念证明，即在假设的人类学习方案中可以学习目标。合理的模型学习者将使我们能够进行实验操作，以对学习环境中的变量进行因果推断，并严格测试史密斯风格的贫困声明，主张根据人类对人类的先天语言知识，基于有关可学习性的猜测。由于实用和道德的考虑因素，人类受试者将永远无法实现可比的实验，从而使模型学习者成为必不可少的资源。到目前为止，试图剥夺当前模型的不公平优势，为关键语法行为（例如可接受性判断）获得亚人类结果。但是，在我们可以合理地得出结论，语言学习需要比当前模型拥有更多的特定领域知识，我们必须首先以多模式刺激和多代理互动的形式探索非语言意见，以使学习者更有效地学习学习者来自有限的语言输入。
translated by 谷歌翻译
口吃是一种言语障碍，在此期间，语音流被非自愿停顿和声音重复打断。口吃识别是一个有趣的跨学科研究问题，涉及病理学，心理学，声学和信号处理，使检测很难且复杂。机器和深度学习的最新发展已经彻底彻底改变了语音领域，但是对口吃的识别受到了最小的关注。这项工作通过试图将研究人员从跨学科领域聚集在一起来填补空白。在本文中，我们回顾了全面的声学特征，基于统计和深度学习的口吃/不足分类方法。我们还提出了一些挑战和未来的指示。
translated by 谷歌翻译
在本文中，我们首先提供了述评最先进的情感语音转换研究以及现有的情绪语音数据库。然后，我们激励开发一种新颖的情绪语音数据库（ESD），这些数据库（ESD）解决了越来越多的研究需求。借鉴了本文，现在可以向研究界提供ESD数据库。ESD数据库由10名母语和10个母语的扬声器发表的350个平行话语组成，涵盖5个情感类别（中性，快乐，愤怒，悲伤和惊喜）。在受控的声学环境中记录了超过29小时的语音数据。该数据库适用于多扬声器和交叉语言情绪转换研究。如案例研究，我们在ESD数据库上实施了几种最先进的情绪转换系统。本文在释放释放时提供了对ESD的参考研究。
translated by 谷歌翻译
对于大部分现实生活中的话语，其意图不能仅由它们的语义或句法特征决定。尽管并非所有的社会语言和务实信息都可以数字化，但至少语音特征在理解口语中是必不可少的。尤其是在诸如韩国人之类的头部最终语言中，句子 - 最终韵律在识别说话者的意图方面非常重要。本文提出了一个系统，该系统鉴于其笔录在某些情况下使用辅助声学特征，可以识别出口语的固有意图。这里的要点是对于歧视意图需要声学提示的情况。因此，提出的分类系统决定给定的话语是利用来自头部金属的语调依赖性的片段，陈述，问题，命令还是命令/命令。基于对参与数据注释的韩语的直观理解，我们构建了一个网络，该网络识别语音的意图，并通过测试句子验证其实用性。该系统如果与最新的语音识别器结合在一起，则预计将灵活地插入各种语言理解模块中。
translated by 谷歌翻译
在本文中，我们使用语言数据收集的现场方法讨论了四种低资源印度语语言的演讲语料库的过程中的工作 - Awadhi，Bhojpuri，Braj和Magahi。目前，语料库的总大小约为18小时（每种语言约4-5小时），并用语法信息进行转录和注释，例如词性标签，形态学特征和普遍的依赖关系。我们讨论了以这些语言收集数据的方法，其中大多数是在Covid-19大流行中心进行的，其中之一是为低收入群体带来一些额外的收入，说这些语言。在本文中，我们还讨论了这些语言中自动语音识别系统的基线实验的结果。
translated by 谷歌翻译