自动语音识别(ASR)是一种能力,使程序能够将人类演讲进入书面形式。人工智能(AI)的最新发展导致基于深神经网络的高精度ASR系统,例如经常性神经网络传感器(RNN-T)。然而,这些方法的核心组件和所执行的操作从强大的生物对应,即人脑中脱离。另一方面,基于尖刺神经网络(SNNS)的生物启发模型中的当前发展,落后于准确性并主要关注小规模应用。在这项工作中,我们通过从大脑中发现的多样性神经和突触动态吸引灵感来重新审视生物学上可合理的模型并大大提高他们的能力。特别是,我们介绍了模拟轴体和轴突突触的神经连接概念。基于此,我们提出了具有丰富神经突触动态的新型深度学习单元,并将它们集成到RNN-T架构中。我们首次展示,与现有的深度学习模型相比,大规模ASR模型的生物学现实实际实施可以产生竞争性能水平。具体地,我们表明这种实现具有若干优点,例如降低的计算成本和更低的延迟,这对于语音识别应用至关重要。
translated by 谷歌翻译
Compared to conventional artificial neurons that produce dense and real-valued responses, biologically-inspired spiking neurons transmit sparse and binary information, which can also lead to energy-efficient implementations. Recent research has shown that spiking neural networks can be trained like standard recurrent neural networks using the surrogate gradient method. They have shown promising results on speech command recognition tasks. Using the same technique, we show that they are scalable to large vocabulary continuous speech recognition, where they are capable of replacing LSTMs in the encoder with only minor loss of performance. This suggests that they may be applicable to more involved sequence-to-sequence tasks. Moreover, in contrast to their recurrent non-spiking counterparts, they show robustness to exploding gradient problems without the need to use gates.
translated by 谷歌翻译
最近,基于注意的编码器 - 解码器(AED)模型对多个任务的端到端自动语音识别(ASR)显示了高性能。在此类模型中解决了过度控制,本文介绍了轻松关注的概念,这是一种简单地逐渐注入对训练期间对编码器 - 解码器注意重量的统一分配,其易于用两行代码实现。我们调查轻松关注跨不同AED模型架构和两个突出的ASR任务,华尔街日志(WSJ)和LibRisPeech的影响。我们发现,在用外部语言模型解码时,随着宽松的注意力训练的变压器始终如一地始终如一地遵循标准基线模型。在WSJ中,我们为基于变压器的端到端语音识别设置了一个新的基准,以3.65%的单词错误率,最优于13.1%的相对状态,同时仅引入单个HyperParameter。
translated by 谷歌翻译
短期可塑性(STP)是一种将腐烂记忆存储在大脑皮质突触中的机制。在计算实践中,已经使用了STP,但主要是在尖峰神经元的细分市场中,尽管理论预测它是对某些动态任务的最佳解决方案。在这里,我们提出了一种新型的经常性神经单元,即STP神经元(STPN),它确实实现了惊人的功能。它的关键机制是,突触具有一个状态,通过与偶然性的自我连接在时间上传播。该公式使能够通过时间返回传播来训练可塑性,从而导致一种学习在短期内学习和忘记的形式。 STPN的表现优于所有测试的替代方案,即RNN,LSTMS,其他具有快速重量和可区分可塑性的型号。我们在监督和强化学习(RL)以及协会​​检索,迷宫探索,Atari视频游戏和Mujoco Robotics等任务中证实了这一点。此外,我们计算出,在神经形态或生物电路中,STPN最大程度地减少了模型的能量消耗,因为它会动态降低个体突触。基于这些,生物学STP可能是一种强大的进化吸引子,可最大程度地提高效率和计算能力。现在,STPN将这些神经形态的优势带入了广泛的机器学习实践。代码可从https://github.com/neuromorphiccomputing/stpn获得
translated by 谷歌翻译
Recurrent sequence generators conditioned on input data through an attention mechanism have recently shown very good performance on a range of tasks including machine translation, handwriting synthesis [1, 2] and image caption generation [3]. We extend the attention-mechanism with features needed for speech recognition. We show that while an adaptation of the model used for machine translation in [2] reaches a competitive 18.7% phoneme error rate (PER) on the TIMIT phoneme recognition task, it can only be applied to utterances which are roughly as long as the ones it was trained on. We offer a qualitative explanation of this failure and propose a novel and generic method of adding location-awareness to the attention mechanism to alleviate this issue. The new method yields a model that is robust to long inputs and achieves 18% PER in single utterances and 20% in 10-times longer (repeated) utterances. Finally, we propose a change to the attention mechanism that prevents it from concentrating too much on single frames, which further reduces PER to 17.6% level.
translated by 谷歌翻译
Recurrent neural networks (RNNs) are a powerful model for sequential data. End-to-end training methods such as Connectionist Temporal Classification make it possible to train RNNs for sequence labelling problems where the input-output alignment is unknown. The combination of these methods with the Long Short-term Memory RNN architecture has proved particularly fruitful, delivering state-of-the-art results in cursive handwriting recognition. However RNN performance in speech recognition has so far been disappointing, with better results returned by deep feedforward networks. This paper investigates deep recurrent neural networks, which combine the multiple levels of representation that have proved so effective in deep networks with the flexible use of long range context that empowers RNNs. When trained end-to-end with suitable regularisation, we find that deep Long Short-term Memory RNNs achieve a test set error of 17.7% on the TIMIT phoneme recognition benchmark, which to our knowledge is the best recorded score.
translated by 谷歌翻译
梁搜索是端到端模型的主要ASR解码算法,生成树结构化假设。但是,最近的研究表明,通过假设合并进行解码可以通过可比或更好的性能实现更有效的搜索。但是,复发网络中的完整上下文与假设合并不兼容。我们建议在RNN传感器的预测网络中使用矢量定量的长期记忆单元(VQ-LSTM)。通过与ASR网络共同培训离散表示形式,可以积极合并假设以生成晶格。我们在总机语料库上进行的实验表明,提出的VQ RNN传感器改善了具有常规预测网络的换能器的ASR性能,同时还产生了具有相同光束尺寸的Oracle Word错误率(WER)的密集晶格。其他语言模型撤退实验还证明了拟议的晶格生成方案的有效性。
translated by 谷歌翻译
长期记忆(LSTM)经常性网络经常用于涉及时间序列数据(例如语音识别)的任务。与以前的LSTM加速器相比,它可以利用空间重量稀疏性或时间激活稀疏性,本文提出了一种称为“ Spartus”的新加速器,该加速器可利用时空的稀疏性来实现超低潜伏期推断。空间稀疏性是使用新的圆柱平衡的靶向辍学(CBTD)结构化修剪法诱导的,从而生成平衡工作负载的结构化稀疏重量矩阵。在Spartus硬件上运行的修剪网络可实现高达96%和94%的重量稀疏度,而Timit和LibrisPeech数据集的准确性损失微不足道。为了在LSTM中诱导时间稀疏性,我们将先前的Deltagru方法扩展到Deltalstm方法。将时空的稀疏与CBTD和Deltalstm相结合,可以节省重量存储器访问和相关的算术操作。 Spartus体系结构是可扩展的,并且在大小FPGA上实现时支持实时在线语音识别。 1024个神经元的单个deltalstm层的Spartus每样本延迟平均1 US。使用TIMIT数据集利用我们的测试LSTM网络上的时空稀疏性导致Spartus在其理论硬件性能上达到46倍的加速,以实现9.4 TOP/S有效批次1吞吐量和1.1 TOP/S/W PARTIC效率。
translated by 谷歌翻译
复发性神经网络(RNN)的可伸缩性受到每个时间步骤计算对先前时间步长输出的顺序依赖性的阻碍。因此,加快和扩展RNN的一种方法是减少每个时间步长所需的计算,而不是模型大小和任务。在本文中,我们提出了一个模型,该模型将封闭式复发单元(GRU)作为基于事件的活动模型,我们称为基于事件的GRU(EGRU),其中仅在收到输入事件(事件 - 基于其他单位。当与一次活跃的单位仅一小部分(活动 - 帕斯斯)相结合时,该模型具有比当前RNN的计算更高效的潜力。值得注意的是,我们模型中的活动 - 表格性也转化为梯度下降期间稀疏参数更新,从而将此计算效率扩展到训练阶段。我们表明,与现实世界中最新的经常性网络模型相比,EGRU表现出竞争性能,包括语言建模,同时在推理和培训期间自然保持高活动稀疏性。这为下一代重复网络奠定了基础,这些网络可扩展,更适合新型神经形态硬件。
translated by 谷歌翻译
经常性的神经网络(RNNS)是用于顺序建模的强大工具,但通常需要显着的过分识别和正则化以实现最佳性能。这导致在资源限制的环境中部署大型RNN的困难,同时还引入了近似参数选择和培训的并发症。为了解决这些问题,我们介绍了一种“完全张化的”RNN架构,该架构使用轻质的张力列车(TT)分解在每个反复电池内联合编码单独的权重矩阵。该方法代表了一种重量共享的新形式,其减少了多个数量级的模型大小,同时与标准RNN相比保持相似或更好的性能。图像分类和扬声器验证任务的实验表明了减少推理时间和稳定模型培训和封闭表选择的进一步益处。
translated by 谷歌翻译
本文介绍了阿拉伯语多方面自动语音识别的设计与开发。深度神经网络正在成为解决顺序数据问题的有效工具,特别是采用系统的端到端培训。阿拉伯语语音识别是一个复杂的任务,因为存在多种方言,非可用性的大型语言和遗失的声音。因此,这项工作的第一种贡献是开发具有完全或至少部分发声转录的大型多方面语料库。此外,开源语料库已从多个源收集,通过定义公共字符集来对转录中的非标准阿拉伯字母表进行标准化。第二款贡献是开发框架,用于培训实现最先进的性能的声学模型。网络架构包括卷积和复发层的组合。音频数据的频谱图特征在频率VS时域中提取并在网络中馈送。通过复发模型产生的输出帧进一步训练以使音频特征与其相应的转录序列对齐。使用具有Tetra-Gram语言模型的波束搜索解码器来执行序列对准。所提出的系统实现了14%的错误率,以前优于以前的系统。
translated by 谷歌翻译
大脑中尖刺神经元之间的沟通的事件驱动和稀疏性质对灵活和节能的AI来说具有很大的承诺。学习算法的最新进展已经证明,与标准经常性神经网络相比,可以有效地培训尖刺神经元的复发网络以实现竞争性能。尽管如此,随着这些学习算法使用错误 - 反复通过时间(BPTT),它们遭受了高的内存要求,慢慢训练,并且与在线学习不兼容。这将这些学习算法的应用限制为相对较小的网络和有限的时间序列长度。已经提出了具有较低计算和内存复杂性的BPTT的在线近似(E-PROP,OSTL),但在实践中也遭受内存限制,并且作为近似,不要倾销标准BPTT训练。在这里,我们展示了最近开发的BPTT替代方法,通过时间(FPTT)可以应用于尖峰神经网络。与BPTT不同,FPTT试图最大限度地减少损失的持续动态正常风险。结果,可以以在线方式计算FPTT,并且相对于序列长度具有固定的复杂性。与新型动态尖刺神经元模型结合时,液态常数神经元,我们表明SNNS培训了FPTT优于在线BPTT近似,并在时间分类任务上接近或超过离线BPTT精度。因此,这种方法使得在长期序列中以记忆友好的在线方式训练SNNS并向新颖和复杂的神经架构进行扩展。
translated by 谷歌翻译
格子形成了从自动语音识别系统产生的多个假设的紧凑型表示,并且已被证明可以提高与使用一个最佳假设的口语理解和语音转换等下游任务的性能。在这项工作中,我们展望了莱迪思提示在二次通过中抢救N-Best列表的有效性。我们用经常性网络编码格子,并培训注意Encoder-解码器模型,用于N-Best Rescoring。重新调用模型的重点模型在首先达到4-5%的相对字错误率和6-8%,注意到晶格和声学特征。我们展示了救援模型,注意了格格特优于模型,以注意力为N-Best假设。我们还研究了不同的方法来纳入格子编码器中的晶格重量,并展示他们对N-Best Rescoring的重要性。
translated by 谷歌翻译
经常性神经网络(RNN)经常用于建模脑功能和结构的方面。在这项工作中,我们培训了小型完全连接的RNN,以具有时变刺激的时间和流量控制任务。我们的结果表明,不同的RNN可以通过对不同的底层动态进行不同的RNN来解决相同的任务,并且优雅地降低的性能随着网络尺寸而降低,间隔持续时间增加,或者连接损坏。我们的结果对于量化通常用作黑匣子的模型的不同方面是有用的,并且需要预先理解以建模脑皮质区域的生物反应。
translated by 谷歌翻译
最近,语音界正在看到从基于深神经网络的混合模型移动到自动语音识别(ASR)的端到端(E2E)建模的显着趋势。虽然E2E模型在大多数基准测试中实现最先进的,但在ASR精度方面,混合模型仍然在当前的大部分商业ASR系统中使用。有很多实际的因素会影响生产模型部署决定。传统的混合模型,用于数十年的生产优化,通常擅长这些因素。在不为所有这些因素提供优异的解决方案,E2E模型很难被广泛商业化。在本文中,我们将概述最近的E2E模型的进步,专注于解决行业视角的挑战技术。
translated by 谷歌翻译
RNN-T模型由于其在线流媒体模式下运营的竞争力和能力,因此在文献和商业系统中广受欢迎。在这项工作中,我们进行了一项广泛的研究,比较了单调和原始RNN-T模型的几种预测网络体系结构。我们根据普通的最新构象编码器比较4种类型的预测网络,并在LibrisPeech和内部医学对话数据集上获得报告结果。我们的研究涵盖了离线批处理模式和在线流媒体方案。与以前的一些作品相反,我们的结果表明,当用作预测网络以及构象异构体编码器时,变压器并不总是胜过LSTM。受分数启发的启发,我们提出了一个新的简单预测网络体系结构N-CONCAT,它在我们在线流式传输基准测试中的表现优于其他。变压器和N-Gram降低的体系结构的表现非常相似,但在先前的上下文方面具有一些重要的不同行为。总体而言,与LSTM基线相比,我们获得了多达4.1%的相对相对改善,同时将预测网络参数降低了几乎数量级(8.4倍)。
translated by 谷歌翻译
扬声器日流是一个标签音频或视频录制的任务,与扬声器身份或短暂的任务标记对应于扬声器标识的类,以识别“谁谈到何时发表讲话”。在早期,对MultiSpeaker录音的语音识别开发了扬声器日益衰退算法,以使扬声器自适应处理能够实现扬声器自适应处理。这些算法还将自己的价值作为独立应用程序随着时间的推移,为诸如音频检索等下游任务提供特定于扬声器的核算。最近,随着深度学习技术的出现,这在讲话应用领域的研究和实践中引起了革命性的变化,对扬声器日益改善已经进行了快速进步。在本文中,我们不仅审查了扬声器日益改善技术的历史发展,而且还审查了神经扬声器日益改善方法的最新进步。此外,我们讨论了扬声器日复速度系统如何与语音识别应用相结合,以及最近深度学习的激增是如何引领联合建模这两个组件互相互补的方式。通过考虑这种令人兴奋的技术趋势,我们认为本文对社区提供了有价值的贡献,以通过巩固具有神经方法的最新发展,从而促进更有效的扬声器日益改善进一步进展。
translated by 谷歌翻译
Several variants of the Long Short-Term Memory (LSTM) architecture for recurrent neural networks have been proposed since its inception in 1995. In recent years, these networks have become the state-of-the-art models for a variety of machine learning problems. This has led to a renewed interest in understanding the role and utility of various computational components of typical LSTM variants. In this paper, we present the first large-scale analysis of eight LSTM variants on three representative tasks: speech recognition, handwriting recognition, and polyphonic music modeling. The hyperparameters of all LSTM variants for each task were optimized separately using random search, and their importance was assessed using the powerful fANOVA framework. In total, we summarize the results of 5400 experimental runs (≈ 15 years of CPU time), which makes our study the largest of its kind on LSTM networks. Our results show that none of the variants can improve upon the standard LSTM architecture significantly, and demonstrate the forget gate and the output activation function to be its most critical components. We further observe that the studied hyperparameters are virtually independent and derive guidelines for their efficient adjustment.
translated by 谷歌翻译
穗状花序的神经形状硬件占据了深度神经网络(DNN)的更节能实现的承诺,而不是GPU的标准硬件。但这需要了解如何在基于事件的稀疏触发制度中仿真DNN,否则能量优势丢失。特别地,解决序列处理任务的DNN通常采用难以使用少量尖峰效仿的长短期存储器(LSTM)单元。我们展示了许多生物神经元的面部,在每个尖峰后缓慢的超积极性(AHP)电流,提供了有效的解决方案。 AHP电流可以轻松地在支持多舱神经元模型的神经形状硬件中实现,例如英特尔的Loihi芯片。滤波近似理论解释为什么AHP-Neurons可以模拟LSTM单元的功能。这产生了高度节能的时间序列分类方法。此外,它为实现了非常稀疏的大量大型DNN来实现基础,这些大型DNN在文本中提取单词和句子之间的关系,以便回答有关文本的问题。
translated by 谷歌翻译
超低功耗本地信号处理是始终安装在设备上的边缘应用的关键方面。尖刺神经网络的神经形态处理器显示出很大的计算能力,同时根据该领域的需要满足有限的电力预算。在这项工作中,我们提出了尖峰神经动力学作为扩张时间卷积的自然替代品。我们将这个想法扩展到WaveSense,这是一个由Wavenet Architects的激发灵感的尖峰神经网络。WaveSense使用简单的神经动力学,固定时间常数和简单的前馈结构,因此特别适用于神经形态实现。我们在几个数据集中测试此模型的功能,以用于关键字斑点。结果表明,该网络击败了其他尖刺神经网络的领域,并达到了诸如CNN和LSTM的人工神经网络的最先进的性能。
translated by 谷歌翻译