减少潜伏期和模型大小一直是实时自动语音识别（ASR）应用程序方案的重要研究问题。沿着这个方向，模型量化已成为压缩神经网络并降低计算成本的越来越流行的方法。大多数现有的实用ASR系统都采用训练后8位量化。为了在不引入额外的性能回归的情况下达到更高的压缩率，在这项研究中，我们建议开发具有本机量化培训的4位ASR模型，该模型利用天然整数操作有效地优化培训和推理。我们对基于最新构象体的ASR模型进行了两个实验，以评估我们提出的量化技术。首先，我们探讨了不同精度对重量和激活量化对LibrisPeech数据集的影响，并获得了与Float32模型相比，获得了7.7倍尺寸的无损4位构象异构体模型。此后，我们首次研究并揭示了在使用大型数据集训练的实用ASR系统上的4位量化的可行性，并产生了具有4位混合重量和8位权重的无损构象体ASR模型与FLOAT32模型相比，尺寸减小了5倍。
translated by 谷歌翻译
在本文中，我们提出了一个动态的级联编码器自动语音识别（ASR）模型，该模型统一了不同部署方案的模型。此外，该模型可以显着降低模型尺寸和功耗而不会损失质量。也就是说，使用动态级联编码器模型，我们探索了三种技术，以最大程度地提高每个模型大小的性能：1）在共享编码器时为每个子模型使用单独的解码器；2）使用漏斗 - 提高编码器效率；3）平衡因果关系的大小，以提高质量和适合部署限制。总体而言，与基线级联编码器模型相比，拟议的大中等模型的尺寸较小30％，并将功耗降低了33％。统一大型，中和小型模型的三重大小模型可实现37％的总尺寸减少，而质量损失最小，同时大大减少了拥有单独模型的工程工作。
translated by 谷歌翻译
近年来，在设备上的演讲识别（ASR）的个性化已经爆炸性增长，这在很大程度上是由于个人助理功能在移动设备和智能家居扬声器上越来越受欢迎。在这项工作中，我们提出了个人VAD 2.0，这是一种个性化的语音活动探测器，可检测目标扬声器的语音活动，作为流媒体上的ASR系统的一部分。尽管以前的概念证明研究已经验证了个人VAD的有效性，但在生产中可以使用该模型之前，仍然存在一些关键的挑战：首先，在招生和无人列的场景中，质量必须令人满意。其次，它应该以流媒体方式运行。最后，型号的大小应足够小，以适合有限的延迟和CPU/内存预算。为了满足多方面的要求，我们提出了一系列新颖的设计：1）高级扬声器嵌入调制方法； 2）一种新的培训范式，以概括为无数的条件； 3）用于延迟和资源限制的体系结构和运行时优化。对现实语音识别系统的广泛实验证明了我们提出的方法的最新性能。
translated by 谷歌翻译
The rising popularity of intelligent mobile devices and the daunting computational cost of deep learning-based models call for efficient and accurate on-device inference schemes. We propose a quantization scheme that allows inference to be carried out using integer-only arithmetic, which can be implemented more efficiently than floating point inference on commonly available integer-only hardware. We also co-design a training procedure to preserve end-to-end model accuracy post quantization. As a result, the proposed quantization scheme improves the tradeoff between accuracy and on-device latency. The improvements are significant even on MobileNets, a model family known for run-time efficiency, and are demonstrated in ImageNet classification and COCO detection on popular CPUs.
translated by 谷歌翻译
在本文中，我们提出了一个名为Wenet的开源，生产第一和生产准备的语音识别工具包，其中实现了一种新的双通方法，以统一流传输和非流媒体端到端（E2E）语音识别单一模型。 WENET的主要动机是缩放研究与E2E演示识别模型的生产之间的差距。 Wenet提供了一种有效的方法，可以在几个真实情景中运送ASR应用程序，这是其他开源E2E语音识别工具包的主要差异和优势。在我们的工具包中，实现了一种新的双通方法。我们的方法提出了一种基于动态的基于块的关注策略，变压器层，允许任意右上下文长度修改在混合CTC /注意架构中。只有更改块大小，可以轻松控制推理延迟。然后，CTC假设被注意力解码器重新筛选以获得最终结果。我们在使用WENET上的Aishell-1数据集上的实验表明，与标准的非流式变压器相比，我们的模型在非流式ASR中实现了5.03 \％相对字符的误差率（CER）。在模型量化之后，我们的模型执行合理的RTF和延迟。
translated by 谷歌翻译
Recurrent neural networks (RNN) are the backbone of many text and speech applications. These architectures are typically made up of several computationally complex components such as; non-linear activation functions, normalization, bi-directional dependence and attention. In order to maintain good accuracy, these components are frequently run using full-precision floating-point computation, making them slow, inefficient and difficult to deploy on edge devices. In addition, the complex nature of these operations makes them challenging to quantize using standard quantization methods without a significant performance drop. We present a quantization-aware training method for obtaining a highly accurate integer-only recurrent neural network (iRNN). Our approach supports layer normalization, attention, and an adaptive piecewise linear (PWL) approximation of activation functions, to serve a wide range of state-of-the-art RNNs. The proposed method enables RNN-based language models to run on edge devices with $2\times$ improvement in runtime, and $4\times$ reduction in model size while maintaining similar accuracy as its full-precision counterpart.
translated by 谷歌翻译
我们为250k参数feedforward，流媒体，无状态关键字发现模型的所有组件的所有组件提出了一种新型的2阶段次级量化量化训练算法。对于第一阶段，我们使用tanh（。）在致密层的重量上使用非线性转换来调整最近提出的量化技术。在第二阶段，我们在网络的其余部分上使用线性量化方法，包括其他参数（偏见，增益，batchnorm），输入和激活。我们进行大规模实验，对26,000小时的去识别生产，远场和近场音频数据进行培训（对4,000小时的数据进行评估）。我们在两个嵌入式芯片组设置中组织结果：a）具有商品臂霓虹灯指令套件和8位容器，我们使用sub 8位权重（4、5、8位）和8位的精度，CPU和内存结果 - 网络其余部分的量化； b）具有现成的神经网络加速器，用于一系列重量位宽度（1和5位），同时提出准确性结果，我们预测记忆利用率的减少。在两种配置中，我们的结果都表明，提出的算法可以实现：a）以虚假拒绝率（FRR）的虚假检测率（FDR）在检测错误权衡（DET）曲线上具有完整浮点模型的操作点（det）曲线的奇偶校验。 ; b）计算和内存的显着降低，最大提高了CPU消耗量的3倍，并且记忆消耗改善了4倍以上。
translated by 谷歌翻译
我们报告了激进的量化策略，这些策略极大地加速了复发性神经网络传感器（RNN-T）的推理。我们使用4位整数表示进行权重和激活，并应用量化意识训练（QAT）来重新训练完整模型（声学编码器和语言模型）并实现近乎ISO的准确性。我们表明，根据网络本地属性量身定制的自定义量化方案对于在限制QAT的计算开销的同时，至关重要。密度比语言模型融合已显示出在RNN-T工作负载上的准确性提高，但严重增加了推理的计算成本。我们表明，我们的量化策略可以使用大型宽度宽度进行假设搜索，同时实现与流媒体兼容的运行时间，并且与完整的Precision模型相比，我们可以实现与流相兼容的运行时间和7.6 $ \ times $的完整模型压缩比。通过硬件仿真，我们估计端到端量化的RNN-T（包括LM Fusion）的3.4 $ \ times $从fp16到INT4，导致实时因子（RTF）为0.06。在NIST HUB5 2000，HUB5 2001和RT-03测试集中，我们保留了与LM Fusion相关的大部分收益，将平均WER提高了$ 1.5％。
translated by 谷歌翻译
我们提出了一种针对8位神经网络加速器的新型8位量化感知训练（S8BQAT）方案。我们的方法灵感来自Lloyd-Max压缩理论，其实际适应性适应训练期间可行的计算开销。通过量化质心源自32位基线，我们使用多区域绝对余弦（MRACOS）正规器增强训练损失，该培训将重量汇总到其最近的质心，有效地充当伪压缩机。此外，引入了定期调用的硬压缩机，以通过模拟运行时模型重量量化来提高收敛速率。我们将S8BQAT应用于语音识别任务，使用经常性神经网络TransDucer（RNN-T）体系结构。使用S8BQAT，我们能够将模型参数大小增加，以将单词错误率相对降低4-16％，同时仍将延迟提高5％。
translated by 谷歌翻译
设备的端到端（E2E）模型已显示出对质量和延迟的英语语音搜索任务的常规模型的改进。 E2E模型还显示了多语言自动语音识别（ASR）的有希望的结果。在本文中，我们将以前的容量解决方案扩展到流应用程序，并提出流媒体多语言E2E ASR系统，该系统在设备上完全运行，质量和延迟与单个单语言模型相当。为了实现这一目标，我们提出了一个编码器端量模型和一个终端（EOU）联合层，以提高质量和延迟权衡。我们的系统以语言不可知论的方式构建，允许它实时支持本条件的代码切换。为了解决大型模型的可行性问题，我们进行了设备分析，并用最近开发的嵌入解码器代替了耗时的LSTM解码器。通过这些更改，我们设法在不到实时的时间内在移动设备上运行了这样的系统。
translated by 谷歌翻译
我们提出了一种简单有效的自我监督学习方法，以供语音识别。该方法以随机预测量化器生成的离散标签的形式学习了一个模型，以预测蒙版的语音信号。尤其是量化器的语音输入带有随机初始化的矩阵，并在随机限制的代码簿中进行最近的邻居查找。在自我监督的学习过程中，矩阵和密码簿均未更新。由于未对随机预测量化器进行训练，并与语音识别模型分开，因此该设计使该方法具有灵活性，并且与通用语音识别体系结构兼容。在LibrisPeech上，我们的方法与以前的工作相比，使用非流式模型获得了与以前的工作相似的单词率，并且比WAV2VEC 2.0和WAP2VEC 2.0和w2v-bert提供了较低的单词率率和延迟。在多语言任务上，该方法还提供了与WAV2VEC 2.0和W2V-bert的显着改进。
translated by 谷歌翻译
流动自动语音识别（ASR）模型更为流行，适合基于语音的应用程序。但是，非流入模型在查看整个音频上下文时提供了更好的性能。为了利用语音搜索等流媒体应用程序中非流游模型的好处，它通常在第二通过重新评分模式下使用。使用蒸汽模型生成的候选假设是使用非流程模型重新评分的。在这项工作中，我们在独立和重新评分模式的Flipkart语音搜索任务上评估了基于注意力的端到端ASR模型。这些模型基于收听拼写（LAS）编码器编码器架构。我们基于LSTM，变压器和构象异构体进行不同的编码器变化。我们将这些模型的延迟要求与它们的性能进行比较。总体而言，我们表明，变压器模型提供了可接受的延迟要求。我们报告的相对改善约为16％，第二次通过LAS重新评分，延迟开销低于5ms。我们还强调了CNN前端使用变压器体系结构的重要性，以达到可比的单词错误率（WER）。此外，我们观察到，在第二次通过重新评分模式下，所有编码器都提供了相似的好处，而在独立文本生成模式下，性能差异很明显。
translated by 谷歌翻译
深入学习模型的压缩在将这些模型部署到边缘设备方面具有根本重要性。在压缩期间，在压缩期间结合硬件模型和应用限制可以最大限度地提高优势，但使其专为一种情况而设计。因此，压缩需要自动化。搜索最佳压缩方法参数被认为是一个优化问题。本文介绍了一种多目标硬件感知量化（MohaQ）方法，其将硬件效率和推理误差视为混合精度量化的目标。该方法通过依赖于两个步骤，在很大的搜索空间中评估候选解决方案。首先，应用训练后量化以进行快速解决方案评估。其次，我们提出了一个名为“基于信标的搜索”的搜索技术，仅在搜索空间中重新选出所选解决方案，并将其用作信标以了解刷新对其他解决方案的影响。为了评估优化潜力，我们使用Timit DataSet选择语音识别模型。该模型基于简单的复发单元（SRU），由于其相当大的加速在其他复发单元上。我们应用了我们在两个平台上运行的方法：SILAGO和BETFUSION。实验评估表明，SRU通过训练后量化可以压缩高达8倍，而误差的任何显着增加，误差只有1.5个百分点增加。在Silago上，唯一的搜索发现解决方案分别实现了最大可能加速和节能的80 \％和64 \％，错误的误差增加了0.5个百分点。在BETFUSION上，对于小SRAM尺寸的约束，基于信标的搜索将推断搜索的错误增益减少4个百分点，并且与BitFusion基线相比，可能的达到的加速度增加到47倍。
translated by 谷歌翻译
与变压器架构相关的自我监督学习的最新进展使自然语言处理（NLP）表现出极低的困惑。如此强大的模型需要越来越多的模型大小，因此需要大量的计算和内存足迹。在本文中，我们为大规模生成语言模型提出了一个有效的推理框架。作为减少模型大小的关键，我们通过不均匀的量化方法量化权重。然后，我们提出的称为NUQMM的量化矩阵乘法加速了，该内核可以在压缩比和准确性之间进行广泛的权衡。我们提出的NUQMM不仅减少了每个GPU的延迟，还减少了大LMS的全部推断，因为高压缩比（通过低位量化）减轻了最小所需的GPU数量。我们证明NUQMM可以将GPT-3（175b）模型的推理速度加速约14.4倍，并将能源消耗降低93％。
translated by 谷歌翻译
我们总结了使用巨大的自动语音识别（ASR）模型的大量努力的结果，该模型使用包含大约一百万小时音频的大型，多样的未标记数据集进行了预训练。我们发现，即使对于拥有数万个小时的标记数据的非常大的任务，预训练，自我培训和扩大模型大小的组合也大大提高了数据效率。特别是，在具有34K小时标记数据的ASR任务上，通过微调80亿个参数预先训练的构象异构体模型，我们可以匹配最先进的（SOTA）性能（SOTA）的性能，只有3％的培训数据和通过完整的训练集可以显着改善SOTA。我们还报告了从使用大型预训练和自我训练的模型来完成一系列下游任务所获得的普遍利益，这些任务涵盖了广泛的语音域，并涵盖了多个数据集大小的大小，包括在许多人中获得SOTA性能公共基准。此外，我们利用预先训练的网络的学会表示，在非ASR任务上实现SOTA结果。
translated by 谷歌翻译
在本文中，我们提出了一种新的双通方法来统一一个模型中的流和非流媒体端到端（E2E）语音识别。我们的型号采用混合CTC /注意架构，其中编码器中的构装层被修改。我们提出了一种基于动态的块的注意力策略，以允许任意右上下文长度。在推理时间，CTC解码器以流式方式生成n最佳假设。只有更改块大小，可以轻松控制推理延迟。然后，CTC假设被注意力解码器重新筛选以获得最终结果。这种有效的备用过程导致句子级延迟非常小。我们在开放的170小时Aishell-1数据集上的实验表明，所提出的方法可以简单有效地统一流和非流化模型。在Aishell-1测试集上，与标准的非流式变压器相比，我们的统一模型在非流式ASR中实现了5.60％的相对字符错误率（CER）减少。同一模型在流式ASR系统中实现了5.42％的CER，640ms延迟。
translated by 谷歌翻译
深度学习一直是近来最具破坏性的技术进步之一。深度学习模型的高性能以高度计算，存储和功率要求为代价。感知到加速和压缩这些模型以提高设备性能的直接需求，我们引入了Deeplite Neutrino，以便对模型的生产优化和Deeplite运行时进行介绍，以在基于ARM的平台上部署超低位量化模型。我们为ARMV7和ARMV8架构实施低级量化内核，可在32位和64位基于ARM的设备上进行部署。通过使用矢量化，并行化和平铺的有效实现，与具有XNNPACK后端的TensorFlow Lite相比，我们在分类和检测模型上分别实现了高达2倍和2.2倍的速度。与ONNX运行时相比，我们还获得了高达5倍和3.2倍的显着加速，分别用于分类和检测模型。
translated by 谷歌翻译
由于无标记的文本和语音数据的广泛可用性，最近基于仅音频数据的仅文本和半监督培训已广受欢迎。在这项工作中，我们建议将纯文本和半监督培训纳入基于注意力的审议模型。通过将纯文本数据合并到培训审议文本编码器的变压器（BERT）的双向编码器表示中，以及使用联合声学和文本解码器（JATD）和半诉讼程序的大规模文本到语音和纯音频和音频话语培训，与基线审议相比，我们的各种任务减少了4％-12％。与最先进的语言模型（LM）纠正方法相比，审议模型将Google语音搜索降低了11％。我们表明，与具有合理的终端潜伏期的最先进的LM委员相比，审议模型还获得了正面的人类并排评估。
translated by 谷歌翻译
We explore unifying a neural segmenter with two-pass cascaded encoder ASR into a single model. A key challenge is allowing the segmenter (which runs in real-time, synchronously with the decoder) to finalize the 2nd pass (which runs 900 ms behind real-time) without introducing user-perceived latency or deletion errors during inference. We propose a design where the neural segmenter is integrated with the causal 1st pass decoder to emit a end-of-segment (EOS) signal in real-time. The EOS signal is then used to finalize the non-causal 2nd pass. We experiment with different ways to finalize the 2nd pass, and find that a novel dummy frame injection strategy allows for simultaneous high quality 2nd pass results and low finalization latency. On a real-world long-form captioning task (YouTube), we achieve 2.4% relative WER and 140 ms EOS latency gains over a baseline VAD-based segmenter with the same cascaded encoder.
translated by 谷歌翻译
模型量化已成为加速深度学习推理的不可或缺的技术。虽然研究人员继续推动量化算法的前沿，但是现有量化工作通常是不可否认的和不可推销的。这是因为研究人员不选择一致的训练管道并忽略硬件部署的要求。在这项工作中，我们提出了模型量化基准（MQBench），首次尝试评估，分析和基准模型量化算法的再现性和部署性。我们为实际部署选择多个不同的平台，包括CPU，GPU，ASIC，DSP，并在统一培训管道下评估广泛的最新量化算法。 MQBENCK就像一个连接算法和硬件的桥梁。我们进行全面的分析，并找到相当大的直观或反向直观的见解。通过对齐训练设置，我们发现现有的算法在传统的学术轨道上具有大致相同的性能。虽然用于硬件可部署量化，但有一个巨大的精度差距，仍然不稳定。令人惊讶的是，没有现有的算法在MQBench中赢得每一项挑战，我们希望这项工作能够激发未来的研究方向。
translated by 谷歌翻译