我们研究识别结构化文本的问题，即跟随某些格式的文本，并建议通过指定偏见的正则表达式（正则表达）来提高结构化文本的识别准确性。偏置识别器识别与在其他文本上一般小的降级的成本中具有显着提高的指定正则表达式的文本。通过将正数表达式作为加权有限状态换能器（WFST）建模并通过动态替换将其注入解码器中来实现偏置。单个纤维率控制偏置强度。该方法可用于识别具有已知格式的文本行或包含来自域词汇的单词。示例包括驾驶执照号码，处方药中的药物名称等。我们展示了Regex偏置在印刷和手写的结构文本数据集上的功效，并测量其副作用。

许多在世界上的许多语言的语言现有数据的非数字化书籍和文件锁定了。光学字符识别（OCR）可以用来产生数字化的文字，和以前的工作已经证明的是提高认识，精心资源较少语言的通用OCR系统的结果神经后校正方法的实用程序。然而，这些方法依赖于手工辅助校正后的数据，相对于非注释原始图像需要被数字化，其是相对稀少。在本文中，我们提出了一种半监督学习方法，使得它可以利用这些原始图像，以提高性能，特别是通过运用自我训练，其中模型迭代自身输出训练有素的技术。此外，为了执行在识别词汇的一致性，我们引入一个词法感知解码方法，该方法增强了神经后修正模型与从所识别的文本构成的基于计数的语言模型，使用加权有限状态自动机中实现（WFSA）对于高效和有效的解码。四种濒危语言的结果证明了该方法的效用，具有15-29％的相对误差减少，我们在哪里找到的自我培训和实现持续改善词法感知解码所必需的组合。数据和代码可在https://shrutirij.github.io/ocr-el/。

End-to-end speech recognition models trained using joint Connectionist Temporal Classification (CTC)-Attention loss have gained popularity recently. In these models, a non-autoregressive CTC decoder is often used at inference time due to its speed and simplicity. However, such models are hard to personalize because of their conditional independence assumption that prevents output tokens from previous time steps to influence future predictions. To tackle this, we propose a novel two-way approach that first biases the encoder with attention over a predefined list of rare long-tail and out-of-vocabulary (OOV) words and then uses dynamic boosting and phone alignment network during decoding to further bias the subword predictions. We evaluate our approach on open-source VoxPopuli and in-house medical datasets to showcase a 60% improvement in F1 score on domain-specific rare words over a strong CTC baseline.

上下文ASR将偏见项列表与音频一起列出，随着ASR使用变得更加普遍，最近引起了最新的兴趣。我们正在发布上下文偏见列表，以伴随Enation21数据集，为此任务创建公共基准。我们使用WENET工具包中预处理的端到端ASR模型在此基准测试上介绍了基线结果。我们显示了应用于两种不同解码算法的浅融合上下文偏置的结果。我们的基线结果证实了观察到的观察，即端到端模型尤其是在训练过程中很少见或从未见过的单词，并且现有的浅融合技术不能充分解决这个问题。我们提出了一个替代拼写预测模型，与没有其他拼写的上下文偏见相比，相对相对，将稀有单词相对34.7％，而访问量的单词相对97.2％。该模型在概念上与先前工作中使用的模型相似，但是更容易实现，因为它不依赖发音字典或现有的文本对语音系统。

Multilayer Neural Networks trained with the backpropagation algorithm constitute the best example of a successful Gradient-Based Learning technique. Given an appropriate network architecture, Gradient-Based Learning algorithms can be used to synthesize a complex decision surface that can classify high-dimensional patterns such as handwritten characters, with minimal preprocessing. This paper reviews various methods applied to handwritten character recognition and compares them on a standard handwritten digit recognition task. Convolutional Neural Networks, that are specifically designed to deal with the variability of 2D shapes, are shown to outperform all other techniques.Real-life document recognition systems are composed of multiple modules including eld extraction, segmentation, recognition, and language modeling. A new learning paradigm, called Graph Transformer Networks (GTN), allows such multi-module systems to be trained globally using Gradient-Based methods so as to minimize an overall performance measure.Two systems for on-line handwriting recognition are described. Experiments demonstrate the advantage of global training, and the exibility of Graph Transformer Networks.A Graph Transformer Network for reading bank check is also described. It uses Convolutional Neural Network character recognizers combined with global training techniques to provides record accuracy on business and personal checks. It is deployed commercially and reads several million checks per day.

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

在口语理解（SLU）中，任务是从音频命令中提取重要信息，例如用户想要该系统执行的操作和特殊实体（例如位置或数字）的意图。本文提出了一种简单的方法，可以将意图和实体嵌入有限的状态换能器中，并结合预处理的通用语音到文本模型，允许构建SLU模型，而无需任何其他培训。构建这些型号非常快，只需要几秒钟。它也完全是独立的。通过对不同基准测试的比较，可以表明该方法可以胜过多种其他资源要求的SLU方法。

我们提出了一种用于计算自动语音识别（ASR）中错误率的新方法。这个新的指标是针对包含半字符的语言，可以以不同形式编写相同的字符。我们在印地语中实施了我们的方法论，这是指示上下文中的主要语言之一，我们认为这种方法可扩展到包含大型字符集的其他类似语言。我们称我们的指标替代单词错误率（AWER）和替代字符错误率（ACER）。我们使用wav2Vec 2.0 \ cite {baevski2020wav2vec}训练我们的ASR模型。此外，我们使用语言模型来改善我们的模型性能。我们的结果表明，在分析单词和角色级别的错误率方面有了显着提高，ASR系统的可解释性提高了高达$ 3 $ \％的AWER，印地语的ACER $ 7 $ \％。我们的实验表明，在具有复杂发音的语言中，有多种写单词而不改变其含义的方式。在这种情况下，Awer和Acer将更有用，而不是将其作为指标。此外，我们通过新的公制脚本为印地语开了一个21小时的新基准测试数据集。

我们研究应用语言模型（LM）对指示语言自动语音识别（ASR）系统输出的影响。我们微调WAV2VEC $ 2.0 $型号的$ 18 $指示性语言，并通过根据各种来源派生的文本训练的语言模型调整结果。我们的发现表明，平均字符错误率（CER）降低了$ 28 $ \％，平均单词错误率（WER）在解码LM后降低了$ 36 $ \％。我们表明，与多样化的LM相比，大型LM可能无法提供实质性的改进。我们还证明，可以在特定于域的数据上获得高质量的转录，而无需重新培训ASR模型并显示了生物医学领域的结果。

This paper explores semi-supervised training for sequence tasks, such as Optical Character Recognition or Automatic Speech Recognition. We propose a novel loss function $\unicode{x2013}$ SoftCTC $\unicode{x2013}$ which is an extension of CTC allowing to consider multiple transcription variants at the same time. This allows to omit the confidence based filtering step which is otherwise a crucial component of pseudo-labeling approaches to semi-supervised learning. We demonstrate the effectiveness of our method on a challenging handwriting recognition task and conclude that SoftCTC matches the performance of a finely-tuned filtering based pipeline. We also evaluated SoftCTC in terms of computational efficiency, concluding that it is significantly more efficient than a na\"ive CTC-based approach for training on multiple transcription variants, and we make our GPU implementation public.

Modern speech recognition systems exhibits rapid performance degradation under domain shift. This issue is especially prevalent in data-scarce settings, such as low-resource languages, where diversity of training data is limited. In this work we propose M2DS2, a simple and sample-efficient finetuning strategy for large pretrained speech models, based on mixed source and target domain self-supervision. We find that including source domain self-supervision stabilizes training and avoids mode collapse of the latent representations. For evaluation, we collect HParl, a $120$ hour speech corpus for Greek, consisting of plenary sessions in the Greek Parliament. We merge HParl with two popular Greek corpora to create GREC-MD, a test-bed for multi-domain evaluation of Greek ASR systems. In our experiments we find that, while other Unsupervised Domain Adaptation baselines fail in this resource-constrained environment, M2DS2 yields significant improvements for cross-domain adaptation, even when a only a few hours of in-domain audio are available. When we relax the problem in a weakly supervised setting, we find that independent adaptation for audio using M2DS2 and language using simple LM augmentation techniques is particularly effective, yielding word error rates comparable to the fully supervised baselines.

这项工作提出了一个基于注意力的序列到序列模型，用于手写单词识别，并探讨了用于HTR系统数据有效培训的转移学习。为了克服培训数据稀缺性，这项工作利用了在场景文本图像上预先训练的模型，作为调整手写识别模型的起点。Resnet特征提取和基于双向LSTM的序列建模阶段一起形成编码器。预测阶段由解码器和基于内容的注意机制组成。拟议的端到端HTR系统的有效性已在新型的多作用数据集IMGUR5K和IAM数据集上进行了经验评估。实验结果评估了HTR框架的性能，并通过对误差案例的深入分析进一步支持。源代码和预培训模型可在https://github.com/dmitrijsk/attentionhtr上找到。

无约束的手写文本识别仍然具有挑战性的计算机视觉系统。段落识别传统上由两个模型实现：第一个用于线分割和用于文本线路识别的第二个。我们提出了一个统一的端到端模型，使用混合注意力来解决这项任务。该模型旨在迭代地通过线路进行段落图像线。它可以分为三个模块。编码器从整个段落图像生成特征映射。然后，注意力模块循环生成垂直加权掩模，使能专注于当前的文本线特征。这样，它执行一种隐式线分割。对于每个文本线特征，解码器模块识别关联的字符序列，导致整个段落的识别。我们在三个流行的数据集赛中达到最先进的字符错误率：ribs的1.91％，IAM 4.45％，读取2016年3.59％。我们的代码和培训的模型重量可在HTTPS：// GitHub上获得.com / fefodeeplearning / watermentattentocroc。

逆文本归一化（ITN）是自动语音识别（ASR）中必不可少的后处理步骤。它将数字，日期，缩写和其他符号类别从ASR产生的口头形式转换为其书面形式。人们可以将ITN视为机器翻译任务，并使用神经序列到序列模型来解决它。不幸的是，这种神经模型容易产生可能导致不可接受的错误的幻觉。为了减轻此问题，我们提出了一个单个令牌分类器模型，将ITN视为标记任务。该模型将替换片段分配给每个输入令牌，或将其标记为删除或复制而无需更改。我们提出了基于ITN示例的粒状对齐方式的数据集准备方法。提出的模型不太容易出现幻觉错误。该模型在Google文本归一化数据集上进行了培训，并在英语和俄罗斯测试集上实现了最先进的句子精度。标签和输入单词之间的一对一对应关系可改善模型预测的解释性，简化调试并允许后处理更正。该模型比序列到序列模型更简单，并且在生产设置中更易于优化。准备数据集的模型和代码作为NEMO项目的一部分发布。

网络钓鱼袭击在互联网上继续成为一个重大威胁。先前的研究表明，可以确定网站是否是网络钓鱼，也可以更仔细地分析其URL。基于URL的方法的一个主要优点是它即使在浏览器中呈现网页之前，它也可以识别网络钓鱼网站，从而避免了其他潜在问题，例如加密和驾驶下载。但是，传统的基于URL的方法有它们的局限性。基于黑名单的方法容易出现零小时网络钓鱼攻击，基于先进的机器学习方法消耗高资源，而其他方法将URL发送到远程服务器，损害用户的隐私。在本文中，我们提出了一个分层的防护防御，PhishMatch，这是强大，准确，廉价和客户端的。我们设计一种节省空间高效的AHO-Corasick算法，用于精确串联匹配和基于N-GRAM的索引技术，用于匹配的近似字符串，以检测网络钓鱼URL中的各种弧度标准技术。为了减少误报，我们使用全球白名单和个性化用户白名单。我们还确定访问URL的上下文并使用该信息更准确地对输入URL进行分类。 PhishMatch的最后一个组成部分涉及机器学习模型和受控搜索引擎查询以对URL进行分类。发现针对Chrome浏览器开发的PhishMatch的原型插件，是快速轻便的。我们的评价表明，PhishMatch既有效又有效。

在现场文本识别中已经证明了语义信息。大多数现有方法倾向于将视觉和语义信息耦合到基于关注的解码器中。结果，语义特征的学习易于在训练集的有限词汇上具有偏差，这被称为词汇关系。在本文中，我们提出了一种新颖的视觉语义解耦网络（VSDN）来解决问题。我们的VSDN包含一个可视解码器（VD）和语义解码器（SD），以分别学习更纯度的视觉和语义特征表示。此外，语义编码器（SE）设计用于匹配SD，可以通过简单的单词校正任务通过额外的廉价大型词汇进行预先培训。因此，语义特征更加不偏并且精确地引导视觉特征对准并丰富最终字符表示。实验表明，我们的方法在标准基准上实现了最先进的或竞争力的结果，并且在培训集具有小尺寸的词汇量的情况下，在较大的余量下优于流行的基线。

梁搜索是端到端模型的主要ASR解码算法，生成树结构化假设。但是，最近的研究表明，通过假设合并进行解码可以通过可比或更好的性能实现更有效的搜索。但是，复发网络中的完整上下文与假设合并不兼容。我们建议在RNN传感器的预测网络中使用矢量定量的长期记忆单元（VQ-LSTM）。通过与ASR网络共同培训离散表示形式，可以积极合并假设以生成晶格。我们在总机语料库上进行的实验表明，提出的VQ RNN传感器改善了具有常规预测网络的换能器的ASR性能，同时还产生了具有相同光束尺寸的Oracle Word错误率（WER）的密集晶格。其他语言模型撤退实验还证明了拟议的晶格生成方案的有效性。

本文介绍了阿拉伯语多方面自动语音识别的设计与开发。深度神经网络正在成为解决顺序数据问题的有效工具，特别是采用系统的端到端培训。阿拉伯语语音识别是一个复杂的任务，因为存在多种方言，非可用性的大型语言和遗失的声音。因此，这项工作的第一种贡献是开发具有完全或至少部分发声转录的大型多方面语料库。此外，开源语料库已从多个源收集，通过定义公共字符集来对转录中的非标准阿拉伯字母表进行标准化。第二款贡献是开发框架，用于培训实现最先进的性能的声学模型。网络架构包括卷积和复发层的组合。音频数据的频谱图特征在频率VS时域中提取并在网络中馈送。通过复发模型产生的输出帧进一步训练以使音频特征与其相应的转录序列对齐。使用具有Tetra-Gram语言模型的波束搜索解码器来执行序列对准。所提出的系统实现了14％的错误率，以前优于以前的系统。

Handwritten Text Recognition (HTR) is more interesting and challenging than printed text due to uneven variations in the handwriting style of the writers, content, and time. HTR becomes more challenging for the Indic languages because of (i) multiple characters combined to form conjuncts which increase the number of characters of respective languages, and (ii) near to 100 unique basic Unicode characters in each Indic script. Recently, many recognition methods based on the encoder-decoder framework have been proposed to handle such problems. They still face many challenges, such as image blur and incomplete characters due to varying writing styles and ink density. We argue that most encoder-decoder methods are based on local visual features without explicit global semantic information. In this work, we enhance the performance of Indic handwritten text recognizers using global semantic information. We use a semantic module in an encoder-decoder framework for extracting global semantic information to recognize the Indic handwritten texts. The semantic information is used in both the encoder for supervision and the decoder for initialization. The semantic information is predicted from the word embedding of a pre-trained language model. Extensive experiments demonstrate that the proposed framework achieves state-of-the-art results on handwritten texts of ten Indic languages.

识别类似于波斯语和Urdu等阿拉伯语的脚本比拉丁语的脚本更具挑战性。这是由于存在二维结构，依赖性字符形状，空间和重叠，以及凹陷的放置。离线手写乌尔通脚本的研究并不多，这是世界上第10个最口语的核心脚本。我们提出了一种基于的编码器 - 解码器模型，用于在上下文中读取URDU。引入了一个新的本地化惩罚，以鼓励模型在识别下一个字符时一次只参加一个位置。此外，我们全面地在地面真实注释方面完善了唯一的完整和公开的手写Urdu数据集。我们评估乌尔都语和阿拉伯语数据集的模型，并显示上下文的注意本地化优于简单的关注和多向LSTM模型。