无约束的手写文本识别仍然具有挑战性的计算机视觉系统。段落识别传统上由两个模型实现：第一个用于线分割和用于文本线路识别的第二个。我们提出了一个统一的端到端模型，使用混合注意力来解决这项任务。该模型旨在迭代地通过线路进行段落图像线。它可以分为三个模块。编码器从整个段落图像生成特征映射。然后，注意力模块循环生成垂直加权掩模，使能专注于当前的文本线特征。这样，它执行一种隐式线分割。对于每个文本线特征，解码器模块识别关联的字符序列，导致整个段落的识别。我们在三个流行的数据集赛中达到最先进的字符错误率：ribs的1.91％，IAM 4.45％，读取2016年3.59％。我们的代码和培训的模型重量可在HTTPS：// GitHub上获得.com / fefodeeplearning / watermentattentocroc。

无约束的手写文本识别是一项具有挑战性的计算机视觉任务。传统上，它是通过两步方法来处理的，结合了线细分，然后是文本线识别。我们第一次为手写文档识别任务提出了无端到端的无分段体系结构：文档注意网络。除文本识别外，该模型还接受了使用类似XML的方式使用开始和结束标签标记文本零件的训练。该模型由用于特征提取的FCN编码器和用于复发令牌预测过程的变压器解码器层组成。它将整个文本文档作为输入和顺序输出字符以及逻辑布局令牌。与现有基于分割的方法相反，该模型是在不使用任何分割标签的情况下进行训练的。我们在页面级别的Read 2016数据集以及CER分别为3.43％和3.70％的双页级别上获得了竞争成果。我们还为Rimes 2009数据集提供了页面级别的结果，达到CER的4.54％。我们在https://github.com/factodeeplearning/dan上提供所有源代码和预训练的模型权重。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

手写的文本识别问题是由计算机视觉社区的研究人员广泛研究的，因为它的改进和适用于日常生活的范围，它是模式识别的子域。自从过去几十年以来，基于神经网络的系统的计算能力提高了计算能力，因此有助于提供最新的手写文本识别器。在同一方向上，我们采用了两个最先进的神经网络系统，并将注意力机制合并在一起。注意技术已被广泛用于神经机器翻译和自动语音识别的领域，现在正在文本识别域中实现。在这项研究中，我们能够在IAM数据集上达到4.15％的字符错误率和9.72％的单词错误率，7.07％的字符错误率和GW数据集的16.14％单词错误率与现有的Flor合并后，GW数据集的单词错误率等。建筑学。为了进一步分析，我们还使用了类似于Shi等人的系统。具有贪婪解码器的神经网络系统，观察到基本模型的字符错误率提高了23.27％。

草书手写文本识别是模式识别领域中一个具有挑战性的研究问题。当前的最新方法包括基于卷积复发性神经网络和多维长期记忆复发性神经网络技术的模型。这些方法在高度计算上是广泛的模型，在设计级别上也很复杂。在最近的研究中，与基于卷积的复发性神经网络相比，基于卷积神经网络和票面卷积神经网络模型的组合显示出较少的参数。在减少要训练的参数总数的方向上，在这项工作中，我们使用了深度卷积代替标准卷积，结合了封闭式跨跨跨性神经网络和双向封闭式复发单元来减少参数总数接受训练。此外，我们还在测试步骤中包括了基于词典的单词梁搜索解码器。它还有助于提高模型的整体准确性。我们在IAM数据集上获得了3.84％的字符错误率和9.40％的单词错误率；乔治·华盛顿数据集的字符错误率和14.56％的字符错误率和14.56％的单词错误率。

本文介绍了用于文档图像分析的图像数据集的系统文献综述，重点是历史文档，例如手写手稿和早期印刷品。寻找适当的数据集进行历史文档分析是促进使用不同机器学习算法进行研究的关键先决条件。但是，由于实际数据非常多（例如，脚本，任务，日期，支持系统和劣化量），数据和标签表示的不同格式以及不同的评估过程和基准，因此找到适当的数据集是一项艰巨的任务。这项工作填补了这一空白，并在现有数据集中介绍了元研究。经过系统的选择过程（根据PRISMA指南），我们选择了56项根据不同因素选择的研究，例如出版年份，文章中实施的方法数量，所选算法的可靠性，数据集大小和期刊的可靠性出口。我们通过将其分配给三个预定义的任务之一来总结每个研究：文档分类，布局结构或语义分析。我们为每个数据集提供统计，文档类型，语言，任务，输入视觉方面和地面真实信息。此外，我们还提供了这些论文或最近竞争的基准任务和结果。我们进一步讨论了该领域的差距和挑战。我们倡导将转换工具提供到通用格式（例如，用于计算机视觉任务的可可格式），并始终提供一组评估指标，而不仅仅是一种评估指标，以使整个研究的结果可比性。

我们介绍了Dessurt，这是一个相对简单的文档理解变压器，能够在各种文档任务上进行微调，而不是先前的方法。它接收文档映像和任务字符串作为输入，并作为输出以任意文本自动添加。由于Dessurt是端到端体系结构，除了文档理解外，还可以执行文本识别，因此它不需要像先前方法那样需要外部识别模型。Dessurt比先前的方法更灵活，并且能够处理各种文档域和任务。我们表明，该模型可在9种不同的数据集任务组合中有效。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 2nd International Workshop on Reading Music Systems, held in Delft on the 2nd of November 2019.

自由图页中的手写文本识别（HTR）是一项艰巨的图像理解任务，可以为手写文档的数字化和重复使用其内容提供相关的增强。由于写作风格的变化和页面质量降解的变化，该任务在处理历史文档时变得更加具有挑战性。最先进的HTR方法通常将序列建模的复发结构与卷积神经网络进行视觉特征提取。由于卷积内核是在固定网格上定义的，并专注于所有输入像素时在输入映像时独立地独立于所有输入像素，因此该策略无视手写字符在形状，比例和规模和方向上，即使在同一文档中，并且墨水像素为比背景更相关。为了应对这些特定的HTR困难，我们建议采用可变形的卷积，这可能会根据手头的输入而变形，并更好地适应文本的几何变化。我们设计了两个可变形的架构，并在现代和历史数据集上进行了广泛的实验。实验结果证实了可变形卷积对HTR任务的适用性。

这项工作提出了一个基于注意力的序列到序列模型，用于手写单词识别，并探讨了用于HTR系统数据有效培训的转移学习。为了克服培训数据稀缺性，这项工作利用了在场景文本图像上预先训练的模型，作为调整手写识别模型的起点。Resnet特征提取和基于双向LSTM的序列建模阶段一起形成编码器。预测阶段由解码器和基于内容的注意机制组成。拟议的端到端HTR系统的有效性已在新型的多作用数据集IMGUR5K和IAM数据集上进行了经验评估。实验结果评估了HTR框架的性能，并通过对误差案例的深入分析进一步支持。源代码和预培训模型可在https://github.com/dmitrijsk/attentionhtr上找到。

几十年来，手写的中文文本识别（HCTR）一直是一个活跃的研究主题。但是，大多数以前的研究仅关注裁剪文本图像的识别，而忽略了实际应用程序中文本线检测引起的错误。尽管近年来已经提出了一些针对页面文本识别的方法，但它们要么仅限于简单布局，要么需要非常详细的注释，包括昂贵的线条级别甚至角色级边界框。为此，我们建议Pagenet端到端弱监督的页面级HCTR。 Pagenet检测并识别角色并预测其之间的阅读顺序，在处理复杂的布局（包括多方向和弯曲的文本线路）时，这更健壮和灵活。利用所提出的弱监督学习框架，Pagenet只需要对真实数据进行注释。但是，它仍然可以在字符和线级别上输出检测和识别结果，从而避免标记字符和文本线条的界限框的劳动和成本。在五个数据集上进行的广泛实验证明了Pagenet优于现有的弱监督和完全监督的页面级方法。这些实验结果可能会引发进一步的研究，而不是基于连接主义时间分类或注意力的现有方法的领域。源代码可在https://github.com/shannanyinxiang/pagenet上获得。

在手写文件中指定实体执行的相关信息的提取仍然是一个具有挑战性的任务。与通常将文本转录和命名实体识别的传统信息提取方法与单独的后续任务不同，我们提出了基于端到端的变换器的方法，共同执行这两个任务。拟议的方法在段落水平上运作，带来了两个主要福利。首先，它允许模型避免由于线分割而无法恢复的早期误差。其次，它允许模型利用更大的双维上下文信息来识别语义类别，达到更高的最终预测精度。我们还探讨了不同的培训方案，以表明他们对性能的影响，我们证明了两级学习策略可以使模型达到更高的最终预测精度。据我们所知，这项工作提出了一种采用传感器网络，用于在手写文档中指定实体识别的变压器网络。我们在ICDAR 2017信息提取竞争中实现了新的最先进的性能，即使建议的技术不使用任何词典，语言建模或后处理，即使完整的任务也可以实现新的最先进的表现。

Multilayer Neural Networks trained with the backpropagation algorithm constitute the best example of a successful Gradient-Based Learning technique. Given an appropriate network architecture, Gradient-Based Learning algorithms can be used to synthesize a complex decision surface that can classify high-dimensional patterns such as handwritten characters, with minimal preprocessing. This paper reviews various methods applied to handwritten character recognition and compares them on a standard handwritten digit recognition task. Convolutional Neural Networks, that are specifically designed to deal with the variability of 2D shapes, are shown to outperform all other techniques.Real-life document recognition systems are composed of multiple modules including eld extraction, segmentation, recognition, and language modeling. A new learning paradigm, called Graph Transformer Networks (GTN), allows such multi-module systems to be trained globally using Gradient-Based methods so as to minimize an overall performance measure.Two systems for on-line handwriting recognition are described. Experiments demonstrate the advantage of global training, and the exibility of Graph Transformer Networks.A Graph Transformer Network for reading bank check is also described. It uses Convolutional Neural Network character recognizers combined with global training techniques to provides record accuracy on business and personal checks. It is deployed commercially and reads several million checks per day.

我们提出了基于神经网络的手写文本识别（HTR）模型体系结构，可以训练，以识别手写或印刷文本的完整页面，而无需图像分割。它基于图像到序列体系结构，它可以提取图像中存在的文本，然后正确地序列，而无需对文本和非文本的方向，布局和大小施加任何约束。此外，还可以训练它以生成与格式，布局和内容相关的辅助标记。我们使用角色级别的词汇，从而实现任何主题的语言和术语。该模型在IAM数据集中在段落级别识别中实现了新的艺术品。当对现实世界手写的免费表测试答案进行评估时 - 与弯曲和倾斜的线条，图纸，表，数学，化学和其他符号进行评估时，它的性能要比所有市售的HTR Cloud API都要好。它作为商业Web应用程序的一部分部署在生产中。

识别类似于波斯语和Urdu等阿拉伯语的脚本比拉丁语的脚本更具挑战性。这是由于存在二维结构，依赖性字符形状，空间和重叠，以及凹陷的放置。离线手写乌尔通脚本的研究并不多，这是世界上第10个最口语的核心脚本。我们提出了一种基于的编码器 - 解码器模型，用于在上下文中读取URDU。引入了一个新的本地化惩罚，以鼓励模型在识别下一个字符时一次只参加一个位置。此外，我们全面地在地面真实注释方面完善了唯一的完整和公开的手写Urdu数据集。我们评估乌尔都语和阿拉伯语数据集的模型，并显示上下文的注意本地化优于简单的关注和多向LSTM模型。

我们介绍了两个数据增强技术，它与Reset-Bilstm-CTC网络一起使用，显着降低了在手写文本识别（HTR）任务上的最佳报告结果之外的字错误率（WER）和字符错误率（CER）。我们应用了一种基于打印文本（StackMix）的删除文本（手写污染）和手写文本生成方法的新型增强，这被证明在HTR任务中非常有效。StackMix使用弱监督框架来获得字符边界。因为这些数据增强技术与所使用的网络无关，所以也可以应用于增强其他网络的性能和HTR的方法。十个手写文本数据集的广泛实验表明，手写墨水增强和StackMix显着提高了HTR模型的质量

手写数字识别（HDR）是光学特征识别（OCR）领域中最具挑战性的任务之一。不管语言如何，HDR都存在一些固有的挑战，这主要是由于个人跨个人的写作风格的变化，编写媒介和环境的变化，无法在反复编写任何数字等时保持相同的笔触。除此之外，特定语言数字的结构复杂性可能会导致HDR的模棱两可。多年来，研究人员开发了许多离线和在线HDR管道，其中不同的图像处理技术与传统的机器学习（ML）基于基于的和/或基于深度学习（DL）的体系结构相结合。尽管文献中存在有关HDR的广泛审查研究的证据，例如：英语，阿拉伯语，印度，法尔西，中文等，但几乎没有对孟加拉人HDR（BHDR）的调查，这缺乏对孟加拉语HDR（BHDR）的研究，而这些调查缺乏对孟加拉语HDR（BHDR）的研究。挑战，基础识别过程以及可能的未来方向。在本文中，已经分析了孟加拉语手写数字的特征和固有的歧义，以及二十年来最先进的数据集的全面见解和离线BHDR的方法。此外，还详细讨论了一些涉及BHDR的现实应用特定研究。本文还将作为对离线BHDR背后科学感兴趣的研究人员的汇编，煽动了对相关研究的新途径的探索，这可能会进一步导致在不同应用领域对孟加拉语手写数字进行更好的离线认识。

Scene text spotting is of great importance to the computer vision community due to its wide variety of applications. Recent methods attempt to introduce linguistic knowledge for challenging recognition rather than pure visual classification. However, how to effectively model the linguistic rules in end-to-end deep networks remains a research challenge. In this paper, we argue that the limited capacity of language models comes from 1) implicit language modeling; 2) unidirectional feature representation; and 3) language model with noise input. Correspondingly, we propose an autonomous, bidirectional and iterative ABINet++ for scene text spotting. Firstly, the autonomous suggests enforcing explicitly language modeling by decoupling the recognizer into vision model and language model and blocking gradient flow between both models. Secondly, a novel bidirectional cloze network (BCN) as the language model is proposed based on bidirectional feature representation. Thirdly, we propose an execution manner of iterative correction for the language model which can effectively alleviate the impact of noise input. Finally, to polish ABINet++ in long text recognition, we propose to aggregate horizontal features by embedding Transformer units inside a U-Net, and design a position and content attention module which integrates character order and content to attend to character features precisely. ABINet++ achieves state-of-the-art performance on both scene text recognition and scene text spotting benchmarks, which consistently demonstrates the superiority of our method in various environments especially on low-quality images. Besides, extensive experiments including in English and Chinese also prove that, a text spotter that incorporates our language modeling method can significantly improve its performance both in accuracy and speed compared with commonly used attention-based recognizers.

Handwritten Text Recognition (HTR) is more interesting and challenging than printed text due to uneven variations in the handwriting style of the writers, content, and time. HTR becomes more challenging for the Indic languages because of (i) multiple characters combined to form conjuncts which increase the number of characters of respective languages, and (ii) near to 100 unique basic Unicode characters in each Indic script. Recently, many recognition methods based on the encoder-decoder framework have been proposed to handle such problems. They still face many challenges, such as image blur and incomplete characters due to varying writing styles and ink density. We argue that most encoder-decoder methods are based on local visual features without explicit global semantic information. In this work, we enhance the performance of Indic handwritten text recognizers using global semantic information. We use a semantic module in an encoder-decoder framework for extracting global semantic information to recognize the Indic handwritten texts. The semantic information is used in both the encoder for supervision and the decoder for initialization. The semantic information is predicted from the word embedding of a pre-trained language model. Extensive experiments demonstrate that the proposed framework achieves state-of-the-art results on handwritten texts of ten Indic languages.

我们介绍了一种名为RobustAbnet的新表检测和结构识别方法，以检测表的边界并从异质文档图像中重建每个表的细胞结构。为了进行表检测，我们建议将Cornernet用作新的区域建议网络来生成更高质量的表建议，以更快的R-CNN，这显着提高了更快的R-CNN的定位准确性以进行表检测。因此，我们的表检测方法仅使用轻巧的RESNET-18骨干网络，在三个公共表检测基准（即CTDAR TRACKA，PUBLAYNET和IIIT-AR-13K）上实现最新性能。此外，我们提出了一种新的基于分裂和合并的表结构识别方法，其中提出了一个新型的基于CNN的新空间CNN分离线预测模块将每个检测到的表分为单元格，并且基于网格CNN的CNN合并模块是应用用于恢复生成细胞。由于空间CNN模块可以有效地在整个表图像上传播上下文信息，因此我们的表结构识别器可以坚固地识别具有较大的空白空间和几何扭曲（甚至弯曲）表的表。得益于这两种技术，我们的表结构识别方法在包括SCITSR，PubTabnet和CTDAR TrackB2-Modern在内的三个公共基准上实现了最先进的性能。此外，我们进一步证明了我们方法在识别具有复杂结构，大空间以及几何扭曲甚至弯曲形状的表上的表格上的优势。