使用深度学习的图像的手写词识别是一个有希望性能的活跃研究区域。IT实际情况，由于安全原因，可能需要在压缩域中处理手写图像。然而，对于压缩图像的处理仍然非常有限的深度学习的利用。通过在深度学习中的最新进展中，在压缩域中处理文档图像的需要，我们提出了一个HWRCNET模型，用于JPEG压缩域中的手写字识别。所提出的模型结合了基于卷积神经网络（CNN）和双向长短期存储器（BILSTM）的经常性神经网络（RNN）。基本上，我们使用压缩域图像训练模型，并遵守89.05％字识别精度和13.37％的字符错误率非常有吸引力的性能。

手写的文本识别问题是由计算机视觉社区的研究人员广泛研究的，因为它的改进和适用于日常生活的范围，它是模式识别的子域。自从过去几十年以来，基于神经网络的系统的计算能力提高了计算能力，因此有助于提供最新的手写文本识别器。在同一方向上，我们采用了两个最先进的神经网络系统，并将注意力机制合并在一起。注意技术已被广泛用于神经机器翻译和自动语音识别的领域，现在正在文本识别域中实现。在这项研究中，我们能够在IAM数据集上达到4.15％的字符错误率和9.72％的单词错误率，7.07％的字符错误率和GW数据集的16.14％单词错误率与现有的Flor合并后，GW数据集的单词错误率等。建筑学。为了进一步分析，我们还使用了类似于Shi等人的系统。具有贪婪解码器的神经网络系统，观察到基本模型的字符错误率提高了23.27％。

草书手写文本识别是模式识别领域中一个具有挑战性的研究问题。当前的最新方法包括基于卷积复发性神经网络和多维长期记忆复发性神经网络技术的模型。这些方法在高度计算上是广泛的模型，在设计级别上也很复杂。在最近的研究中，与基于卷积的复发性神经网络相比，基于卷积神经网络和票面卷积神经网络模型的组合显示出较少的参数。在减少要训练的参数总数的方向上，在这项工作中，我们使用了深度卷积代替标准卷积，结合了封闭式跨跨跨性神经网络和双向封闭式复发单元来减少参数总数接受训练。此外，我们还在测试步骤中包括了基于词典的单词梁搜索解码器。它还有助于提高模型的整体准确性。我们在IAM数据集上获得了3.84％的字符错误率和9.40％的单词错误率；乔治·华盛顿数据集的字符错误率和14.56％的字符错误率和14.56％的单词错误率。

Handwritten Text Recognition (HTR) is more interesting and challenging than printed text due to uneven variations in the handwriting style of the writers, content, and time. HTR becomes more challenging for the Indic languages because of (i) multiple characters combined to form conjuncts which increase the number of characters of respective languages, and (ii) near to 100 unique basic Unicode characters in each Indic script. Recently, many recognition methods based on the encoder-decoder framework have been proposed to handle such problems. They still face many challenges, such as image blur and incomplete characters due to varying writing styles and ink density. We argue that most encoder-decoder methods are based on local visual features without explicit global semantic information. In this work, we enhance the performance of Indic handwritten text recognizers using global semantic information. We use a semantic module in an encoder-decoder framework for extracting global semantic information to recognize the Indic handwritten texts. The semantic information is used in both the encoder for supervision and the decoder for initialization. The semantic information is predicted from the word embedding of a pre-trained language model. Extensive experiments demonstrate that the proposed framework achieves state-of-the-art results on handwritten texts of ten Indic languages.

自由图页中的手写文本识别（HTR）是一项艰巨的图像理解任务，可以为手写文档的数字化和重复使用其内容提供相关的增强。由于写作风格的变化和页面质量降解的变化，该任务在处理历史文档时变得更加具有挑战性。最先进的HTR方法通常将序列建模的复发结构与卷积神经网络进行视觉特征提取。由于卷积内核是在固定网格上定义的，并专注于所有输入像素时在输入映像时独立地独立于所有输入像素，因此该策略无视手写字符在形状，比例和规模和方向上，即使在同一文档中，并且墨水像素为比背景更相关。为了应对这些特定的HTR困难，我们建议采用可变形的卷积，这可能会根据手头的输入而变形，并更好地适应文本的几何变化。我们设计了两个可变形的架构，并在现代和历史数据集上进行了广泛的实验。实验结果证实了可变形卷积对HTR任务的适用性。

这项工作提出了一个基于注意力的序列到序列模型，用于手写单词识别，并探讨了用于HTR系统数据有效培训的转移学习。为了克服培训数据稀缺性，这项工作利用了在场景文本图像上预先训练的模型，作为调整手写识别模型的起点。Resnet特征提取和基于双向LSTM的序列建模阶段一起形成编码器。预测阶段由解码器和基于内容的注意机制组成。拟议的端到端HTR系统的有效性已在新型的多作用数据集IMGUR5K和IAM数据集上进行了经验评估。实验结果评估了HTR框架的性能，并通过对误差案例的深入分析进一步支持。源代码和预培训模型可在https://github.com/dmitrijsk/attentionhtr上找到。

深度卷积神经网络（CNN）最近已达到最先进的手写文本识别（HTR）性能。但是，最近的研究表明，典型的CNN的学习性能是有限的，因为它们是具有简单（线性）神经元模型的同质网络。由于它们的异质网络结构结合了非线性神经元，最近提出了操作神经网络（ONNS）来解决这一缺点。自我结合是具有生成神经元模型的ONN的自组织变化，可以使用泰勒近似来生成任何非线性函数。在这项研究中，为了提高HTR的最新性能水平，提出了新型网络模型核心中的2D自组织（自我强调）。此外，本研究中使用了可变形的卷积，最近被证明可以更好地解决写作风格的变化。 IAM英语数据集和Hadara80p阿拉伯数据集中的结果表明，具有自我影响的操作层的拟议模型显着提高了字符错误率（CER）和单词错误率（WER）。与同行CNN相比，Hadara80p中的自我强调将CER和3.4％降低，在IAM数据集中，自我强调将CER降低1.2％和3.4％，为0.199％和1.244％。基准IAM上的结果表明，与自相互紧缩的操作层的拟议模型通过显着的边缘优于最近的深CNN模型，而使用具有可变形卷积的自我冲突表明了出色的结果。

Image-based sequence recognition has been a longstanding research topic in computer vision. In this paper, we investigate the problem of scene text recognition, which is among the most important and challenging tasks in image-based sequence recognition. A novel neural network architecture, which integrates feature extraction, sequence modeling and transcription into a unified framework, is proposed. Compared with previous systems for scene text recognition, the proposed architecture possesses four distinctive properties: (1) It is end-to-end trainable, in contrast to most of the existing algorithms whose components are separately trained and tuned. (2) It naturally handles sequences in arbitrary lengths, involving no character segmentation or horizontal scale normalization. (3) It is not confined to any predefined lexicon and achieves remarkable performances in both lexicon-free and lexicon-based scene text recognition tasks. (4) It generates an effective yet much smaller model, which is more practical for real-world application scenarios. The experiments on standard benchmarks, including the IIIT-5K, Street View Text and ICDAR datasets, demonstrate the superiority of the proposed algorithm over the prior arts. Moreover, the proposed algorithm performs well in the task of image-based music score recognition, which evidently verifies the generality of it.

Annotating words in a historical document image archive for word image recognition purpose demands time and skilled human resource (like historians, paleographers). In a real-life scenario, obtaining sample images for all possible words is also not feasible. However, Zero-shot learning methods could aptly be used to recognize unseen/out-of-lexicon words in such historical document images. Based on previous state-of-the-art method for zero-shot word recognition Pho(SC)Net, we propose a hybrid model based on the CTC framework (Pho(SC)-CTC) that takes advantage of the rich features learned by Pho(SC)Net followed by a connectionist temporal classification (CTC) framework to perform the final classification. Encouraging results were obtained on two publicly available historical document datasets and one synthetic handwritten dataset, which justifies the efficacy of Pho(SC)-CTC and Pho(SC)Net.

识别类似于波斯语和Urdu等阿拉伯语的脚本比拉丁语的脚本更具挑战性。这是由于存在二维结构，依赖性字符形状，空间和重叠，以及凹陷的放置。离线手写乌尔通脚本的研究并不多，这是世界上第10个最口语的核心脚本。我们提出了一种基于的编码器 - 解码器模型，用于在上下文中读取URDU。引入了一个新的本地化惩罚，以鼓励模型在识别下一个字符时一次只参加一个位置。此外，我们全面地在地面真实注释方面完善了唯一的完整和公开的手写Urdu数据集。我们评估乌尔都语和阿拉伯语数据集的模型，并显示上下文的注意本地化优于简单的关注和多向LSTM模型。

连续的手语识别（CSLR）是一项具有挑战性的研究任务，因为对手语数据的时间顺序缺乏准确的注释。最近流行的用法是基于CSLR的“ CNN + RNN”的混合模型。但是，当在这些作品中提取时间特征时，大多数方法都使用固定的时间接受字段，并且不能很好地提取每个手语单词的时间功能。为了获得更准确的时间特征，本文提出了一个多尺度的时间网络（MSTNET）。网络主要由三个部分组成。重新连接和两个完全连接（FC）层构成框架特征提取部分。时间方面的特征提取部分通过首先使用拟议的多尺度时间块（MST-block）提高不同尺度的时间功能来进行时间特征学习，以提高时间建模能力，然后进一步编码不同的时间特征。通过变压器模块缩放以获得更准确的时间特征。最后，拟议的多级连接派时间分类（CTC）损失零件用于训练以获得识别结果。多级CTC损失可以更好地学习和更新CNN中的浅网络参数，该方法没有参数增加，并且可以灵活地嵌入其他模型中。两个公开可用数据集的实验结果表明，我们的方法可以在没有任何先验知识的情况下以端到端的方式有效地提取手语特征，从而提高CSLR的准确性并实现竞争成果。

手写数字识别（HDR）是光学特征识别（OCR）领域中最具挑战性的任务之一。不管语言如何，HDR都存在一些固有的挑战，这主要是由于个人跨个人的写作风格的变化，编写媒介和环境的变化，无法在反复编写任何数字等时保持相同的笔触。除此之外，特定语言数字的结构复杂性可能会导致HDR的模棱两可。多年来，研究人员开发了许多离线和在线HDR管道，其中不同的图像处理技术与传统的机器学习（ML）基于基于的和/或基于深度学习（DL）的体系结构相结合。尽管文献中存在有关HDR的广泛审查研究的证据，例如：英语，阿拉伯语，印度，法尔西，中文等，但几乎没有对孟加拉人HDR（BHDR）的调查，这缺乏对孟加拉语HDR（BHDR）的研究，而这些调查缺乏对孟加拉语HDR（BHDR）的研究。挑战，基础识别过程以及可能的未来方向。在本文中，已经分析了孟加拉语手写数字的特征和固有的歧义，以及二十年来最先进的数据集的全面见解和离线BHDR的方法。此外，还详细讨论了一些涉及BHDR的现实应用特定研究。本文还将作为对离线BHDR背后科学感兴趣的研究人员的汇编，煽动了对相关研究的新途径的探索，这可能会进一步导致在不同应用领域对孟加拉语手写数字进行更好的离线认识。

无约束的手写文本识别仍然具有挑战性的计算机视觉系统。段落识别传统上由两个模型实现：第一个用于线分割和用于文本线路识别的第二个。我们提出了一个统一的端到端模型，使用混合注意力来解决这项任务。该模型旨在迭代地通过线路进行段落图像线。它可以分为三个模块。编码器从整个段落图像生成特征映射。然后，注意力模块循环生成垂直加权掩模，使能专注于当前的文本线特征。这样，它执行一种隐式线分割。对于每个文本线特征，解码器模块识别关联的字符序列，导致整个段落的识别。我们在三个流行的数据集赛中达到最先进的字符错误率：ribs的1.91％，IAM 4.45％，读取2016年3.59％。我们的代码和培训的模型重量可在HTTPS：// GitHub上获得.com / fefodeeplearning / watermentattentocroc。

针对以下问题：基于深度学习的时空层次连续语言识别模型具有大量计算，这限制了模型的实时应用，本文提出了一个时间上的超级分辨率网络（TSRNET）。将数据重构为密集的特征序列，以减少整体模型计算，同时将最终识别精度损失保持在最小值。连续的手语识别模型（CSLR）通过TSRNET主要由三个部分组成：帧级特征提取，时间序列特征提取和TSRNET，其中TSRNET位于框架级特征提取和时间序列的特征提取之间，主要包括在内两个分支：详细描述符和粗糙描述符。稀疏的框架级特征通过两个设计的分支获得的功能融合，作为重建的密集帧级特征序列，连接师时间分类（CTC）损失用于训练和优化，在时间序列特征提取部分之后。为了更好地恢复语义级别的信息，通过本文提出的自我生成的对抗训练方法对整体模型进行了训练，以降低模型错误率。训练方法将TSRNET视为发电机，框架级处理部分和时间处理部分是鉴别器。此外，为了统一不同基准下模型准确性损失的评估标准，本文提出了单词错误率偏差（WERD），该单词错误率（WERD）在估计的单词错误率（WER）和由The获得的参考WER之间的错误率。重建的帧级特征序列和完整的原始帧级特征序列为WERD。在两个大规模手语数据集上进行的实验证明了该模型的有效性。

这项研究是有关阿拉伯历史文档的光学特征识别（OCR）的一系列研究的第二阶段，并研究了不同的建模程序如何与问题相互作用。第一项研究研究了变压器对我们定制的阿拉伯数据集的影响。首次研究的弊端之一是训练数据的规模，由于缺乏资源，我们的3000万张图像中仅15000张图像。另外，我们添加了一个图像增强层，时间和空间优化和后校正层，以帮助该模型预测正确的上下文。值得注意的是，我们提出了一种使用视觉变压器作为编码器的端到端文本识别方法，即BEIT和Vanilla Transformer作为解码器，消除了CNNs以进行特征提取并降低模型的复杂性。实验表明，我们的端到端模型优于卷积骨架。该模型的CER为4.46％。

在过去的几十年中，由于其在广泛的应用中，现场文本认可从学术界和实际用户获得了全世界的关注。尽管在光学字符识别方面取得了成就，但由于诸如扭曲或不规则布局等固有问题，现场文本识别仍然具有挑战性。大多数现有方法主要利用基于复发或卷积的神经网络。然而，虽然经常性的神经网络（RNN）通常由于顺序计算而遭受慢的训练速度，并且遇到消失的梯度或瓶颈，但CNN在复杂性和性能之间衡量折衷。在本文中，我们介绍了SAFL，一种基于自我关注的神经网络模型，具有场景文本识别的焦点损失，克服现有方法的限制。使用焦损而不是负值对数似然有助于模型更多地关注低频样本训练。此外，为应对扭曲和不规则文本，我们在传递到识别网络之前，我们利用空间变换（STN）来纠正文本。我们执行实验以比较拟议模型的性能与七个基准。数值结果表明，我们的模型实现了最佳性能。

The ultimate goal of continuous sign language recognition(CSLR) is to facilitate the communication between special people and normal people, which requires a certain degree of real-time and deploy-ability of the model. However, in the previous research on CSLR, little attention has been paid to the real-time and deploy-ability. In order to improve the real-time and deploy-ability of the model, this paper proposes a zero parameter, zero computation temporal superposition crossover module(TSCM), and combines it with 2D convolution to form a "TSCM+2D convolution" hybrid convolution, which enables 2D convolution to have strong spatial-temporal modelling capability with zero parameter increase and lower deployment cost compared with other spatial-temporal convolutions. The overall CSLR model based on TSCM is built on the improved ResBlockT network in this paper. The hybrid convolution of "TSCM+2D convolution" is applied to the ResBlock of the ResNet network to form the new ResBlockT, and random gradient stop and multi-level CTC loss are introduced to train the model, which reduces the final recognition WER while reducing the training memory usage, and extends the ResNet network from image classification task to video recognition task. In addition, this study is the first in CSLR to use only 2D convolution extraction of sign language video temporal-spatial features for end-to-end learning for recognition. Experiments on two large-scale continuous sign language datasets demonstrate the effectiveness of the proposed method and achieve highly competitive results.

Handwriting Recognition has been a field of great interest in the Artificial Intelligence domain. Due to its broad use cases in real life, research has been conducted widely on it. Prominent work has been done in this field focusing mainly on Latin characters. However, the domain of Arabic handwritten character recognition is still relatively unexplored. The inherent cursive nature of the Arabic characters and variations in writing styles across individuals makes the task even more challenging. We identified some probable reasons behind this and proposed a lightweight Convolutional Neural Network-based architecture for recognizing Arabic characters and digits. The proposed pipeline consists of a total of 18 layers containing four layers each for convolution, pooling, batch normalization, dropout, and finally one Global average pooling and a Dense layer. Furthermore, we thoroughly investigated the different choices of hyperparameters such as the choice of the optimizer, kernel initializer, activation function, etc. Evaluating the proposed architecture on the publicly available 'Arabic Handwritten Character Dataset (AHCD)' and 'Modified Arabic handwritten digits Database (MadBase)' datasets, the proposed model respectively achieved an accuracy of 96.93% and 99.35% which is comparable to the state-of-the-art and makes it a suitable solution for real-life end-level applications.

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

本文介绍了用于文档图像分析的图像数据集的系统文献综述，重点是历史文档，例如手写手稿和早期印刷品。寻找适当的数据集进行历史文档分析是促进使用不同机器学习算法进行研究的关键先决条件。但是，由于实际数据非常多（例如，脚本，任务，日期，支持系统和劣化量），数据和标签表示的不同格式以及不同的评估过程和基准，因此找到适当的数据集是一项艰巨的任务。这项工作填补了这一空白，并在现有数据集中介绍了元研究。经过系统的选择过程（根据PRISMA指南），我们选择了56项根据不同因素选择的研究，例如出版年份，文章中实施的方法数量，所选算法的可靠性，数据集大小和期刊的可靠性出口。我们通过将其分配给三个预定义的任务之一来总结每个研究：文档分类，布局结构或语义分析。我们为每个数据集提供统计，文档类型，语言，任务，输入视觉方面和地面真实信息。此外，我们还提供了这些论文或最近竞争的基准任务和结果。我们进一步讨论了该领域的差距和挑战。我们倡导将转换工具提供到通用格式（例如，用于计算机视觉任务的可可格式），并始终提供一组评估指标，而不仅仅是一种评估指标，以使整个研究的结果可比性。