最近的作品显示了深度学习模型在词汇（IV）场景文本识别中的巨大成功。但是，在现实情况下，播音外（OOV）单词非常重要，SOTA识别模型通常在OOV设置上表现较差。受到直觉的启发，即学习的语言先验有限的OOV预言性，我们设计了一个名为Vision语言自适应相互解码器（VLAMD）的框架，以部分解决OOV问题。 VLAMD由三个主要谱系组成。首先，我们建立了一个基于注意力的LSTM解码器，具有两个适应性合并的仅视觉模块，可产生视觉平衡的主分支。其次，我们添加了一个基于辅助查询的自动回归变压器解码头，以进行通用的视觉和语言先验表示学习。最后，我们将这两种设计与双向培训相结合，以进行更多样化的语言建模，并进行相互的顺序解码以获得强烈的结果。我们的方法在IV+OOV和OOV设置上分别实现了70.31 \％和59.61 \％单词的准确性，分别在ECCV 2022 TIE TIE Workshop上的OOV-ST挑战的裁剪单词识别任务上，我们在这两个设置上都获得了第一名。

Scene text spotting is of great importance to the computer vision community due to its wide variety of applications. Recent methods attempt to introduce linguistic knowledge for challenging recognition rather than pure visual classification. However, how to effectively model the linguistic rules in end-to-end deep networks remains a research challenge. In this paper, we argue that the limited capacity of language models comes from 1) implicit language modeling; 2) unidirectional feature representation; and 3) language model with noise input. Correspondingly, we propose an autonomous, bidirectional and iterative ABINet++ for scene text spotting. Firstly, the autonomous suggests enforcing explicitly language modeling by decoupling the recognizer into vision model and language model and blocking gradient flow between both models. Secondly, a novel bidirectional cloze network (BCN) as the language model is proposed based on bidirectional feature representation. Thirdly, we propose an execution manner of iterative correction for the language model which can effectively alleviate the impact of noise input. Finally, to polish ABINet++ in long text recognition, we propose to aggregate horizontal features by embedding Transformer units inside a U-Net, and design a position and content attention module which integrates character order and content to attend to character features precisely. ABINet++ achieves state-of-the-art performance on both scene text recognition and scene text spotting benchmarks, which consistently demonstrates the superiority of our method in various environments especially on low-quality images. Besides, extensive experiments including in English and Chinese also prove that, a text spotter that incorporates our language modeling method can significantly improve its performance both in accuracy and speed compared with commonly used attention-based recognizers.

多年来，场景文本识别（STR）一直是计算机视觉的积极研究主题。为了解决这个具有挑战性的问题，已经提出了许多创新的方法，并将语言知识纳入STR模型最近已成为一个显着的趋势。在这项工作中，我们首先从视觉变压器（VIT）的最新进展中汲取灵感来构建一个概念上简单而强大的视觉str模型，该模型建立在VIT和胜过以前的现场文本识别的先前最新模型，包括纯视觉模型和语言增强方法。为了整合语言知识，我们进一步提出了一种多粒性预测策略，以隐式方式将信息从语言模式注入模型，即NLP中广泛使用的子字表示（BPE和Wordpiece）被引入输出空间，除了传统的字符级别表示外，不采用独立语言模型（LM）。所得的算法（称为MGP-STR）能够将Str的性能包络提高到更高的水平。具体而言，它的平均识别精度在标准基准上达到93.35％。代码将很快发布。

基于关注的编码器解码器框架广泛用于场景文本识别任务。然而，对于当前的最先进的（SOTA）方法，就输入文本图像的本地视觉和全局上下文信息的有效使用而言，存在改进的余地，以及场景之间的鲁棒相关性处理模块（编码器）和文本处理模块（解码器）。在本文中，我们提出了一种表示和相关性增强的编码器解码器框架（Rceed）来解决这些缺陷和断裂性能瓶颈。在编码器模块中，将本地视觉功能，全局上下文特征和位置信息进行对齐并融合以生成小型综合特征图。在解码器模块中，使用两种方法来增强场景和文本特征空间之间的相关性。 1）解码器初始化由从编码器导出的整体特征和全局瞥觉矢量引导。 2）通过多头一般注意力产生的富集瞥见载体的特征来帮助RNN迭代和每个时间步骤的字符预测。同时，我们还设计了一个LABRAMORM-DROPOUT LSTM单元，以改善模型的可变文本的概括。基准的广泛实验展示了在现场文本识别任务中的有利性能，尤其是不规则的性能。

提出了基于视觉变压器（VLT）的新型场景文本识别器。受NLP领域的Levenshtein Transformer的启发，提出的方法（命名为Levenshtein OCR和Short Levocr）探索了一种自动从裁剪自然图像中自动转录文本内容的替代方法。具体而言，我们将场景文本识别的问题视为迭代序列完善过程。由纯视觉模型产生的初始预测序列被编码并馈送到跨模式变压器中，以与视觉特征相互作用并融合，以逐渐近似地面真理。改进过程是通过两个基本字符级操作完成的：删除和插入，它们是通过模仿学习来学习的，并允许并行解码，动态长度变化和良好的解释性。定量实验清楚地表明，Levocr在标准基准上实现最新性能，定性分析验证了拟议的Levocr算法的有效性和优势。代码将很快发布。

基于关注的编码器 - 解码器框架在现场文本识别中变得流行，主要是由于其在从视觉和语义域集成识别线索方面的优越性。然而，最近的研究表明，这两个线索可能在困难的文本中错位（例如，具有稀有文本形状）并引入诸如角色位置的约束来缓解问题。尽管有一定的成功，但无内容的位置嵌入稳定地与有意义的本地图像区域嵌入。在本文中，我们提出了一种名为多域字符距离感知（MDCDP）的新型模块，以建立视觉和语义相关位置编码。 MDCDP使用位置嵌入在注意机制后查询视觉和语义功能。它自然地编码了位置线索，其描述了字符之间的视觉和语义距离。我们开发一个名为CDISTNET的新型架构，堆叠MDCDP几次以指导精确的距离建模。因此，即使呈现的各种困难，视觉语义对准也很好地建造。我们将CDISTNET应用于两个增强的数据集和六个公共基准。实验表明，CDISTNET实现了最先进的识别准确性。虽然可视化也表明CDISTNET在视觉和语义域中实现了适当的注意本地化。我们将在验收时发布我们的代码。

建模语义信息对于场景文本识别有用。在这项工作中，我们建议与视觉语义变压器（VST）共同模拟语义和视觉信息。 VST首先从具有变压器模块和主视觉语义对齐模块中的视觉特征映射明确地提取主语义信息。然后将语义信息与视觉特征映射（被视为序列）连接以形成伪多域序列，该伪多域序列组合视觉和语义信息，随后将其馈入基于变压器的交互模块，以便能够在视觉和视觉之间学习相互作用语义特征。以这种方式，可以通过语义信息和反之亦然可以增强视觉特征。可视特征的增强版本通过辅助视觉 - 语义对准模块进一步解码，其与主要一个共享权重。最后，通过获得最终文本预测的第三变压器模块共同处理解码的视觉特征和增强的语义特征。在包括常规/不规则文本识别数据集的七个公共基准测试中的实验验证了我们所提出的模型，在七个基准中的四个基准中达到最先进的效果。

本文提出了2022年访问量的挑战的最终结果。 OOV竞赛介绍了一个重要方面，而光学角色识别（OCR）模型通常不会研究，即，在培训时对看不见的场景文本实例的识别。竞赛编制了包含326,385张图像的公共场景文本数据集的集合，其中包含4,864,405个场景文本实例，从而涵盖了广泛的数据分布。形成了一个新的独立验证和测试集，其中包括在训练时出词汇量不超出词汇的场景文本实例。竞争是在两项任务中进行的，分别是端到端和裁剪的文本识别。介绍了基线和不同参与者的结果的详尽分析。有趣的是，在新研究的设置下，当前的最新模型显示出显着的性能差距。我们得出的结论是，在此挑战中提出的OOV数据集将是要探索的重要领域，以开发场景文本模型，以实现更健壮和广义的预测。

在现场文本识别中已经证明了语义信息。大多数现有方法倾向于将视觉和语义信息耦合到基于关注的解码器中。结果，语义特征的学习易于在训练集的有限词汇上具有偏差，这被称为词汇关系。在本文中，我们提出了一种新颖的视觉语义解耦网络（VSDN）来解决问题。我们的VSDN包含一个可视解码器（VD）和语义解码器（SD），以分别学习更纯度的视觉和语义特征表示。此外，语义编码器（SE）设计用于匹配SD，可以通过简单的单词校正任务通过额外的廉价大型词汇进行预先培训。因此，语义特征更加不偏并且精确地引导视觉特征对准并丰富最终字符表示。实验表明，我们的方法在标准基准上实现了最先进的或竞争力的结果，并且在培训集具有小尺寸的词汇量的情况下，在较大的余量下优于流行的基线。

事实证明，多模式文档预训练的模型在各种视觉上富裕的文档理解（VRDU）任务中非常有效。尽管现有的文档预先培训模型在VRDU的标准基准上取得了出色的性能，但它们建模和利用文档上的视觉和语言之间的互动的方式阻碍了他们无法获得更好的概括能力和更高的准确性。在这项工作中，我们主要从监督信号的角度研究了VRDU视觉联合表示学习的问题。具体而言，提出了一种称为BI-VLDOC的预训练范式，其中设计了双向视觉监督策略和视觉性混合注意机制，以完全探索并利用这两种方式之间的相互作用，以学习更强的交叉交叉方式 - 具有更丰富语义的模式文档表示。 Bi-Vldoc受益于学习丰富的跨模式文档表示形式，显着提高了三个广泛使用文档的最新性能，理解基准，包括形式的理解（从85.14％到93.44％），收据信息提取（从96.01％到97.84％）和文档分类（从96.08％到97.12％）。在文档视觉质量检查中，BI-VLDOC与以前的单个模型方法相比，实现了最先进的性能。

场景文本识别（str）是图像和文本之间的重要桥梁，吸引了丰富的研究关注。虽然卷积神经网络（CNNS）在此任务中取得了显着的进展，但大多数现有工作都需要额外的模块（上下文建模模块）来帮助CNN捕获全局依赖项来解决归纳偏差并加强文本特征之间的关系。最近，该变压器已被提出作为通过自我关注机制的全球背景建模的有希望的网络，但在应用于识别时主要缺点是效率。我们提出了一个1-D拆分来解决复杂性的挑战，并用变压器编码器替换CNN，以减少对上下文建模模块的需求。此外，最近的方法使用冻结的初始嵌入来指导解码器对文本进行解码，导致精度损失。我们建议使用从变压器编码器中学到的学习学习的可读初始嵌入，使其自适应不同的输入图像。最重要的是，我们介绍了一个新颖的文本识别架构，名为基于变压器的文本识别器，其中包含三个阶段（转换，特征提取和预测）组成的初始嵌入指导（TRIG）。广泛的实验表明，我们的方法可以在文本识别基准上实现最先进的。

艺术文本识别是一项极具挑战性的任务，具有广泛的应用程序。但是，当前场景文本识别方法主要集中于不规则文本，而未专门探讨艺术文本。艺术文本识别的挑战包括具有特殊设计的字体和效果的各种外观，字符之间的复杂连接和重叠以及背景模式的严重干扰。为了减轻这些问题，我们建议在三个层面上识别艺术文本。首先，考虑到角结构对外观和形状的稳健性，使用角点指导角色内部特征的提取。通过这种方式，角点的离散性切断了字符之间的连接，它们的稀疏性改善了背景干扰的稳健性。其次，我们设计了一个字符对比损失，以模拟字符级别的特征，从而改善了字符分类的特征表示。第三，我们利用变形金刚在图像级别上学习全局功能，并在角落跨注意机制的帮助下对角点的全球关系进行建模。此外，我们提供了一个艺术文本数据集来基准表演。实验结果验证了我们提出的方法在艺术文本识别方面的显着优势，并在几个模糊和透视数据集上实现了最先进的性能。

文本识别是文档数字化的长期研究问题。现有的方法通常是基于CNN构建的，以用于图像理解，并为Char-Level文本生成而建立RNN。此外，通常需要另一种语言模型来提高整体准确性作为后处理步骤。在本文中，我们提出了一种使用预训练的图像变压器和文本变压器模型（即Trocr）提出的端到端文本识别方法，该模型利用了变压器体系结构，以实现图像理解和文字级级文本生成。TROR模型很简单，但有效，可以通过大规模合成数据进行预训练，并通过人体标记的数据集进行微调。实验表明，TROR模型的表现优于印刷，手写和场景文本识别任务上的当前最新模型。Trocr模型和代码可在\ url {https://aka.ms/trocr}上公开获得。

现有场景文本识别（str）方法通常使用语言模型来优化通过视觉识别（VR）模型预测的1D字符序列的联合概率，该模型忽略了字符实例内和之间的视觉语义的2D空间上下文不概括为任意形状的场景文本。要解决此问题，我们首次尝试根据本文的视觉语义进行文本推理。从技术上讲，给定VR模型预测的字符分割映射，我们为每个实例构造一个子图，其中节点表示基于它们的空间相似度之间的节点中的像素和边缘。然后，这些子图通过其根节点顺序连接并合并到完整的图表中。基于此图，我们通过通过跨熵损失监督它来设计图表卷积网络以进行文本推理（GTR）。 GTR可以轻松插入代表性的STR模型，以提高其性能，因为较好的文本推理。具体而言，我们通过将GTR并将GTR与基于分段的STR基线中的语言模型并联的语言模型进行了构建模型，即，通过相互学习可以有效利用视觉语言互补性。 S-GTR在六个挑战性的STR基准上套装新的最先进的基准，并概括为多语言数据集。代码可用于https://github.com/adeline-cs/gtr。

上下文感知的str方法通常使用内部自回旋（AR）语言模型（LM）。 AR模型的固有局限性动机是采用外部LM的两阶段方法。输入图像上外部LM的条件独立性可能导致其错误地纠正正确的预测，从而导致明显的低效率。我们的方法Parseq使用置换语言建模学习了具有共同权重的内部AR LMS集合。它统一了无上下文的非AR和上下文感知的AR推断，并使用双向上下文统一了迭代的精致。使用合成训练数据，Parseq实现了最新的（SOTA），从而获得了Str基准（精度为91.9％）和更具挑战性的数据集。在对实际数据进行培训时，它建立了新的SOTA结果（精度为96.0％）。 Parseq由于其简单，统一的结构和平行的令牌处理，对准确性与参数计数，拖放和延迟非常最佳。由于其广泛使用了注意力，它对在现实世界图像中常见的任意导向文本具有鲁棒性。代码，预处理的权重和数据可在以下网址提供：https：//github.com/baudm/parseq。

大多数当前图像标题模型通常从左到右生成标题。这种单向财产使它们只能利用过去的背景但不是未来的背景。尽管最近的基于改进的模型可以通过基于第一阶段的预检索或预先生成的标题在第二阶段生成新的标题来利用过去和未来的上下文，但是这些模型的解码器通常由两个网络组成〜（即第一阶段中的猎犬或标题器和第二阶段的炼油厂），其只能顺序地执行。在本文中，我们引入了一种用于图像标题的紧凑双向变压器模型，其可以在解码器并行执行解码器时隐式地和明确地利用双向上下文。具体地，通过将​​左右（L2R）和向右（R2L）紧密地耦合到单个紧凑型〜（即隐式）和可选地允许两个流的相互作用（即明确）的相互作用（即明确）来实现来实现。最终标题以句子级集合方式从L2R或R2L流中选择。我们对MSCOCO基准进行广泛的消融研究，并找到紧凑的架构，它用作隐式利用双向上下文的正则化，以及句子级集合比显式交互机制扮演更重要的角色。通过无缝地与单词级集合组合，句子级集合的效果进一步放大。我们进一步将传统的单流自我关键培训扩展到此架构下的双流程版本，并与非视语 - 预先预订模型相比，实现新的最先进导致。源代码可用于{\ color {magenta} \ url {https://github.com/yuanezhou/cbtrans}}。

近年来，基于注意力的场景文本识别方法非常受欢迎，并吸引了许多研究人员的兴趣。基于注意力的方法可以将注意力集中在解码过程中的小区域甚至单点上，其中注意矩阵几乎是一个旋转分布。此外，在推断过程中，所有注意力矩阵都将加权整个特征地图，从而导致巨大的冗余计算。在本文中，我们提出了一个用于场景文本识别的有效无注意的单点解码网络（称为SPDN），该网络可以取代传统的基于注意力的解码网络。具体而言，我们建议单点采样模块（SPSM）有效地在特征映射上为解码一个字符的一个关键点采样。这样，我们的方法不仅可以精确地找到每个字符的关键点，还可以删除冗余计算。基于SPSM，我们设计了一个高效且新颖的单点解码网络，以替代基于注意力的解码网络。对公开基准测试的广泛实验证明，我们的SPDN可以大大提高解码效率而不牺牲性能。

多模式变压器表现出高容量和灵活性，可将图像和文本对齐以进行视觉接地。然而，由于自我发挥操作的二次时间复杂性，仅编码的接地框架（例如，transvg）遭受了沉重的计算。为了解决这个问题，我们通过将整个接地过程解散为编码和解码阶段，提出了一种新的多模式变压器体系结构，以动态MDETR形成。关键观察是，图像中存在很高的空间冗余。因此，我们通过在加快视觉接地过程之前利用这种稀疏性来设计一种新的动态多模式变压器解码器。具体而言，我们的动态解码器由2D自适应采样模块和文本引导的解码模块组成。采样模块旨在通过预测参考点的偏移来选择这些信息补丁，而解码模块则可以通过在图像功能和文本功能之间执行交叉注意来提取接地对象信息。这两个模块也被堆叠起来，以逐渐弥合模态间隙，并迭代地完善接地对象的参考点，最终实现了视觉接地的目的。对五个基准测试的广泛实验表明，我们提出的动态MDETR实现了计算和准确性之间的竞争权衡。值得注意的是，在解码器中仅使用9％的特征点，我们可以降低〜44％的多模式变压器的GLOP，但仍然比仅编码器的对应物更高的精度。此外，为了验证其概括能力并扩展我们的动态MDETR，我们构建了第一个单级剪辑授权的视觉接地框架，并在这些基准测试中实现最先进的性能。

手写的数学表达式识别旨在自动生成来自给定图像的乳胶序列。目前，基于注意的编码器 - 解码器模型被广泛用于此任务。它们通常以左右（L2R）方式生成目标序列，留下左右（R2L）上下文未分发。在本文中，我们提出了一种基于聚合的双向互访网络（ABM），其包括一个共享编码器和两个并行逆解码器（L2R和R2L）组成。通过相互蒸馏增强了两个解码器，其涉及每个训练步骤的一对一知识转移，从而充分利用来自两个反向的互补信息。此外，为了处理各种规模的数学符号，提出了注意聚合模块（AAM）以有效地集成了多尺度覆盖关注。值得注意的是，在推理阶段，考虑到模型已经从两个反向方向学习知识，我们只使用L2R分支推断，保持原始参数大小和推断速度。广泛的实验表明，我们的拟议方法在2016年克罗欧2014年达到56.85％的识别准确性，52.92％，在克罗欧2019年的53.96％，没有数据增强和模型集合，大大优于最先进的方法。源代码可在补充材料中获得。

最近，自我监督的预先磨普已经实现了端到端（E2E）自动语音识别（ASR）的令人印象深刻的结果。然而，主要的序列到序列（S2S）E2E模型仍然很难充分利用自我监督的预训练方法，因为其解码器在声学表示上被调节，因此不能分开预先磨损。在本文中，我们提出了一种基于混合CTC /注意E2E模型的预磨削变压器（Preformer）S2S ASR架构，以充分利用预磨削的声学模型（AMS）和语言模型（LMS）。在我们的框架中，编码器初始化了Preprina（Wav2Vec2.0）。 Preformer在训练和推理期间利用CTC作为辅助任务。此外，我们设计了一个十字解码器（OCD），其放宽对声学表示的依赖性，以便可以用预净化的LM（DistilGPT2）初始化它。实验在Aishell-1语料库上进行，并在测试集上达到4.6±6 \％$ Character error rate（cer）。与我们的Vanilla混合CTC /注意力变压器基线相比，我们所提出的CTC /注意力的预浆料产生27亿美元的相对CER减少。据我们所知，这是第一个在S2S ASR系统中使用普里雷米和LM的第一项工作。