表格是一种广泛类型的基于模板的文档，用于各种各样的领域，包括，等等，管理，医学，金融或保险。由于日常生成的形式增加，这些文件中包括的信息的自动提取大大要求。然而，由于具有不同形式实体位置的模板的巨大分集以及扫描文档的质量，因此在使用扫描形式时，这不是一项直接的任务，以及扫描文档的质量。在此上下文中，存在一个功能由所有形式共享：它们包含作为键值（或标签值）对构建的互连实体的集合以及其他实体，例如标题或图像。在这项工作中，我们通过基于BERT架构组合图像处理技术和文本分类模型来了解以形式的实体链接问题。这种方法实现了最先进的结果，在Funsd DataSet上的F1分数为0.80，关于最佳方法的提高5％。此项目的代码可在https://github.com/mavillot/funsd-entity-linking中获得。

几何深度学习最近对包括文档分析在内的广泛的机器学习领域引起了极大的兴趣。图形神经网络（GNN）的应用在各种与文档有关的任务中变得至关重要，因为它们可以揭示重要的结构模式，这是关键信息提取过程的基础。文献中的先前作品提出了任务驱动的模型，并且没有考虑到图形的全部功能。我们建议Doc2Graph是一种基于GNN模型的任务无关文档理解框架，以解决给定不同类型文档的不同任务。我们在两个具有挑战性的数据集上评估了我们的方法，以在形式理解，发票布局分析和表检测中进行关键信息提取。我们的代码可以在https://github.com/andreagemelli/doc2graph上自由访问。

在视觉上丰富的文件（VRD）上的结构化文本理解是文档智能的重要组成部分。由于VRD中的内容和布局的复杂性，结构化文本理解是一项有挑战性的任务。大多数现有的研究将此问题与两个子任务结尾：实体标记和实体链接，这需要整体地了解令牌和段级别的文档的上下文。但是，很少的工作已经关注有效地从不同层次提取结构化数据的解决方案。本文提出了一个名为structext的统一框架，它对于处理两个子任务是灵活的，有效的。具体地，基于变压器，我们引入了一个段令牌对齐的编码器，以处理不同粒度水平的实体标记和实体链接任务。此外，我们设计了一种具有三个自我监督任务的新型预训练策略，以学习更丰富的代表性。 Structext使用现有屏蔽的视觉语言建模任务和新句子长度预测和配对框方向任务，以跨文本，图像和布局结合多模态信息。我们评估我们在分段级别和令牌级别的结构化文本理解的方法，并表明它优于最先进的同行，在Funsd，Srie和Ephoie数据集中具有显着优越的性能。

尽管将发票内容作为元数据存储以避免纸质文档处理可能是未来的趋势，但几乎所有每日发行的发票仍在纸上打印或以PDF等数字格式生成。在本文中，我们介绍了从扫描文档图像中提取信息的OCRMiner系统，该系统基于文本分析技术与布局功能结合使用（半）结构化文档的索引元数据。该系统旨在以人类读者使用的类似方式处理文档，即在协调决策中采用不同的布局和文本属性。该系统由一组互连模块组成，该模块以（可能是错误的）基于字符的输出从标准OCR系统开始，并允许应用不同的技术并在每个步骤中扩展提取的知识。使用开源OCR，该系统能够以90％的英语恢复发票数据，而捷克设置的发票数据为88％。

文档AI或Document Intelligence是一个相对较新的研究主题，指的是自动阅读，理解和分析业务文档的技术。它是自然语言处理和计算机视觉的重要研究方向。近年来，深度学习技术的普及已经大大提高了文档AI的发展，如文件布局分析，视觉信息提取，文档视觉问题应答，文档图像分类等。本文简要评论了一些代表性模型，任务和基准数据集。此外，我们还介绍了早期的启发式规则的文档分析，统计机器学习算法，深度学习方法，尤其是预训练方法。最后，我们展望未来的Document AI研究方向。

问题答案（QA）是自然语言处理中最具挑战性的最具挑战性的问题之一（NLP）。问答（QA）系统试图为给定问题产生答案。这些答案可以从非结构化或结构化文本生成。因此，QA被认为是可以用于评估文本了解系统的重要研究区域。大量的QA研究致力于英语语言，调查最先进的技术和实现最先进的结果。然而，由于阿拉伯QA中的研究努力和缺乏大型基准数据集，在阿拉伯语问答进展中的研究努力得到了很大速度的速度。最近许多预先接受的语言模型在许多阿拉伯语NLP问题中提供了高性能。在这项工作中，我们使用四个阅读理解数据集来评估阿拉伯QA的最先进的接种变压器模型，它是阿拉伯语 - 队，ArcD，AQAD和TYDIQA-GoldP数据集。我们微调并比较了Arabertv2基础模型，ArabertV0.2大型型号和ARAElectra模型的性能。在最后，我们提供了一个分析，了解和解释某些型号获得的低绩效结果。

无约束的手写文本识别是一项具有挑战性的计算机视觉任务。传统上，它是通过两步方法来处理的，结合了线细分，然后是文本线识别。我们第一次为手写文档识别任务提出了无端到端的无分段体系结构：文档注意网络。除文本识别外，该模型还接受了使用类似XML的方式使用开始和结束标签标记文本零件的训练。该模型由用于特征提取的FCN编码器和用于复发令牌预测过程的变压器解码器层组成。它将整个文本文档作为输入和顺序输出字符以及逻辑布局令牌。与现有基于分割的方法相反，该模型是在不使用任何分割标签的情况下进行训练的。我们在页面级别的Read 2016数据集以及CER分别为3.43％和3.70％的双页级别上获得了竞争成果。我们还为Rimes 2009数据集提供了页面级别的结果，达到CER的4.54％。我们在https://github.com/factodeeplearning/dan上提供所有源代码和预训练的模型权重。

在将文档解析为下游应用程序的结构化，机器可读格式时，识别非结构化数字文档的布局至关重要。文档布局分析中的最新研究通常依靠计算机视觉模型来理解文档，同时忽略其他信息，例如上下文信息或文档组件的关系，这对于捕获至关重要。我们的DOC-GCN提出了一种有效的方法，可以协调和整合异质方面以进行文档布局分析。我们首先构造图形以明确描述四个主要方面，包括句法，语义，密度和外观/视觉信息。然后，我们应用图形卷积网络来表示信息的各个方面，并使用池进行集成。最后，我们将各个方面汇总，并将它们送入2层MLP，以进行文档布局组件分类。我们的DOC-GCN实现了新的最先进的结果，从而获得了三个广泛使用的DLA数据集。

最近，由于其广泛的商业价值，从视觉丰富的文档（例如门票和简历）中自动提取信息已成为一个热门而重要的研究主题。大多数现有方法将此任务分为两个小节：用于从原始文档图像中获取纯文本的文本阅读部分以及用于提取密钥内容的信息提取部分。这些方法主要集中于改进第二个方法，同时忽略了这两个部分高度相关。本文提出了一个统一的端到端信息提取框架，从视觉上富含文档中提出，文本阅读和信息提取可以通过精心设计的多模式上下文块相互加强。具体而言，文本阅读部分提供了多模式功能，例如视觉，文本和布局功能。开发了多模式上下文块，以融合生成的多模式特征，甚至是从预训练的语言模型中获得的先验知识，以提供更好的语义表示。信息提取部分负责使用融合上下文功能生成密钥内容。该框架可以以端到端的可训练方式进行培训，从而实现全球优化。更重要的是，我们将视觉丰富的文档定义为跨两个维度的四个类别，即布局和文本类型。对于每个文档类别，我们提供或推荐相应的基准，实验设置和强大的基准，以弥补该研究领域缺乏统一评估标准的问题。报告了对四种基准测试的广泛实验（从固定布局到可变布局，从完整的文本到半未结构化的文本），证明了所提出的方法的有效性。数据，源代码和模型可用。

Multimodal integration of text, layout and visual information has achieved SOTA results in visually rich document understanding (VrDU) tasks, including relation extraction (RE). However, despite its importance, evaluation of the relative predictive capacity of these modalities is less prevalent. Here, we demonstrate the value of shared representations for RE tasks by conducting experiments in which each data type is iteratively excluded during training. In addition, text and layout data are evaluated in isolation. While a bimodal text and layout approach performs best (F1=0.684), we show that text is the most important single predictor of entity relations. Additionally, layout geometry is highly predictive and may even be a feasible unimodal approach. Despite being less effective, we highlight circumstances where visual information can bolster performance. In total, our results demonstrate the efficacy of training joint representations for RE.

由于其有效的模型架构以及大规模未标记的扫描/数字出生的文件的优势，在各种视觉上丰富的文档理解任务中已经证明了文本和布局的预先培训。我们提出了具有新的预培训任务的Layoutlmv2架构，以在单个多模态框架中模拟文本，布局和图像之间的交互。具体地，对于双流多模态变压器编码器，LayOutLMV2不仅使用现有屏蔽的视觉语言建模任务，还使用新的文本图像对齐和文本图像匹配任务，这使得它更好地捕获跨模块交互在预训练阶段。同时，它还将空间感知的自我注意机制集成到变压器架构中，以便模型可以完全理解不同文本块之间的相对位置关系。实验结果表明，LayoutLMV2优于大幅度的LayOutlm，并在大量下游的下游富有的文件理解任务中实现了新的最先进的结果，包括Funsd（0.7895 $ \至0.8420美元），电源线（0.9493 $ \至0.9601美元），Srie（0.9524 $ \至0.9781美元），Kleister-NDA（0.8340 $ \ 0.8520美元），RVL-CDIP（0.9443 $ \至0.9564美元），DOCVQA（0.7295 $ \至0.8672美元） 。我们使我们的模型和代码公开可用于\ url {https://aka.ms/layoutlmv2}。

文档信息提取（DIE）由于其在现实世界中的各种高级应用而引起了越来越多的关注。尽管最近的文献已经取得了竞争成果，但在处理具有嘈杂的OCR结果或突变布局的复杂文档时，这些方法通常会失败。本文提出了用于现实世界情景的生成多模式网络（GMN），以解决这些问题，这是一种强大的多模式生成方法，没有预定义的标签类别。借助精心设计的空间编码器和模态感知的蒙版模块，GMN可以处理复杂的文档，这些文档很难序列化为顺序。此外，GMN可以容忍OCR结果中的错误，并且不需要字符级注释，这是至关重要的，因为对众多文档的细粒注释很费力，甚至需要具有专门域知识的注释者。广泛的实验表明，GMN在几个公共模具数据集上实现了新的最新性能，并超过了其他方法，尤其是在现实的场景中。

知识库问题应答（KBQA）旨在在外部知识库的帮助下回答自然语言问题。核心思想是找到内部知识与知识库的已知三元组之间的内部知识之间的联系。 KBQA任务管道包含几个步骤，包括实体识别，关系提取和实体链接。这种管道方法意味着任何过程中的错误将不可避免地传播到最终预测。为了解决上述问题，本文提出了一种具有预培训语言模型（PLM）和知识图（KG）的语料库生成 - 检索方法（CGRM）。首先，基于MT5模型，我们设计了两个新的预训练任务：基于段落的知识屏蔽语言建模和问题，以获取知识增强型T5（KT5）模型。其次，在用一系列启发式规则预处理知识图的预处理之后，KT5模型基于处理的三元组生成自然语言QA对。最后，我们通过检索合成数据集直接解决QA。我们在NLPCC-ICCPOL 2016 KBQA数据集上测试我们的方法，结果表明，我们的框架提高了KBQA的性能，直接向前的方法与最先进的方法竞争。

Coreference resolution (CR) is one of the most challenging areas of natural language processing. This task seeks to identify all textual references to the same real-world entity. Research in this field is divided into coreference resolution and anaphora resolution. Due to its application in textual comprehension and its utility in other tasks such as information extraction systems, document summarization, and machine translation, this field has attracted considerable interest. Consequently, it has a significant effect on the quality of these systems. This article reviews the existing corpora and evaluation metrics in this field. Then, an overview of the coreference algorithms, from rule-based methods to the latest deep learning techniques, is provided. Finally, coreference resolution and pronoun resolution systems in Persian are investigated.

自动问题应答（QA）系统的目的是以时间有效的方式向用户查询提供答案。通常在数据库（或知识库）或通常被称为语料库的文件集合中找到答案。在过去的几十年里，收购知识的扩散，因此生物医学领域的新科学文章一直是指数增长。因此，即使对于领域专家，也难以跟踪域中的所有信息。随着商业搜索引擎的改进，用户可以在某些情况下键入其查询并获得最相关的一小组文档，以及在某些情况下从文档中的相关片段。但是，手动查找所需信息或答案可能仍然令人疑惑和耗时。这需要开发高效的QA系统，该系统旨在为用户提供精确和精确的答案提供了生物医学领域的自然语言问题。在本文中，我们介绍了用于开发普通域QA系统的基本方法，然后彻底调查生物医学QA系统的不同方面，包括使用结构化数据库和文本集合的基准数据集和几种提出的方​​法。我们还探讨了当前系统的局限性，并探索潜在的途径以获得进一步的进步。

Document images are a ubiquitous source of data where the text is organized in a complex hierarchical structure ranging from fine granularity (e.g., words), medium granularity (e.g., regions such as paragraphs or figures), to coarse granularity (e.g., the whole page). The spatial hierarchical relationships between content at different levels of granularity are crucial for document image understanding tasks. Existing methods learn features from either word-level or region-level but fail to consider both simultaneously. Word-level models are restricted by the fact that they originate from pure-text language models, which only encode the word-level context. In contrast, region-level models attempt to encode regions corresponding to paragraphs or text blocks into a single embedding, but they perform worse with additional word-level features. To deal with these issues, we propose MGDoc, a new multi-modal multi-granular pre-training framework that encodes page-level, region-level, and word-level information at the same time. MGDoc uses a unified text-visual encoder to obtain multi-modal features across different granularities, which makes it possible to project the multi-granular features into the same hyperspace. To model the region-word correlation, we design a cross-granular attention mechanism and specific pre-training tasks for our model to reinforce the model of learning the hierarchy between regions and words. Experiments demonstrate that our proposed model can learn better features that perform well across granularities and lead to improvements in downstream tasks.

事实证明，多模式文档预训练的模型在各种视觉上富裕的文档理解（VRDU）任务中非常有效。尽管现有的文档预先培训模型在VRDU的标准基准上取得了出色的性能，但它们建模和利用文档上的视觉和语言之间的互动的方式阻碍了他们无法获得更好的概括能力和更高的准确性。在这项工作中，我们主要从监督信号的角度研究了VRDU视觉联合表示学习的问题。具体而言，提出了一种称为BI-VLDOC的预训练范式，其中设计了双向视觉监督策略和视觉性混合注意机制，以完全探索并利用这两种方式之间的相互作用，以学习更强的交叉交叉方式 - 具有更丰富语义的模式文档表示。 Bi-Vldoc受益于学习丰富的跨模式文档表示形式，显着提高了三个广泛使用文档的最新性能，理解基准，包括形式的理解（从85.14％到93.44％），收据信息提取（从96.01％到97.84％）和文档分类（从96.08％到97.12％）。在文档视觉质量检查中，BI-VLDOC与以前的单个模型方法相比，实现了最先进的性能。

来自文件的信息提取（即）是一大集工业应用的密集研究领域。目前最先进的方法专注于扫描文档，其中包含计算机视觉，自然语言处理和布局表示的方法。我们建议在可获得令牌风格和视觉表示的情况下挑战计算机愿景的使用（即本机PDF文件）。我们在三个现实世界复杂数据集上的实验表明，使用基于令牌的嵌入属性而不是Layoutlm模型中的原始视觉嵌入是有益的。根据数据集，这种嵌入在加权F1分数中提高0.18％至2.29％，在模型的最终培训参数中减少30.7％，从而提高了效率和有效性。

文献中最近的方法已经利用了文档中的多模态信息（文本，布局，图像）来服务于特定的下游文档任务。但是，它们受到 - （i）无法学习文档的文本，布局和图像尺寸的跨模型表示，并且（ii）无法处理多页文件。已经在自然语言处理（NLP）域中显示了预训练技术，以了解来自大型未标记数据集的通用文本表示，适用于各种下游NLP任务。在本文中，我们提出了一种基于多任务学习的框架，该框架利用自我监督和监督的预训练任务的组合来学习适用于各种下游文档任务的通用文档表示。具体而言，我们将文档主题建模和文档Shuffle预测作为新的预训练任务，以便学习丰富的图像表示以及文档的文本和布局表示。我们利用啰覆网络架构作为骨干，以以端到端的方式从多页文件中编码多模态信息。我们展示我们在各种不同现实文档任务的培训框架的适用性，例如文档分类，文档信息提取和文件检索。我们在不同的标准文件数据集中评估我们的框架，并进行详尽的实验，以比较符合我们框架的各种消融和最先进的基线的绩效。

由于文件传达了丰富的人类知识，并且通常存在于企业中，因此建筑文档的对话系统已经越来越兴趣。其中，如何理解和从文档中检索信息是一个具有挑战性的研究问题。先前的工作忽略了文档的视觉属性，并将其视为纯文本，从而导致不完整的方式。在本文中，我们提出了一个布局感知文档级信息提取数据集，以促进从视觉上丰富文档（VRD）中提取结构和语义知识的研究，以在对话系统中产生准确的响应。 Lie包含来自4,061页的产品和官方文件的三个提取任务的62K注释，成为我们最大的知识，成为最大的基于VRD的信息提取数据集。我们还开发了扩展基于令牌的语言模型的基准方法，以考虑像人类这样的布局功能。经验结果表明，布局对于基于VRD的提取至关重要，系统演示还验证了提取的知识可以帮助找到用户关心的答案。