从PDFS中准确提取结构化内容是NLP在科学论文中的关键第一步。最近的工作通过纳入基本布局信息，例如在页面上的每个令牌的2D位置，进入语言模型预先润廓来提高提取精度。我们介绍了明确地模拟视觉布局（VILA）组，即文本行或文本块的新方法，以进一步提高性能。在我们的I-VILA方法中，我们表明，只需将特殊令牌插入模型输入的布局组边界即可导致令牌分类的1.9％的宏F1改进。在H-VILA方法中，我们表明布局组的分层编码可能导致宏F1损耗小于0.8％的高达47％的推理时间。与先前的布局感知方法不同，我们的方法不需要昂贵的额外预制，只有微调，我们显示的速度可以降低培训成本高达95％。实验在新策划的评估套件S2-Vlue上进行，该S2-VLUE统一现有的自动标记的数据集，包括从19个科学学科的不同论文的手动注释的新数据集。预先训练的权重，基准数据集和源代码可在https://github.com/allenai/vila获得。

在将文档解析为下游应用程序的结构化，机器可读格式时，识别非结构化数字文档的布局至关重要。文档布局分析中的最新研究通常依靠计算机视觉模型来理解文档，同时忽略其他信息，例如上下文信息或文档组件的关系，这对于捕获至关重要。我们的DOC-GCN提出了一种有效的方法，可以协调和整合异质方面以进行文档布局分析。我们首先构造图形以明确描述四个主要方面，包括句法，语义，密度和外观/视觉信息。然后，我们应用图形卷积网络来表示信息的各个方面，并使用池进行集成。最后，我们将各个方面汇总，并将它们送入2层MLP，以进行文档布局组件分类。我们的DOC-GCN实现了新的最先进的结果，从而获得了三个广泛使用的DLA数据集。

文献中最近的方法已经利用了文档中的多模态信息（文本，布局，图像）来服务于特定的下游文档任务。但是，它们受到 - （i）无法学习文档的文本，布局和图像尺寸的跨模型表示，并且（ii）无法处理多页文件。已经在自然语言处理（NLP）域中显示了预训练技术，以了解来自大型未标记数据集的通用文本表示，适用于各种下游NLP任务。在本文中，我们提出了一种基于多任务学习的框架，该框架利用自我监督和监督的预训练任务的组合来学习适用于各种下游文档任务的通用文档表示。具体而言，我们将文档主题建模和文档Shuffle预测作为新的预训练任务，以便学习丰富的图像表示以及文档的文本和布局表示。我们利用啰覆网络架构作为骨干，以以端到端的方式从多页文件中编码多模态信息。我们展示我们在各种不同现实文档任务的培训框架的适用性，例如文档分类，文档信息提取和文件检索。我们在不同的标准文件数据集中评估我们的框架，并进行详尽的实验，以比较符合我们框架的各种消融和最先进的基线的绩效。

文档AI或Document Intelligence是一个相对较新的研究主题，指的是自动阅读，理解和分析业务文档的技术。它是自然语言处理和计算机视觉的重要研究方向。近年来，深度学习技术的普及已经大大提高了文档AI的发展，如文件布局分析，视觉信息提取，文档视觉问题应答，文档图像分类等。本文简要评论了一些代表性模型，任务和基准数据集。此外，我们还介绍了早期的启发式规则的文档分析，统计机器学习算法，深度学习方法，尤其是预训练方法。最后，我们展望未来的Document AI研究方向。

由于其有效的模型架构以及大规模未标记的扫描/数字出生的文件的优势，在各种视觉上丰富的文档理解任务中已经证明了文本和布局的预先培训。我们提出了具有新的预培训任务的Layoutlmv2架构，以在单个多模态框架中模拟文本，布局和图像之间的交互。具体地，对于双流多模态变压器编码器，LayOutLMV2不仅使用现有屏蔽的视觉语言建模任务，还使用新的文本图像对齐和文本图像匹配任务，这使得它更好地捕获跨模块交互在预训练阶段。同时，它还将空间感知的自我注意机制集成到变压器架构中，以便模型可以完全理解不同文本块之间的相对位置关系。实验结果表明，LayoutLMV2优于大幅度的LayOutlm，并在大量下游的下游富有的文件理解任务中实现了新的最先进的结果，包括Funsd（0.7895 $ \至0.8420美元），电源线（0.9493 $ \至0.9601美元），Srie（0.9524 $ \至0.9781美元），Kleister-NDA（0.8340 $ \ 0.8520美元），RVL-CDIP（0.9443 $ \至0.9564美元），DOCVQA（0.7295 $ \至0.8672美元） 。我们使我们的模型和代码公开可用于\ url {https://aka.ms/layoutlmv2}。

由于文件传达了丰富的人类知识，并且通常存在于企业中，因此建筑文档的对话系统已经越来越兴趣。其中，如何理解和从文档中检索信息是一个具有挑战性的研究问题。先前的工作忽略了文档的视觉属性，并将其视为纯文本，从而导致不完整的方式。在本文中，我们提出了一个布局感知文档级信息提取数据集，以促进从视觉上丰富文档（VRD）中提取结构和语义知识的研究，以在对话系统中产生准确的响应。 Lie包含来自4,061页的产品和官方文件的三个提取任务的62K注释，成为我们最大的知识，成为最大的基于VRD的信息提取数据集。我们还开发了扩展基于令牌的语言模型的基准方法，以考虑像人类这样的布局功能。经验结果表明，布局对于基于VRD的提取至关重要，系统演示还验证了提取的知识可以帮助找到用户关心的答案。

无约束的手写文本识别是一项具有挑战性的计算机视觉任务。传统上，它是通过两步方法来处理的，结合了线细分，然后是文本线识别。我们第一次为手写文档识别任务提出了无端到端的无分段体系结构：文档注意网络。除文本识别外，该模型还接受了使用类似XML的方式使用开始和结束标签标记文本零件的训练。该模型由用于特征提取的FCN编码器和用于复发令牌预测过程的变压器解码器层组成。它将整个文本文档作为输入和顺序输出字符以及逻辑布局令牌。与现有基于分割的方法相反，该模型是在不使用任何分割标签的情况下进行训练的。我们在页面级别的Read 2016数据集以及CER分别为3.43％和3.70％的双页级别上获得了竞争成果。我们还为Rimes 2009数据集提供了页面级别的结果，达到CER的4.54％。我们在https://github.com/factodeeplearning/dan上提供所有源代码和预训练的模型权重。

诸如学术文章和商业报告之类的长期文件一直是详细说明重要问题和需要额外关注的复杂主题的标准格式。自动汇总系统可以有效地将长文档置于简短而简洁的文本中，以封装最重要的信息，从而在帮助读者的理解中很重要。最近，随着神经体系结构的出现，已经做出了重大的研究工作，以推动自动文本摘要系统，以及有关将这些系统扩展到长期文档领域的挑战的大量研究。在这项调查中，我们提供了有关长期文档摘要的研究的全面概述，以及其研究环境的三个主要组成部分的系统评估：基准数据集，汇总模型和评估指标。对于每个组成部分，我们在长期汇总的背景下组织文献，并进行经验分析，以扩大有关当前研究进度的观点。实证分析包括一项研究基准数据集的内在特征，摘要模型的多维分析以及摘要评估指标的综述。根据总体发现，我们通过提出可能在这个快速增长的领域中提出未来探索的方向来得出结论。

视觉问题应答（VQA）任务利用视觉图像和语言分析来回回答图像的文本问题。它是一个流行的研究课题，在过去十年中越来越多的现实应用。本文介绍了我们最近对AliceMind-MMU的研究（阿里巴巴的编码器 - 解码器来自Damo Academy - 多媒体理解的机器智能实验室），其比人类在VQA上获得相似甚至略微更好的结果。这是通过系统地改善VQA流水线来实现的，包括：（1）具有全面的视觉和文本特征表示的预培训; （2）与学习参加的有效跨模型互动; （3）一个新颖的知识挖掘框架，具有专门的专业专家模块，适用于复杂的VQA任务。处理不同类型的视觉问题，需要具有相应的专业知识在提高我们的VQA架构的表现方面发挥着重要作用，这取决于人力水平。进行了广泛的实验和分析，以证明新的研究工作的有效性。

自我监督的预训练技术在文档AI中取得了显着进步。大多数多模式的预训练模型都使用蒙版的语言建模目标来学习文本模式的双向表示，但是它们在图像模式的预训练目标方面有所不同。这种差异增加了多模式表示学习的困难。在本文中，我们建议\ textbf {layoutlmv3}为文档AI预训练多模式变压器，并具有统一的文本和图像掩蔽。此外，LayoutLMV3通过单词斑点对齐目标进行了预训练，可以通过预测是否掩盖文本的相应图像贴片来学习交叉模式对齐。简单的统一体系结构和培训目标使Layoutlmv3成为以文本为中心和以图像为中心的文档AI任务的通用预培训模型。实验结果表明，LayoutLMV3不仅在以文本为中心的任务中实现最先进的绩效，包括形式的理解，收据理解和文档视觉问题回答，而且在以图像为中心的任务（例如文档图像分类和文档布局）中分析。代码和模型可在\ url {https://aka.ms/layoutlmv3}上公开获得。

文档信息提取（DIE）由于其在现实世界中的各种高级应用而引起了越来越多的关注。尽管最近的文献已经取得了竞争成果，但在处理具有嘈杂的OCR结果或突变布局的复杂文档时，这些方法通常会失败。本文提出了用于现实世界情景的生成多模式网络（GMN），以解决这些问题，这是一种强大的多模式生成方法，没有预定义的标签类别。借助精心设计的空间编码器和模态感知的蒙版模块，GMN可以处理复杂的文档，这些文档很难序列化为顺序。此外，GMN可以容忍OCR结果中的错误，并且不需要字符级注释，这是至关重要的，因为对众多文档的细粒注释很费力，甚至需要具有专门域知识的注释者。广泛的实验表明，GMN在几个公共模具数据集上实现了新的最新性能，并超过了其他方法，尤其是在现实的场景中。

学术研究是解决以前从未解决过的问题的探索活动。通过这种性质，每个学术研究工作都需要进行文献审查，以区分其Novelties尚未通过事先作品解决。在自然语言处理中，该文献综述通常在“相关工作”部分下进行。鉴于研究文件的其余部分和引用的论文列表，自动相关工作生成的任务旨在自动生成“相关工作”部分。虽然这项任务是在10年前提出的，但直到最近，它被认为是作为科学多文件摘要问题的变种。然而，即使在今天，尚未标准化了自动相关工作和引用文本生成的问题。在这项调查中，我们进行了一个元研究，从问题制定，数据集收集，方法方法，绩效评估和未来前景的角度来比较相关工作的现有文献，以便为读者洞察到国家的进步 - 最内容的研究，以及如何进行未来的研究。我们还调查了我们建议未来工作要考虑整合的相关研究领域。

来自文件的信息提取（即）是一大集工业应用的密集研究领域。目前最先进的方法专注于扫描文档，其中包含计算机视觉，自然语言处理和布局表示的方法。我们建议在可获得令牌风格和视觉表示的情况下挑战计算机愿景的使用（即本机PDF文件）。我们在三个现实世界复杂数据集上的实验表明，使用基于令牌的嵌入属性而不是Layoutlm模型中的原始视觉嵌入是有益的。根据数据集，这种嵌入在加权F1分数中提高0.18％至2.29％，在模型的最终培训参数中减少30.7％，从而提高了效率和有效性。

学术文学的数量，如学术会议论文和期刊，全世界迅速增加，持续研究元数据提取。然而，由于期刊出版商的不同布局格式，高性能的元数据提取仍然具有挑战性。为了适应学术期刊布局的多样性，我们提出了一种具有三种特征的新型布局感知元数据提取（LAME）框架（例如，自动布局分析的设计，施工大型元数据训练集，以及建设布局 - 元签名。我们使用PDFminer设计了自动布局分析。基于布局分析，自动提取大量的元数据分离训练数据，包括标题，摘要，作者姓名，作者附属组织和关键字。此外，我们构建了Layout-Metabert以从具有不同布局格式的学术期刊中提取元数据。具有不同布局格式的未经布局格式的USADATA提取中的稳健性能（MACRO-F1,93.27％）的实验结果表现出鲁棒性能（MACRO-F1,93.27％）。

尽管在文档理解方面取得了成功，但由于计算中的几个挑战以及如何有效吸收长期多模式输入，因此长期文档理解的实际任务在很大程度上尚未探索。大多数基于变压器的方法仅处理简短的文档，并且由于其过度的计算和内存限制，因此仅使用文本信息来引起注意。为了解决长期文档理解中的这些问题，我们探索了处理1D和新的2D位置引人入胜的不同方法，并以本质上的背景缩短了。实验结果表明，我们提出的模型基于各种评估指标具有此任务的优势。此外，我们的模型仅对注意力进行更改，因此很容易适应任何基于变压器的体系结构。

Pre-trained Transformers currently dominate most NLP tasks. They impose, however, limits on the maximum input length (512 sub-words in BERT), which are too restrictive in the legal domain. Even sparse-attention models, such as Longformer and BigBird, which increase the maximum input length to 4,096 sub-words, severely truncate texts in three of the six datasets of LexGLUE. Simpler linear classifiers with TF-IDF features can handle texts of any length, require far less resources to train and deploy, but are usually outperformed by pre-trained Transformers. We explore two directions to cope with long legal texts: (i) modifying a Longformer warm-started from LegalBERT to handle even longer texts (up to 8,192 sub-words), and (ii) modifying LegalBERT to use TF-IDF representations. The first approach is the best in terms of performance, surpassing a hierarchical version of LegalBERT, which was the previous state of the art in LexGLUE. The second approach leads to computationally more efficient models at the expense of lower performance, but the resulting models still outperform overall a linear SVM with TF-IDF features in long legal document classification.

Natural Language Generation (NLG) has improved exponentially in recent years thanks to the development of sequence-to-sequence deep learning technologies such as Transformer-based language models. This advancement has led to more fluent and coherent NLG, leading to improved development in downstream tasks such as abstractive summarization, dialogue generation and data-to-text generation. However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. To address this issue, many studies have been presented in measuring and mitigating hallucinated texts, but these have never been reviewed in a comprehensive manner before. In this survey, we thus provide a broad overview of the research progress and challenges in the hallucination problem in NLG. The survey is organized into two parts: (1) a general overview of metrics, mitigation methods, and future directions; and (2) an overview of task-specific research progress on hallucinations in the following downstream tasks, namely abstractive summarization, dialogue generation, generative question answering, data-to-text generation, machine translation, and visual-language generation. This survey serves to facilitate collaborative efforts among researchers in tackling the challenge of hallucinated texts in NLG.

我们介绍了Dessurt，这是一个相对简单的文档理解变压器，能够在各种文档任务上进行微调，而不是先前的方法。它接收文档映像和任务字符串作为输入，并作为输出以任意文本自动添加。由于Dessurt是端到端体系结构，除了文档理解外，还可以执行文本识别，因此它不需要像先前方法那样需要外部识别模型。Dessurt比先前的方法更灵活，并且能够处理各种文档域和任务。我们表明，该模型可在9种不同的数据集任务组合中有效。

在视觉上丰富的文件（VRD）上的结构化文本理解是文档智能的重要组成部分。由于VRD中的内容和布局的复杂性，结构化文本理解是一项有挑战性的任务。大多数现有的研究将此问题与两个子任务结尾：实体标记和实体链接，这需要整体地了解令牌和段级别的文档的上下文。但是，很少的工作已经关注有效地从不同层次提取结构化数据的解决方案。本文提出了一个名为structext的统一框架，它对于处理两个子任务是灵活的，有效的。具体地，基于变压器，我们引入了一个段令牌对齐的编码器，以处理不同粒度水平的实体标记和实体链接任务。此外，我们设计了一种具有三个自我监督任务的新型预训练策略，以学习更丰富的代表性。 Structext使用现有屏蔽的视觉语言建模任务和新句子长度预测和配对框方向任务，以跨文本，图像和布局结合多模态信息。我们评估我们在分段级别和令牌级别的结构化文本理解的方法，并表明它优于最先进的同行，在Funsd，Srie和Ephoie数据集中具有显着优越的性能。

文本识别是文档数字化的长期研究问题。现有的方法通常是基于CNN构建的，以用于图像理解，并为Char-Level文本生成而建立RNN。此外，通常需要另一种语言模型来提高整体准确性作为后处理步骤。在本文中，我们提出了一种使用预训练的图像变压器和文本变压器模型（即Trocr）提出的端到端文本识别方法，该模型利用了变压器体系结构，以实现图像理解和文字级级文本生成。TROR模型很简单，但有效，可以通过大规模合成数据进行预训练，并通过人体标记的数据集进行微调。实验表明，TROR模型的表现优于印刷，手写和场景文本识别任务上的当前最新模型。Trocr模型和代码可在\ url {https://aka.ms/trocr}上公开获得。