Document Visual Question Answering (DocVQA) refers to the task of answering questions from document images. Existing work on DocVQA only considers single-page documents. However, in real scenarios documents are mostly composed of multiple pages that should be processed altogether. In this work we extend DocVQA to the multi-page scenario. For that, we first create a new dataset, MP-DocVQA, where questions are posed over multi-page documents instead of single pages. Second, we propose a new hierarchical method, Hi-VT5, based on the T5 architecture, that overcomes the limitations of current methods to process long multi-page documents. The proposed method is based on a hierarchical transformer architecture where the encoder summarizes the most relevant information of every page and then, the decoder takes this summarized information to generate the final answer. Through extensive experimentation, we demonstrate that our method is able, in a single stage, to answer the questions and provide the page that contains the relevant information to find the answer, which can be used as a kind of explainability measure.

我们提出了一种用于场景文本视觉问题的新型多模式架构（STVQA），命名为布局感知变压器（LatR）。 STVQA的任务需要模型以推理不同的方式。因此，我们首先调查每种方式的影响，并揭示语言模块的重要性，尤其是在丰富布局信息时。考虑到这一点，我们提出了一种客观预培训计划，只需要文本和空间线索。我们表明，尽管域间隙差距，但仍然对扫描文件进行了对扫描文件的培训方案具有某些优点。扫描的文档易于采购，文本密集并具有各种布局，帮助模型通过捆绑语言和布局信息来学习各种空间线索（例如，下面等等）。与现有方法相比，我们的方法执行无词汇解码，如图所示，概括到超出培训词汇。我们进一步证明Latr改善了对OCR错误的鲁棒性，在STVQA失败的常见原因。另外，通过利用视觉变压器，我们消除了对外部物体检测器的需求。 Latr在多个数据集上赢得最先进的STVQA方法。特别是+ 7.6％的TextVQA，ST-VQA上的10.8％，+ 4.0％在OCR-VQA（所有绝对精度数字）。

在本报告中，我们展示了ICDAR 2021版文档视觉问题挑战的结果。此版本在单个文档VQA和Document Collection VQA上补充了以前的任务，并在Infographics VQA上进行了新引入的。信息图表VQA基于超过5,000个信息图表图像和30,000个问题答案对的新数据集。获胜者方法在Infographics VQA任务中获得了0.6120个ANL，0.7743 anlsl在文档集中的VQA任务和单个文档VQA中的0.8705 ANL中。我们展示了用于每个任务的数据集的摘要，每个提交的方法的描述以及它们的性能的结果和分析。由于还提出了自从第一版DocVQA 2020挑战以来在单个文档VQA上取得的摘要。

文档视觉问题回答（VQA）旨在了解视觉上富裕的文档，以自然语言回答问题，这是自然语言处理和计算机视觉的新兴研究主题。在这项工作中，我们介绍了一个名为TAT-DQA的新文档VQA数据集，该数据集由3,067个文档页面组成，其中包含半结构化表和非结构化文本以及16,558个问答，通过扩展Tat-QA Dataset。这些文档是从现实世界中的财务报告中取样的，并包含大量数字，这意味着要求离散的推理能力回答该数据集上的问题。基于TAT-DQA，我们进一步开发了一个名为MHST的新型模型，该模型在包括文本，布局和视觉图像在内的多模式中考虑了信息，以智能地以相应的策略（即提取或推理）智能地解决不同类型的问题。广泛的实验表明，MHST模型明显优于基线方法，证明其有效性。但是，表演仍然远远落后于专家人类。我们预计，我们的新Tat-DQA数据集将有助于研究对视觉和语言结合的视觉丰富文档的深入理解，尤其是对于需要离散推理的场景。另外，我们希望拟议的模型能够激发研究人员将来设计更高级的文档VQA模型。

由于其有效的模型架构以及大规模未标记的扫描/数字出生的文件的优势，在各种视觉上丰富的文档理解任务中已经证明了文本和布局的预先培训。我们提出了具有新的预培训任务的Layoutlmv2架构，以在单个多模态框架中模拟文本，布局和图像之间的交互。具体地，对于双流多模态变压器编码器，LayOutLMV2不仅使用现有屏蔽的视觉语言建模任务，还使用新的文本图像对齐和文本图像匹配任务，这使得它更好地捕获跨模块交互在预训练阶段。同时，它还将空间感知的自我注意机制集成到变压器架构中，以便模型可以完全理解不同文本块之间的相对位置关系。实验结果表明，LayoutLMV2优于大幅度的LayOutlm，并在大量下游的下游富有的文件理解任务中实现了新的最先进的结果，包括Funsd（0.7895 $ \至0.8420美元），电源线（0.9493 $ \至0.9601美元），Srie（0.9524 $ \至0.9781美元），Kleister-NDA（0.8340 $ \ 0.8520美元），RVL-CDIP（0.9443 $ \至0.9564美元），DOCVQA（0.7295 $ \至0.8672美元） 。我们使我们的模型和代码公开可用于\ url {https://aka.ms/layoutlmv2}。

Video Question Answering methods focus on commonsense reasoning and visual cognition of objects or persons and their interactions over time. Current VideoQA approaches ignore the textual information present in the video. Instead, we argue that textual information is complementary to the action and provides essential contextualisation cues to the reasoning process. To this end, we propose a novel VideoQA task that requires reading and understanding the text in the video. To explore this direction, we focus on news videos and require QA systems to comprehend and answer questions about the topics presented by combining visual and textual cues in the video. We introduce the ``NewsVideoQA'' dataset that comprises more than $8,600$ QA pairs on $3,000+$ news videos obtained from diverse news channels from around the world. We demonstrate the limitations of current Scene Text VQA and VideoQA methods and propose ways to incorporate scene text information into VideoQA methods.

文献中最近的方法已经利用了文档中的多模态信息（文本，布局，图像）来服务于特定的下游文档任务。但是，它们受到 - （i）无法学习文档的文本，布局和图像尺寸的跨模型表示，并且（ii）无法处理多页文件。已经在自然语言处理（NLP）域中显示了预训练技术，以了解来自大型未标记数据集的通用文本表示，适用于各种下游NLP任务。在本文中，我们提出了一种基于多任务学习的框架，该框架利用自我监督和监督的预训练任务的组合来学习适用于各种下游文档任务的通用文档表示。具体而言，我们将文档主题建模和文档Shuffle预测作为新的预训练任务，以便学习丰富的图像表示以及文档的文本和布局表示。我们利用啰覆网络架构作为骨干，以以端到端的方式从多页文件中编码多模态信息。我们展示我们在各种不同现实文档任务的培训框架的适用性，例如文档分类，文档信息提取和文件检索。我们在不同的标准文件数据集中评估我们的框架，并进行详尽的实验，以比较符合我们框架的各种消融和最先进的基线的绩效。

视觉问题应答（VQA）任务利用视觉图像和语言分析来回回答图像的文本问题。它是一个流行的研究课题，在过去十年中越来越多的现实应用。本文介绍了我们最近对AliceMind-MMU的研究（阿里巴巴的编码器 - 解码器来自Damo Academy - 多媒体理解的机器智能实验室），其比人类在VQA上获得相似甚至略微更好的结果。这是通过系统地改善VQA流水线来实现的，包括：（1）具有全面的视觉和文本特征表示的预培训; （2）与学习参加的有效跨模型互动; （3）一个新颖的知识挖掘框架，具有专门的专业专家模块，适用于复杂的VQA任务。处理不同类型的视觉问题，需要具有相应的专业知识在提高我们的VQA架构的表现方面发挥着重要作用，这取决于人力水平。进行了广泛的实验和分析，以证明新的研究工作的有效性。

自我监督的预训练技术在文档AI中取得了显着进步。大多数多模式的预训练模型都使用蒙版的语言建模目标来学习文本模式的双向表示，但是它们在图像模式的预训练目标方面有所不同。这种差异增加了多模式表示学习的困难。在本文中，我们建议\ textbf {layoutlmv3}为文档AI预训练多模式变压器，并具有统一的文本和图像掩蔽。此外，LayoutLMV3通过单词斑点对齐目标进行了预训练，可以通过预测是否掩盖文本的相应图像贴片来学习交叉模式对齐。简单的统一体系结构和培训目标使Layoutlmv3成为以文本为中心和以图像为中心的文档AI任务的通用预培训模型。实验结果表明，LayoutLMV3不仅在以文本为中心的任务中实现最先进的绩效，包括形式的理解，收据理解和文档视觉问题回答，而且在以图像为中心的任务（例如文档图像分类和文档布局）中分析。代码和模型可在\ url {https://aka.ms/layoutlmv3}上公开获得。

无约束的手写文本识别是一项具有挑战性的计算机视觉任务。传统上，它是通过两步方法来处理的，结合了线细分，然后是文本线识别。我们第一次为手写文档识别任务提出了无端到端的无分段体系结构：文档注意网络。除文本识别外，该模型还接受了使用类似XML的方式使用开始和结束标签标记文本零件的训练。该模型由用于特征提取的FCN编码器和用于复发令牌预测过程的变压器解码器层组成。它将整个文本文档作为输入和顺序输出字符以及逻辑布局令牌。与现有基于分割的方法相反，该模型是在不使用任何分割标签的情况下进行训练的。我们在页面级别的Read 2016数据集以及CER分别为3.43％和3.70％的双页级别上获得了竞争成果。我们还为Rimes 2009数据集提供了页面级别的结果，达到CER的4.54％。我们在https://github.com/factodeeplearning/dan上提供所有源代码和预训练的模型权重。

了解文档图像（例如，发票）是一个重要的研究主题，并在文档处理自动化中具有许多应用。通过基于深度学习的光学字符识别（OCR）的最新进展，目前的视觉文档了解（VDU）系统已经基于OCR设计。虽然这种基于OCR的方法承诺合理的性能，但它们遭受了由OCR引起的关键问题，例如（1）（1）昂贵的计算成本和（2）由于OCR误差传播而导致的性能下降。在本文中，我们提出了一种新颖的VDU模型，即结束可训练而不支撑OCR框架。为此，我们提出了一个新的任务和合成文档图像生成器，以预先列车，以减轻大规模实体文档图像上的依赖关系。我们的方法在公共基准数据集和私营工业服务数据集中了解各种文档的最先进的性能。通过广泛的实验和分析，我们展示了拟议模型的有效性，特别是考虑到真实世界的应用。

Web搜索是人类获取信息的重要方法，但是对于了解网页内容的机器仍然是一个巨大的挑战。在本文中，我们介绍了对网上结构阅读理解（SRC）的任务。鉴于网页和关于它的问题，任务是从网页找到答案。此任务要求系统不仅要了解文本的语义，还需要了解文本的语义，还需要网页的结构。此外，我们提出了一种新的基于Web的结构阅读理解数据集。 WebSRC由400K问答对组成，从6.4K网页收集。与QA对一起，我们的数据集还提供了相应的HTML源代码，屏幕截图和元数据。 WebSRC中的每个问题都需要对网页的某种结构理解来回答，并且答案是网页或是/否的文本跨度。我们评估我们数据集的各种基线，以显示我们的任务难度。我们还研究了结构信息和视觉功能的有用性。我们的数据集和基线已在HTTPS://x-lance.github.io/websrc/上公开提供。

大型语言模型在各种任务上显示出令人印象深刻的几次结果。但是，当知识是此类结果的关键时，就像问题回答和事实检查之类的任务一样，似乎需要存储知识的大量参数计数。众所周知，检索增强模型可以在不需要多个参数的情况下在知识密集的任务上表现出色，但是目前尚不清楚它们是否在几个弹药设置中工作。在这项工作中，我们介绍了地图集，这是一个经过精心设计和预先训练的增强语言模型，能够通过很少的培训示例学习知识密集型任务。我们对包括MMLU，苏格兰短裙和归类等各种任务进行评估，并研究文档索引内容的影响，表明它可以很容易地进行更新。值得注意的是，在自然问题上仅使用64个示例在自然问题上达到超过42 \％的准确性，尽管参数少了50倍，但比540B参数模型的表现优于540b参数模型。

文档AI或Document Intelligence是一个相对较新的研究主题，指的是自动阅读，理解和分析业务文档的技术。它是自然语言处理和计算机视觉的重要研究方向。近年来，深度学习技术的普及已经大大提高了文档AI的发展，如文件布局分析，视觉信息提取，文档视觉问题应答，文档图像分类等。本文简要评论了一些代表性模型，任务和基准数据集。此外，我们还介绍了早期的启发式规则的文档分析，统计机器学习算法，深度学习方法，尤其是预训练方法。最后，我们展望未来的Document AI研究方向。

我们介绍了Dessurt，这是一个相对简单的文档理解变压器，能够在各种文档任务上进行微调，而不是先前的方法。它接收文档映像和任务字符串作为输入，并作为输出以任意文本自动添加。由于Dessurt是端到端体系结构，除了文档理解外，还可以执行文本识别，因此它不需要像先前方法那样需要外部识别模型。Dessurt比先前的方法更灵活，并且能够处理各种文档域和任务。我们表明，该模型可在9种不同的数据集任务组合中有效。

We propose Universal Document Processing (UDOP), a foundation Document AI model which unifies text, image, and layout modalities together with varied task formats, including document understanding and generation. UDOP leverages the spatial correlation between textual content and document image to model image, text, and layout modalities with one uniform representation. With a novel Vision-Text-Layout Transformer, UDOP unifies pretraining and multi-domain downstream tasks into a prompt-based sequence generation scheme. UDOP is pretrained on both large-scale unlabeled document corpora using innovative self-supervised objectives and diverse labeled data. UDOP also learns to generate document images from text and layout modalities via masked image reconstruction. To the best of our knowledge, this is the first time in the field of document AI that one model simultaneously achieves high-quality neural document editing and content customization. Our method sets the state-of-the-art on 9 Document AI tasks, e.g., document understanding and QA, across diverse data domains like finance reports, academic papers, and websites. UDOP ranks first on the leaderboard of the Document Understanding Benchmark (DUE).

由于文档的复杂布局，提取文档的信息是一项挑战。大多数以前的研究以一种自我监督的方式开发了多模式预训练的模型。在本文中，我们专注于包含文本和布局信息的单词块的嵌入学习，并提出UTEL，这是具有统一文本和布局预训练的语言模型。具体而言，我们提出了两个预训练任务：布局学习的周围单词预测（SWP），以及对识别不同单词块的单词嵌入（CWE）的对比度学习。此外，我们用1D剪裁的相对位置嵌入了常用的一维位置。这样，掩盖布局语言建模（MLLM）的联合训练和两个新提出的任务可以以统一的方式在语义和空间特征之间进行相互作用。此外，提议的UTEL可以通过删除1D位置嵌入，同时保持竞争性能来处理任意长度的序列。广泛的实验结果表明，UTEL学会了比以前在各种下游任务上的方法更好的联合表示形式，尽管不需要图像模式。代码可在\ url {https://github.com/taosong2019/utel}中获得。

在视觉上丰富的文件（VRD）上的结构化文本理解是文档智能的重要组成部分。由于VRD中的内容和布局的复杂性，结构化文本理解是一项有挑战性的任务。大多数现有的研究将此问题与两个子任务结尾：实体标记和实体链接，这需要整体地了解令牌和段级别的文档的上下文。但是，很少的工作已经关注有效地从不同层次提取结构化数据的解决方案。本文提出了一个名为structext的统一框架，它对于处理两个子任务是灵活的，有效的。具体地，基于变压器，我们引入了一个段令牌对齐的编码器，以处理不同粒度水平的实体标记和实体链接任务。此外，我们设计了一种具有三个自我监督任务的新型预训练策略，以学习更丰富的代表性。 Structext使用现有屏蔽的视觉语言建模任务和新句子长度预测和配对框方向任务，以跨文本，图像和布局结合多模态信息。我们评估我们在分段级别和令牌级别的结构化文本理解的方法，并表明它优于最先进的同行，在Funsd，Srie和Ephoie数据集中具有显着优越的性能。

Researchers produce thousands of scholarly documents containing valuable technical knowledge. The community faces the laborious task of reading these documents to identify, extract, and synthesize information. To automate information gathering, document-level question answering (QA) offers a flexible framework where human-posed questions can be adapted to extract diverse knowledge. Finetuning QA systems requires access to labeled data (tuples of context, question and answer). However, data curation for document QA is uniquely challenging because the context (i.e. answer evidence passage) needs to be retrieved from potentially long, ill-formatted documents. Existing QA datasets sidestep this challenge by providing short, well-defined contexts that are unrealistic in real-world applications. We present a three-stage document QA approach: (1) text extraction from PDF; (2) evidence retrieval from extracted texts to form well-posed contexts; (3) QA to extract knowledge from contexts to return high-quality answers -- extractive, abstractive, or Boolean. Using QASPER for evaluation, our detect-retrieve-comprehend (DRC) system achieves a +7.19 improvement in Answer-F1 over existing baselines while delivering superior context selection. Our results demonstrate that DRC holds tremendous promise as a flexible framework for practical scientific document QA.

自我监督的预审查能够为各种视觉文档理解（VDU）任务产生可转移的表示。但是，尚未研究此类表示在测试时间时适应新分配变化的能力。我们提出了Docta，这是一种用于文档的新型测试时间适应方法，该方法通过掩盖的视觉语言建模来利用交叉模式自我观察学习以及伪标签，以适应\ textit {source}域中学习的模型，以使其{source}域中为一个未标记的\ textit {textit {目标}域在测试时间。我们还使用现有的公共数据集介绍了新的基准测试，用于各种VDU任务，包括实体识别，键值提取和文档视觉问题回答任务，其中Doctta将源模型性能提高到1.79 \％（F1分数），3.43 \％（3.43 \％）（F1得分）和17.68 \％（ANLS得分），同时大大降低了目标数据的校准误差。