图表是一种流行且有效的数据可视化形式。图表问题应答（CQA）是用于评估图表理解的任务，从根本上与理解自然图像不同。 CQA需要分析图表的文本和视觉组件之间的关系，以便回答一般问题或推断数值。大多数现有的CQA数据集和IT模型都基于简化通常能够超越人类性能的假设。在这项工作中，我们进一步探讨了这一结果背后的原因，并提出了一个共同学习分类和回归的新模式。我们的语言视觉与共同关注变压器设置捕获问题与文本元素之间的复杂相互作用，该元素通常存在于现实世界图表中。我们通过广泛的实验和故障验证了这些结论，并在现实的PlotQA数据集中进行了故障，优于较大的边距，同时表现出竞争性能。我们的模型的边缘尤其强调了与词汇外答案的问题，其中许多需要回归。我们希望这项工作能够进一步促进解决挑战性和高实际实际任务的进一步研究图表理解。

我们提出了一种用于场景文本视觉问题的新型多模式架构（STVQA），命名为布局感知变压器（LatR）。 STVQA的任务需要模型以推理不同的方式。因此，我们首先调查每种方式的影响，并揭示语言模块的重要性，尤其是在丰富布局信息时。考虑到这一点，我们提出了一种客观预培训计划，只需要文本和空间线索。我们表明，尽管域间隙差距，但仍然对扫描文件进行了对扫描文件的培训方案具有某些优点。扫描的文档易于采购，文本密集并具有各种布局，帮助模型通过捆绑语言和布局信息来学习各种空间线索（例如，下面等等）。与现有方法相比，我们的方法执行无词汇解码，如图所示，概括到超出培训词汇。我们进一步证明Latr改善了对OCR错误的鲁棒性，在STVQA失败的常见原因。另外，通过利用视觉变压器，我们消除了对外部物体检测器的需求。 Latr在多个数据集上赢得最先进的STVQA方法。特别是+ 7.6％的TextVQA，ST-VQA上的10.8％，+ 4.0％在OCR-VQA（所有绝对精度数字）。

最近，3D视觉和语言任务吸引了不断增长的研究兴趣。与其他视觉和语言任务相比，3D视觉问题回答（VQA）任务的利用较小，并且更容易受到语言先验和共同参考的歧义。同时，由于规模和注释方法有限，最近提出的几个3D VQA数据集并不能很好地支持3D VQA任务。在这项工作中，我们通过收集一个新的3D VQA数据集（称为FE-3DGQA），正式定义和解决3D接地的VQA任务，并具有多样化且相对自由形式的提问，以及密集和完全接地的边界框注释。为了获得更多可解释的答案，我们标记了出现在复杂的质量检查对中的对象，该对象具有不同的语义类型，包括答案接地的对象（均出现并未出现在问题中），以及用于答案的对象的上下文对象。我们还提出了一个新的3D VQA框架，以有效地预测完全视觉扎根和可解释的答案。广泛的实验证明，我们新收集的基准数据集可有效地用于评估不同方面的各种3D VQA方法，而我们新提出的框架也可以在新的基准数据集中实现最新的性能。新收集的数据集和我们的代码都将在http://github.com/zlccccc/3dgqa上公开获得。

用于视觉语言表示学习的变压器已经引起了很多兴趣，并在视觉问题答案（VQA）和接地方面表现出了巨大的表现。但是，大多数显示出良好性能的系统在培训过程中仍然依赖于预训练的对象探测器，这将其适用性限制在可用于这些检测器的对象类中。为了减轻这种限制，以下论文着重于在变形金刚中的视觉问题答案的背景下进行弱监督的基础问题。该方法通过将每个视觉令牌分组在视觉编码器中，并使用语言自我发项层作为文本引导选择模块来利用胶囊，以在将它们转发到下一层之前掩盖它们。我们评估了针对挑战的GQA以及VQA帽数据集的VQA接地的方法。我们的实验表明：在从标准变压器体系结构中删除蒙版对象的信息的同时，胶囊的集成显着提高了此类系统的接地能力，并提供了与其他新的最先进的结果。在现场接近。

视觉问题应答（VQA）任务利用视觉图像和语言分析来回回答图像的文本问题。它是一个流行的研究课题，在过去十年中越来越多的现实应用。本文介绍了我们最近对AliceMind-MMU的研究（阿里巴巴的编码器 - 解码器来自Damo Academy - 多媒体理解的机器智能实验室），其比人类在VQA上获得相似甚至略微更好的结果。这是通过系统地改善VQA流水线来实现的，包括：（1）具有全面的视觉和文本特征表示的预培训; （2）与学习参加的有效跨模型互动; （3）一个新颖的知识挖掘框架，具有专门的专业专家模块，适用于复杂的VQA任务。处理不同类型的视觉问题，需要具有相应的专业知识在提高我们的VQA架构的表现方面发挥着重要作用，这取决于人力水平。进行了广泛的实验和分析，以证明新的研究工作的有效性。

在本文中，我们提出了端到端的结构化多峰关注（SMA）神经网络，主要解决了上述前两个问题。 SMA首先使用结构图表示来编码图像中出现的对象对象，对象文本和文本文本关系，然后设计多模式图注意网络以推理它。最后，由上述模块的输出由全局本地注意力应答模块处理，以通过跟随M4C迭代地生成从两个OCR和常规词汇拼接的答案。我们所提出的模型优于TextVQA数据集上的SOTA模型以及除基于预先训练的水龙头之外的所有模型中的所有模型中的ST-VQA数据集的两个任务。展示了强大的推理能力，它还在TextVQA挑战中获得了第一名的第一名。我们在几种推理模型中广泛测试了不同的OCR方法，并调查了逐步提高了OCR性能对TextVQA基准的影响。通过更好的OCR结果，不同的型号对VQA准确性的戏剧性提高，但我们的模型受益最强烈的文本视觉推理能力。要授予我们的方法，并为进一步作品提供公平的测试基础，我们还为TextVQA数据集提供人为的地面实际OCR注释，这些ocr注释未在原始版本中提供。 TextVQA数据集的代码和地面ocr注释在https://github.com/chenyugao-cs/sma提供

Artificial Intelligence (AI) and its applications have sparked extraordinary interest in recent years. This achievement can be ascribed in part to advances in AI subfields including Machine Learning (ML), Computer Vision (CV), and Natural Language Processing (NLP). Deep learning, a sub-field of machine learning that employs artificial neural network concepts, has enabled the most rapid growth in these domains. The integration of vision and language has sparked a lot of attention as a result of this. The tasks have been created in such a way that they properly exemplify the concepts of deep learning. In this review paper, we provide a thorough and an extensive review of the state of the arts approaches, key models design principles and discuss existing datasets, methods, their problem formulation and evaluation measures for VQA and Visual reasoning tasks to understand vision and language representation learning. We also present some potential future paths in this field of research, with the hope that our study may generate new ideas and novel approaches to handle existing difficulties and develop new applications.

Video Question Answering methods focus on commonsense reasoning and visual cognition of objects or persons and their interactions over time. Current VideoQA approaches ignore the textual information present in the video. Instead, we argue that textual information is complementary to the action and provides essential contextualisation cues to the reasoning process. To this end, we propose a novel VideoQA task that requires reading and understanding the text in the video. To explore this direction, we focus on news videos and require QA systems to comprehend and answer questions about the topics presented by combining visual and textual cues in the video. We introduce the ``NewsVideoQA'' dataset that comprises more than $8,600$ QA pairs on $3,000+$ news videos obtained from diverse news channels from around the world. We demonstrate the limitations of current Scene Text VQA and VideoQA methods and propose ways to incorporate scene text information into VideoQA methods.

目前的视觉问题应答（VQA）任务主要考虑回答自然图像的人为注释问题。然而，除了自然图像之外，在视觉理解和推理研究中仍然可以解读具有语义丰富性的抽象图。在这项工作中，我们介绍了ICON问题的新挑战（ICONQA），其目标是在图标图像上下文中回答问题。我们发布了ICONQA，这是一个由107,439个问题和三个子任务组成的大型数据集：多图像选择，多文本选择和填充空白。 ICONQA数据集是由真实世界图中的启发，突出了抽象图理解和综合认知推理的重要性。因此，ICONQA不仅需要对象识别和文本理解等感知技能，而且还需要多种认知推理技能，例如几何推理，致辞推理和算术推理。为了促进潜在的iconqa模型来学习图标图像的语义表示，我们进一步发布了一个图标数据集图标645，其中包含377级上的645,687个彩色图标。我们进行广泛的用户研究和盲目实验，并重现各种先进的VQA方法来基准iconQA任务。此外，我们开发了一个强大的ICONQA基线Patch-TRM，它应用金字塔跨模型变压器，其中包含在图标数据集上预先培训的输入图嵌入式。 iconqa和图标645可在https://iconqa.github.io提供。

通用视觉（GPV）系统是旨在解决各种视觉任务的模型，而无需进行架构更改。如今，GPV主要从大型完全监督的数据集中学习技能和概念。通过获取数据以迅速学习每个技能的每个概念，将GPV扩展到数万个概念都变得令人望而却步。这项工作提出了一种有效且廉价的替代方法：从监督数据集中学习技能，从Web图像搜索中学习概念，并利用GPV的关键特征：跨技能传递视觉知识的能力。我们使用跨越10K+视觉概念的1M+图像的数据集来演示3个基准上的两个现有GPV（GPV-1和VL-T5）的Webly Supumented概念扩展：5个基于可可的数据集（80个主要概念），这是一个新的策划系列，这是一个新的策划系列。基于OpenImages和VisualGenome存储库（〜500个概念）以及Web衍生的数据集（10K+概念）的5个数据集。我们还提出了一种新的体系结构GPV-2，该架构支持各种任务 - 从分类和本地化等视觉任务到Qu Viewer+语言任务，例如QA和字幕，再到更多的利基市场，例如人类对象互动检测。 GPV-2从Web数据中受益匪浅，并且在这些基准测试中胜过GPV-1和VL-T5。我们的数据，代码和Web演示可在https://prior.allenai.org/projects/gpv2上获得。

Visual understanding goes well beyond object recognition. With one glance at an image, we can effortlessly imagine the world beyond the pixels: for instance, we can infer people's actions, goals, and mental states. While this task is easy for humans, it is tremendously difficult for today's vision systems, requiring higher-order cognition and commonsense reasoning about the world. We formalize this task as Visual Commonsense Reasoning. Given a challenging question about an image, a machine must answer correctly and then provide a rationale justifying its answer.Next, we introduce a new dataset, VCR, consisting of 290k multiple choice QA problems derived from 110k movie scenes. The key recipe for generating non-trivial and highquality problems at scale is Adversarial Matching, a new approach to transform rich annotations into multiple choice questions with minimal bias. Experimental results show that while humans find VCR easy (over 90% accuracy), state-of-the-art vision models struggle (∼45%).To move towards cognition-level understanding, we present a new reasoning engine, Recognition to Cognition Networks (R2C), that models the necessary layered inferences for grounding, contextualization, and reasoning. R2C helps narrow the gap between humans and machines (∼65%); still, the challenge is far from solved, and we provide analysis that suggests avenues for future work.

We have seen great progress in basic perceptual tasks such as object recognition and detection. However, AI models still fail to match humans in high-level vision tasks due to the lack of capacities for deeper reasoning. Recently the new task of visual question answering (QA) has been proposed to evaluate a model's capacity for deep image understanding. Previous works have established a loose, global association between QA sentences and images. However, many questions and answers, in practice, relate to local regions in the images. We establish a semantic link between textual descriptions and image regions by object-level grounding. It enables a new type of QA with visual answers, in addition to textual answers used in previous work. We study the visual QA tasks in a grounded setting with a large collection of 7W multiple-choice QA pairs. Furthermore, we evaluate human performance and several baseline models on the QA tasks. Finally, we propose a novel LSTM model with spatial attention to tackle the 7W QA tasks.

视觉问题回答（VQA）近年来见证了巨大进展。但是，大多数努力只关注2D图像问题应答任务。在本文中，我们介绍了将VQA扩展到3D域的第一次尝试，这可以促进人工智能对3D现实世界情景的看法。与基于图像的VQA不同，3D问题应答（3DQA）将颜色点云作为输入，需要外观和3D几何理解能力来回答3D相关问题。为此，我们提出了一种基于新颖的基于变换器的3DQA框架\ TextBF {“3DQA-TR”}，其包括两个编码器，分别用于利用外观和几何信息。外观，几何和的多模码信息语言问题最终可以通过3D语言伯特互相参加，以预测目标答案。要验证我们提出的3DQA框架的有效性，我们还开发了第一个建立的3DQA DataSet \ TextBF {“scanqa”} SCANNet DataSet并包含$ \ SIM $ 6K问题，$ \ SIM $ 30k答案，可满足806美元的场景。在此数据集上的广泛实验展示了我们提出的3DQA框架在现有的VQA框架上的明显优势，以及我们主要设计的有效性。我们的代码和数据集将公开可用于促进此方向的研究。

We introduce GQA, a new dataset for real-world visual reasoning and compositional question answering, seeking to address key shortcomings of previous VQA datasets. We have developed a strong and robust question engine that leverages Visual Genome scene graph structures to create 22M diverse reasoning questions, which all come with functional programs that represent their semantics. We use the programs to gain tight control over the answer distribution and present a new tunable smoothing technique to mitigate question biases. Accompanying the dataset is a suite of new metrics that evaluate essential qualities such as consistency, grounding and plausibility. A careful analysis is performed for baselines as well as state-of-the-art models, providing fine-grained results for different question types and topologies. Whereas a blind LSTM obtains a mere 42.1%, and strong VQA models achieve 54.1%, human performance tops at 89.3%, offering ample opportunity for new research to explore. We hope GQA will provide an enabling resource for the next generation of models with enhanced robustness, improved consistency, and deeper semantic understanding of vision and language.

文本VQA的开放式问题回答任务通常需要读取和推理图像中很少见或完全看不见的场景文本内容。我们通过提出广义使用外部知识来增强我们对场景文本的理解来解决问题的零射击性质。我们设计一个框架，使用标准的多模式变压器来提取，验证和理性，以了解视觉语言理解任务。通过经验证据和定性结果，我们证明了外部知识如何突出实例的线索，从而有助于应对培训数据偏见，提高答案实体类型的正确性并检测名为“实体”的多字。在类似上游OCR系统和培训数据的限制下，我们生成的结果与三个公开数据集的最新结果相当。

视频问题回答是一项具有挑战性的任务，需要共同理解语言输入，单个视频帧中的视觉信息以及视频中发生的事件的时间信息。在本文中，我们提出了一种新颖的多流视频编码器，用于视频问题回答，它使用多个视频输入和一种新的视频文本迭代迭代式共同指定方法来回答与视频相关的各种问题。我们在几个数据集上进行了实验评估该模型，例如MSRVTT-QA，MSVD-QA，IVQA，超过了大幅度的先前最新时间。同时，我们的模型将所需的Gflops从150-360减少到只有67，从而产生了高效的视频答案模型。

Document Visual Question Answering (DocVQA) refers to the task of answering questions from document images. Existing work on DocVQA only considers single-page documents. However, in real scenarios documents are mostly composed of multiple pages that should be processed altogether. In this work we extend DocVQA to the multi-page scenario. For that, we first create a new dataset, MP-DocVQA, where questions are posed over multi-page documents instead of single pages. Second, we propose a new hierarchical method, Hi-VT5, based on the T5 architecture, that overcomes the limitations of current methods to process long multi-page documents. The proposed method is based on a hierarchical transformer architecture where the encoder summarizes the most relevant information of every page and then, the decoder takes this summarized information to generate the final answer. Through extensive experimentation, we demonstrate that our method is able, in a single stage, to answer the questions and provide the page that contains the relevant information to find the answer, which can be used as a kind of explainability measure.

了解文档图像（例如，发票）是一个重要的研究主题，并在文档处理自动化中具有许多应用。通过基于深度学习的光学字符识别（OCR）的最新进展，目前的视觉文档了解（VDU）系统已经基于OCR设计。虽然这种基于OCR的方法承诺合理的性能，但它们遭受了由OCR引起的关键问题，例如（1）（1）昂贵的计算成本和（2）由于OCR误差传播而导致的性能下降。在本文中，我们提出了一种新颖的VDU模型，即结束可训练而不支撑OCR框架。为此，我们提出了一个新的任务和合成文档图像生成器，以预先列车，以减轻大规模实体文档图像上的依赖关系。我们的方法在公共基准数据集和私营工业服务数据集中了解各种文档的最先进的性能。通过广泛的实验和分析，我们展示了拟议模型的有效性，特别是考虑到真实世界的应用。

支持II社区的当前趋势，我们提出了一个称为融合大脑的AI Journey 2021挑战，这些挑战是融合大脑，该挑战是使普通架构处理不同的方式（即图像，文本和代码），并解决视觉和语言的多个任务。融合脑挑战https://github.com/sberbank- ai/fusion_brain_aij2021结合了以下特定任务：code2code翻译，手写文本识别，零拍摄对象检测和视觉问题应答。我们为每个任务创建了数据集以测试参与者的提交。此外，我们在俄语和英语中开设了一个新的手写数据集，其中包含94,130对图像和文本。DataSet的俄罗斯部分是世界上最大的俄罗斯手写数据集。我们还提出了基线解决方案和相应的特定于任务特定解决方案以及整体指标。

最近，由于其广泛的商业价值，从视觉丰富的文档（例如门票和简历）中自动提取信息已成为一个热门而重要的研究主题。大多数现有方法将此任务分为两个小节：用于从原始文档图像中获取纯文本的文本阅读部分以及用于提取密钥内容的信息提取部分。这些方法主要集中于改进第二个方法，同时忽略了这两个部分高度相关。本文提出了一个统一的端到端信息提取框架，从视觉上富含文档中提出，文本阅读和信息提取可以通过精心设计的多模式上下文块相互加强。具体而言，文本阅读部分提供了多模式功能，例如视觉，文本和布局功能。开发了多模式上下文块，以融合生成的多模式特征，甚至是从预训练的语言模型中获得的先验知识，以提供更好的语义表示。信息提取部分负责使用融合上下文功能生成密钥内容。该框架可以以端到端的可训练方式进行培训，从而实现全球优化。更重要的是，我们将视觉丰富的文档定义为跨两个维度的四个类别，即布局和文本类型。对于每个文档类别，我们提供或推荐相应的基准，实验设置和强大的基准，以弥补该研究领域缺乏统一评估标准的问题。报告了对四种基准测试的广泛实验（从固定布局到可变布局，从完整的文本到半未结构化的文本），证明了所提出的方法的有效性。数据，源代码和模型可用。