Graphic layout designs play an essential role in visual communication. Yet handcrafting layout designs are skill-demanding, time-consuming, and non-scalable to batch production. Although generative models emerge to make design automation no longer utopian, it remains non-trivial to customize designs that comply with designers' multimodal desires, i.e., constrained by background images and driven by foreground contents. In this study, we propose \textit{LayoutDETR} that inherits the high quality and realism from generative modeling, in the meanwhile reformulating content-aware requirements as a detection problem: we learn to detect in a background image the reasonable locations, scales, and spatial relations for multimodal elements in a layout. Experiments validate that our solution yields new state-of-the-art performance for layout generation on public benchmarks and on our newly-curated ads banner dataset. For practical usage, we build our solution into a graphical system that facilitates user studies. We demonstrate that our designs attract more subjective preference than baselines by significant margins. Our code, models, dataset, graphical system, and demos are available at https://github.com/salesforce/LayoutDETR.

布局生成是计算机视觉中的一项新任务，它结合了对象本地化和美学评估中的挑战，在广告，海报和幻灯片设计中广泛使用。准确而愉快的布局应考虑布局元素内的内域关系以及布局元素与图像之间的域间关系。但是，大多数以前的方法只是专注于图像 - 范围 - 不平衡的布局生成，而无需利用图像中复杂的视觉信息。为此，我们探索了一个名为“图像条件的布局生成”的新颖范式，该范式旨在以语义连贯的方式将文本叠加层添加到图像中。具体而言，我们提出了一个图像条件的变分变压器（ICVT），该变形变压器（ICVT）在图像中生成各种布局。首先，采用自我注意的机制来对布局元素内的上下文关系进行建模，而交叉注意机制用于融合条件图像的视觉信息。随后，我们将它们作为有条件变异自动编码器（CVAE）的构件，表现出吸引人的多样性。其次，为了减轻布局元素域和视觉域之间的差距，我们设计了一个几何对齐模块，其中图像的几何信息与布局表示形式对齐。此外，我们构建了一个大规模的广告海报布局设计数据集，并具有精致的布局和显着图。实验结果表明，我们的模型可以在图像的非侵入区域中自适应生成布局，从而产生和谐的布局设计。

提供和渲染室内场景一直是室内设计的一项长期任务，艺术家为空间创建概念设计，建立3D模型的空间，装饰，然后执行渲染。尽管任务很重要，但它很乏味，需要巨大的努力。在本文中，我们引入了一个特定领域的室内场景图像合成的新问题，即神经场景装饰。鉴于一张空的室内空间的照片以及用户确定的布局列表，我们旨在合成具有所需的家具和装饰的相同空间的新图像。神经场景装饰可用于以简单而有效的方式创建概念室内设计。我们解决这个研究问题的尝试是一种新颖的场景生成体系结构，它将空的场景和对象布局转化为现实的场景照片。我们通过将其与有条件图像合成基线进行比较，以定性和定量的方式将其进行比较，证明了我们提出的方法的性能。我们进行广泛的实验，以进一步验证我们生成的场景的合理性和美学。我们的实现可在\ url {https://github.com/hkust-vgd/neural_scene_decoration}获得。

创建视觉布局是图形设计的重要步骤。当我们寻求比例和多样化的视觉设计时，这种布局的自动生成很重要。在自动布局的作品上，专注于无条件生成，其中模型在忽略用户需要进行特定问题的同时生成布局。为了提前有条件布局，我们介绍了BLT，双向布局变压器。 BLT与自回归解码不同，因为它首先生成满足用户输入的布局，然后迭代地改进布局。我们验证了具有各种保真度量的多个基准测试模型。我们的结果表明，最先进的布局变压器模型的两个主要进步。首先，我们的模型授权布局变压器来满足可控布局的制作。其次，我们的模型削减了自回归解码的线性推理时间达到恒定的复杂度，从而在推理时间以制定布局实现4x-10x的加速。

We propose Universal Document Processing (UDOP), a foundation Document AI model which unifies text, image, and layout modalities together with varied task formats, including document understanding and generation. UDOP leverages the spatial correlation between textual content and document image to model image, text, and layout modalities with one uniform representation. With a novel Vision-Text-Layout Transformer, UDOP unifies pretraining and multi-domain downstream tasks into a prompt-based sequence generation scheme. UDOP is pretrained on both large-scale unlabeled document corpora using innovative self-supervised objectives and diverse labeled data. UDOP also learns to generate document images from text and layout modalities via masked image reconstruction. To the best of our knowledge, this is the first time in the field of document AI that one model simultaneously achieves high-quality neural document editing and content customization. Our method sets the state-of-the-art on 9 Document AI tasks, e.g., document understanding and QA, across diverse data domains like finance reports, academic papers, and websites. UDOP ranks first on the leaderboard of the Document Understanding Benchmark (DUE).

随着信息中的各种方式存在于现实世界中的各种方式，多式联信息之间的有效互动和融合在计算机视觉和深度学习研究中的多模式数据的创造和感知中起着关键作用。通过卓越的功率，在多式联运信息中建模互动，多式联运图像合成和编辑近年来已成为一个热门研究主题。与传统的视觉指导不同，提供明确的线索，多式联路指南在图像合成和编辑方面提供直观和灵活的手段。另一方面，该领域也面临着具有固有的模态差距的特征的几个挑战，高分辨率图像的合成，忠实的评估度量等。在本调查中，我们全面地阐述了最近多式联运图像综合的进展根据数据模型和模型架构编辑和制定分类。我们从图像合成和编辑中的不同类型的引导方式开始介绍。然后，我们描述了多模式图像综合和编辑方法，其具有详细的框架，包括生成的对抗网络（GAN），GaN反转，变压器和其他方法，例如NERF和扩散模型。其次是在多模式图像合成和编辑中广泛采用的基准数据集和相应的评估度量的综合描述，以及分析各个优点和限制的不同合成方法的详细比较。最后，我们为目前的研究挑战和未来的研究方向提供了深入了解。与本调查相关的项目可在HTTPS://github.com/fnzhan/mise上获得

多模式变压器表现出高容量和灵活性，可将图像和文本对齐以进行视觉接地。然而，由于自我发挥操作的二次时间复杂性，仅编码的接地框架（例如，transvg）遭受了沉重的计算。为了解决这个问题，我们通过将整个接地过程解散为编码和解码阶段，提出了一种新的多模式变压器体系结构，以动态MDETR形成。关键观察是，图像中存在很高的空间冗余。因此，我们通过在加快视觉接地过程之前利用这种稀疏性来设计一种新的动态多模式变压器解码器。具体而言，我们的动态解码器由2D自适应采样模块和文本引导的解码模块组成。采样模块旨在通过预测参考点的偏移来选择这些信息补丁，而解码模块则可以通过在图像功能和文本功能之间执行交叉注意来提取接地对象信息。这两个模块也被堆叠起来，以逐渐弥合模态间隙，并迭代地完善接地对象的参考点，最终实现了视觉接地的目的。对五个基准测试的广泛实验表明，我们提出的动态MDETR实现了计算和准确性之间的竞争权衡。值得注意的是，在解码器中仅使用9％的特征点，我们可以降低〜44％的多模式变压器的GLOP，但仍然比仅编码器的对应物更高的精度。此外，为了验证其概括能力并扩展我们的动态MDETR，我们构建了第一个单级剪辑授权的视觉接地框架，并在这些基准测试中实现最先进的性能。

在本文中，我们研究了为给定图像生成高质量视觉文本演示设计的图形布局生成问题。我们注意到，不仅包含全局语义和空间信息的图像组成在很大程度上会影响布局结果。因此，我们提出了一个深层生成模型，称为组成感知图形布局GAN（CGL-GAN），以基于输入图像的全局和空间视觉内容来合成布局。为了从已经包含手动设计的图形布局数据的图像中获取训练图像，先前的工作建议将设计元素（例如文本和点缀）作为模型输入，这不可避免地会留下地面真相的提示。我们研究训练输入（带有提示掩码）和测试输入（没有掩模）之间的错位，并设计一个新型的域比对模块（DAM）以缩小此间隙。为了培训，我们构建了一个大规模布局数据集，该数据集由60,548张广告海报组成，并带有带注释的布局信息。为了评估生成的布局，我们根据美学直觉提出了三个新型指标。通过定量和定性评估，我们证明了所提出的模型可以根据图像组成合成高质量的图形布局。

从文本描述中综合现实图像是计算机视觉中的主要挑战。当前对图像合成方法的文本缺乏产生代表文本描述符的高分辨率图像。大多数现有的研究都依赖于生成的对抗网络（GAN）或变异自动编码器（VAE）。甘斯具有产生更清晰的图像的能力，但缺乏输出的多样性，而VAE擅长生产各种输出，但是产生的图像通常是模糊的。考虑到gan和vaes的相对优势，我们提出了一个新的有条件VAE（CVAE）和条件gan（CGAN）网络架构，用于合成以文本描述为条件的图像。这项研究使用条件VAE作为初始发电机来生成文本描述符的高级草图。这款来自第一阶段的高级草图输出和文本描述符被用作条件GAN网络的输入。第二阶段GAN产生256x256高分辨率图像。所提出的体系结构受益于条件加强和有条件的GAN网络的残留块，以实现结果。使用CUB和Oxford-102数据集进行了多个实验，并将所提出方法的结果与Stackgan等最新技术进行了比较。实验表明，所提出的方法生成了以文本描述为条件的高分辨率图像，并使用两个数据集基于Inception和Frechet Inception评分产生竞争结果

我们提出了一种用于自动驾驶应用的图像增强的组成方法。它是一个端到端的神经网络，被训练，以便无缝地构成作为从物体图像的裁剪补片所代表的物体（例如，车辆或行人）进入背景场景图像。由于我们的方法强调了组合图像的语义和结构一致性，而不是它们的像素级RGB精度，我们通过结构感知功能来定制我们网络的输入和输出，相应地设计了我们的网络损耗。具体而言，我们的网络从输入场景图像中获取语义布局特征，从输入对象补丁中的边缘和剪影编码的功能，以及潜像作为输入的潜在代码，并生成定义平移和缩放的2D空间仿射变换对象补丁。学习的参数进一步进入可分扩展的空间变压器网络，以将对象补丁转换为目标图像，其中我们的模型通过仿射变换鉴别器和布局鉴别器对其进行对面的培训。我们评估我们的网络，为结构感知组成，在质量，可组合性和复合图像的概念方面，在突出的自动驾驶数据集上。对最先进的替代品进行比较，确认我们的方法的优越性。

移动屏幕的布局是UI设计研究和对屏幕的语义理解的关键数据源。但是，现有数据集中的UI布局通常是嘈杂的，具有与其视觉表示的不匹配，或者由难以分析和模型的通用或应用特定类型组成。在本文中，我们提出了使用深度学习方法的粘土管道，用于去噪UI布局，允许我们在比例下自动改进现有的移动UI布局数据集。我们的管道采用屏幕截图和原始UI布局，通过删除不正确的节点并向每个节点分配语义有意义的类型来注释原始布局。为了实验我们的数据清洁管道，我们根据来自Rico的截图和原始布局，创建59,555个人注释的屏幕布局的粘土数据集，该网站上是一个公共移动UI语料库。我们的深度模型可实现高精度，F1分数为82.7％，用于检测没有有效的视觉表示的布局对象，85.9％用于识别对象类型，这显着优于启发式基线。我们的工作为创建大规模高质量的UI布局数据集提供了用于数据驱动的移动UI研究的基础，并减少了手动标签的需要，这些努力非常昂贵。

文本对图像综合的症结很大，源于保持输入文本和合成图像之间的跨模式语义一致性的困难。试图直接建模文本图像映射的典型方法只能在文本中捕获指示常见对象或动作但无法学习其空间分布模式的文本中的关键字。规避此限制的一种有效方法是生成图像布局作为指导，这是通过一些方法尝试的。然而，由于输入文本和对象位置的多样性，这些方法无法生成实际有效的布局。在本文中，我们推动在文本到图像生成和布局到图像合成中进行有效的建模。具体而言，我们将文本到序列生成作为序列到序列建模任务，并在变压器上构建我们的模型，以通过对它们之间的顺序依赖性进行建模，以了解对象之间的空间关系。在布局到图像合成的阶段，我们专注于在布局中每个对象中的每个对象学习文本 - 视觉对齐，以精确地将输入文本纳入布局到图像构图合成过程。为了评估生成的布局的质量，我们设计了一个新的度量标准，称为布局质量得分，该评分既考虑了布局中边界框的绝对分布误差，又考虑了它们之间的相互空间关系。在三个数据集上进行的广泛实验证明了我们的方法优于最先进的方法，既可以预测布局和从给定文本综合图像。

在包括搜索在内的各种应用程序中，积极消费数字文档的研究范围为研究范围。传统上，文档中的搜索是作为文本匹配的问题施放的，忽略了结构化文档，表格等中常见的丰富布局和视觉提示。为此，我们提出了一个大多数未探索的问题：“我们可以搜索其他类似的snippets在目标文档页面中存在给定文档摘要的单个查询实例吗？”。我们建议单体将其作为单拍的摘要检测任务解决。单体融合了摘要和文档的视觉，文本和空间方式的上下文，以在目标文档中找到查询片段。我们进行了广泛的消融和实验，显示单体从一击对象检测（BHRL），模板匹配和文档理解（Layoutlmv3）中优于几个基线。由于目前的任务缺乏相关数据，因此我们对单体进行了编程生成的数据训练，该数据具有许多视觉上相似的查询片段和来自两个数据集的目标文档对 - Flamingo表单和PublayNet。我们还进行人类研究以验证生成的数据。

素描是一种常用于创新过程的自然和有效的视觉通信介质。深度学习模型的最新发展急剧改善了理解和生成视觉内容的机器能力。令人兴奋的发展领域探讨了用于模拟人类草图的深度学习方法，开设创造性应用的机会。本章介绍了开发深受学习驱动的创造性支持工具的三个基本步骤，这些步骤消耗和生成草图：1）在草图和移动用户界面之间生成新配对数据集的数据收集工作; 2）基于草图的用户界面检索系统，适用于最先进的计算机视觉技术; 3）一个对话的草图系统，支持基于自然语言的草图/批判创作过程的新颖互动。在本章中，我们在深度学习和人机互动社区中进行了对相关的事先工作，详细记录了数据收集过程和系统的架构，目前提供了定性和定量结果，并绘制了几个未来研究的景观在这个令人兴奋的地区的方向。

我们提出了一种用于场景文本视觉问题的新型多模式架构（STVQA），命名为布局感知变压器（LatR）。 STVQA的任务需要模型以推理不同的方式。因此，我们首先调查每种方式的影响，并揭示语言模块的重要性，尤其是在丰富布局信息时。考虑到这一点，我们提出了一种客观预培训计划，只需要文本和空间线索。我们表明，尽管域间隙差距，但仍然对扫描文件进行了对扫描文件的培训方案具有某些优点。扫描的文档易于采购，文本密集并具有各种布局，帮助模型通过捆绑语言和布局信息来学习各种空间线索（例如，下面等等）。与现有方法相比，我们的方法执行无词汇解码，如图所示，概括到超出培训词汇。我们进一步证明Latr改善了对OCR错误的鲁棒性，在STVQA失败的常见原因。另外，通过利用视觉变压器，我们消除了对外部物体检测器的需求。 Latr在多个数据集上赢得最先进的STVQA方法。特别是+ 7.6％的TextVQA，ST-VQA上的10.8％，+ 4.0％在OCR-VQA（所有绝对精度数字）。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

平面设计在人们的日常生活中普遍存在。对于图形设计，最耗时的任务是在接口中铺设各种组件。重复的手动布局设计将浪费大量的专业图形设计师。现有模板通常是基本的，不适合大多数设计，降低效率和限制创造力。本文实现了变压器模型和条件变形Autiachoder（CVAE）到图形设计布局生成任务。它提出了一个名为layoutt-cvae的端到端图形设计布局生成模型。我们还提出了基于元素解剖和特征的解剖策略，并将新的图形设计原则和相似性指标引入了模型中，这显着提高了深度模型的可控性和可解释性。与现有的最先进模型相比，我们由我们生成的布局在许多指标上表现更好。

随着图像文本对的大量数据以及视觉和语言（V＆L）任务的多样性，学者在该研究领域引入了大量的深度学习模型。此外，近年来，转移学习还显示出在计算机愿景中的巨大成功，例如图像分类，对象检测等以及在自然语言处理中以进行问答，机器翻译等的自然语言处理。继承转移学习的精神， V＆L的研究工作已经在大规模数据集上设计了多种预训练技术，以增强下游任务的性能。本文的目的是提供当代V＆L预审前模型的全面修订。特别是，我们对预处理的方法进行了分类和描述，以及最先进的视觉和语言预训练模型的摘要。此外，还提供了培训数据集和下游任务的列表，以进一步提高V＆L预处理的观点。最后，我们决定采取进一步的一步，讨论众多未来研究的方向。

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

自我监督的预训练技术在文档AI中取得了显着进步。大多数多模式的预训练模型都使用蒙版的语言建模目标来学习文本模式的双向表示，但是它们在图像模式的预训练目标方面有所不同。这种差异增加了多模式表示学习的困难。在本文中，我们建议\ textbf {layoutlmv3}为文档AI预训练多模式变压器，并具有统一的文本和图像掩蔽。此外，LayoutLMV3通过单词斑点对齐目标进行了预训练，可以通过预测是否掩盖文本的相应图像贴片来学习交叉模式对齐。简单的统一体系结构和培训目标使Layoutlmv3成为以文本为中心和以图像为中心的文档AI任务的通用预培训模型。实验结果表明，LayoutLMV3不仅在以文本为中心的任务中实现最先进的绩效，包括形式的理解，收据理解和文档视觉问题回答，而且在以图像为中心的任务（例如文档图像分类和文档布局）中分析。代码和模型可在\ url {https://aka.ms/layoutlmv3}上公开获得。