分析文档的布局以识别标题，部分，表，数字等对理解其内容至关重要。基于深度学习的检测文档图像布局结构的方法一直很有前途。然而，这些方法在训练期间需要大量注释的例子，这既昂贵又耗时。我们在这里描述了一个合成文档生成器，它自动产生具有用于空间位置，范围和布局元素类别的标签的现实文档。所提出的生成过程将文档的每个物理组件视为随机变量，并使用贝叶斯网络图模拟其内在依赖项。我们使用随机模板的分层制定允许在保留广泛主题之间的文档之间的参数共享，并且分布特性产生视觉上独特的样本，从而捕获复杂和不同的布局。我们经常说明纯粹在合成文档上培训的深层布局检测模型可以匹配使用真实文档的模型的性能。
translated by 谷歌翻译
The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.
translated by 谷歌翻译
无约束的手写文本识别是一项具有挑战性的计算机视觉任务。传统上，它是通过两步方法来处理的，结合了线细分，然后是文本线识别。我们第一次为手写文档识别任务提出了无端到端的无分段体系结构：文档注意网络。除文本识别外，该模型还接受了使用类似XML的方式使用开始和结束标签标记文本零件的训练。该模型由用于特征提取的FCN编码器和用于复发令牌预测过程的变压器解码器层组成。它将整个文本文档作为输入和顺序输出字符以及逻辑布局令牌。与现有基于分割的方法相反，该模型是在不使用任何分割标签的情况下进行训练的。我们在页面级别的Read 2016数据集以及CER分别为3.43％和3.70％的双页级别上获得了竞争成果。我们还为Rimes 2009数据集提供了页面级别的结果，达到CER的4.54％。我们在https://github.com/factodeeplearning/dan上提供所有源代码和预训练的模型权重。
translated by 谷歌翻译
本文介绍了用于文档图像分析的图像数据集的系统文献综述，重点是历史文档，例如手写手稿和早期印刷品。寻找适当的数据集进行历史文档分析是促进使用不同机器学习算法进行研究的关键先决条件。但是，由于实际数据非常多（例如，脚本，任务，日期，支持系统和劣化量），数据和标签表示的不同格式以及不同的评估过程和基准，因此找到适当的数据集是一项艰巨的任务。这项工作填补了这一空白，并在现有数据集中介绍了元研究。经过系统的选择过程（根据PRISMA指南），我们选择了56项根据不同因素选择的研究，例如出版年份，文章中实施的方法数量，所选算法的可靠性，数据集大小和期刊的可靠性出口。我们通过将其分配给三个预定义的任务之一来总结每个研究：文档分类，布局结构或语义分析。我们为每个数据集提供统计，文档类型，语言，任务，输入视觉方面和地面真实信息。此外，我们还提供了这些论文或最近竞争的基准任务和结果。我们进一步讨论了该领域的差距和挑战。我们倡导将转换工具提供到通用格式（例如，用于计算机视觉任务的可可格式），并始终提供一组评估指标，而不仅仅是一种评估指标，以使整个研究的结果可比性。
translated by 谷歌翻译
我们介绍了一种名为RobustAbnet的新表检测和结构识别方法，以检测表的边界并从异质文档图像中重建每个表的细胞结构。为了进行表检测，我们建议将Cornernet用作新的区域建议网络来生成更高质量的表建议，以更快的R-CNN，这显着提高了更快的R-CNN的定位准确性以进行表检测。因此，我们的表检测方法仅使用轻巧的RESNET-18骨干网络，在三个公共表检测基准（即CTDAR TRACKA，PUBLAYNET和IIIT-AR-13K）上实现最新性能。此外，我们提出了一种新的基于分裂和合并的表结构识别方法，其中提出了一个新型的基于CNN的新空间CNN分离线预测模块将每个检测到的表分为单元格，并且基于网格CNN的CNN合并模块是应用用于恢复生成细胞。由于空间CNN模块可以有效地在整个表图像上传播上下文信息，因此我们的表结构识别器可以坚固地识别具有较大的空白空间和几何扭曲（甚至弯曲）表的表。得益于这两种技术，我们的表结构识别方法在包括SCITSR，PubTabnet和CTDAR TrackB2-Modern在内的三个公共基准上实现了最先进的性能。此外，我们进一步证明了我们方法在识别具有复杂结构，大空间以及几何扭曲甚至弯曲形状的表上的表格上的优势。
translated by 谷歌翻译
The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 2nd International Workshop on Reading Music Systems, held in Delft on the 2nd of November 2019.
translated by 谷歌翻译
表结构识别对于全面了解文档是必要的。由于布局的高度多样化，内容的变化和空细胞的存在，非结构化业务文档中的表格很难解析。由于使用视觉或语言环境或两者既是识别单个小区的挑战，问题是特别困难的。准确地检测表格单元（包括空单元）简化了结构提取，因此，它成为我们工作的主要重点。我们提出了一种新的基于对象检测的深层模型，可以捕获表中单元格的固有对齐，并进行微调以快速优化。尽管对细胞准确地检测，但识别致密表的结构仍可能具有挑战性，因为在存在多行/列跨越单元的存在下捕获远程行/列依赖性的困难。因此，我们还旨在通过推导新的直线图的基础制剂来改善结构识别。从语义角度来看，我们突出了桌子中空细胞的重要性。要考虑这些细胞，我们建议对流行的评估标准提升。最后，我们介绍了一个适度大小的评估数据集，其引人注目的风格灵感来自人类认知，以鼓励对问题的新方法进行启发。我们的框架在基准数据集中通过2.7％的平均F1分数提高了先前的最先进的性能。
translated by 谷歌翻译
我们介绍了Dessurt，这是一个相对简单的文档理解变压器，能够在各种文档任务上进行微调，而不是先前的方法。它接收文档映像和任务字符串作为输入，并作为输出以任意文本自动添加。由于Dessurt是端到端体系结构，除了文档理解外，还可以执行文本识别，因此它不需要像先前方法那样需要外部识别模型。Dessurt比先前的方法更灵活，并且能够处理各种文档域和任务。我们表明，该模型可在9种不同的数据集任务组合中有效。
translated by 谷歌翻译
文档AI或Document Intelligence是一个相对较新的研究主题，指的是自动阅读，理解和分析业务文档的技术。它是自然语言处理和计算机视觉的重要研究方向。近年来，深度学习技术的普及已经大大提高了文档AI的发展，如文件布局分析，视觉信息提取，文档视觉问题应答，文档图像分类等。本文简要评论了一些代表性模型，任务和基准数据集。此外，我们还介绍了早期的启发式规则的文档分析，统计机器学习算法，深度学习方法，尤其是预训练方法。最后，我们展望未来的Document AI研究方向。
translated by 谷歌翻译
最近，已经取得了重大进展，将机器学习应用于表结构推理和从非结构化文件提取的问题。然而，一个最大的挑战之一仍然是在规模上创建数据集，以规模完整，明确的地面真理。要解决此问题，我们为表提取开发了一个新的更全面的数据集，称为Pubtables-1M。 Pubtables-1M包含来自科学文章的近100万表，支持多个输入方式，并包含表结构的详细标题和位置信息，使其可用于各种建模方法。它还通过新颖的规范化程序在先前数据集中观察到的，在先前数据集中观察到了一个重要的地面真理源代理。我们证明，这些改进导致培训表现的显着增加和对表结构识别评估时的模型性能更可靠的估计。此外，我们表明，基于转换器的对象检测模型培训 - 1M对检测，结构识别和功能分析的所有三个任务产生了优异的结果，而无需对这些任务的任何特殊定制。数据和代码将在https://github.com/microsoft/table-transformer发布。
translated by 谷歌翻译
在包括搜索在内的各种应用程序中，积极消费数字文档的研究范围为研究范围。传统上，文档中的搜索是作为文本匹配的问题施放的，忽略了结构化文档，表格等中常见的丰富布局和视觉提示。为此，我们提出了一个大多数未探索的问题：“我们可以搜索其他类似的snippets在目标文档页面中存在给定文档摘要的单个查询实例吗？”。我们建议单体将其作为单拍的摘要检测任务解决。单体融合了摘要和文档的视觉，文本和空间方式的上下文，以在目标文档中找到查询片段。我们进行了广泛的消融和实验，显示单体从一击对象检测（BHRL），模板匹配和文档理解（Layoutlmv3）中优于几个基线。由于目前的任务缺乏相关数据，因此我们对单体进行了编程生成的数据训练，该数据具有许多视觉上相似的查询片段和来自两个数据集的目标文档对 - Flamingo表单和PublayNet。我们还进行人类研究以验证生成的数据。
translated by 谷歌翻译
从PDFS中准确提取结构化内容是NLP在科学论文中的关键第一步。最近的工作通过纳入基本布局信息，例如在页面上的每个令牌的2D位置，进入语言模型预先润廓来提高提取精度。我们介绍了明确地模拟视觉布局（VILA）组，即文本行或文本块的新方法，以进一步提高性能。在我们的I-VILA方法中，我们表明，只需将特殊令牌插入模型输入的布局组边界即可导致令牌分类的1.9％的宏F1改进。在H-VILA方法中，我们表明布局组的分层编码可能导致宏F1损耗小于0.8％的高达47％的推理时间。与先前的布局感知方法不同，我们的方法不需要昂贵的额外预制，只有微调，我们显示的速度可以降低培训成本高达95％。实验在新策划的评估套件S2-Vlue上进行，该S2-VLUE统一现有的自动标记的数据集，包括从19个科学学科的不同论文的手动注释的新数据集。预先训练的权重，基准数据集和源代码可在https://github.com/allenai/vila获得。
translated by 谷歌翻译
布局分析（LA）阶段对光学音乐识别（OMR）系统的正确性能至关重要。它标识了感兴趣的区域，例如Staves或歌词，然后必须处理，以便转录它们的内容。尽管存在基于深度学习的现代方法，但在不同模型的精度，它们对不同领域的概括或更重要的是，它们尚未开展对OMR的详尽研究，或者更重要的是，它们对后续阶段的影响管道。这项工作侧重于通过对不同神经结构，音乐文档类型和评估方案的实验研究填补文献中的这种差距。培训数据的需求也导致了一种新的半合成数据生成技术的提议，这使得LA方法在真实情况下能够有效适用性。我们的结果表明：（i）该模型的选择及其性能对于整个转录过程至关重要; （ii）（ii）常用于评估LA阶段的指标并不总是与OMR系统的最终性能相关，并且（iii）所提出的数据生成技术使最先进的结果能够以有限的限制实现标记数据集。
translated by 谷歌翻译
本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片（Sota）。它填补了空白，因为现有的调查文章在其范围内或被约会。我们包括两个重要方面，目前正在挖掘和建模社交媒体的重要性：动态和网络。社会动态对于了解影响影响或疾病的传播，友谊的形成，友谊的形成等，另一方面，可以捕获各种复杂关系，提供额外的洞察力和识别否则将不会被注意的重要模式。
translated by 谷歌翻译
最近，由于其广泛的商业价值，从视觉丰富的文档（例如门票和简历）中自动提取信息已成为一个热门而重要的研究主题。大多数现有方法将此任务分为两个小节：用于从原始文档图像中获取纯文本的文本阅读部分以及用于提取密钥内容的信息提取部分。这些方法主要集中于改进第二个方法，同时忽略了这两个部分高度相关。本文提出了一个统一的端到端信息提取框架，从视觉上富含文档中提出，文本阅读和信息提取可以通过精心设计的多模式上下文块相互加强。具体而言，文本阅读部分提供了多模式功能，例如视觉，文本和布局功能。开发了多模式上下文块，以融合生成的多模式特征，甚至是从预训练的语言模型中获得的先验知识，以提供更好的语义表示。信息提取部分负责使用融合上下文功能生成密钥内容。该框架可以以端到端的可训练方式进行培训，从而实现全球优化。更重要的是，我们将视觉丰富的文档定义为跨两个维度的四个类别，即布局和文本类型。对于每个文档类别，我们提供或推荐相应的基准，实验设置和强大的基准，以弥补该研究领域缺乏统一评估标准的问题。报告了对四种基准测试的广泛实验（从固定布局到可变布局，从完整的文本到半未结构化的文本），证明了所提出的方法的有效性。数据，源代码和模型可用。
translated by 谷歌翻译
尽管将发票内容作为元数据存储以避免纸质文档处理可能是未来的趋势，但几乎所有每日发行的发票仍在纸上打印或以PDF等数字格式生成。在本文中，我们介绍了从扫描文档图像中提取信息的OCRMiner系统，该系统基于文本分析技术与布局功能结合使用（半）结构化文档的索引元数据。该系统旨在以人类读者使用的类似方式处理文档，即在协调决策中采用不同的布局和文本属性。该系统由一组互连模块组成，该模块以（可能是错误的）基于字符的输出从标准OCR系统开始，并允许应用不同的技术并在每个步骤中扩展提取的知识。使用开源OCR，该系统能够以90％的英语恢复发票数据，而捷克设置的发票数据为88％。
translated by 谷歌翻译
布局生成是计算机视觉中的一项新任务，它结合了对象本地化和美学评估中的挑战，在广告，海报和幻灯片设计中广泛使用。准确而愉快的布局应考虑布局元素内的内域关系以及布局元素与图像之间的域间关系。但是，大多数以前的方法只是专注于图像 - 范围 - 不平衡的布局生成，而无需利用图像中复杂的视觉信息。为此，我们探索了一个名为“图像条件的布局生成”的新颖范式，该范式旨在以语义连贯的方式将文本叠加层添加到图像中。具体而言，我们提出了一个图像条件的变分变压器（ICVT），该变形变压器（ICVT）在图像中生成各种布局。首先，采用自我注意的机制来对布局元素内的上下文关系进行建模，而交叉注意机制用于融合条件图像的视觉信息。随后，我们将它们作为有条件变异自动编码器（CVAE）的构件，表现出吸引人的多样性。其次，为了减轻布局元素域和视觉域之间的差距，我们设计了一个几何对齐模块，其中图像的几何信息与布局表示形式对齐。此外，我们构建了一个大规模的广告海报布局设计数据集，并具有精致的布局和显着图。实验结果表明，我们的模型可以在图像的非侵入区域中自适应生成布局，从而产生和谐的布局设计。
translated by 谷歌翻译
许多历史地图表将公开可用于需要长期历史地理数据的研究。这些地图的制图设计包括地图符号和文本标签的组合。从地图图像自动读取文本标签可以大大加快地图解释，并有助于生成描述地图内容的丰富元数据。已经提出了许多文本检测算法以自动定位地图图像中的文本区域，但大多数算法都在Off-Offain数据集（例如，景区图像）上培训。培训数据确定机器学习模型的质量，并在地图图像中手动注释文本区域是劳动力广泛且耗时的。另一方面，现有的地理数据源（例如Open-StreetMap（OSM））包含机器可读地图图层，允许我们分开文本图层并轻松获取文本标签注释。但是，OSM地图瓷砖和历史地图之间的制图样式显着不同。本文提出了一种自动生成无限量的注释历史地图图像的方法，用于训练文本检测模型。我们使用风格转移模型将当代地图图像转换为历史风格，并将文本标签放在上面。我们表明，最先进的文本检测模型（例如，PSENET）可以从合成历史地图中受益，并对历史地图文本检测进行显着改进。
translated by 谷歌翻译
X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.
translated by 谷歌翻译
深度学习技术导致了通用对象检测领域的显着突破，近年来产生了很多场景理解的任务。由于其强大的语义表示和应用于场景理解，场景图一直是研究的焦点。场景图生成（SGG）是指自动将图像映射到语义结构场景图中的任务，这需要正确标记检测到的对象及其关系。虽然这是一项具有挑战性的任务，但社区已经提出了许多SGG方法并取得了良好的效果。在本文中，我们对深度学习技术带来了近期成就的全面调查。我们审查了138个代表作品，涵盖了不同的输入方式，并系统地将现有的基于图像的SGG方法从特征提取和融合的角度进行了综述。我们试图通过全面的方式对现有的视觉关系检测方法进行连接和系统化现有的视觉关系检测方法，概述和解释SGG的机制和策略。最后，我们通过深入讨论当前存在的问题和未来的研究方向来完成这项调查。本调查将帮助读者更好地了解当前的研究状况和想法。
translated by 谷歌翻译