表格是一种广泛类型的基于模板的文档，用于各种各样的领域，包括，等等，管理，医学，金融或保险。由于日常生成的形式增加，这些文件中包括的信息的自动提取大大要求。然而，由于具有不同形式实体位置的模板的巨大分集以及扫描文档的质量，因此在使用扫描形式时，这不是一项直接的任务，以及扫描文档的质量。在此上下文中，存在一个功能由所有形式共享：它们包含作为键值（或标签值）对构建的互连实体的集合以及其他实体，例如标题或图像。在这项工作中，我们通过基于BERT架构组合图像处理技术和文本分类模型来了解以形式的实体链接问题。这种方法实现了最先进的结果，在Funsd DataSet上的F1分数为0.80，关于最佳方法的提高5％。此项目的代码可在https://github.com/mavillot/funsd-entity-linking中获得。
translated by 谷歌翻译
来自文件的信息提取（即）是一大集工业应用的密集研究领域。目前最先进的方法专注于扫描文档，其中包含计算机视觉，自然语言处理和布局表示的方法。我们建议在可获得令牌风格和视觉表示的情况下挑战计算机愿景的使用（即本机PDF文件）。我们在三个现实世界复杂数据集上的实验表明，使用基于令牌的嵌入属性而不是Layoutlm模型中的原始视觉嵌入是有益的。根据数据集，这种嵌入在加权F1分数中提高0.18％至2.29％，在模型的最终培训参数中减少30.7％，从而提高了效率和有效性。
translated by 谷歌翻译
我们提出了对形式文件的任意查询的价值检索，以减少处理表格的人力努力。与以前的方法不同，仅解决一个固定的字段项，我们的方法基于对表单的布局和语义的理解，预测任意查询的目标值。为了进一步提高模型性能，我们提出了一种简单的文档语言建模（SimpleDLM）策略，以提高对大型模型预培训的文档理解。实验结果表明，我们的方法显着优于我们的基线，而SimpleDLM进一步提高了我们的价值检索的性能约为17 \％F1分数与最先进的预训练方法相比。代码将公开可用。
translated by 谷歌翻译
自然语言处理领域（NLP）最近看到使用预先接受训练的语言模型来解决几乎任何任务的大量变化。尽管对各种任务的基准数据集显示了很大的改进，但这些模型通常在非标准域中对临床领域的临床域进行次优，其中观察到预训练文件和目标文件之间的巨大差距。在本文中，我们的目标是通过对语言模型的域特定培训结束这种差距，我们调查其对多种下游任务和设置的影响。我们介绍了预先训练的Clin-X（临床XLM-R）语言模型，并展示了Clin-X如何通过两种语言的十个临床概念提取任务的大幅度优于其他预先训练的变压器模型。此外，我们展示了如何通过基于随机分裂和交叉句子上下文的集合来利用我们所提出的任务和语言 - 无人机模型架构进一步改善变压器模型。我们在低资源和转移设置中的研究显示，尽管只有250个标记的句子，但在只有250个标记的句子时，缺乏带注释数据的稳定模型表现。我们的结果突出了专业语言模型作为非标准域中的概念提取的Clin-X的重要性，但也表明我们的任务 - 无人机模型架构跨越测试任务和语言是强大的，以便域名或任务特定的适应不需要。 Clin-Xlanguage模型和用于微调和传输模型的源代码在https://github.com/boschresearch/clin\_x/和Huggingface模型集线器上公开使用。
translated by 谷歌翻译
文档AI或Document Intelligence是一个相对较新的研究主题，指的是自动阅读，理解和分析业务文档的技术。它是自然语言处理和计算机视觉的重要研究方向。近年来，深度学习技术的普及已经大大提高了文档AI的发展，如文件布局分析，视觉信息提取，文档视觉问题应答，文档图像分类等。本文简要评论了一些代表性模型，任务和基准数据集。此外，我们还介绍了早期的启发式规则的文档分析，统计机器学习算法，深度学习方法，尤其是预训练方法。最后，我们展望未来的Document AI研究方向。
translated by 谷歌翻译
文献中最近的方法已经利用了文档中的多模态信息（文本，布局，图像）来服务于特定的下游文档任务。但是，它们受到 - （i）无法学习文档的文本，布局和图像尺寸的跨模型表示，并且（ii）无法处理多页文件。已经在自然语言处理（NLP）域中显示了预训练技术，以了解来自大型未标记数据集的通用文本表示，适用于各种下游NLP任务。在本文中，我们提出了一种基于多任务学习的框架，该框架利用自我监督和监督的预训练任务的组合来学习适用于各种下游文档任务的通用文档表示。具体而言，我们将文档主题建模和文档Shuffle预测作为新的预训练任务，以便学习丰富的图像表示以及文档的文本和布局表示。我们利用啰覆网络架构作为骨干，以以端到端的方式从多页文件中编码多模态信息。我们展示我们在各种不同现实文档任务的培训框架的适用性，例如文档分类，文档信息提取和文件检索。我们在不同的标准文件数据集中评估我们的框架，并进行详尽的实验，以比较符合我们框架的各种消融和最先进的基线的绩效。
translated by 谷歌翻译
在视觉上丰富的文件（VRD）上的结构化文本理解是文档智能的重要组成部分。由于VRD中的内容和布局的复杂性，结构化文本理解是一项有挑战性的任务。大多数现有的研究将此问题与两个子任务结尾：实体标记和实体链接，这需要整体地了解令牌和段级别的文档的上下文。但是，很少的工作已经关注有效地从不同层次提取结构化数据的解决方案。本文提出了一个名为structext的统一框架，它对于处理两个子任务是灵活的，有效的。具体地，基于变压器，我们引入了一个段令牌对齐的编码器，以处理不同粒度水平的实体标记和实体链接任务。此外，我们设计了一种具有三个自我监督任务的新型预训练策略，以学习更丰富的代表性。 Structext使用现有屏蔽的视觉语言建模任务和新句子长度预测和配对框方向任务，以跨文本，图像和布局结合多模态信息。我们评估我们在分段级别和令牌级别的结构化文本理解的方法，并表明它优于最先进的同行，在Funsd，Srie和Ephoie数据集中具有显着优越的性能。
translated by 谷歌翻译
首字母缩略词和长形式通常在研究文件中发现，更多的资料来自科学和法律领域的文件。在此文件中使用的许多首字母缩略词是特定于域的，很少在正常文本语料库中找到。由于这一点，基于变压器的NLP模型经常检测缩略词令牌的OOV（词汇），特别是对于非英语语言，它们的性能在提取期间将首字母缩略词与它们的长形式联系起来。此外，像BERT这样的预磨削变压器模型不专注于处理科学和法律文件。随着这些积分是这项工作背后的总体动机，我们提出了一种新颖的框架尚非：缩写式提取的字符感知BERT，其考虑文本中的字符序列，并通过屏蔽语言建模进行了科学和法律域。我们进一步使用了一个增强损失功能的目标，将最大损耗和掩码丢失术语添加到培训人物的标准交叉熵损失。我们进一步利用伪标记和对抗性数据生成来提高框架的普遍性。与各种基线相比，实验结果证明了所提出的框架的优越性。此外，我们表明，所提出的框架更适合基线模型，用于对非英语的零拍摄概括，从而加强了我们方法的有效性。我们的Team BackGprop在法国数据集中获得了最高分，丹麦和越南的最高分，在全球排行榜上的英语合法数据集中获得了第三高，用于SDU AAAI-22的Althym提取（AE）共享任务。
translated by 谷歌翻译
了解文档图像（例如，发票）是一个重要的研究主题，并在文档处理自动化中具有许多应用。通过基于深度学习的光学字符识别（OCR）的最新进展，目前的视觉文档了解（VDU）系统已经基于OCR设计。虽然这种基于OCR的方法承诺合理的性能，但它们遭受了由OCR引起的关键问题，例如（1）（1）昂贵的计算成本和（2）由于OCR误差传播而导致的性能下降。在本文中，我们提出了一种新颖的VDU模型，即结束可训练而不支撑OCR框架。为此，我们提出了一个新的任务和合成文档图像生成器，以预先列车，以减轻大规模实体文档图像上的依赖关系。我们的方法在公共基准数据集和私营工业服务数据集中了解各种文档的最先进的性能。通过广泛的实验和分析，我们展示了拟议模型的有效性，特别是考虑到真实世界的应用。
translated by 谷歌翻译
我们提出了一种自我监督的预培训方法，用于学习手写和印刷历史文档转录的丰富视觉语言表示。监督我们预先调整我们预先培训的编码器表示两种语言的低资源文件转录后，（1）异构手写伊斯兰制稿件图像和（2）早期现代英语印刷文件，我们展现了有意义的认可改善从划痕培训的同一监督模型的准确性，只需30个线图像转录即可训练。我们屏蔽的语言模型式预培训策略，其中模型训练，以便能够识别从同一行中采样的患者的真正蒙面的视觉表示，鼓励学习强大的上下文化语言表示不变于抄写方式和打印噪声横跨文件。
translated by 谷歌翻译
零拍摄的交叉传输是现代NLP模型和架构中的一个重要功能，以支持低资源语言。在这项工作中，我们在多标签文本分类下将零拍摄的交叉传输到法语和德语，我们使用英语培训集培训分类器，我们使用法语和德语测试集进行测试。我们以法语和德语官方翻译扩展了欧洲互联网数据集，英国数据集，了解法律文件的主题分类。我们调查使用一些训练技术，即逐步的未填写和语言模型FineTuning的效果，对零射击交叉传输的质量。我们发现，多语言预训练模型（M-Distilbert，M-BERT）的语言模型，导致32.0-34.94％，相应地对法国和德国测试集的相对改进。此外，在培训期间逐渐未经培训的模型层，为法国人的相对提高38-45％，德国人58-70％。与使用英语，法国和德国培训集中的联合培训方案中的模型进行培训，零击贝尔的分类模型达到了通过共同训练的基于伯特的分类模型实现的86％。
translated by 谷歌翻译
从PDFS中准确提取结构化内容是NLP在科学论文中的关键第一步。最近的工作通过纳入基本布局信息，例如在页面上的每个令牌的2D位置，进入语言模型预先润廓来提高提取精度。我们介绍了明确地模拟视觉布局（VILA）组，即文本行或文本块的新方法，以进一步提高性能。在我们的I-VILA方法中，我们表明，只需将特殊令牌插入模型输入的布局组边界即可导致令牌分类的1.9％的宏F1改进。在H-VILA方法中，我们表明布局组的分层编码可能导致宏F1损耗小于0.8％的高达47％的推理时间。与先前的布局感知方法不同，我们的方法不需要昂贵的额外预制，只有微调，我们显示的速度可以降低培训成本高达95％。实验在新策划的评估套件S2-Vlue上进行，该S2-VLUE统一现有的自动标记的数据集，包括从19个科学学科的不同论文的手动注释的新数据集。预先训练的权重，基准数据集和源代码可在https://github.com/allenai/vila获得。
translated by 谷歌翻译
最近的工作表明，在适应新域时，域名语言模型可以提高性能。但是，与培训前提出的成本提出了一个重要问题：给出了固定预算，NLP从业者应该采取哪些步骤来最大限度地提高绩效？在本文中，我们在预算限制下研究域适应，并将其作为数据注释和预培训之间的客户选择问题。具体而言，我们测量三个程序文本数据集的注释成本以及三种域语言模型的预培训成本。然后，我们评估不同预算限制下的预训练和数据注释的不同组合的效用，以评估哪种组合策略最佳效果。我们发现，对于小预算，支出所有资金都会导致最佳表现;一旦预算变得足够大，数据注释和域内预训练的组合更优先。因此，我们建议任务特定的数据注释应该是在将NLP模型调整到新域时的经济策略的一部分。
translated by 谷歌翻译
随着越来越多的可用文本数据，能够自动分析，分类和摘要这些数据的算法的开发已成为必需品。在本研究中，我们提出了一种用于关键字识别的新颖算法，即表示给定文档的关键方面的一个或多字短语的提取，称为基于变压器的神经标记器，用于关键字识别（TNT-KID）。通过将变压器架构适用于手头的特定任务并利用域特定语料库上的预先磨损的语言模型，该模型能够通过提供竞争和强大的方式克服监督和无监督的最先进方法的缺陷在各种不同的数据集中的性能，同时仅需要最佳执行系统所需的手动标记的数据。本研究还提供了彻底的错误分析，具有对模型内部运作的有价值的见解和一种消融研究，测量关键字识别工作流程的特定组分对整体性能的影响。
translated by 谷歌翻译
如今，元数据信息通常由提交后由作者自己提供。然而，已经存在的研究论文的重要部分缺失或不完整的元数据信息。德国科学论文有很大种类的布局，使得元数据提取一个非琐碎的任务，这需要一个精确的方法来对文档中提取的元数据进行分类。在本文中，我们提出了德语科学论文的元数据提取多模式深度学习方法。通过组合自然语言处理和图像视觉处理，我们考虑多种类型的输入数据。与其他最先进的方法相比，该模型旨在提高元数据提取的整体准确性。它能够利用空间和上下文特征，以实现更可靠的提取。我们的这种方法的模型受到约会，包括大约8800个文件的数据集，并且能够获得0.923的总体F1分数。
translated by 谷歌翻译
我们提出了文件的实体级关系联合模型。与其他方法形成鲜明对比 - 重点关注本地句子中的对，因此需要提及级别的注释 - 我们的模型在实体级别运行。为此，遵循多任务方法，它在Coreference分辨率上建立并通过多级别表示结合全局实体和本地提到信息来聚集相关信号。我们在积木数据集中实现最先进的关系提取结果，并报告了未来参考的第一个实体级端到端关系提取结果。最后，我们的实验结果表明，联合方法与特定于任务专用的学习相提并论，虽然由于共享参数和培训步骤而言更有效。
translated by 谷歌翻译
首字母缩略词提取旨在从文件中找到首字母缩略词（即，短文）及其含义（即，长形式），这对于科学文件理解（SDU @ Aaai-22）任务很重要。以前的作品致力于将此任务建模为段落级序列标记问题。但是，它缺乏有效利用外部知识，尤其是当数据集处于低资源设置时。最近，具有庞大培训的语言模型的基于及时的方法可以显着提高低资源下游任务的性能。在本文中，我们提出了一种用于缩写式提取任务的基于行的序列生成（PSG）方法。具体来说，我们设计一个模板，用于提示带有自动回归的提取的缩写文本。位置提取算法旨在提取所生成答案的位置。在低资源设置中越南语和波斯语的缩写提取的结果表明，所提出的方法优于所有其他竞争全能（SOTA）方法。
translated by 谷歌翻译
知识库问题应答（KBQA）旨在在外部知识库的帮助下回答自然语言问题。核心思想是找到内部知识与知识库的已知三元组之间的内部知识之间的联系。 KBQA任务管道包含几个步骤，包括实体识别，关系提取和实体链接。这种管道方法意味着任何过程中的错误将不可避免地传播到最终预测。为了解决上述问题，本文提出了一种具有预培训语言模型（PLM）和知识图（KG）的语料库生成 - 检索方法（CGRM）。首先，基于MT5模型，我们设计了两个新的预训练任务：基于段落的知识屏蔽语言建模和问题，以获取知识增强型T5（KT5）模型。其次，在用一系列启发式规则预处理知识图的预处理之后，KT5模型基于处理的三元组生成自然语言QA对。最后，我们通过检索合成数据集直接解决QA。我们在NLPCC-ICCPOL 2016 KBQA数据集上测试我们的方法，结果表明，我们的框架提高了KBQA的性能，直接向前的方法与最先进的方法竞争。
translated by 谷歌翻译
自动问题应答（QA）系统的目的是以时间有效的方式向用户查询提供答案。通常在数据库（或知识库）或通常被称为语料库的文件集合中找到答案。在过去的几十年里，收购知识的扩散，因此生物医学领域的新科学文章一直是指数增长。因此，即使对于领域专家，也难以跟踪域中的所有信息。随着商业搜索引擎的改进，用户可以在某些情况下键入其查询并获得最相关的一小组文档，以及在某些情况下从文档中的相关片段。但是，手动查找所需信息或答案可能仍然令人疑惑和耗时。这需要开发高效的QA系统，该系统旨在为用户提供精确和精确的答案提供了生物医学领域的自然语言问题。在本文中，我们介绍了用于开发普通域QA系统的基本方法，然后彻底调查生物医学QA系统的不同方面，包括使用结构化数据库和文本集合的基准数据集和几种提出的方法。我们还探讨了当前系统的局限性，并探索潜在的途径以获得进一步的进步。
translated by 谷歌翻译
学术研究是解决以前从未解决过的问题的探索活动。通过这种性质，每个学术研究工作都需要进行文献审查，以区分其Novelties尚未通过事先作品解决。在自然语言处理中，该文献综述通常在“相关工作”部分下进行。鉴于研究文件的其余部分和引用的论文列表，自动相关工作生成的任务旨在自动生成“相关工作”部分。虽然这项任务是在10年前提出的，但直到最近，它被认为是作为科学多文件摘要问题的变种。然而，即使在今天，尚未标准化了自动相关工作和引用文本生成的问题。在这项调查中，我们进行了一个元研究，从问题制定，数据集收集，方法方法，绩效评估和未来前景的角度来比较相关工作的现有文献，以便为读者洞察到国家的进步 - 最内容的研究，以及如何进行未来的研究。我们还调查了我们建议未来工作要考虑整合的相关研究领域。
translated by 谷歌翻译