Many business workflows require extracting important fields from form-like documents (e.g. bank statements, bills of lading, purchase orders, etc.). Recent techniques for automating this task work well only when trained with large datasets. In this work we propose a novel data augmentation technique to improve performance when training data is scarce, e.g. 10-250 documents. Our technique, which we call FieldSwap, works by swapping out the key phrases of a source field with the key phrases of a target field to generate new synthetic examples of the target field for use in training. We demonstrate that this approach can yield 1-7 F1 point improvements in extraction performance.
translated by 谷歌翻译
由于其对金融服务，保险和医疗保健等许多行业的自动化业务工作流程的潜在影响，自动化信息提取的信息从格式的信息提取是一种压迫需求。关键挑战是这些业务工作流中的形式类似的文件可以在很多无限的方式下放出;因此，对此问题的良好解决方案应该概括到具有看不见的布局和语言的文档。此问题的解决方案需要对文档中的文本段和视觉提示的全面了解，这是非微不足道的。虽然自然语言处理和计算机视觉社区开始解决这个问题，但在（1）数据效率上没有大量关注（2）跨越不同文档类型和语言的能力。在本文中，我们认为，当我们只有少量标记的培训文件（〜50）时，从相当大的结构不同的较大标记的语料库中的简单转移学习方法产生高达27 f1点的改进，即在简单的训练上目标域中的小语料库。我们通过简单的多域转移学习方法改进了这一点，目前正在生产使用中，并表明这达到了8个F1点的改进。我们使数据效率至关重要，使信息提取系统能够扩展以处理数百种不同的文档类型，并且学习良好的表示对于实现这一目标是至关重要的。
translated by 谷歌翻译
通用数据模型解决了标准化电子健康记录（EHR）数据的许多挑战，但无法将其集成深度表型所需的资源。开放的生物学和生物医学本体论（OBO）铸造本体论提供了可用于生物学知识的语义计算表示，并能够整合多种生物医学数据。但是，将EHR数据映射到OBO Foundry本体论需要大量的手动策展和域专业知识。我们介绍了一个框架，用于将观察性医学成果合作伙伴关系（OMOP）标准词汇介绍给OBO铸造本体。使用此框架，我们制作了92,367条条件，8,615种药物成分和10,673个测量结果的映射。域专家验证了映射准确性，并且在24家医院进行检查时，映射覆盖了99％的条件和药物成分和68％的测量结果。最后，我们证明OMOP2OBO映射可以帮助系统地识别可能受益于基因检测的未诊断罕见病患者。
translated by 谷歌翻译
事实证明，行为政策与目标政策不同并用于获得学习经验的政策策略在强化学习中具有巨大的实践价值。但是，即使对于简单的凸问题，例如线性值函数近似，这些算法也不能保证是稳定的。为了解决这个问题，在这种情况下引入了可证明会收敛的替代算法，最著名的是梯度下降时间差异（GTD）学习。然而，这种算法和其他类似的算法往往比传统的时间差异学习更慢得多。在本文中，我们建议通过在连续参数更新中引入二阶差异来提高GTD2的梯度下降时间差异（梯度DD）学习。我们在线性值函数近似的框架中研究了该算法，理论上通过应用随机近似理论来证明其收敛性。分析显示其比GTD2的改善。通过经验研究该模型的随机步行任务，Boyan-Chain任务和Baird的非政策反例，我们发现对GTD2的实质性改善，在某些情况下，甚至比传统的TD学习更好的表现甚至更好。
translated by 谷歌翻译
ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列，该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战，这是由于探测器的几何形状，不均匀的散射和冰中光的吸收，并且低于100 GEV的光，每个事件产生的信号光子数量相对较少。为了应对这一挑战，可以将ICECUBE事件表示为点云图形，并将图形神经网络（GNN）作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开，对不同的中微子事件类型进行分类，并重建沉积的能量，方向和相互作用顶点。基于仿真，我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术，包括已知系统不确定性的影响。对于中微子事件分类，与当前的IceCube方法相比，GNN以固定的假阳性速率（FPR）提高了信号效率的18％。另外，GNN在固定信号效率下将FPR的降低超过8（低于半百分比）。对于能源，方向和相互作用顶点的重建，与当前最大似然技术相比，分辨率平均提高了13％-20％。当在GPU上运行时，GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件，这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。
translated by 谷歌翻译
内核回归（KR）中的主要高参数是内核的选择。在KR的大多数理论研究中，人们假设在查看训练数据之前固定了内核。在此假设下，众所周知，最佳内核等于目标函数的先前协方差。在本说明中，我们认为在查看培训数据后可以更新内核的KR。我们指出，在这种情况下，使用目标函数后部的内核选择类似。讨论了与数据依赖性内核学习者一起与深度神经网络视图的联系。
translated by 谷歌翻译
2022-07-14
过度参数化的神经网络的实际成功促进了最近对插值方法的科学研究，这些研究非常适合其训练数据。如果没有灾难性的测试表现，包括神经网络在内的某些插值方法（包括神经网络）可以符合嘈杂的训练数据，这是违反统计学习理论的标准直觉的。为了解释这一点，最近的一系列工作研究了$ \ textit {良性过拟合} $，这是一种现象，其中一些插值方法即使在存在噪音的情况下也接近了贝叶斯的最佳性。在这项工作中，我们认为，虽然良性过度拟合既具有启发性和富有成效的研究在测试时间的风险，这意味着这些模型既不是良性也不是灾难性的，而是属于中间状态。我们称此中级制度$ \ textit {perked forporting} $，我们启动其系统研究。我们首先在内核（Ridge）回归（KR）的背景下探索这种现象，通过在脊参数和核特征光谱上获得条件，KR在这些条件下表现出三种行为。我们发现，具有PowerLaw光谱的内核，包括Laplace内核和Relu神经切线内核，表现出了过度拟合的。然后，我们通过分类法的镜头从经验上研究深度神经网络，并发现接受插值训练的人是脾气暴躁的，而那些训练的人则是良性的。我们希望我们的工作能够使人们对现代学习过度拟合的过度理解。
translated by 谷歌翻译
对象看起来和声音的方式提供了对其物理特性的互补反射。在许多设置中，视觉和试听的线索都异步到达，但必须集成，就像我们听到一个物体掉落在地板上，然后必须找到它时。在本文中，我们介绍了一个设置，用于研究3D虚拟环境中的多模式对象定位。一个物体在房间的某个地方掉落。配备了摄像头和麦克风的具体机器人剂必须通过将音频和视觉信号与知识的基础物理学结合来确定已删除的对象以及位置。为了研究此问题，我们生成了一个大规模数据集 - 倒下的对象数据集 - 其中包括64个房间中30个物理对象类别的8000个实例。该数据集使用Threedworld平台，该平台可以模拟基于物理的影响声音和在影片设置中对象之间的复杂物理交互。作为解决这一挑战的第一步，我们基于模仿学习，强化学习和模块化计划，开发了一组具体的代理基线，并对这项新任务的挑战进行了深入的分析。
translated by 谷歌翻译
图形神经网络（GNN）已被广泛用于表示图数据的表示。但是，对图形数据实际上获得多少性能GNN的理解有限。本文介绍了上下文弹出的GNN框架，并提出了两个平滑度指标，以测量从图形数据获得的信息的数量和质量。然后，一种称为CS-GNN的新型GNN模型旨在根据图的平滑度值改善图形信息的使用。证明CS-GNN比不同类型的真实图中现有方法获得更好的性能。
translated by 谷歌翻译
随着自主系统成为我们日常生活的一部分，确保其信任度至关重要。有许多用于证明可信赖性的技术。所有这些技术的共同点是需要阐明规格。在本文中，我们对规格进行了广泛的看法，专注于顶级要求，包括但不限于功能，安全性，安全性和其他非功能性属性。本文的主要贡献是对于与指定可信度相关的自主系统社区的一系列高级智力挑战。我们还描述了有关自主系统的许多应用程序域的独特规范挑战。
translated by 谷歌翻译