图神经网络(GNN)已成功应用于许多真实世界静态图。但是,由于模型设计,评估设置和训练策略的局限性,静态图的成功尚未完全转化为动态图。具体而言,现有的动态GNN并不包含静态GNN的最新设计,从而限制了其性能。动态GNN的当前评估设置不能完全反映动态图的不断发展的性质。最后,用于动态GNN的常用训练方法是不可扩展的。在这里,我们提出了Roland,这是现实世界动态图的有效图表学习框架。 Roland框架的核心可以帮助研究人员轻松地将任何静态GNN重新用于动态图。我们的见解是将不同GNN层的节点嵌入视为分层节点状态,然后随着时间的推移将其反复更新。然后,我们为动态图引入了实时更高的评估设置,该设置模仿了现实世界中的用例,其中GNN正在做出预测并在滚动基础上进行更新。最后,我们通过增量训练和元学习提出了一种可扩展有效的训练方法,以动态GNN。我们在未来链接预测任务上对八个不同的动态图数据集进行了实验。在三个数据集的标准评估设置下,使用Roland框架建立的模型平均相对平均互惠等级(MRR)的平均相对平均值(MRR)改进。我们发现对较大数据集的最先进的基线经历了不可存储的错误,而Roland可以轻松地扩展到5600万个边缘的动态图。在使用ROLAND训练策略重新实现这些基准线后,Roland模型平均相对于基线相对相对改善了15.5%。
translated by 谷歌翻译
视觉关系构成了理解我们的构图世界的基础,因为视觉对象之间的关系捕获了场景中的关键信息。然后,从数据自动学习关系是有利的,因为使用预定义的标签学习无法捕获所有可能的关系。但是,当前的关系学习方法通​​常需要监督,并且并不是旨在概括与培训期间相比,具有更复杂关系结构的场景。在这里,我们介绍了Virel,这是一种使用图形级别类比的无监督发现和学习视觉关系的方法。在任务中的场景共享相同的基本关系子图结构的环境中,我们对比的同构和非同构图的学习方法以无聊的方式发现了跨任务的关系。一旦学习了关系,Virel就可以通过解析预测的关系结构来检索每个任务的共享关系图结构。使用基于网格世界和抽象推理语料库的数据集,我们表明我们的方法在关系分类中达到了95%的精度,发现了大多数任务的关系图结构,并进一步概括了具有更复杂关系结构的看不见的任务。
translated by 谷歌翻译
人类具有以零拍的方式识别和获取新颖的视觉概念的非凡能力。考虑到以前学到的视觉概念及其关系的高级,象征性的描述,人类可以识别新颖的概念而不看到任何例子。此外,他们可以通过学习视觉概念和关系来解析和传达符号结构来获取新概念。赋予机器中的这些功能在提高推理时提高其概括能力方面至关重要。在这项工作中,我们介绍了零拍的概念识别和获取(ZEROC),这是一种神经符号结构,可以以零拍的方式识别和获取新颖的概念。 ZEROC代表概念作为组成概念模型的图(作为节点)及其关系(作为边缘)。为了允许推理时间组成,我们采用基于能量的模型(EBM)来建模概念和关系。我们设计ZEROC架构,以便它允许在概念的符号图结构及其相应的EBM之间进行一对一的映射,该图是第一次允许获取新概念,传达其图形结构并将其应用于分类和分类和在推理时检测任务(甚至跨域)。我们介绍了用于学习和推断ZEROC的算法。我们在一个充满挑战的网格世界数据集上评估了零,该数据集旨在探测零拍的概念识别和获取,并展示其功能。
translated by 谷歌翻译
在许多科学和工程领域(例如流体动力学,天气预报及其反相反的优化问题)中,模拟大规模系统的部分微分方程(PDE)的时间演变至关重要。但是,由于它们的局部进化,因此经典的求解器和最近的基于深度学习的替代模型通常在计算中都非常密集:他们需要在推理期间的每个时间步骤更新每个离散的单元格的状态。在这里,我们开发了PDE(LE-PDE)的潜在进化,这是一种简单,快速和可扩展的方法,可以加速PDE的仿真和逆优化。 Le-Pde学习了系统的紧凑,全球表示,并通过学习的潜在进化模型有效地在潜在空间中充分进化。 LE-PDE通过在长时间推出期间更新的潜在维度要更新而与输入空间更新相比,可以实现加速。我们介绍了新的学习目标,以有效地学习这种潜在动力,以确保长期稳定。我们进一步介绍了通过在潜在空间中通过反向传播来加速PDE的边界条件的反向优化的技术,以及一种退火技术来解决边界条件的非差异性和稀疏相互作用。我们以非线性PDE的1D基准测试我们的方法,2D Navier-Stokes流入湍流相,并在2D Navier-Stokes流中对边界条件进行反相反优化。与最先进的基于深度学习的替代模型和其他强大的基线相比,我们证明了更新的尺寸降低了128倍,速度提高了15倍,同时提高了竞争精度。
translated by 谷歌翻译
地下模拟使用计算模型来预测流体(例如油,水,气体)通过多孔介质的流动。这些模拟在工业应用(例如石油生产)中至关重要,在这些应用中,需要快速,准确的模型来进行高级决策,例如,进行井安置优化和现场开发计划。经典的有限差数数值模拟器需要大量的计算资源来对大规模现实世界的水库进行建模。另外,通过依靠近似物理模型,流线模拟器和数据驱动的替代模型在计算上更有效,但是它们不足以在大规模上对复杂的储层动力学进行建模。在这里,我们介绍了混合图网络模拟器(HGNS),这是一个数据驱动的替代模型,用于学习3D地下流体流的储层模拟。为了模拟局部和全球尺度上的复杂储层动力学,HGN由地下图神经网络(SGNN)组成,以建模流体流的演化和3D-U-NET,以建模压力的演变。 HGNS能够扩展到每个时间步长数百万个单元的网格,比以前的替代模型高两个数量级,并且可以准确地预测流体流量数十亿个时间步长(未来几年)。使用带有110万个单元的行业标准地下流数据集(SPE-10),我们证明HGNS能够将推理时间降低到与标准地下模拟器相比,最高18次,并且通过降低基于学习的模型,它可以优于其他基于学习的模型长期预测错误高达21%。
translated by 谷歌翻译
对象的嵌入,低维矢量表示,在构建现代机器学习系统中至关重要。在工业环境中,通常有一个嵌入式团队训练嵌入模型来解决预期的任务(例如,产品建议)。然后,消费者团队广泛消耗了生产的嵌入,以解决其意外任务(例如,欺诈检测)。但是,随着嵌入模型的更新和重新培训以提高预期任务的性能,新生成的嵌入不再与现有的消费者模型兼容。这意味着嵌入的历史版本永远无法退休,或者所有消费者团队都必须重新训练模型,以使其与最新版本的嵌入式兼容,这两者在实践中都是非常昂贵的。在这里,我们研究了嵌入版本更新及其向后兼容性的问题。我们正式化了嵌入团队继续更新嵌入式版本的目标,而消费者团队不必重新训练他们的模型。我们开发了一种基于向后兼容的嵌入式学习的解决方案,该解决方案允许嵌入模型版本经常更新,同时还允许将最新版本的嵌入式版本快速转换为IT的任何向后兼容的历史版本,以免消费者团队不使用消费者团队。必须重新训练他们的模型。在我们的框架下,我们探索六种方法,并在现实世界中的推荐系统应用程序上系统地评估它们。我们表明,即使在多个模型版本更新之后,我们称为BC-Aligner的最佳方法也可以与现有意外任务保持向后兼容性。同时,BC-Aligner实现了预期的任务性能,类似于仅针对预期任务进行优化的嵌入模型。
translated by 谷歌翻译
部署在野外的机器学习系统通常在源分布上培训,但部署在不同的目标分布上。未标记的数据可以是用于缓解这些分布班次的强大的利用点,因为它通常比标记数据更具可用。然而,未标记数据的现有分配转换基准不反映现实世界应用中出现的方案的广度。在这项工作中,我们介绍了Wilds 2.0更新,该更新在分发转移的野外基准中扩展了10个数据集中的8个,以包括将在部署中逼真获得的策划未标记数据。为了保持一致性,标记的培训,验证和测试集以及评估度量与原始野外基准中的标记与评估度量完全相同。这些数据集涵盖了广泛的应用程序(从组织学到野生动物保护),任务(分类,回归和检测)和方式(照片,卫星图像,显微镜载玻片,文本,分子图)。我们系统地基准测试最先进的方法,可以利用未标记的数据,包括域不变,自我培训和自我监督方法,并表明他们在野外的成功2.0是有限的。为了方便方法开发和评估,我们提供了一个自动化数据加载的开源包,并包含本文中使用的所有模型架构和方法。代码和排行榜可在https://wilds.stanford.edu获得。
translated by 谷歌翻译
知识图表(kgs)以头部关系的形式捕获知识 - 尾部三元组,是许多AI系统中的重要组成部分。 KGS上有两个重要的推理任务:(1)单跳知识图完成,涉及预测公斤中的各个环节; (2),多跳推理,目标是预测哪个kg实体满足给定的逻辑查询。基于嵌入的方法通过首先计算每个实体和关系的嵌入来解决两个任务,然后使用它们形成预测。但是,现有可扩展的KG嵌入框架仅支持单跳知识图完成,并且不能应用于更具挑战性的多跳推理任务。在这里,我们呈现可扩展的多跳推理(SMORE),这是KGS中单跳和多跳推理的第一个总框架。使用单机略微闪烁可以在FreeBase KG(86米实体,338M边缘)中执行多跳推理,比以前考虑的KGs大1,500倍。粉刷运行时性能的关键是一种新的双向抑制采样,实现了在线培训数据生成的复杂性的平方根降低。此外,SMORE利用异步调度,基于CPU的数据采样,基于GPU的嵌入计算和频繁CPU - GPU IO。 Smore通过2.2倍提高了82倍的吞吐量(即,训练速度),以最小的GPU存储器要求(2GB用于训练86M节点FreeBase上的400微米嵌入),并达到与GPU的数量接近线性加速。此外,在更简单的单跳知识图形完成任务中,Smore实现了对单个GPU和多GPU设置的最先进框架的可比或更好的运行时间性能。
translated by 谷歌翻译
AI正在经历范式转变,随着模型的兴起(例如Bert,Dall-E,GPT-3),这些模型经过大规模的数据训练,并且可以适应广泛的下游任务。我们称这些模型基础模型来强调其至关重要但不完整的特征。该报告提供了基础模型的机会和风险的详尽说明,包括其功能(例如语言,愿景,机器人技术,推理,人类互动)和技术原则(例如,模型架构,培训程序,数据,系统,安全,安全性,评估,理论)对其应用(例如法律,医疗保健,教育)和社会影响(例如不平等,滥用,经济和环境影响,法律和道德考虑)。尽管基础模型基于标准的深度学习和转移学习,但它们的规模导致了新的新兴能力,以及它们在许多任务中的有效性都激发了同质化。同质化提供了强大的杠杆作用,但要求谨慎,因为基础模型的缺陷均由下游的所有适应模型继承。尽管即将广泛地部署基础模型,但我们目前对它们的工作方式,失败以及由于其新兴属性的影响而缺乏清晰的了解。为了解决这些问题,我们认为基础模型的许多批判性研究都需要与他们的基本社会技术性质相称。
translated by 谷歌翻译
使用从预先接受训练的语言模型(LMS)和知识图表(LMS)和知识图表(kgs)回答问题的问题提出了两个挑战:给定QA上下文(问答选择),方法需要(i)从大型千克识别相关知识,(ii)对QA上下文和kg进行联合推理。在这项工作中,我们提出了一种新的模型,QA-GNN,它通过两个关键创新解决了上述挑战:(i)相关评分,我们使用LMS来估计KG节点相对于给定的QA上下文的重要性,以及(ii)联合推理,我们将QA上下文和kg连接到联合图,并通过图形神经网络相互更新它们的表示。我们评估了QA基准的模型(CommanSeaseQA,OpenBookQA)和生物医学(MedQa-USMLE)域名。QA-GNN优于现有的LM和LM + kg模型,并表现出可解释和结构化推理的能力,例如,正确处理问题的否定。
translated by 谷歌翻译