我们提出了一种深度强化学习方法来优化静态编译器中计算图的执行成本。关键思想是将神经网络策略与遗传算法 - 偏差随机密钥遗传算法(BRKGA)相结合。在给定要优化的输入图的情况下,策略被训练以预测BRKGA中的采样突变和交叉的节点级概率分布。我们的方法“基于REINFORCE的遗传算法学习”(REGAL)使用该策略转移到新图表的能力,以显着提高遗传算法的解决方案质量,以获得相同的客观评估预算。作为一个具体的应用,我们通过联合优化设备布局和调度来显示TensorFlow图中最小化峰值记忆的结果。在以前看不见的图表上,REGAL的峰值内存平均比BRKGA低3.56%,优于我们比较的所有算法,并且比下一个最佳算法的改进大4.4倍。我们还对生产编译器团队的XLA图表性能基准进行了评估,并且比BRKGA平均降低了3.74%的峰值内存,再次超越了所有人。我们的方法和分析是通过收集372个独特的真实世界TensorFlow图表的数据集来实现的,这比以前的工作多了一个数量级。
translated by 谷歌翻译
本文讨论了图结构对象的检索和匹配的挑战性问题,并做出了两个关键的贡献。首先,我们演示了图形神经网络(GNN)如何作为结构化数据上定义的各种监督预测问题的有效模型,可以训练如何在向量空间中生成图形嵌入,从而实现有效的相似性推理。其次,我们提出了一种新颖的图形匹配网络模型,给定一对图形作为输入,通过一个新的基于交叉graphattention的匹配机制联合推理它们来计算它们之间的相似性比较。我们展示了我们的模型在不同领域的有效性,包括基于控制流图的功能相似性搜索的挑战性问题,它在检测软件系统中的漏洞方面起着重要作用。实验分析表明,我们的模型不仅能够在相似性学习的背景下利用结构,而且还可以胜过针对这些问题精心手工设计的特定领域的基线系统。
translated by 谷歌翻译
诸如序列到序列和图像到序列的模型广泛用于现实世界的应用中。虽然这些神经架构产生可变长度输出的能力使它们对机器翻译和图像字幕等问题非常有效,但它也使它们容易受到模型产生不良长度输出的形式的失败。这种行为会产生严重的后果,例如:使用增加的计算并在下游模块中引发故障,这些模块期望输出一定长度。由于需要更好地了解这些模型的失效,本文提出并研究了新的输出尺寸调制问题并做出了两项关键技术贡献。首先,为了评估模型的鲁棒性,我们开发了一种易于计算的可微分代理目标,可以与基于梯度的算法一起使用,以找到输出延长的输入。其次,更重要的是,我们开发了一种验证方法,可以正式验证网络是否始终在一定长度内生成输出。 MachineTranslation和Image Captioning的实验结果表明,我们的输出延长方法可以产生比输入长50倍的输出,而我们的验证方法可以在给定模型和输入域的情况下证明输出长度小于一定的大小。
translated by 谷歌翻译
我们提出了神经符号概念学习者(NS-CL),这是一个学习视觉概念,单词和句子语义解析的模型,没有对任何句子进行明确的监督;相反,我们的模型通过简单地查看atimages并阅读成对的问题和答案来学习。我们的模型构建了基于对象的场景表示,并将句子转换为可执行的符号程序。为了弥合两个模块的学习,我们使用aneuro-symbolic推理模块,在latentscene表示上执行这些程序。类似于人类概念学习,感知模块基于所提及的对象的语言描述来学习视觉概念。同时,学习的视觉概念有助于学习新单词和解析新句子。我们使用课程学习来指导图像和语言的大型组成空间的这些原型。广泛的实验证明了我们的模型在学习视觉概念,单词表示和句子语义解析方面的准确性和有效性。此外,我们的方法允许容易地推广到新的对象属性,组合,语言概念,场景和问题,甚至新的程序域。它还支持应用程序,包括视觉问答和双向图像文本检索。
translated by 谷歌翻译
物理结构 - 为了服务某些功能而构建物体,受物理动力学影响的能力 - 是人类智能的基础。在这里,我们介绍了一套具有挑战性的物理构造框架,其灵感来自于孩子们如何玩积木,例如匹配目标配置,堆叠和附加块以将对象连接在一起,以及在目标对象上创建类似遮蔽物的结构。然后,我们将研究一系列现代深度强化学习机构如何应对这些挑战,并介绍几种提供卓越性能的新方法。我们的结果表明,使用结构化表示(例如,对象和场景图)和结构化策略(例如,以对象为中心的动作)的代理优于那些使用较少结构化表示的代理,并且当被要求推理更大的场景时,优化超出其训练。通过蒙特卡罗树搜索使用基于模型的计划的代理商在我们最具挑战性的施工问题中也优于严格的无模型代理。我们认为,将结构化表征和推理与强大学习相结合的方法是拥有丰富的直观物理,场景理解和规划的代理人的关键途径。
translated by 谷歌翻译
关于神经网络验证的先前工作集中于作为网络输出的线性函数的规范,例如,在输入的对抗扰动下的分类器输出的不变性。在本文中,我们扩展了验证算法,以便能够证明神经网络的更丰富的属性。为此,我们引入了一类凸 - 松弛规范,它构成了非线性规范,可以通过凸松弛来验证。我们表明,兴趣的一些重要属性可以在这个类中建模,包括在物理系统的学习动力学模型中保存能量;在预测手写数字总和的系统中,在对抗性扰动下的分类器输出标签的语义一致性和边界误差。我们的实验评估表明,我们的方法能够有效地验证这些规范。此外,我们的评估揭示了无法验证以满足这些规范的模型中的故障模式。因此,强调训练模型的重要性不仅仅是为了适应训练数据,还要与规范保持一致。
translated by 谷歌翻译
目前,共享深度学习模式的唯一技术是同态加密和安全多方计算。遗憾的是,由于其大量的计算和通信开销,这些技术都不适用于大型神经网络的训练。作为共享模型治理的可扩展技术,我们建议在多方之间拆分加深学习模型。本文实证研究了该技术的安全保障,该技术作为模型完成问题引入:给定整个训练数据集或环境模拟器,以及训练深度学习模型的参数子集,需要多少训练来恢复模型原创表现?我们定义了一个评估模型完成问题硬度的指标,并在ImageNet的监督学习和Atari和DeepMind~Lab的强化学习中进行了实证研究。我们的实验表明:(1)模型完成问题在强化学习中比在受监督学习中更难,因为训练有素的轨迹不可用,(2)其硬度主要不取决于射击部分的参数数量,而是更多他们的类型和位置。我们的结果表明,模型拆分对于共享模型治理可能是一种可行的技术,因为培训非常昂贵。
translated by 谷歌翻译
概率模型是现代深度学习工具箱的关键部分 - 从生成模型(VAE,GAN),序列到机器翻译和语音处理中使用的序列模型,再到功能空间上的模型(条件神经过程,神经过程)。考虑到这些模型的大小和复杂性,在应用程序中安全地部署它们需要开发工具来严格分析它们的行为,并提供一些保证,这些模型与所需属性列表一致。例如,机器翻译模型应该为inodel的输入中的无害变化产生语义上等效的输出。学习分布超单调函数的函数回归模型应该在更大的输入处预测更大的值。这些属性的验证需要一个新的框架,该框架超出了在确定性前馈网络中研究的验证的概念,在概率模型中可能会出现最坏情况保证产生保守或空洞的结果。我们提出了一种新的深度概率模型验证方法,它在产生输出的过程中考虑了条件输入和样本变量:我们要求模型的输出满足线性约束,在潜在变量的采样和每个选择调节输入到模型。我们证明了可以有效地获得满足约束的概率的严格下界。使用神经过程进行的实验表明,在建模函数空间时可以对几个感兴趣的属性进行建模(单调性,凸性),并使用我们的算法进行有效验证
translated by 谷歌翻译
本文讨论了在安全关键领域评估学习系统的问题,例如自动驾驶,其中故障可能带来灾难性后果。我们关注两个问题:在学习的代理失败时搜索场景并评估其失败概率。加强学习中代理评估的标准方法,Vanilla MonteCarlo,可以完全错过故障,导致不安全代理的部署。我们证明这对于当前代理来说是一个问题,即使匹配用于培训的计算机有时也不足以进行评估。为了弥补这个缺点,我们利用罕见事件概率估计文献并提出一种对抗性评估方法。我们的方法侧重于评估对侧选择的情况,同时仍然提供无偏估计的失败概率。关键的困难在于识别这些对抗性 - 由于失败很少,因此几乎没有信号可以推动优化。为了解决这个问题,我们提出了一种延续方法,用于学习相关但不太稳健的代理中的故障模式。我们的方法还允许重新使用已经收集的数据来训练代理。我们在两个标准领域展示了对抗性评估的功效:人形控制和模拟驾驶。实验结果表明,我们的方法可以发现灾难性故障,并且可以比标准评估方案更快地估计出多个数量级的代理故障率,在几分钟到几小时之内。
translated by 谷歌翻译
我们引入了一个用于分层结构行为的组合模仿学习和执行(CompILE)的框架。 CompILE使用novelunsupercted,完全可区分的序列分割模块从演示数据中学习可重用,可变长度的行为段。然后可以重新组合和执行这些学习行为以执行新任务。在训练时间,CompILE将观察到的行为自动编码为潜码的序列,每个潜码对应于输入序列中的可变长度段。一旦训练,我们的模型推广到较长的序列和训练期间未见的环境实例。我们在具有挑战性的2D多任务环境中评估我们的模型,并显示CompILE可以无人监督的方式找到正确的任务边界和事件编码,而无需注释演示数据。 CompILE发现的潜在代码和相关行为策略可以由分层代理使用,其中高级策略选择潜在代码空间中的动作,而低级特定于任务的策略仅仅是学习的解码器。我们发现,我们的代理人只能获得稀疏的奖励,而没有任务特定政策的代理商就会挣扎。
translated by 谷歌翻译