我们提出了一种深度强化学习方法来优化静态编译器中计算图的执行成本。关键思想是将神经网络策略与遗传算法 - 偏差随机密钥遗传算法(BRKGA)相结合。在给定要优化的输入图的情况下,策略被训练以预测BRKGA中的采样突变和交叉的节点级概率分布。我们的方法“基于REINFORCE的遗传算法学习”(REGAL)使用该策略转移到新图表的能力,以显着提高遗传算法的解决方案质量,以获得相同的客观评估预算。作为一个具体的应用,我们通过联合优化设备布局和调度来显示TensorFlow图中最小化峰值记忆的结果。在以前看不见的图表上,REGAL的峰值内存平均比BRKGA低3.56%,优于我们比较的所有算法,并且比下一个最佳算法的改进大4.4倍。我们还对生产编译器团队的XLA图表性能基准进行了评估,并且比BRKGA平均降低了3.74%的峰值内存,再次超越了所有人。我们的方法和分析是通过收集372个独特的真实世界TensorFlow图表的数据集来实现的,这比以前的工作多了一个数量级。
translated by 谷歌翻译
本文讨论了图结构对象的检索和匹配的挑战性问题,并做出了两个关键的贡献。首先,我们演示了图形神经网络(GNN)如何作为结构化数据上定义的各种监督预测问题的有效模型,可以训练如何在向量空间中生成图形嵌入,从而实现有效的相似性推理。其次,我们提出了一种新颖的图形匹配网络模型,给定一对图形作为输入,通过一个新的基于交叉graphattention的匹配机制联合推理它们来计算它们之间的相似性比较。我们展示了我们的模型在不同领域的有效性,包括基于控制流图的功能相似性搜索的挑战性问题,它在检测软件系统中的漏洞方面起着重要作用。实验分析表明,我们的模型不仅能够在相似性学习的背景下利用结构,而且还可以胜过针对这些问题精心手工设计的特定领域的基线系统。
translated by 谷歌翻译
我们引入了一个用于分层结构行为的组合模仿学习和执行(CompILE)的框架。 CompILE使用novelunsupercted,完全可区分的序列分割模块从演示数据中学习可重用,可变长度的行为段。然后可以重新组合和执行这些学习行为以执行新任务。在训练时间,CompILE将观察到的行为自动编码为潜码的序列,每个潜码对应于输入序列中的可变长度段。一旦训练,我们的模型推广到较长的序列和训练期间未见的环境实例。我们在具有挑战性的2D多任务环境中评估我们的模型,并显示CompILE可以无人监督的方式找到正确的任务边界和事件编码,而无需注释演示数据。 CompILE发现的潜在代码和相关行为策略可以由分层代理使用,其中高级策略选择潜在代码空间中的动作,而低级特定于任务的策略仅仅是学习的解码器。我们发现,我们的代理人只能获得稀疏的奖励,而没有任务特定政策的代理商就会挣扎。
translated by 谷歌翻译
在序列生成任务中,许多工作使用政策梯度进行模型优化,以在最大化不可微分的评估指标或欺骗鉴别者的对抗性学习时解决难以处理的反向传播问题。在本文中,我们用近端策略优化(PPO)代替政策梯度,这是一种被证明更有效的强化学习算法,并提出了一种PPO动态方法(PPO动态)。我们展示了PPO和PPO-dynamic对条件序列生成任务的功效,包括合成实验和聊天聊天机器人。结果表明,PPO和PPO动态可以通过稳定性和性能优于政策梯度。
translated by 谷歌翻译
我们介绍了一种深度强化学习(RL)的方法,通过结构化感知和关系推理提高了传统方法的效率,泛化能力和可解释性。它使用自我注意来迭代地推理场景中的关系并引导模型。 - 免费政策。我们的研究结果表明,在一个名为Box-World的新型导航和规划任务中,我们的代理人找到了可解决的解决方案,这些解决方案在样本复杂性方面提高了基线,能够推广到比在训练期间更复杂的场景,以及整体性能。在“星际争霸II”学习环境中,我们的经纪人在六款迷你游戏中实现了最先进的性能 - 超过了四位人类大师的表现。通过考虑建筑感应偏差,我们的工作为克服深度RL中的重要但顽固的挑战开辟了新的方向。
translated by 谷歌翻译
人工智能(AI)最近经历了复兴,在视觉,语言,控制和决策等关键领域取得了重大进展。部分原因在于廉价数据和廉价的计算资源,它们符合深度学习的自然优势。然而,在许多不同压力下发展的人类智能的许多定义特征仍然是当前方法所无法实现的。特别是,超越一个人的经验 - 从人类智慧中获得人类智慧的标志 - 仍然是现代人工智能的一项艰巨挑战。以下是部分立场文件,部分审查和部分统一。认为组合概括必须是人工智能达到人类能力的首要任务,结构化表征和计算是实现这一目标的关键。就像生物学使用自然和培养合作一样,我们拒绝“手工工程”和“端到端”学习之间的错误选择,而是主张从其互补优势中获益的方法。我们探索在深度学习架构中如何使用关系归纳偏差可以促进对实体,关系和组成它们的规则的学习。我们为AI工具包提供了一个新的构建模块,它具有强大的关系引导偏差 - 图形网络 - 它概括和扩展了在图形上运行的神经网络的各种方法,并提供了一个简单的界面来操纵结构化知识和生产结构化行为。我们讨论图网络如何支持关系推理和组合泛化,为更复杂,可解释和灵活的推理模式奠定基础。作为本文的参考,我们发布了一个用于构建图形网络的开源软件库,并演示了如何在实践中使用它们。
translated by 谷歌翻译
卷积神经网络(CNN)在解决复杂的逆问题方面取得了巨大的成功。这项工作的目的是开发一种新的CNN框架来重建动态活细胞的视频序列,使用计算机显微技术,傅里叶ptychographic显微镜(FPM)捕获。 FPM的独特之处在于它能够通过采用一系列低分辨率强度图像来重建具有宽视场(FOV)和高分辨率的图像,即大空间带宽积(SBP)。对于活细胞成像,单个FPM框架包含数千个具有不同形态特征的细胞样本。我们的想法是充分利用这个大型空间集合提供的统计信息,以便在顺序测量中进行预测,而无需使用任何额外的temporaldataset。具体来说,我们表明,通过仅在时间序列实验开始时捕获的第一个FPM数据集上训练的CNN,可以重建高SBP动态细胞视频。我们的CNN方法仅使用~25秒重建a12800X10800像素相位图像,与基于模型的FPM算法相比,速度提高了50倍。此外,CNN进一步将每个时间帧中所需的图像数量减少了约6倍。总的来说,这显着降低了采集和计算时间,从而显着提高了成像吞吐量。提出的CNN基于条件生成对抗网络(cGAN)框架。此外,我们还利用传输学习,以便我们的预训练CNN可以进一步优化以成像其他细胞类型。我们的技术展示了一种有前景的深度学习方法,可以在较长时间内持续监测大型活细胞群,并利用亚细胞分辨率收集有用的空间和时间信息。
translated by 谷歌翻译
我们研究了深度卷积网络中单元的感受域的特征。感知字段大小是许多视觉任务中的关键问题,因为输出必须响应图像中足够大的区域以捕获关于大对象的信息。我们引入了一个有效的接受领域的概念,并表明它既有高斯分布,又只占整个理论感知领域的一小部分。我们分析了几种架构设计中的有效感受域,以及非线性激活,丢失,子采样和跳过连接的影响。这有助于找到解决其过小倾向的方法。
translated by 谷歌翻译
图形结构数据经常出现在包括化学,自然语言语义,社交网络和知识库的领域中。在这项工作中,我们研究了图形结构输入的特征学习技术。我们的起点是以前关于图形神经网络的研究(Scarselli et al。,2009),我们将其修改为使用门控循环单元和现代优化技术,然后扩展到输出序列。结果是灵活且广泛有用的一类神经网络模型,当问题是图形结构时,相对基于序列的模型(例如,LSTM)具有有利的归纳偏差。我们演示了一些简单的AI(bAbI)和图算法学习任务的功能。然后,我们展示它通过程序验证实现了对问题的最佳性能,其中子图需要与抽象数据结构相匹配。
translated by 谷歌翻译
我们考虑从数据中学习深度生成模型的问题。我们制定了一种方法,通过单个前馈通过多层感知器生成独立样本,如最近提出的生成性对抗网络(Goodfellow等,2014)。然而,训练年龄较大的对抗性网络需要仔细优化极其困难的极小极大程序。相反,我们利用统计假设检验中的一种技术,称为最大平均差异(MMD),这导致了简单的目标,可以解释为匹配数据集和模型中的样本之间的所有统计顺序,并且可以通过反向传播进行训练。我们通过将生成网络与自动编码器网络相结合,进一步提高了这种方法的性能,使用MMD学习生成代码,然后可以对其进行解码以生成样本。我们表明,与MNIST和多伦多人脸数据库测量的tobaseline方法相比,这些技术的组合产生了出色的生成模型。
translated by 谷歌翻译