2019-05-14
利用观测到的流体压力和速率的瞬态数据来校准储层模型是获得地球地下流动和运移行为的预测模型的关键任务。模型校准任务，通常称为“历史匹配”，可以形式化为不适定的反问题，其中我们的目标是找到解释观察到的动态数据的岩石物理特性的基础空间分布。我们使用在地质统计学基于对象的模型上预训练的年龄对抗网络来表示烃类储层合成模型的岩石属性分布。使用瞬态两相不可压缩达西公式来模拟储层流体的动态行为。通过首先使用预先训练的生成模型对属性分布进行建模，然后使用前向问题的相邻方程对控制生成模型输出的潜变量进行梯度下降，对基础储层性质进行转换。除了动态观测数据外，我们还通过引入额外的目标函数来包括岩石类型的约束。我们的贡献表明，对于一个综合测试案例，我们能够通过优化深度生成模型的潜变量空间来获得逆问题的解，给出一组非线性前向问题的瞬态观察。
translated by 谷歌翻译
我们提出了一种新的贝叶斯非参数方法来学习非欧几里德域上的翻译不变关系。结果图卷积高斯过程可以应用于机器学习中的问题，其中输入观察是具有通用图上的域的函数。这些模型的结构允许高维输入，同时保持可表达性，如卷积神经网络的情况。我们将图形卷积高斯过程应用于图像和三角网格，展示了它们的多功能性和有效性，与现有方法相比，尽管是相对简单的模型。
translated by 谷歌翻译
随机块模型（SBM）及其变体，例如$，混合成员和重叠随机块模型，是基于潜变量的图的生成模型。事实证明，它们可以成功完成各种任务，例如在图形结构数据上发现社区结构和链接预测。最近，通过利用诸如局域性和不变性之类的图形属性，图形神经网络，例如$，图形卷积网络，也已成为一种有前景的方法，用于学习图形中节点的强大表示（嵌入）。在这项工作中，我们通过为图形开发\ emph {稀疏}变量自动编码器来统一这两个方向，这保留了SBM的可解释性，同时还享有图神经网络的出色预测性能。此外，我们的框架伴随着快速识别模型，可以快速推断节点嵌入（这对于SBM及其变体的推断具有独立的意义）。虽然我们为特定类型的SBM开发了这个框架，即\ emph {重叠}随机块模型，所提出的框架可以适用于其他类型的SBM。几个基准测试的实验结果证明了在链接预测方面的令人鼓舞的结果，同时学习了可用于社区发现的可解释的潜在结构。
translated by 谷歌翻译
本文介绍了一种新的开放式域名问答框架，其中猎犬和读者互相迭代地互动。框架与机器读取模型的体系结构无关，只需要访问读取器的令牌级隐藏表示。 Theretriever使用快速最近邻搜索来缩放到包含数百万个段落的语料库。门控循环单元在读取器状态的每个步进条件下更新查询，并且重新构造的查询用于通过检索器对段落进行排序。我们进行分析并显示有用的互动有助于从信息中检索信息性段落。最后，我们展示了我们的多步推理框架在应用于各种大型开放域数据集的两个广泛使用的读者架构Dr.DrQA和BiDAF时带来了一致的改进 - TriviaQA-unfiltered，QuasarT，SearchQA和SQuAD-Open。
translated by 谷歌翻译
强化学习中的选项框架模拟了技能或时间延长的动作序列的概念。发现可重复使用的技能通常需要构建选项，导航到瓶颈状态。这项工作采用了一种互补的方法，我们试图找到导航到具有里程碑意义的国家的选择。这些状态是连接良好的区域的原型代表，因此可以相对容易地访问相关区域。在这项工作中，我们提出了Successor Options，它使用Successor Representations来构建状态空间模型。使用新颖的伪奖励来学习这些选项策略，并且可以轻松地将模型转换为高维空间。此外，我们还提出了一个在构造成功表示和构建选项之间迭代的增量后继选项模型，当robustSuccessor表示不能仅仅从原始操作构建时，这很有用。我们展示了我们的方法对网格世界的集合以及Fetch的高维机器人控制环境的功效。
translated by 谷歌翻译
机器学习正在从艺术和科学转变为可供每个开发人员使用的技术。在不久的将来，每个平台上的每个应用程序都将包含训练有素的模型，以编码开发人员无法创作的基于数据的决策。这提出了一个重要的工程挑战，因为目前数据科学和建模在很大程度上与标准软件开发过程脱钩。这种分离使得在应用程序内部的机器学习能力不必要地变得困难，并且进一步阻碍了开发人员将MLin置于首位。在本文中，我们介绍了ML .NET，这是一个在过去十年中在Microsoft开发的框架，用于应对在大型软件应用程序中轻松发布机器学习模型的挑战。我们提出了它的架构，并阐明了形成它的应用程序需求。具体而言，我们引入了DataView，它是ML .NET的核心数据抽象，它可以有效地，一致地捕获完整的预测管道，并在训练和推理生命周期中进行。我们结束了论文，对ML .NET进行了令人惊讶的有利的性能研究，与更多的接受者相比，并讨论了一些经验教训。
translated by 谷歌翻译
策略梯度方法是强大的强化学习算法，并且已被证明可以解决许多复杂的任务。然而，这些方法也是数据无效的，受到高方差梯度估计的影响，并且经常陷入局部最优。这项工作通过将最近改进的非政策数据的重用和参数空间的探索与确定性行为政策相结合来解决这些弱点。由此产生的目标适用于标准的神经网络优化策略，如随机梯度下降或随机梯度哈密顿蒙特卡罗。通过重要性抽样对以前的推出进行大量提高数据效率，而随机优化方案有助于逃避局部最优。我们评估了一系列连续控制基准测试任务的建议方法。结果表明，该算法能够使用比标准策略梯度方法更少的系统交互成功可靠地学习解决方案。
translated by 谷歌翻译
序列到序列模型是NLP的强大主力。大多数变体在其注意机制和输出层中都采用softmax变换，导致密集对齐和严格正输出概率。这种密度是浪费的，使得模型可解释性较差，并为许多难以置信的输出分配概率质量。在本文中，我们提出了sparsese序列到序列模型，植根于$ \ alpha $ -entmaxtransformations的新系列，其中包括softmax和sparsemax作为特定情况，并且对于任何$ \ alpha> 1 $都是稀疏的。我们提供快速算法来评估这些变换及其渐变，这些算法可以很好地扩展到大型词汇表。我们的模型能够生成稀疏对齐并将非非可置性分配给可能输出的简短列表，有时会使波束搜索精确。形态学变形和机器平移的实验揭示了密集模型的一致增益。
translated by 谷歌翻译
修剪是一种有效的模型压缩技术，用于消除深度神经网络（DNN）连通性中的冗余。然而，使用通过修剪参数获得的稀疏矩阵的计算表现出极大不同的并行性，这取决于索引表示方案。因此，细粒度修剪由于其不规则的索引形式导致大的内存占用和卷积和矩阵乘法的低并行性而没有引起太多关注。在本文中，我们提出了一种新的网络修剪技术，它生成一个低秩二进制索引矩阵来压缩索引数据，而解压缩索引数据则通过简单的二进制矩阵乘法来执行。该提出的压缩方法找到特定的细粒度修剪掩模，其可以被分解成两个二进制矩阵。 Wealso提出了一种基于区块的分解技术，不仅可以降低内存需求，还可以提高压缩率。与先前的稀疏矩阵格式相比，可以使用少得多的DNN模型，同时保持相同的修剪率。
translated by 谷歌翻译
我们在列表可解码设置中给出了第一个多项式时间算法用于稳健回归，其中攻击者可以破坏大于$ 1/2 $的部分示例。对于任何$ \ alpha <1 $，我们的算法作为输入asample $ \ {（x_i，y_i）\} _ {i \ leq n} $ $ n $线性方程式，其中$ \ alpha n $方程式满足$ y_i = \ langle x_i，\ ell ^ * \ rangle + \ zeta $对于一些小噪声$ \ zeta $和$（1- \ alpha）n $的方程是\ emph {任意}选择。它输出一个列表$ L $大小为$ O（1 / \ alpha）$ - 一个固定常量 - 包含接近$ \ ell ^ * $的$ \ ell $。每当从\ emph {certifiable}反集中分配$ D $中选择内容时，我们的算法就会成功。作为特殊情况，当inlier分布是标准高斯时，这会产生$（d / \ alpha）^ {O（1 / \ alpha ^ 8）} $ timealgorithm来查找$ O（1 / \ alpha）$ size列表。对于内点的反集中假设在理论上是必要的信息。在$ \ ell ^ * $是布尔值的附加假设下，我们的算法适用于更一般的分布。为了解决这个问题，我们引入了一个用于列表可解码学习的新框架，它加强了方形的“可识别性到算法”范式。在一项独立的工作中，Raghavendra和Yau [RY19]也使用平方和方法获得了类似可解码回归的类似结果。
translated by 谷歌翻译