象征性回归，即预测从观察其值观察的功能，是一个具有挑战性的任务。在本文中，我们训练变压器来推断整数或浮点数序列的功能或复发关系，人类智商测试中的典型任务几乎不受机器学习文学。我们在OEIS序列子集上评估我们的整数模型，并表明它占据了内置数学函数的复发预测。我们还证明我们的浮动模型能够产生非词汇功能和常量的信息近似，例如，$ \ operatorname {bessel0}（x）\ intem \ frac {\ sin（x）+ \ cos（x）} $和$ 1.644934 \ atthe \ pi ^ 2/6 $。我们模型的互动演示是在HTTPS://bit.ly/3nie5fs提供的。
translated by 谷歌翻译
Natural laws are often described through differential equations yet finding a differential equation that describes the governing law underlying observed data is a challenging and still mostly manual task. In this paper we make a step towards the automation of this process: we propose a transformer-based sequence-to-sequence model that recovers scalar autonomous ordinary differential equations (ODEs) in symbolic form from time-series data of a single observed solution of the ODE. Our method is efficiently scalable: after one-time pretraining on a large set of ODEs, we can infer the governing laws of a new observed solution in a few forward passes of the model. Then we show that our model performs better or on par with existing methods in various test cases in terms of accurate symbolic recovery of the ODE, especially for more complex expressions.
translated by 谷歌翻译
变压器对数学的大多数应用，从整合到定理证明，专注于象征性。在本文中，我们表明，可以培训变压器以高精度地执行数值计算。我们考虑线性代数的问题：矩阵转仓，加法，乘法，特征值和载体，奇异值分解和反转。在随机矩阵的数据集上训练小型变压器（最多六层），我们在所有问题上实现高精度（超过90％）。我们还表明，训练有素的模型可以通过从更多样化的数据集（特别是从具有非独立性和相同分布系数的矩阵训练）来概括他们的训练分配，并且可以大大提高域的域准确度。最后，我们表明，可以利用几枪学习来重新列车模型来解决更大的问题。
translated by 谷歌翻译
聚类函数（例如对数或差异）满足了许多代数身份。对于对数，所有身份都来自产品规则。对于Diologarithm和更高的经典细分线虫，这些身份可能涉及五个或更多功能。在与粒子物理学相关的许多计算中，聚集体的复杂组合通常来自Feynman积分。尽管集成产生的初始表达通常简化，但通常很难知道要应用哪些身份以及按什么顺序应用。为了解决这种瓶颈，我们探索机器学习方法可以帮助您。我们考虑了一种强化学习方法，在该方法中，身份类似于游戏中的动作，也是变压器网络方法，在该方法中，该问题类似于语言翻译任务。尽管这两种方法都是有效的，但变压器网络似乎更强大，并且在数学物理学中的符号操纵任务中实现了实际使用的希望。
translated by 谷歌翻译
2021-10-07
解决符号数学一直是在人类聪明才智的舞台中，需要组成和复发。然而，最近的研究表明，诸如变压器的大规模语言模型是普遍的，并且可以令人生意的是，可以训练作为求解复杂数学方程的顺序序列任务。这些大型变压器模型需要有时的培训数据，以概括到看不见的象征性数学问题。在本文中，我们通过使用语言翻译的首先预先预留变压器模型来解决符号任务的示例有效的方法，然后进行微调预先调整佩带的变压器模型来解决符号数学的下游任务。我们通过预磨模的模型实现了与预磨模的集成任务的可比准确性，同时使用大约1.5美元的数量级培训样本，了解符号数学的最先进的深度学习。与集成相比，差分方程任务的测试精度相比，与语言翻译中不存在的更高订单递归相比，相比之下。我们用不同的语言翻译预防我们的模型。我们的结果显示在解决符号数学任务中的语言偏见。最后，我们研究了微调模型对符号数学任务对分发班次的鲁棒性，我们的方法在函数集成的分布换档方案中概得更好。
translated by 谷歌翻译
我们提出了一项合成任务，乐高（学习平等和小组操作），该任务封装了遵循推理链的问题，我们研究了变压器体系结构如何学习这项任务。我们特别注意数据效应，例如预处理（看似无关的NLP任务）和数据集组成（例如，训练和测试时间时的链长度不同），以及体系结构变体，例如重量绑定层或添加卷积组件。我们研究了受过训练的模型最终如何在任务中取得成功，尤其是我们能够在某种程度上（一定程度地）理解一些注意力头以及网络中的信息如何流动。基于这些观察结果，我们提出了一个假设，即在这里进行预训练仅是因为是智能初始化而不是网络中存储的深层知识。我们还观察到，在某些数据制度中，受过训练的变压器发现“快捷方式”解决方案遵循推理链，这阻碍了该模型将其推广到主要任务的简单变体的能力，而且我们发现人们可以防止适当的快捷方式架构修改或仔细的数据准备。在我们的发现的激励下，我们开始探索学习执行C程序的任务，在此过程中，对变压器进行了卷积修改，即在密钥/查询/值图中添加卷积结构，显示出令人鼓舞的优势。
translated by 谷歌翻译
神经算术逻辑模块已成为一个不断增长的领域，尽管仍然是一个利基领域。这些模块是神经网络，旨在在学习算术和/或逻辑操作中实现系统的概括，例如$ \ {+， - ，\ times，\ div，\ leq，\ leq，\ textrm {and} \} $，同时也可以解释。本文是首次讨论该领域进度的现状，从神经算术逻辑单元（NALU）开始解释关键作品。为了关注Nalu的缺点，我们提供了深入的分析，以理论有关最近模块的设计选择。在实验设置和发现上进行了模块之间的交叉比较，我们在基本实验中强调了不一致，导致无法直接比较跨论文。为了减轻现有的不一致之处，我们创建了一个基准，比较了所有现有的算术nalms。我们通过对NALU的现有应用和需要进一步探索的研究方向进行新的讨论来结束。
translated by 谷歌翻译
整数序列对于承认完整描述的概念的建模至关重要。我们介绍了有关学习此类概念的新颖观点，并放下一组基准测试任务，旨在通过机器学习模型进行概念理解。这些任务间接评估模型的抽象能力，并挑战它们，以在观察代表性示例中获得的知识，从插值和外向上进行推理。为了进一步研究知识代表和推理的研究，我们介绍了事实，即“精选抽象理解工具包”。该工具包围绕着包含有机和合成条目的整数序列的大型数据集，用于数据预处理和生成的库，一组模型性能评估工具以及基线模型实现的集合，从而实现了未来的进步，以实现未来的进步舒适。
translated by 谷歌翻译
这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。
translated by 谷歌翻译
当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。
translated by 谷歌翻译
许多智力努力需要解决数学问题，但这种技能仍然超出了计算机的能力。为了测量机器学习模型中的这种能力，我们介绍了数学，这是一个12,500个挑战性竞争数学问题的新数据集。数学中的每个问题都有一个完整的逐步解决方案，可用于教授模型来生成答案派生和解释。为了促进未来的研究和提高数学准确性，我们还提供了一个大型辅助预制数据集，有助于教导模型数学的基本原则。尽管我们能够提高数学准确性，但我们的结果表明，即使有巨大的变压器模型，即使有巨大的变压器模型也是相对较低的。此外，我们发现，如果缩放趋势持续，则无法增加预算和模型参数计数对于实现强大的数学推理，这将是不切实际的。虽然缩放变压器正在自动解决大多数基于文本的任务，但缩放目前没有解决数学。为了在数学问题上进行更多牵引，我们可能需要更广泛的研究界的新算法进步。
translated by 谷歌翻译
这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。
translated by 谷歌翻译
Diffusion models have quickly become the go-to paradigm for generative modelling of perceptual signals (such as images and sound) through iterative refinement. Their success hinges on the fact that the underlying physical phenomena are continuous. For inherently discrete and categorical data such as language, various diffusion-inspired alternatives have been proposed. However, the continuous nature of diffusion models conveys many benefits, and in this work we endeavour to preserve it. We propose CDCD, a framework for modelling categorical data with diffusion models that are continuous both in time and input space. We demonstrate its efficacy on several language modelling tasks.
translated by 谷歌翻译
在许多科学领域中发现一个有意义的，尺寸同质的，象征性的表达是一个基本挑战。我们提出了一个新颖的开源计算框架，称为科学家机器方程探测器（Scimed），该框架将科学纪律智慧与科学家在循环的方法中融合在一起，并将其与最先进的符号回归（SR）方法相结合。Scimed将基于遗传算法的包装器选择方法与自动机器学习和两个SR方法结合在一起。我们对具有和没有非线性空气动力学阻力的球体沉降的四个配置进行了测试。我们表明，疲惫不堪的人足够坚固，可以从嘈杂的数据中发现正确的物理有意义的符号表达式。我们的结果表明，与最先进的SR软件包相比，这些任务的性能更好。
translated by 谷歌翻译
长期以来，科学家一直旨在发现有意义的公式，以准确描述实验数据。一种常见的方法是使用域知识手动创建自然现象的数学模型，然后将这些模型拟合到数据。相比之下，机器学习算法在消耗大量数据的同时可以自动化准确的数据驱动模型的构建。在文献中探讨了对学习模型的功能形式（例如，非负）的逻辑约束的问题。但是，寻找与一般背景知识一致的模型是一个开放的问题。我们开发了一种将逻辑推理与符号回归相结合的方法，从而实现了自然现象模型的原则推导。我们演示了这些概念，用于开普勒的第三个行星运动定律，爱因斯坦的相对论时间稀释定律以及兰穆尔的吸附理论，在每种情况下都会将实验数据与背景理论自动连接起来。我们表明，使用形式的逻辑推理将正确的公式与一组合理公式区分开时，可以从几个数据点发现法律，这些公式在数据上具有相似的错误。推理与机器学习的结合提供了对自然现象的关键方面的可概括见解。我们设想，这种组合将使能够发现基本科学定律，并认为我们的工作是自动化科学方法的关键第一步。
translated by 谷歌翻译
我们使用深神经网络来机器学习各种尺寸的结不变之间的相关性。感兴趣的三维不变性是琼斯多项式$ j（q）$，四维不变性是khovanov多项式$ \ text {kh}（q，t）$，平滑的切片属$ g $，以及拉斯穆森的$ s $-invariant。我们发现双层前馈神经网络可以从$ \ text {kh}（q，-q ^ {-4}）$大于99美元的$准确性。通过现在的DISPROVER骑士移动猜想，在结理论中存在对这种性能的理论解释，这些表现在我们的数据集中的所有结遵守。更令人惊讶的是，我们发现类似于$ \ text {kh}（q，-q ^ {-2}）$的类似表现，这表明Khovanov与李同源理论之间的新关系。网络从$ \ text {kh}（q，t）$以同样高的准确度预测到$ g $，我们讨论了机器学习$ s $的程度，而不是$ g $，因为有一般不平等$ | S | \ Leq 2G $。 Jones多项式作为三维不变性，并不明显与$ S $或$ G $相关，但网络从$ j（q）$之前预测，网络达到大于95美元的$准确性。此外，通过在统一的根部评估$ j（q）$来实现类似的准确度。这表明与SU（2）$ CHERN-SIMONS理论的关系，我们审查了Khovanov同源性的仪表理论建设，这可能与解释网络的性能相关。
translated by 谷歌翻译
符号回归是识别拟合从黑盒过程中观察到的输出的数学表达式的过程。它通常认为是一个离散的优化问题是NP - 硬。解决问题的前提方法包括神经引导的搜索（例如，使用强化学习）和遗传编程。在这项工作中，我们介绍了一种混合神经引导/基因编程方法来象征性回归和其他组合优化问题。我们提出了一种神经引导组件，用于种子随机重启遗传编程组件的起始群体，逐渐学习更好的起始群体。在许多常见的基准任务中从数据集中恢复底层表达式，我们的方法使用相同的实验设置恢复比最近发布的顶部执行模型更多的表达式65％。我们证明在没有对神经引导的组件上的不相互依存的情况下运行许多遗传编程一代，而不是比两个更强烈地耦合的替代配方更好地对象征性回归更好地执行符号回归。最后，我们介绍了一组新的22个符号回归基准问题，而现有的基准难度增加。源代码在www.github.com/brendenpetersen/deep-symbolic -optimization提供。
translated by 谷歌翻译
Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.
translated by 谷歌翻译
大多数低编码平台的用户，例如Excel和PowerApps，都以特定于域的公式语言编写程序来执行非平凡的任务。用户通常可以编写他们想要的大部分程序，但是引入了一些小错误，这些错误会产生破损的公式。这些错误既可以是句法和语义，也很难让低代码用户识别和修复，即使只能通过一些编辑解决。我们正式化了产生最后一英里维修问题等编辑的问题。为了解决这个问题，我们开发了Lamirage，这是一种最后一英里的维修发动机发电机，结合了符号和神经技术，以低代码公式语言进行最后一英里维修。 Lamirage采用语法和一组特定领域的约束/规则，它们共同近似目标语言，并使用它们来生成可以用该语言修复公式的维修引擎。为了应对本地化错误和对候选维修进行排名的挑战，Lamirage利用神经技术，而它依赖于符号方法来生成候选维修。这种组合使Lamirage可以找到满足提供的语法和约束的维修，然后选择最自然的修复。我们将Lamirage与400个Real Excel和PowerFX公式的最新神经和符号方法进行了比较，其中Lamirage的表现优于所有基线。我们释放这些基准，以鼓励在低代码域中进行后续工作。
translated by 谷歌翻译
虽然注意力成为深度学习的重要机制，但仍然有限的直觉，为什么它工作得很好。在这里，我们表明，在某些数据条件下，变压器注意力与Kanerva稀疏分布式内存（SDM）的某些数据条件密切相关，一种生物合理的关联内存模型。我们确认在预先培训的GPT2变压器模型中满足这些条件。我们讨论了注意力SDM地图的影响，并提供了对关注的新计算和生物学解释。
translated by 谷歌翻译