符号回归（SR）是一种回归分析，可以自动找到最适合数据的数学表达式。当前，SR基本上仍然依赖各种搜索策略，因此需要针对每个表达式进行特定于样本的模型，这显着限制了模型的概括和效率。受到人类可以根据其曲线推断数学表达的事实的启发，我们提出了符号表达变压器（set），这是从SR的计算机视觉的角度来看，这是一个样本 - 无义模型。具体而言，收集的数据表示为图像，并采用图像标题模型将图像转换为符号表达式。释放了图像域中训练和测试集之间没有重叠的大规模数据集。我们的结果证明了集合的有效性，并提出了基于图像的模型解决挑战性SR问题的有希望的方向。

Natural laws are often described through differential equations yet finding a differential equation that describes the governing law underlying observed data is a challenging and still mostly manual task. In this paper we make a step towards the automation of this process: we propose a transformer-based sequence-to-sequence model that recovers scalar autonomous ordinary differential equations (ODEs) in symbolic form from time-series data of a single observed solution of the ODE. Our method is efficiently scalable: after one-time pretraining on a large set of ODEs, we can infer the governing laws of a new observed solution in a few forward passes of the model. Then we show that our model performs better or on par with existing methods in various test cases in terms of accurate symbolic recovery of the ODE, especially for more complex expressions.

象征性回归，即预测从观察其值观察的功能，是一个具有挑战性的任务。在本文中，我们训练变压器来推断整数或浮点数序列的功能或复发关系，人类智商测试中的典型任务几乎不受机器学习文学。我们在OEIS序列子集上评估我们的整数模型，并表明它占据了内置数学函数的复发预测。我们还证明我们的浮动模型能够产生非词汇功能和常量的信息近似，例如，$ \ operatorname {bessel0}（x）\ intem \ frac {\ sin（x）+ \ cos（x）} $和$ 1.644934 \ atthe \ pi ^ 2/6 $。我们模型的互动演示是在HTTPS://bit.ly/3nie5fs提供的。

符号回归是识别拟合从黑盒过程中观察到的输出的数学表达式的过程。它通常认为是一个离散的优化问题是NP - 硬。解决问题的前提方法包括神经引导的搜索（例如，使用强化学习）和遗传编程。在这项工作中，我们介绍了一种混合神经引导/基因编程方法来象征性回归和其他组合优化问题。我们提出了一种神经引导组件，用于种子随机重启遗传编程组件的起始群体，逐渐学习更好的起始群体。在许多常见的基准任务中从数据集中恢复底层表达式，我们的方法使用相同的实验设置恢复比最近发布的顶部执行模型更多的表达式65％。我们证明在没有对神经引导的组件上的不相互依存的情况下运行许多遗传编程一代，而不是比两个更强烈地耦合的替代配方更好地对象征性回归更好地执行符号回归。最后，我们介绍了一组新的22个符号回归基准问题，而现有的基准难度增加。源代码在www.github.com/brendenpetersen/deep-symbolic -optimization提供。

在许多科学领域中发现一个有意义的，尺寸同质的，象征性的表达是一个基本挑战。我们提出了一个新颖的开源计算框架，称为科学家机器方程探测器（Scimed），该框架将科学纪律智慧与科学家在循环的方法中融合在一起，并将其与最先进的符号回归（SR）方法相结合。Scimed将基于遗传算法的包装器选择方法与自动机器学习和两个SR方法结合在一起。我们对具有和没有非线性空气动力学阻力的球体沉降的四个配置进行了测试。我们表明，疲惫不堪的人足够坚固，可以从嘈杂的数据中发现正确的物理有意义的符号表达式。我们的结果表明，与最先进的SR软件包相比，这些任务的性能更好。

本文重新访问了符号回归的数据集和评估标准，该任务是使用数学方程式表达给定数据的任务，特别关注其科学发现的潜力。专注于基于Feynman物理学讲座的现有数据集中使用的一组公式，我们重新创建了120个数据集，以讨论科学发现（SRSD）符号回归的性能。对于120个SRSD数据集中的每个数据集，我们仔细查看公式及其变量的属性，以设计合理逼真的值的值范围，以便可以使用我们的新SRSD数据集来评估SRSD的潜力，例如SR方法是否是SR方法con（re）从此类数据集中发现物理定律。作为评估度量，我们还建议在预测方程和地面方程树之间使用归一化的编辑距离。虽然现有指标是目标值和SR模型之间的二进制或误差，但标准化的编辑距离评估了地面真相和预测方程树之间的相似性。我们已经使用SRBENCH中的五种最先进的SR方法在新的SRSD数据集上进行了实验，并基于最新的变压器体系结构进行了简单的基线。结果表明，我们提供了更现实的性能评估，并为科学发现开辟了新的基于机器学习的方法。我们的数据集和代码存储库公开可用。

聚类函数（例如对数或差异）满足了许多代数身份。对于对数，所有身份都来自产品规则。对于Diologarithm和更高的经典细分线虫，这些身份可能涉及五个或更多功能。在与粒子物理学相关的许多计算中，聚集体的复杂组合通常来自Feynman积分。尽管集成产生的初始表达通常简化，但通常很难知道要应用哪些身份以及按什么顺序应用。为了解决这种瓶颈，我们探索机器学习方法可以帮助您。我们考虑了一种强化学习方法，在该方法中，身份类似于游戏中的动作，也是变压器网络方法，在该方法中，该问题类似于语言翻译任务。尽管这两种方法都是有效的，但变压器网络似乎更强大，并且在数学物理学中的符号操纵任务中实现了实际使用的希望。

在材料科学中，衍生模型以预测突出材料特性（例如弹性，强度，电导率）及其与加工条件的关系。主要缺点是校准依赖于处理条件的模型参数。目前，必须优化这些参数以拟合测量数据，因为它们与处理条件（例如变形温度，应变率）的关系不完全理解。我们提出了一种新的方法，该方法识别了基于遗传编程的处理条件的校准参数的功能依赖性。我们提出了两个（显式和隐式）方法来识别这些依赖项并生成短暂的可解释表达式。该方法用于扩展基于物理的组成型模型以进行变形过程。该本结构型模型与内部材料变量（例如位错密度）进行操作，并且包含许多参数，其中包括三个校准参数。衍生的表达式扩展了本组件模型并替换校准参数。因此，启用各种处理参数之间的插值。我们的研究结果表明，隐式方法比明确的方法更昂贵，但也产生明显更好的结果。

最近的跟踪器采用变压器来组合或替换广泛使用的重新NET作为其新的骨干网络。尽管他们的跟踪器在常规场景中运行良好，但是他们只是将2D功能弄平为序列，以更好地匹配变压器。我们认为这些操作忽略了目标对象的空间先验，这可能仅导致次优结果。此外，许多作品表明，自我注意力实际上是一个低通滤波器，它与输入功能或键/查询无关。也就是说，它可能会抑制输入功能的高频组成部分，并保留甚至放大低频信息。为了解决这些问题，在本文中，我们提出了一个统一的空间频率变压器，该变压器同时建模高斯空间先验和高频强调（GPHA）。具体而言，高斯空间先验是使用双重多层感知器（MLP）生成的，并注入了通过将查询和自我注意的关键特征乘产生的相似性矩阵。输出将被馈入软磁层，然后分解为两个组件，即直接信号和高频信号。低通和高通的分支被重新缩放并组合以实现全通，因此，高频特征将在堆叠的自发层中得到很好的保护。我们进一步将空间频率变压器整合到暹罗跟踪框架中，并提出一种新颖的跟踪算法，称为SFTRANST。基于跨级融合的SwintransFormer被用作骨干，还使用多头交叉意见模块来增强搜索和模板功能之间的相互作用。输出将被馈入跟踪头以进行目标定位。短期和长期跟踪基准的广泛实验都证明了我们提出的框架的有效性。

Learning efficient and interpretable policies has been a challenging task in reinforcement learning (RL), particularly in the visual RL setting with complex scenes. While neural networks have achieved competitive performance, the resulting policies are often over-parameterized black boxes that are difficult to interpret and deploy efficiently. More recent symbolic RL frameworks have shown that high-level domain-specific programming logic can be designed to handle both policy learning and symbolic planning. However, these approaches rely on coded primitives with little feature learning, and when applied to high-dimensional visual scenes, they can suffer from scalability issues and perform poorly when images have complex object interactions. To address these challenges, we propose \textit{Differentiable Symbolic Expression Search} (DiffSES), a novel symbolic learning approach that discovers discrete symbolic policies using partially differentiable optimization. By using object-level abstractions instead of raw pixel-level inputs, DiffSES is able to leverage the simplicity and scalability advantages of symbolic expressions, while also incorporating the strengths of neural networks for feature learning and optimization. Our experiments demonstrate that DiffSES is able to generate symbolic policies that are simpler and more and scalable than state-of-the-art symbolic RL methods, with a reduced amount of symbolic prior knowledge.

符号回归（SR）是学习数学表达式形式的数据模型的任务。从本质上讲，SR模型有可能同时准确和人性化。不幸的是，找到这样的模型，即执行SR，似乎是一项计算密集的任务。从历史上看，SR一直以贪婪或遗传算法等启发式方法进行解决，尽管有些作品暗示了SR的可能硬度，但尚无证据证明SR实际上是NP-HARD。这就提出了一个问题：是否有确切的多项式时间算法来计算SR模型？我们提供的证据表明，通过证明SR是NP-HARD，答案可能是负面的。

解决符号数学一直是在人类聪明才智的舞台中，需要组成和复发。然而，最近的研究表明，诸如变压器的大规模语言模型是普遍的，并且可以令人生意的是，可以训练作为求解复杂数学方程的顺序序列任务。这些大型变压器模型需要有时的培训数据，以概括到看不见的象征性数学问题。在本文中，我们通过使用语言翻译的首先预先预留变压器模型来解决符号任务的示例有效的方法，然后进行微调预先调整佩带的变压器模型来解决符号数学的下游任务。我们通过预磨模的模型实现了与预磨模的集成任务的可比准确性，同时使用大约1.5美元的数量级培训样本，了解符号数学的最先进的深度学习。与集成相比，差分方程任务的测试精度相比，与语言翻译中不存在的更高订单递归相比，相比之下。我们用不同的语言翻译预防我们的模型。我们的结果显示在解决符号数学任务中的语言偏见。最后，我们研究了微调模型对符号数学任务对分发班次的鲁棒性，我们的方法在函数集成的分布换档方案中概得更好。

加固学习算法可以解决动态决策和最优控制问题。通过连续值的状态和输入变量，强化学习算法必须依赖函数近似器来表示值函数和策略映射。常用的数值近似器，如神经网络或基础函数扩展，具有两个主要缺点：它们是黑匣子型号，可以对学习的映射有很小的洞察力，并且他们需要广泛的试验和错误调整它们的超参数。在本文中，我们通过使用符号回归提出了一种以分析表达式的形式构建平滑值函数的新方法。我们介绍了三种离线方法，用于基于状态转换模型查找值函数：符号值迭代，符号策略迭代，以及Bellman方程的直接解决方案。该方法在四个非线性控制问题上说明：速度控制摩擦力控制，单键和双连杆摆动，和磁操作。结果表明，该价值函数产生良好的策略，并紧凑，数学上易行，易于插入其他算法。这使得它们可能适用于进一步分析闭环系统。使用神经网络的替代方法的比较表明，我们的方法优于基于神经网络的方法。

分散数据的数值插值旨在根据某些观察到的点估算目标点的值。传统方法通过构建结合多个基础函数的插值函数来产生估计。这些方法要求明确定义基础功能，从而在实际情况下极大地限制了其应用。最近的进步表现出一种替代策略，该策略可以直接使用机器学习技术（例如深度神经网络）从观察到的点学习插值功能。该策略虽然很有希望，但不能有效利用观察到的点和目标点之间的相关性，因为它可以分别处理这些类型的点。在这里，我们提出了一种基于学习的方法，使用变压器的编码器表示（因此称为NIERT）。 Niert将每个目标点的值视为蒙版令牌，它可以以统一的方式处理目标点并观察到点。通过计算目标点和观察点之间的部分自我注意，NIERT获得了利用这些点之间相关性的优势，更重要的是，避免了目标点在观察到的点上意外干扰。 NIERT还使用预训练技术进一步提高其准确性。在三个代表性数据集上，包括两个合成数据集和一个现实世界数据集，Niert优于现有方法，例如，在用于温度字段重建的TFRD-ADLET数据集上，Niert达到了$ 1.897 \ times 10^{ - 3} $ $ 1.897 ，比基于变压器的方法要好得多（MAE：$ 27.074 \ times 10^{ - 3} $）。这些结果清楚地表明了NIERT的准确性及其在多个实际领域中应用的潜力。

内核选择在确定高斯过程（GP）模型中的性能方面发挥着核心作用，因为所选择的内核在之前的GP下确定了电感偏差和在GP下的功能的先前支持。这项工作解决了为高维GP回归模型构建自定义内核功能的挑战。从最近的深度学习进步中汲取灵感，我们介绍了一个名为Kitt的新方法：通过变压器识别内核识别。 KITT利用基于变压器的架构，以在0.1秒内生成内核建议，这比传统的内核搜索算法快几个数量级。我们使用从已知内核的词汇表中从前线生成的合成数据训练我们的模型。通过利用自我关注机制的性质，KITT能够处理具有任意尺寸的输入的数据集。我们证明，KITT选择的内核会在各种回归基准集合中产生强烈的表现。

横截面是高能物理学中最重要的物理量之一，也是计算最耗时的。尽管事实证明，机器学习在高能物理学的数值计算中取得了非常成功的成功，但使用机器学习的分析计算仍处于起步阶段。在这项工作中，我们使用序列到序列变压器模型来计算横截面计算的关键元素，即相互作用的平方振幅。我们表明，变压器模型能够分别正确预测QCD和QED过程的平方幅度的89.0％和99.4％。我们讨论当前模型的性能，其局限性以及这项工作的未来指示。

离线手写数学表达识别（HMER）是数学表达识别领域的主要领域。与在线HMER相比，由于缺乏时间信息和写作风格的可变性，离线HMER通常被认为是一个更困难的问题。在本文中，我们目的是使用配对对手学习的编码器模型。语义不变的特征是从手写数学表达图像及其编码器中的印刷数学表达式中提取的。学习语义不变的特征与Densenet编码器和变压器解码器相结合，帮助我们提高了先前研究的表达率。在Crohme数据集上进行了评估，我们已经能够将最新的Crohme 2019测试集结果提高4％。

长期以来，科学家一直旨在发现有意义的公式，以准确描述实验数据。一种常见的方法是使用域知识手动创建自然现象的数学模型，然后将这些模型拟合到数据。相比之下，机器学习算法在消耗大量数据的同时可以自动化准确的数据驱动模型的构建。在文献中探讨了对学习模型的功能形式（例如，非负）的逻辑约束的问题。但是，寻找与一般背景知识一致的模型是一个开放的问题。我们开发了一种将逻辑推理与符号回归相结合的方法，从而实现了自然现象模型的原则推导。我们演示了这些概念，用于开普勒的第三个行星运动定律，爱因斯坦的相对论时间稀释定律以及兰穆尔的吸附理论，在每种情况下都会将实验数据与背景理论自动连接起来。我们表明，使用形式的逻辑推理将正确的公式与一组合理公式区分开时，可以从几个数据点发现法律，这些公式在数据上具有相似的错误。推理与机器学习的结合提供了对自然现象的关键方面的可概括见解。我们设想，这种组合将使能够发现基本科学定律，并认为我们的工作是自动化科学方法的关键第一步。

我们提出了一种自动方法，可以从数据中发现重力波（GW）事件的分析人群模型。随着检测到更多引力波（GW）事件，由于其表现性，诸如高斯混合模型之类的柔性模型（例如高斯混合模型）变得越来越重要。但是，灵活的模型带有许多缺乏身体动机的参数，从而解释了这些模型的含义。在这项工作中，我们证明了符号回归可以通过将这种柔性模型的后验预测分布提炼成可解释的分析表达式来补充灵活模型。我们恢复了常见的GW人群模型，例如Power-Law-Plus-Gaussis，并找到了一种结合准确性和简单性的新经验人群模型。这表明了一种在不断增长的GW目录中自动发现可解释的人群模型的策略，该模型可能会应用于其他天体物理现象。

基于原子量表的材料建模在新材料的发展及其特性的理解中起着重要作用。粒子模拟的准确性由原子间电位确定，该电位允许计算原子系统的势能作为原子坐标和潜在的其他特性的函数。基于原理的临界电位可以达到任意水平的准确性，但是它们的合理性受其高计算成本的限制。机器学习（ML）最近已成为一种有效的方法，可以通过用经过电子结构数据培训的高效替代物代替昂贵的模型来抵消Ab始于原子电位的高计算成本。在当前大量方法中，符号回归（SR）正在成为一种强大的“白盒”方法，以发现原子质潜力的功能形式。这项贡献讨论了符号回归在材料科学（MS）中的作用，并对当前的方法论挑战和最新结果提供了全面的概述。提出了一种基于遗传编程的方法来建模原子能（由原子位置和相关势能的快照组成），并在从头算电子结构数据上进行了经验验证。