符号回归是识别拟合从黑盒过程中观察到的输出的数学表达式的过程。它通常认为是一个离散的优化问题是NP - 硬。解决问题的前提方法包括神经引导的搜索（例如，使用强化学习）和遗传编程。在这项工作中，我们介绍了一种混合神经引导/基因编程方法来象征性回归和其他组合优化问题。我们提出了一种神经引导组件，用于种子随机重启遗传编程组件的起始群体，逐渐学习更好的起始群体。在许多常见的基准任务中从数据集中恢复底层表达式，我们的方法使用相同的实验设置恢复比最近发布的顶部执行模型更多的表达式65％。我们证明在没有对神经引导的组件上的不相互依存的情况下运行许多遗传编程一代，而不是比两个更强烈地耦合的替代配方更好地对象征性回归更好地执行符号回归。最后，我们介绍了一组新的22个符号回归基准问题，而现有的基准难度增加。源代码在www.github.com/brendenpetersen/deep-symbolic -optimization提供。

在本文中，我们开发了损失功能学习的新兴主题，该主题旨在学习损失功能，从而显着提高在其下方训练的模型的性能。具体而言，我们提出了一个新的元学习框架，用于通过混合神经符号搜索方法来学习模型 - 不足的损失函数。该框架首先使用基于进化的方法来搜索原始数学操作的空间，以找到一组符号损耗函数。其次，随后通过基于端梯度的训练程序对学习的损失功能集进行了参数化和优化。拟议框架的多功能性在经验上得到了各种监督的学习任务的经验验证。结果表明，通过新提出的方法发现的元学习损失函数在各种神经网络体系结构和数据集上都超过了交叉渗透丢失和最新的损失函数学习方法。

深入学习的强化学习（RL）的结合导致了一系列令人印象深刻的壮举，许多相信（深）RL提供了一般能力的代理。然而，RL代理商的成功往往对培训过程中的设计选择非常敏感，这可能需要繁琐和易于易于的手动调整。这使得利用RL对新问题充满挑战，同时也限制了其全部潜力。在许多其他机器学习领域，AutomL已经示出了可以自动化这样的设计选择，并且在应用于RL时也会产生有希望的初始结果。然而，自动化强化学习（AutorL）不仅涉及Automl的标准应用，而且还包括RL独特的额外挑战，其自然地产生了不同的方法。因此，Autorl已成为RL中的一个重要研究领域，提供来自RNA设计的各种应用中的承诺，以便玩游戏等游戏。鉴于RL中考虑的方法和环境的多样性，在不同的子领域进行了大部分研究，从Meta学习到进化。在这项调查中，我们寻求统一自动的领域，我们提供常见的分类法，详细讨论每个区域并对研究人员来说是一个兴趣的开放问题。

Natural laws are often described through differential equations yet finding a differential equation that describes the governing law underlying observed data is a challenging and still mostly manual task. In this paper we make a step towards the automation of this process: we propose a transformer-based sequence-to-sequence model that recovers scalar autonomous ordinary differential equations (ODEs) in symbolic form from time-series data of a single observed solution of the ODE. Our method is efficiently scalable: after one-time pretraining on a large set of ODEs, we can infer the governing laws of a new observed solution in a few forward passes of the model. Then we show that our model performs better or on par with existing methods in various test cases in terms of accurate symbolic recovery of the ODE, especially for more complex expressions.

传统的统计技术或元启发式学很难解决大多数现实世界的优化问题。主要困难与存在相当数量的局部Optima有关，这可能导致优化过程的过早收敛性。为了解决这个问题，我们提出了一种新型的启发式方法，用于构建原始功能的平滑替代模型。替代功能更容易优化，但保持原始坚固的健身景观的基本属性：全球最佳的位置。为了创建这样的替代模型，我们考虑通过自我调整健身函数增强的线性遗传编程方法。所提出的称为GP-FST-PSO替代模型的算法在搜索全局最优值和原始基准函数的视觉近似（在二维情况下）的视觉近似都可以达到令人满意的结果。

Machine learning frameworks such as Genetic Programming (GP) and Reinforcement Learning (RL) are gaining popularity in flow control. This work presents a comparative analysis of the two, bench-marking some of their most representative algorithms against global optimization techniques such as Bayesian Optimization (BO) and Lipschitz global optimization (LIPO). First, we review the general framework of the model-free control problem, bringing together all methods as black-box optimization problems. Then, we test the control algorithms on three test cases. These are (1) the stabilization of a nonlinear dynamical system featuring frequency cross-talk, (2) the wave cancellation from a Burgers' flow and (3) the drag reduction in a cylinder wake flow. We present a comprehensive comparison to illustrate their differences in exploration versus exploitation and their balance between `model capacity' in the control law definition versus `required complexity'. We believe that such a comparison paves the way toward the hybridization of the various methods, and we offer some perspective on their future development in the literature on flow control problems.

Learning efficient and interpretable policies has been a challenging task in reinforcement learning (RL), particularly in the visual RL setting with complex scenes. While neural networks have achieved competitive performance, the resulting policies are often over-parameterized black boxes that are difficult to interpret and deploy efficiently. More recent symbolic RL frameworks have shown that high-level domain-specific programming logic can be designed to handle both policy learning and symbolic planning. However, these approaches rely on coded primitives with little feature learning, and when applied to high-dimensional visual scenes, they can suffer from scalability issues and perform poorly when images have complex object interactions. To address these challenges, we propose \textit{Differentiable Symbolic Expression Search} (DiffSES), a novel symbolic learning approach that discovers discrete symbolic policies using partially differentiable optimization. By using object-level abstractions instead of raw pixel-level inputs, DiffSES is able to leverage the simplicity and scalability advantages of symbolic expressions, while also incorporating the strengths of neural networks for feature learning and optimization. Our experiments demonstrate that DiffSES is able to generate symbolic policies that are simpler and more and scalable than state-of-the-art symbolic RL methods, with a reduced amount of symbolic prior knowledge.

在符号回归任务中探索了相关性作为健身函数的使用，并将性能与典型的RMSE健身函数进行比较。使用与对齐步骤的相关性来结论演变导致RMSE作为适应性函数的显着性能提高。与RMSE相比，使用相关性作为健身函数导致了较少世代的解决方案，并且发现在训练集中需要更少的数据点才能发现正确的方程。Feynman符号回归基准以及其他一些旧的和最近的GP基准问题用于评估性能。

基于原子量表的材料建模在新材料的发展及其特性的理解中起着重要作用。粒子模拟的准确性由原子间电位确定，该电位允许计算原子系统的势能作为原子坐标和潜在的其他特性的函数。基于原理的临界电位可以达到任意水平的准确性，但是它们的合理性受其高计算成本的限制。机器学习（ML）最近已成为一种有效的方法，可以通过用经过电子结构数据培训的高效替代物代替昂贵的模型来抵消Ab始于原子电位的高计算成本。在当前大量方法中，符号回归（SR）正在成为一种强大的“白盒”方法，以发现原子质潜力的功能形式。这项贡献讨论了符号回归在材料科学（MS）中的作用，并对当前的方法论挑战和最新结果提供了全面的概述。提出了一种基于遗传编程的方法来建模原子能（由原子位置和相关势能的快照组成），并在从头算电子结构数据上进行了经验验证。

在这里，我们提出了符合性整合的符号回归（SISR），这是一种从数据中学习物理控制方程的新技术。SISR使用具有突变的多层LSTM-RNN采用深层符号回归方法，以概率地采样哈密顿符号表达式。使用符号神经网络，我们开发了一种模型无关的方法，用于从数据中提取有意义的物理先验，这些方法可以直接施加到RNN输出中，从而限制了其搜索空间。使用四阶符号整合方案对RNN产生的汉密尔顿人进行了优化和评估；预测性能用于训练LSTM-RNN，以通过寻求风险的政策梯度方法来产生越来越更好的功能。采用这些技术，我们从振荡器，摆，两体和三体重力系统中提取正确的管理方程，并具有嘈杂且非常小的数据集。

在许多科学领域中发现一个有意义的，尺寸同质的，象征性的表达是一个基本挑战。我们提出了一个新颖的开源计算框架，称为科学家机器方程探测器（Scimed），该框架将科学纪律智慧与科学家在循环的方法中融合在一起，并将其与最先进的符号回归（SR）方法相结合。Scimed将基于遗传算法的包装器选择方法与自动机器学习和两个SR方法结合在一起。我们对具有和没有非线性空气动力学阻力的球体沉降的四个配置进行了测试。我们表明，疲惫不堪的人足够坚固，可以从嘈杂的数据中发现正确的物理有意义的符号表达式。我们的结果表明，与最先进的SR软件包相比，这些任务的性能更好。

在材料科学中，衍生模型以预测突出材料特性（例如弹性，强度，电导率）及其与加工条件的关系。主要缺点是校准依赖于处理条件的模型参数。目前，必须优化这些参数以拟合测量数据，因为它们与处理条件（例如变形温度，应变率）的关系不完全理解。我们提出了一种新的方法，该方法识别了基于遗传编程的处理条件的校准参数的功能依赖性。我们提出了两个（显式和隐式）方法来识别这些依赖项并生成短暂的可解释表达式。该方法用于扩展基于物理的组成型模型以进行变形过程。该本结构型模型与内部材料变量（例如位错密度）进行操作，并且包含许多参数，其中包括三个校准参数。衍生的表达式扩展了本组件模型并替换校准参数。因此，启用各种处理参数之间的插值。我们的研究结果表明，隐式方法比明确的方法更昂贵，但也产生明显更好的结果。

加固学习算法可以解决动态决策和最优控制问题。通过连续值的状态和输入变量，强化学习算法必须依赖函数近似器来表示值函数和策略映射。常用的数值近似器，如神经网络或基础函数扩展，具有两个主要缺点：它们是黑匣子型号，可以对学习的映射有很小的洞察力，并且他们需要广泛的试验和错误调整它们的超参数。在本文中，我们通过使用符号回归提出了一种以分析表达式的形式构建平滑值函数的新方法。我们介绍了三种离线方法，用于基于状态转换模型查找值函数：符号值迭代，符号策略迭代，以及Bellman方程的直接解决方案。该方法在四个非线性控制问题上说明：速度控制摩擦力控制，单键和双连杆摆动，和磁操作。结果表明，该价值函数产生良好的策略，并紧凑，数学上易行，易于插入其他算法。这使得它们可能适用于进一步分析闭环系统。使用神经网络的替代方法的比较表明，我们的方法优于基于神经网络的方法。

算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。

可解释的回归模型对于许多应用程序域很重要，因为它们允许专家了解稀疏数据中变量之间的关系。符号回归通过搜索可以从基本代数函数构建的所有可能的自由形式方程的空间来解决此问题。尽管可以通过这种方式重新发现明确的数学函数，但在搜索过程中确定未知数值常数一直是一个经常被忽略的问题。我们提出了一种新的多目标模因算法，该算法利用了一个可区分的笛卡尔遗传编程编码，以在进化循环期间学习常数。我们表明，这种方法具有竞争力或胜过机器的黑匣子回归模型或用于两个应用的手工设计的拟合：火星表达热力估计和通过陀螺安排确定恒星年龄。

本文探讨了培训来生成代码的大型语言模型（LLMS）可以极大地提高对基因编程（GP）应用程序的突变操作员的有效性。由于此类LLM受益于包括顺序更改和修改的训练数据，因此它们可以近似人类会做出的可能变化。为了强调通过大型模型（ELM）的这种进化的含义的广度，在主要实验ELM与MAP-ELITE结合产生了数十万个Python程序的功能示例，这些示例在Sodarace域中输出了在Sodarace域中运行AMBULE的机器人，原始LLM从未在预训练中见过。然后，这些示例有助于引导培训一种新的条件语言模型，该模型可以为特定地形输出合适的步行者。引导新模型可以在以前可用的零培训数据中为给定上下文中输出适当的工件的新模型具有对开放性，深度学习和增强学习的影响。在这里深入探讨了这些含义，以期激发榆树现在打开的新研究方向。

机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。

我们通过在计算图的空间中搜索计算基于值的无模型RL代理以优化的计算函数来提出一种用于元学习增强学习算法的方法。学到的算法是域 - 不可思议的，可以推广到训练期间未见的新环境。我们的方法既可以从头开始学习，又可以从已知的现有算法（例如DQN）学习，从而实现可解释的修改，从而改善性能。从头开始学习简单的经典控制和网格世界任务，我们的方法重新发现了时间差异（TD）算法。我们从DQN进行了引导，我们重点介绍了两种学到的算法，这些算法比其他经典控制任务，GridWorld类型任务和Atari游戏获得了良好的概括性能。对学习算法行为的分析表明，与最近提出的RL算法相似，该算法解决了基于价值的方法的高估。

设计高维偏微分方程（PDE）的高效和准确的数值求解器仍然是计算科学和工程中的一个具有挑战性且重要的主题，这主要是由于“设计数字方案”在设计中的“维度诅咒”。一种新方法，在具有有限的分析表达式的功能空间中寻求近似PDE解决方案，因此，该方法被命名为有限的表达方法（FEX）。在近似理论中证明，FEX可以避免维克斯的诅咒。作为概念的证明，提出了一种深入的增强学习方法，以在不同维度上为各种高维PDE实施FEX，以在维度和可依式的时间复杂性中具有内存复杂性多项式的高度甚至机器的精度。具有有限解决方案的近似解决方案分析表达式还提供了对地面真相PDE解决方案的可解释见解，这可以进一步帮助提高对物理系统的理解，并为精制解决方案设计后处理技术。

强化学习和最近的深度增强学习是解决如Markov决策过程建模的顺序决策问题的流行方法。问题和选择算法和超参数的RL建模需要仔细考虑，因为不同的配置可能需要完全不同的性能。这些考虑因素主要是RL专家的任务;然而，RL在研究人员和系统设计师不是RL专家的其他领域中逐渐变得流行。此外，许多建模决策，例如定义状态和动作空间，批次的大小和批量更新的频率以及时间戳的数量通常是手动进行的。由于这些原因，RL框架的自动化不同组成部分具有重要意义，近年来它引起了很多关注。自动RL提供了一个框架，其中RL的不同组件包括MDP建模，算法选择和超参数优化是自动建模和定义的。在本文中，我们探讨了可以在自动化RL中使用的文献和目前的工作。此外，我们讨论了Autorl中的挑战，打开问题和研究方向。