电机控制中的一个主要问题是了解大脑计划的计划，并在面对延迟和嘈杂的刺激面前执行适当的运动。解决这种控制问题的突出框架是最佳反馈控制（OFC）。 OFC通过将嘈杂的感官刺激和使用卡尔曼滤波器或其扩展集成内部模型的预测来生成优化行为相关标准的控制操作。然而，缺乏Kalman滤波和控制的令人满意的神经模型，因为现有的提案具有以下限制：不考虑感官反馈的延迟，交替阶段的训练，以及需要了解噪声协方差矩阵，以及系统动态。此外，这些研究中的大多数考虑了卡尔曼滤波的隔离，而不是与控制联合。为了解决这些缺点，我们介绍了一种新的在线算法，它将自适应卡尔曼滤波与模型自由控制方法相结合（即，策略梯度算法）。我们在具有局部突触塑性规则的生物合理的神经网络中实现该算法。该网络执行系统识别和卡尔曼滤波，而无需多个阶段，具有不同的更新规则或噪声协方差的知识。在内部模型的帮助下，它可以使用延迟感官反馈执行状态估计。它在不需要任何信息知识的情况下了解控制政策，从而避免需要重量运输。通过这种方式，我们的OFC实施解决了在存在刺激延迟存在下生产适当的感官电动机控制所需的信用分配问题。

有效推论是一种数学框架，它起源于计算神经科学，作为大脑如何实现动作，感知和学习的理论。最近，已被证明是在不确定性下存在国家估算和控制问题的有希望的方法，以及一般的机器人和人工代理人的目标驱动行为的基础。在这里，我们审查了最先进的理论和对国家估计，控制，规划和学习的积极推断的实现;描述当前的成就，特别关注机器人。我们展示了相关实验，以适应，泛化和稳健性而言说明其潜力。此外，我们将这种方法与其他框架联系起来，并讨论其预期的利益和挑战：使用变分贝叶斯推理具有功能生物合理性的统一框架。

在人类机器人的相互作用中，眼球运动在非语言交流中起着重要作用。但是，控制机器人眼的动作表现出与人眼动物系统相似的性能仍然是一个重大挑战。在本文中，我们研究了如何使用电缆驱动的驱动系统来控制人眼的现实模型，该系统模仿了六个眼外肌肉的自由度。仿生设计引入了解决新的挑战，最值得注意的是，需要控制每种肌肉的支撑，以防止运动过程中的紧张感损失，这将导致电缆松弛和缺乏控制。我们构建了一个机器人原型，并开发了一个非线性模拟器和两个控制器。在第一种方法中，我们使用局部衍生技术线性化了非线性模型，并设计了线性 - 季度最佳控制器，以优化计算准确性，能量消耗和运动持续时间的成本函数。第二种方法使用复发性神经网络，该神经网络从系统的样本轨迹中学习非线性系统动力学，以及一个非线性轨迹优化求解器，可最大程度地减少相似的成本函数。我们专注于具有完全不受限制的运动学的快速saccadic眼球运动，以及六根电缆的控制信号的生成，这些电缆同时满足了几个动态优化标准。该模型忠实地模仿了人类扫视观察到的三维旋转运动学和动力学。我们的实验结果表明，尽管两种方法都产生了相似的结果，但非线性方法对于未来改进该模型的方法更加灵活，该模型的计算是线性化模型的位置依赖性偏向和局部衍生物的计算变得特别乏味。

机器人布操作是自动机器人系统的相关挑战性问题。高度可变形的对象，因为纺织品在操纵过程中可以采用多种配置和形状。因此，机器人不仅应该了解当前的布料配置，还应能够预测布的未来行为。本文通过使用模型预测控制（MPC）策略在对象的其他部分应用动作，从而解决了间接控制纺织对象某些点的配置的问题，该策略还允许间接控制的行为点。设计的控制器找到了最佳控制信号，以实现所需的未来目标配置。本文中的探索场景考虑了通过抓住其上角，以平方布的下角跟踪参考轨迹。为此，我们提出并验证线性布模型，该模型允许实时解决与MPC相关的优化问题。增强学习（RL）技术用于学习所提出的布模型的最佳参数，并调整所得的MPC。在模拟中获得准确的跟踪结果后，在真实的机器人中实现并执行了完整的控制方案，即使在不利条件下也可以获得准确的跟踪。尽管总观察到的误差达到5 cm标记，但对于30x30 cm的布，分析表明，MPC对该值的贡献少于30％。

估计和对外部干扰的反应对于二次驾驶的稳健飞行控制至关重要。现有的估计器通常需要针对特定​​的飞行方案或具有大量现实世界数据的培训进行重大调整，以实现令人满意的性能。在本文中，我们提出了一个神经移动范围估计器（Neuromhe），该估计量可以自动调整由神经网络建模并适应不同飞行方案的MHE参数。我们通过将MHE估计值的分析梯度推导出相对于可调参数的分析梯度实现这一目标，从而使MHE无缝嵌入作为神经网络中的无缝嵌入以进行高效学习。最有趣的是，我们证明可以从递归形式的卡尔曼过滤器有效地解决梯度。此外，我们开发了一种基于模型的策略梯度算法，可以直接从轨迹跟踪误差中训练神经元，而无需进行基础真相干扰。通过在各种具有挑战性的飞行中对四摩特的模拟和物理实验，通过模拟和物理实验对神经元的有效性进行了广泛的验证。值得注意的是，NeuroMhe的表现优于最先进的估计器，仅使用2.5％的参数量，力估计误差降低了49.4％。所提出的方法是一般的，可以应用于其他机器人系统的稳健自适应控制。

Policy search methods can allow robots to learn control policies for a wide range of tasks, but practical applications of policy search often require hand-engineered components for perception, state estimation, and low-level control. In this paper, we aim to answer the following question: does training the perception and control systems jointly end-toend provide better performance than training each component separately? To this end, we develop a method that can be used to learn policies that map raw image observations directly to torques at the robot's motors. The policies are represented by deep convolutional neural networks (CNNs) with 92,000 parameters, and are trained using a guided policy search method, which transforms policy search into supervised learning, with supervision provided by a simple trajectory-centric reinforcement learning method. We evaluate our method on a range of real-world manipulation tasks that require close coordination between vision and control, such as screwing a cap onto a bottle, and present simulated comparisons to a range of prior policy search methods.

在人类中，感知意识促进了来自感官输入的快速识别和提取信息。这种意识在很大程度上取决于人类代理人如何与环境相互作用。在这项工作中，我们提出了主动神经生成编码，用于学习动作驱动的生成模型的计算框架，而不会在动态环境中反正出错误（Backprop）。具体而言，我们开发了一种智能代理，即使具有稀疏奖励，也可以从规划的认知理论中汲取灵感。我们展示了我们框架与深度Q学习竞争力的几个简单的控制问题。我们的代理的强劲表现提供了有希望的证据，即神经推断和学习的无背方法可以推动目标定向行为。

In this thesis, we consider two simple but typical control problems and apply deep reinforcement learning to them, i.e., to cool and control a particle which is subject to continuous position measurement in a one-dimensional quadratic potential or in a quartic potential. We compare the performance of reinforcement learning control and conventional control strategies on the two problems, and show that the reinforcement learning achieves a performance comparable to the optimal control for the quadratic case, and outperforms conventional control strategies for the quartic case for which the optimal control strategy is unknown. To our knowledge, this is the first time deep reinforcement learning is applied to quantum control problems in continuous real space. Our research demonstrates that deep reinforcement learning can be used to control a stochastic quantum system in real space effectively as a measurement-feedback closed-loop controller, and our research also shows the ability of AI to discover new control strategies and properties of the quantum systems that are not well understood, and we can gain insights into these problems by learning from the AI, which opens up a new regime for scientific research.

这项教程调查概述了统计学习理论中最新的非征血性进步与控制和系统识别相关。尽管在所有控制领域都取得了重大进展，但在线性系统的识别和学习线性二次调节器时，该理论是最发达的，这是本手稿的重点。从理论的角度来看，这些进步的大部分劳动都在适应现代高维统计和学习理论的工具。虽然与控制对机器学习的工具感兴趣的理论家高度相关，但基础材料并不总是容易访问。为了解决这个问题，我们提供了相关材料的独立介绍，概述了基于最新结果的所有关键思想和技术机械。我们还提出了许多开放问题和未来的方向。

预测性编码提供了对皮质功能的潜在统一说明 - 假设大脑的核心功能是最小化有关世界生成模型的预测错误。该理论与贝叶斯大脑框架密切相关，在过去的二十年中，在理论和认知神经科学领域都产生了重大影响。基于经验测试的预测编码的改进和扩展的理论和数学模型，以及评估其在大脑中实施的潜在生物学合理性以及该理论所做的具体神经生理学和心理学预测。尽管存在这种持久的知名度，但仍未对预测编码理论，尤其是该领域的最新发展进行全面回顾。在这里，我们提供了核心数学结构和预测编码的逻辑的全面综述，从而补充了文献中最新的教程。我们还回顾了该框架中的各种经典和最新工作，从可以实施预测性编码的神经生物学现实的微电路到预测性编码和广泛使用的错误算法的重新传播之间的紧密关系，以及对近距离的调查。预测性编码和现代机器学习技术之间的关系。

策略搜索和模型预测控制〜（MPC）是机器人控制的两个不同范式：策略搜索具有使用经验丰富的数据自动学习复杂策略的强度，而MPC可以使用模型和轨迹优化提供最佳控制性能。开放的研究问题是如何利用并结合两种方法的优势。在这项工作中，我们通过使用策略搜索自动选择MPC的高级决策变量提供答案，这导致了一种新的策略搜索 - 用于模型预测控制框架。具体地，我们将MPC作为参数化控制器配制，其中难以优化的决策变量表示为高级策略。这种制定允许以自我监督的方式优化政策。我们通过专注于敏捷无人机飞行中的具有挑战性的问题来验证这一框架：通过快速的盖茨飞行四轮车。实验表明，我们的控制器在模拟和现实世界中实现了鲁棒和实时的控制性能。拟议的框架提供了合并学习和控制的新视角。

动物行为是由与不同控制策略并行工作的多个大脑区域驱动的。我们提出了基础神经节中损失钢筋学习的生物学上合理的模型，该模型可以在这种建筑中学习。该模型说明了与动作相关的多巴胺活动调制，该调制不是由实现政策算法的以前模型捕获的。特别是，该模型预测，多巴胺活动标志着奖励预测误差（如经典模型）和“动作惊喜”的组合，这是对动作相对于基础神经节的当前政策的意外程度的衡量标准。在存在动作惊喜项的情况下，该模型实现了Q学习的近似形式。在基准导航和达到任务上，我们从经验上表明，该模型能够完全或部分由其他策略（例如其他大脑区域）学习。相比之下，没有动作惊喜术语的模型在存在其他政策的情况下遭受了损失，并且根本无法从完全由外部驱动的行为中学习。该模型为多巴胺活性提供了许多实验发现，提供了一个计算说明，这是基础神经节中的经典增强模型无法解释的。这些包括背侧和腹侧纹状体中不同水平的动作惊喜信号，通过实践减少了运动调节的多巴胺活性的量以及多巴胺活性的动作起始和运动学的表示。它还提供了进一步的预测，可以通过纹状体多巴胺活性的记录进行测试。

值得怀疑的是，动物具有其四肢的完美逆模型（例如，必须在每个关节上应用什么肌肉收缩才能到达太空中的特定位置）。但是，在机器人控制中，将ARM的最终效应器移至目标位置或沿目标轨迹需要准确的前进和逆模型。在这里，我们证明，通过从交互中学习过渡（正向）模型，我们可以使用它来推动摊销策略的学习。因此，我们重新审视了与深度主动推理框架有关的策略优化，并描述了一个模块化神经网络体系结构，该模块化神经网络体系结构同时从预测错误中学习了系统动力学以及生成合适的连续控制命令以达到所需参考位置的随机策略。我们通过将模型与线性二次调节器的基线进行比较来评估该模型，并以其他步骤来朝着类似人类的运动控制方向进行比较。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

在本文中，我们提出了一种基于模型的增强学习（MBRL）算法，称为\ emph {Monte Carlo概率的学习控制}（MC-PILCO）。该算法依赖于高斯流程（GPS）来对系统动力学进行建模以及蒙特卡洛方法以估计策略梯度。这定义了一个框架，在该框架中，我们可以在其中选择以下组件的选择：（i）成本函数的选择，（ii）使用辍学的策略优化，（iii）通过在使用中的结构内核来提高数据效率GP型号。上述方面的组合会极大地影响MC-PILCO的性能。在模拟卡车杆环境中的数值比较表明，MC-PILCO具有更好的数据效率和控制性能W.R.T.最先进的基于GP的MBRL算法。最后，我们将MC-PILCO应用于实际系统，考虑到具有部分可测量状态的特定系统。我们讨论了在策略优化过程中同时建模测量系统和国家估计器的重要性。已在模拟和两个真实系统（Furuta pendulum和一个球形式钻机）中测试了所提出的溶液的有效性。

我们描述了更改 - 联系机器人操作任务的框架，要求机器人与对象和表面打破触点。这种任务的不连续交互动态使得难以构建和使用单个动力学模型或控制策略，并且接触变化期间动态的高度非线性性质可能对机器人和物体造成损害。我们提出了一种自适应控制框架，使机器人能够逐步学习以预测更改联系人任务中的接触变化，从而了解了碎片连续系统的交互动态，并使用任务空间可变阻抗控制器提供平滑且精确的轨迹跟踪。我们通过实验比较我们框架的表现，以确定所需的代表性控制方法，以确定我们框架的自适应控制和增量学习组件需要在变化 - 联系机器人操纵任务中存在不连续动态的平稳控制。

We propose a learning-based robust predictive control algorithm that compensates for significant uncertainty in the dynamics for a class of discrete-time systems that are nominally linear with an additive nonlinear component. Such systems commonly model the nonlinear effects of an unknown environment on a nominal system. We optimize over a class of nonlinear feedback policies inspired by certainty equivalent "estimate-and-cancel" control laws pioneered in classical adaptive control to achieve significant performance improvements in the presence of uncertainties of large magnitude, a setting in which existing learning-based predictive control algorithms often struggle to guarantee safety. In contrast to previous work in robust adaptive MPC, our approach allows us to take advantage of structure (i.e., the numerical predictions) in the a priori unknown dynamics learned online through function approximation. Our approach also extends typical nonlinear adaptive control methods to systems with state and input constraints even when we cannot directly cancel the additive uncertain function from the dynamics. We apply contemporary statistical estimation techniques to certify the system's safety through persistent constraint satisfaction with high probability. Moreover, we propose using Bayesian meta-learning algorithms that learn calibrated model priors to help satisfy the assumptions of the control design in challenging settings. Finally, we show in simulation that our method can accommodate more significant unknown dynamics terms than existing methods and that the use of Bayesian meta-learning allows us to adapt to the test environments more rapidly.

Machine learning frameworks such as Genetic Programming (GP) and Reinforcement Learning (RL) are gaining popularity in flow control. This work presents a comparative analysis of the two, bench-marking some of their most representative algorithms against global optimization techniques such as Bayesian Optimization (BO) and Lipschitz global optimization (LIPO). First, we review the general framework of the model-free control problem, bringing together all methods as black-box optimization problems. Then, we test the control algorithms on three test cases. These are (1) the stabilization of a nonlinear dynamical system featuring frequency cross-talk, (2) the wave cancellation from a Burgers' flow and (3) the drag reduction in a cylinder wake flow. We present a comprehensive comparison to illustrate their differences in exploration versus exploitation and their balance between `model capacity' in the control law definition versus `required complexity'. We believe that such a comparison paves the way toward the hybridization of the various methods, and we offer some perspective on their future development in the literature on flow control problems.

Synaptic plasticity allows cortical circuits to learn new tasks and to adapt to changing environments. How do cortical circuits use plasticity to acquire functions such as decision-making or working memory? Neurons are connected in complex ways, forming recurrent neural networks, and learning modifies the strength of their connections. Moreover, neurons communicate emitting brief discrete electric signals. Here we describe how to train recurrent neural networks in tasks like those used to train animals in neuroscience laboratories, and how computations emerge in the trained networks. Surprisingly, artificial networks and real brains can use similar computational strategies.

元学习是机器学习的一个分支，它训练神经网络模型以合成各种数据，以快速解决新问题。在过程控制中，许多系统具有相似且充分理解的动力学，这表明可以通过元学习创建可推广的控制器是可行的。在这项工作中，我们制定了一种元加强学习（META-RL）控制策略，该策略可用于调整比例的整体控制器。我们的Meta-RL代理具有复发结构，该结构累积了“上下文”，以通过闭环中的隐藏状态变量学习系统的动力学。该体系结构使代理能够自动适应过程动力学的变化。在此处报告的测试中，对元RL代理完全离线训练了一阶和时间延迟系统，并从相同的训练过程动力学分布中得出的新型系统产生了出色的效果。一个关键的设计元素是能够在模拟环境中训练期间离线利用基于模型的信息，同时保持无模型的策略结构，以与真实过程动态不确定性的新过程进行交互。元学习是一种构建样品有效智能控制器的有前途的方法。