We investigate how a shepherd should move in order to effectively herd and guide a flock of agents towards a target. Using a detailed agent-based model (ABM) for the members of the flock, we pose and solve an optimization problem for the shepherd that has to simultaneously work to keep the flock cohesive while coercing it towards a prescribed project. We find that three distinct strategies emerge as potential solutions as a function of just two parameters: the ratio of herd size to shepherd repulsion length and the ratio of herd speed to shepherd speed. We term these as: (i) mustering, in which the shepherd circles the herd to ensure compactness, (ii) droving, in which the shepherd chases the herd in a desired direction, and (iii) driving, a hitherto unreported strategy where the flock surrounds a shepherd that drives it from within. A minimal dynamical model for the size, shape and position of the herd captures the effective behavior of the ABM, and further allows us to characterize the different herding strategies in terms of the behavior of the shepherd that librates (mustering), oscillates (droving) or moves steadily (driving). All together, our study yields a simple and intuitive classification of herding strategies that ought to be of general interest in the context of controlling the collective behavior of active matter.

合作的任务执行是欧洲社会性的标志，通过代理与环境之间的本地交互通过动态发展的通信信号来实现。受社会昆虫的集体行为的启发，其动力学是由与环境相互作用的调节的，我们表明机器人集体可以通过捕获不稳定成功地对建筑工地进行成核，并合作地建立有组织的结构。相同的机器人集体还可以执行DE-构建，而行为参数的简单更改。这些行为属于沿一个轴的代理商相互作用（合作​​）定义的合作行为的二维相空间，而另一个轴则是代理 - 环境的相互作用（收集和沉积）。我们基于行为的机器人设计方法结合了本地规则的原则推导，使集体能够以鲁棒性解决动态变化的环境和丰富的复杂行为。

如果机器人曾经实现与动物所展示的机器人相当的自动运动，则它们必须获得在损害，故障或环境条件下快速恢复运动行为的能力，从而损害了其有效移动的能力。我们提出了一种方法，该方法使我们的机器人和模拟机器人能够在几十次尝试中恢复自由运动行为的高度。我们的方法采用行为规范，以等级的差异约束来表达所需的行为。我们展示了如何通过编码模板来考虑这些约束，从而产生了将先前优化的行为推广到新情况下以快速学习的形式概括的秘诀。我们进一步说明，在数据驱动的上下文中，足够的限制通常很容易确定。作为例证，我们证明了我们在物理7 DOF六型六杆元机器人上的恢复方法，以及对6 DOF 2D运动机制的模拟。在这两种情况下，我们恢复了与先前优化的运动在功能上无法区分的行为。

热方程驱动区域覆盖范围（HEDAC）是由潜在场的梯度引导的最先进的多机颈运动控制。特此实施有限元方法以获得Helmholtz部分微分方程的解决方案，该方程对测量运动控制的潜在字段进行了建模。这使我们能够调查任意形状的领域，并以优雅而健壮的方式包括Hedac的基本想法。对于简单的运动运动运动，通过将试剂运动用电位的梯度引导，可以成功处理障碍和边界避免限制。但是，包括其他约束，例如固定障碍物和移动障碍物的最小间隙距离以及最小的路径曲率半径，都需要控制算法的进一步交替。我们通过基于无碰撞逃生路线操纵的直接优化问题制定了一种相对简单但可靠的方法来处理这些约束的方法。这种方法提供了保证的避免碰撞机制，同时由于优化问题分配而在计算上是便宜的。在三个现实的测量场景模拟中评估了所提出的运动控制，显示了测量的有效性和控制算法的鲁棒性。此外，突出了由于定义不当的测量场景而引起的潜在操纵困难，我们提供了有关如何超越它们的指南。结果是有希望的，并表明了对自主测量和潜在的其他HEDAC利用的拟议受限的多代理运动控制的现实适用性。

模拟虚拟人群的轨迹是计算机图形中通常遇到的任务。最近的一些作品应用了强化学习方法来使虚拟代理动画，但是在基本模拟设置方面，它们通常会做出不同的设计选择。这些选择中的每一个都有合理的使用依据，因此并不明显其真正的影响是什么，以及它们如何影响结果。在这项工作中，我们从对学习绩效的影响以及根据能源效率测得的模拟的质量分析了其中一些任意选择。我们对奖励函数设计的性质进行理论分析，并经验评估使用某些观察和动作空间对各种情况的影响，并将奖励函数和能量使用作为指标。我们表明，直接使用相邻代理的信息作为观察，通常优于更广泛使用的射线播放。同样，与具有绝对观察结果的自动对照相比，使用具有以自我为中心的观察的非体力学对照倾向于产生更有效的行为。这些选择中的每一个都对结果产生重大且潜在的非平凡影响，因此研究人员应该注意选择和报告他们的工作。

虽然在各种应用中广泛使用刚性机器人，但它们在他们可以执行的任务中受到限制，并且在密切的人机交互中可以保持不安全。另一方面，软机器鞋面超越了刚性机器人的能力，例如与工作环境，自由度，自由度，制造成本和与环境安全互动的兼容性。本文研究了纤维增强弹性机壳（释放）作为一种特定类型的软气动致动器的行为，可用于软装饰器。创建动态集参数模型以在各种操作条件下模拟单一免费的运动，并通知控制器的设计。所提出的PID控制器使用旋转角度来控制多项式函数之后的自由到限定的步进输入或轨迹的响应来控制末端执行器的方向。另外，采用有限元分析方法，包括释放的固有非线性材料特性，精确地评估释放的各种参数和配置。该工具还用于确定模块中多个释放的工作空间，这基本上是软机械臂的构建块。

在过去的几年中，计算机视觉的显着进步总的来说是归因于深度学习，这是由于大量标记数据的可用性所推动的，并与GPU范式的爆炸性增长配对。在订阅这一观点的同时，本书批评了该领域中所谓的科学进步，并在基于信息的自然法则的框架内提出了对愿景的调查。具体而言，目前的作品提出了有关视觉的基本问题，这些问题尚未被理解，引导读者走上了一个由新颖挑战引起的与机器学习基础共鸣的旅程。中心论点是，要深入了解视觉计算过程，有必要超越通用机器学习算法的应用，而要专注于考虑到视觉信号的时空性质的适当学习理论。

Microswimmers can acquire information on the surrounding fluid by sensing mechanical queues. They can then navigate in response to these signals. We analyse this navigation by combining deep reinforcement learning with direct numerical simulations to resolve the hydrodynamics. We study how local and non-local information can be used to train a swimmer to achieve particular swimming tasks in a non-uniform flow field, in particular a zig-zag shear flow. The swimming tasks are (1) learning how to swim in the vorticity direction, (2) the shear-gradient direction, and (3) the shear flow direction. We find that access to lab frame information on the swimmer's instantaneous orientation is all that is required in order to reach the optimal policy for (1,2). However, information on both the translational and rotational velocities seem to be required to achieve (3). Inspired by biological microorganisms we also consider the case where the swimmers sense local information, i.e. surface hydrodynamic forces, together with a signal direction. This might correspond to gravity or, for micro-organisms with light sensors, a light source. In this case, we show that the swimmer can reach a comparable level of performance as a swimmer with access to lab frame variables. We also analyse the role of different swimming modes, i.e. pusher, puller, and neutral swimmers.

跟踪湍流羽流以定位其源是一个复杂的控制问题，因为它需要多感觉集成，并且必须强大地间歇性气味，更改风向和可变羽流统计。这项任务是通过飞行昆虫进行常规进行的，通常是长途跋涉，以追求食物或配偶。在许多实验研究中已经详细研究了这种显着行为的几个方面。在这里，我们采用硅化方法互补，采用培训，利用加强学习培训，开发对支持羽流跟踪的行为和神经计算的综合了解。具体而言，我们使用深增强学习（DRL）来训练经常性神经网络（RNN）代理以定位模拟湍流羽毛的来源。有趣的是，代理人的紧急行为类似于飞行昆虫，而RNNS学会代表任务相关变量，例如自上次气味遭遇以来的头部方向和时间。我们的分析表明了一种有趣的实验可测试的假设，用于跟踪风向改变的羽毛 - 该试剂遵循局部羽状形状而不是电流风向。虽然反射短记忆行为足以跟踪恒定风中的羽毛，但更长的记忆时间表对于跟踪切换方向的羽毛是必不可少的。在神经动力学的水平下，RNNS的人口活动是低维度的，并且组织成不同的动态结构，与行为模块一些对应。我们的Silico方法提供了湍流羽流跟踪策略的关键直觉，并激励未来的目标实验和理论发展。

在人类机器人的相互作用中，眼球运动在非语言交流中起着重要作用。但是，控制机器人眼的动作表现出与人眼动物系统相似的性能仍然是一个重大挑战。在本文中，我们研究了如何使用电缆驱动的驱动系统来控制人眼的现实模型，该系统模仿了六个眼外肌肉的自由度。仿生设计引入了解决新的挑战，最值得注意的是，需要控制每种肌肉的支撑，以防止运动过程中的紧张感损失，这将导致电缆松弛和缺乏控制。我们构建了一个机器人原型，并开发了一个非线性模拟器和两个控制器。在第一种方法中，我们使用局部衍生技术线性化了非线性模型，并设计了线性 - 季度最佳控制器，以优化计算准确性，能量消耗和运动持续时间的成本函数。第二种方法使用复发性神经网络，该神经网络从系统的样本轨迹中学习非线性系统动力学，以及一个非线性轨迹优化求解器，可最大程度地减少相似的成本函数。我们专注于具有完全不受限制的运动学的快速saccadic眼球运动，以及六根电缆的控制信号的生成，这些电缆同时满足了几个动态优化标准。该模型忠实地模仿了人类扫视观察到的三维旋转运动学和动力学。我们的实验结果表明，尽管两种方法都产生了相似的结果，但非线性方法对于未来改进该模型的方法更加灵活，该模型的计算是线性化模型的位置依赖性偏向和局部衍生物的计算变得特别乏味。

我们开发一种方法来构造来自表示基本上非线性（或不可连锁的）动态系统的数据集构成低维预测模型，其中具有由有限许多频率的外部强制进行外部矫正的双曲线线性部分。我们的数据驱动，稀疏，非线性模型获得为低维，吸引动力系统的光谱子纤维（SSM）的降低的动态的延长正常形式。我们说明了数据驱动的SSM降低了高维数值数据集的功率和涉及梁振荡，涡旋脱落和水箱中的晃动的实验测量。我们发现，在未加工的数据上培训的SSM减少也在额外的外部强制下准确预测非线性响应。

在过去的二十年中，对机器人羊群的研究受到了极大的关注。在本文中，我们提出了一种约束驱动的控制算法，该算法可最大程度地减少单个试剂的能耗并产生新兴的V形成。随着代理之间的分散相互作用的形成出现，我们的方法对自发添加或将代理去除为系统是强大的。首先，我们提出了一个分析模型，用于在固定翼无人机后面的尾巴上洗涤，并得出了尾随无人机以最大化其旅行耐力的最佳空气速度。接下来，我们证明，简单地在最佳空速上飞行将永远不会导致新兴的羊群行为，并且我们提出了一种新的分散的“ Anseroid”行为，从而产生出现的V形成。我们用约束驱动的控制算法编码这些行为，该算法最小化每个无人机的机车能力。最后，我们证明，在我们提出的控制法律下，以近似V或eChelon形成初始化的无人机将融合，我们证明了这种出现在模拟和与Crazyflie四肢旋转机队的实验中实时发生。

自治系统正在成为海洋部门内无处不在和获得势头。由于运输的电气化同时发生，自主海洋船只可以降低环境影响，降低成本并提高效率。虽然仍然需要密切的监控以确保安全，但最终目标是完全自主权。一个主要的里程碑是开发一个控制系统，这足以处理任何也稳健和可靠的天气和遇到。此外，控制系统必须遵守防止海上碰撞的国际法规，以便与人类水手进行成功互动。由于Colregs被编写为人类思想来解释，因此它们以暧昧的散文写成，因此不能获得机器可读或可核实。由于这些挑战和各种情况进行了解决，古典模型的方法证明了实现和计算沉重的复杂性。在机器学习（ML）内，深增强学习（DRL）对广泛的应用表现出了很大的潜力。 DRL的无模型和自学特性使其成为自治船只的有希望的候选人。在这项工作中，使用碰撞风险理论将Colregs的子集合在于基于DRL的路径和障碍物避免系统。由此产生的自主代理在训练场景中的训练场景，孤立的遇难情况和基于AIS的真实情景模拟中动态地插值。

当代机器人主义者的主要目标之一是使智能移动机器人能够在共享的人类机器人环境中平稳运行。为此目标服务的最基本必要的功能之一是在这种“社会”背景下有效的导航。结果，最近的一般社会导航的研究激增，尤其是如何处理社会导航代理之间的冲突。这些贡献介绍了各种模型，算法和评估指标，但是由于该研究领域本质上是跨学科的，因此许多相关论文是不可比较的，并且没有共同的标准词汇。这项调查的主要目标是通过引入这种通用语言，使用它来调查现有工作并突出开放问题来弥合这一差距。它首先定义社会导航的冲突，并提供其组成部分的详细分类学。然后，这项调查将现有工作映射到了本分类法中，同时使用其框架讨论论文。最后，本文提出了一些未来的研究方向和开放问题，这些方向目前正在社会导航的边界，以帮助集中于正在进行的和未来的研究。

学习涉及时变和不断发展的系统动态的控制政策通常对主流强化学习算法构成了巨大的挑战。在大多数标准方法中，通常认为动作是一组刚性的，固定的选择，这些选择以预定义的方式顺序应用于状态空间。因此，在不诉诸于重大学习过程的情况下，学识渊博的政策缺乏适应动作集和动作的“行为”结果的能力。此外，标准行动表示和动作引起的状态过渡机制固有地限制了如何将强化学习应用于复杂的现实世界应用中，这主要是由于所得大的状态空间的棘手性以及缺乏概括的学术知识对国家空间未知部分的政策。本文提出了一个贝叶斯味的广义增强学习框架，首先建立参数动作模型的概念，以更好地应对不确定性和流体动作行为，然后将增强领域的概念作为物理启发的结构引入通过“极化体验颗粒颗粒建立） “维持在学习代理的工作记忆中。这些粒子有效地编码了以自组织方式随时间演变的动态学习体验。在强化领域之上，我们将进一步概括策略学习过程，以通过将过去的记忆视为具有隐式图结构来结合高级决策概念，在该结构中，过去的内存实例（或粒子）与决策之间的相似性相互联系。定义，因此，可以应用“关联记忆”原则来增强学习代理的世界模型。

经常性神经网络（RNNS）是强大的动态模型，广泛用于机器学习（ML）和神经科学。之前的理论作品集中在具有添加剂相互作用的RNN上。然而，门控 - 即乘法 - 相互作用在真神经元中普遍存在，并且也是ML中最佳性能RNN的中心特征。在这里，我们表明Gating提供灵活地控制集体动态的两个突出特征：i）时间尺寸和ii）维度。栅极控制时间尺度导致新颖的稳定状态，网络用作灵活积分器。与以前的方法不同，Gating允许这种重要功能而没有参数微调或特殊对称。门还提供一种灵活的上下文相关机制来重置存储器跟踪，从而补充存储器功能。调制维度的栅极可以诱导新颖的不连续的混沌转变，其中输入将稳定的系统推向强的混沌活动，与通常稳定的输入效果相比。在这种转变之上，与添加剂RNN不同，关键点（拓扑复杂性）的增殖与混沌动力学的外观解耦（动态复杂性）。丰富的动态总结在相图中，从而为ML从业者提供了一个原理参数初始化选择的地图。

随着自动驾驶行业的发展，自动驾驶汽车群体的潜在相互作用也随之增长。结合人工智能和模拟的进步，可以模拟此类组，并且可以学习控制内部汽车的安全模型。这项研究将强化学习应用于多代理停车场的问题，在那里，汽车旨在有效地停车，同时保持安全和理性。利用强大的工具和机器学习框架，我们以马尔可夫决策过程的形式与独立学习者一起设计和实施灵活的停车环境，从而利用多代理通信。我们实施了一套工具来进行大规模执行实验，从而取得了超过98.1％成功率的高达7辆汽车的模型，从而超过了现有的单代机构模型。我们还获得了与汽车在我们环境中表现出的竞争性和协作行为有关的几个结果，这些行为的密度和沟通水平各不相同。值得注意的是，我们发现了一种没有竞争的合作形式，以及一种“泄漏”的合作形式，在没有足够状态的情况下，代理商进行了协作。这种工作在自动驾驶和车队管理行业中具有许多潜在的应用，并为将强化学习应用于多机构停车场提供了几种有用的技术和基准。

我们探索粒状介质（GM）中软机器的运动，由细长杆的弹性变形产生。提出了由细菌的生理结构的低成本，迅速制造的机器人。它由刚性头部，带有电动机和电池的嵌入式和电池，以及多个弹性杆（我们的灯泡模型）来调查通用汽车的运动。弹性鞭毛在电机一端旋转，它们由于从GM的拖动而变形，推动机器人。外部拖动由鞭毛形状决定，而后者由于外部负载和弹力之间的竞争而改变。在该耦合的流体结构相互作用问题中，我们观察到增加鞭毛的数量可以减小或增加机器人的推进速度，这取决于系统的物理参数。这种简单机器人之间的功能关系中的这种非线性激励我们利用理论，数值模拟和实验来从根本上分析其力学。我们提出了一个简单的欧拉伯努利光束理论的分析框架，其能够定性地捕获这两种情况。当鞭毛变形小时，理论预测定量匹配实验。为了考虑经常在软机器人和微生物中遇到的几何非线性变形，我们实施了一种仿真框架，该框架包括弹性杆的离散微分几何形状模拟，这是一种基于电阻理论的拖曳模型，以及用于流体动力学的改进的斯托克斯法机器人头。与实验数据的比较表明模拟可以定量地预测机器人运动。总的来说，本文中提出的理论和数值工具可以在粒状或流体介质中的这类清晰的机器人的设计和控制来阐明。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

机器人社区在为软机器人设备建模提供的理论工具的复杂程度中看到了指数增长。已经提出了不同的解决方案以克服与软机器人建模相关的困难，通常利用其他科学学科，例如连续式机械和计算机图形。这些理论基础通常被认为是理所当然的，这导致复杂的文献，因此，从未得到完整审查的主题。Withing这种情况下，提交的文件的目标是双重的。突出显示涉及建模技术的不同系列的常见理论根源，采用统一语言，以简化其主要连接和差异的分析。因此，对上市接近自然如下，并最终提供在该领域的主要作品的完整，解开，审查。