在许多环境监测方案中，采样机器人需要同时探索环境和利用有限时间利用感兴趣的特征。我们介绍了一个名为Pareto Monte Carlo树搜索的多目标信息规划方法，该方法允许机器人处理潜在的竞争目标，例如勘探与剥削。该方法基于环境状态的知识（估计）为机器人产生了优化的决策解决方案，从而更好地适应环境动态。我们在关键树节点选择步骤提供算法分析，并显示选择子最优节点的次数是对数界限的，并且搜索结果以多项式率收敛到最佳选择。

信息性规划试图指导机器人的一系列动作，以收集最大信息的数据以映射大环境或学习动态系统。信息规划中的现有工作主要侧重于提出新规划者，并将其应用于各种机器人应用，如环境监测，自主勘探和系统识别。信息规划人员优化了概率模型给出的目标，例如，高斯过程回归。在实践中，该模型可以很容易受到无处不在的传感异常值的影响，导致误导目标。直接的解决方案是使用搁板的异常值检测器过滤出传感数据流中的异常值。但是，信息性样本也根据定义稀缺，因此它们可能被错误地筛选出来。在本文中，我们提出了一种方法来使机器人能够重新访问除了优化信息规划目标之外对异常值进行采样的位置。通过这样做，机器人可以在异常值附近收集更多样本，并更新异常值检测器以减少误报的数量。这是通过在蒙特卡罗树搜索的帕累托变体上设计一个新目标来实现的。我们证明所提出的框架可以实现比仅应用异常值探测器更好的性能。

多路径定向问题询问机器人团队的路径最大化收集的总奖励，同时满足路径长度上的预算约束。这个问题模拟了许多多机器人路由任务，例如探索未知的环境和环境监控信息。在本文中，我们专注于如何使机器人团队在对抗环境中运行时对故障的强大。我们介绍了强大的多路径定向事问题（RMOP），在那里我们寻求最糟糕的案例保证，反对能够在大多数$ \ Alpha $机器人处攻击的对手。我们考虑两个问题的两个版本：RMOP离线和RMOP在线。在离线版本中，当机器人执行其计划时，没有通信或重新扫描，我们的主要贡献是一种具有界限近似保证的一般近似方案，其取决于$ \ alpha $和单个机器人导向的近似因子。特别是，我们表明该算法在成本函数是模块化时产生（i）恒因子近似; （ii）在成本函数是子模具时，$ \ log $因子近似; （iii）当成本函数是子模块时的恒因子近似，但是允许机器人通过有界金额超过其路径预算。在在线版本中，RMOP被建模为双人顺序游戏，并基于蒙特卡罗树搜索（MCT），以后退地平线方式自适应解决。除了理论分析之外，我们还对海洋监测和隧道信息收集应用进行仿真研究，以证明我们的方法的功效。

本文提出了一种以完全分布式方式工作的协同环境学习算法。多机器人系统比单个机器人更有效，但它涉及以下挑战：1）使用多个机器人在线分布式学习环境地图; 2）基于学习地图的安全和有效的探索路径的产生; 3）对机器人数量的维持能力。为此，我们将整个过程划分为环境学习和路径规划的两个阶段。在每个阶段应用分布式算法并通过相邻机器人之间的通信组合。环境学习算法使用分布式高斯过程，路径规划算法使用分布式蒙特卡罗树搜索。因此，我们构建一个可扩展系统，而无需对机器人数量的约束。仿真结果证明了所提出的系统的性能和可扩展性。此外，基于实际数据集的仿真验证了我们算法在更现实的方案中的实用程序。

Monte Carlo Tree Search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarise the results from the key game and non-game domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work.

In many risk-aware and multi-objective reinforcement learning settings, the utility of the user is derived from a single execution of a policy. In these settings, making decisions based on the average future returns is not suitable. For example, in a medical setting a patient may only have one opportunity to treat their illness. Making decisions using just the expected future returns -- known in reinforcement learning as the value -- cannot account for the potential range of adverse or positive outcomes a decision may have. Therefore, we should use the distribution over expected future returns differently to represent the critical information that the agent requires at decision time by taking both the future and accrued returns into consideration. In this paper, we propose two novel Monte Carlo tree search algorithms. Firstly, we present a Monte Carlo tree search algorithm that can compute policies for nonlinear utility functions (NLU-MCTS) by optimising the utility of the different possible returns attainable from individual policy executions, resulting in good policies for both risk-aware and multi-objective settings. Secondly, we propose a distributional Monte Carlo tree search algorithm (DMCTS) which extends NLU-MCTS. DMCTS computes an approximate posterior distribution over the utility of the returns, and utilises Thompson sampling during planning to compute policies in risk-aware and multi-objective settings. Both algorithms outperform the state-of-the-art in multi-objective reinforcement learning for the expected utility of the returns.

有效计划的能力对于生物体和人造系统都是至关重要的。在认知神经科学和人工智能（AI）中广泛研究了基于模型的计划和假期，但是从不同的角度来看，以及难以调和的考虑（生物现实主义与可伸缩性）的不同意见（生物现实主义与可伸缩性）。在这里，我们介绍了一种新颖的方法来计划大型POMDP（Active Tree search（ACT）），该方法结合了神经科学中领先的计划理论的规范性特征和生物学现实主义（主动推论）和树木搜索方法的可扩展性AI。这种统一对两种方法都是有益的。一方面，使用树搜索可以使生物学接地的第一原理，主动推断的方法可应用于大规模问题。另一方面，主动推理为探索 - 开发困境提供了一种原则性的解决方案，该解决方案通常在树搜索方法中以启发性解决。我们的模拟表明，ACT成功地浏览了对基于抽样的方法，需要自适应探索的问题以及大型POMDP问题“ RockSample”的二进制树，其中ACT近似于最新的POMDP解决方案。此外，我们说明了如何使用ACT来模拟人类和其他解决大型计划问题的人类和其他动物的神经生理反应（例如，在海马和前额叶皮层）。这些数值分析表明，主动树搜索是神经科学和AI计划理论的原则性实现，既具有生物现实主义和可扩展性。

嘈杂的传感，不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程（POMDP）提供了一个原则上的数学框架，用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中，它看到了许多成功的应用程序，涵盖了本地化和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距，以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征，并将它们与POMDP框架的数学和算法属性联系起来，以进行有效的建模和解决方案。对于从业者来说，调查提供了一些关键任务特征，以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师，该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并指出了有希望的新方向进行进一步研究。

我们考虑优化从高斯过程（GP）采样的矢量值的目标函数$ \ boldsymbol {f} $ sampled的问题，其索引集是良好的，紧凑的度量空间$（{\ cal x}，d）$设计。我们假设$ \ boldsymbol {f} $之前未知，并且在Design $ x $的$ \ \ boldsymbol {f} $ x $导致$ \ boldsymbol {f}（x）$。由于当$ {\ cal x} $很大的基数时，识别通过详尽搜索的帕累托最优设计是不可行的，因此我们提出了一种称为Adaptive $ \ Boldsymbol {\ epsilon} $ - PAL的算法，从而利用GP的平滑度-Ampled函数和$（{\ cal x}，d）$的结构快速学习。从本质上讲，Adaptive $ \ Boldsymbol {\ epsilon} $ - PAL采用基于树的自适应离散化技术，以识别$ \ Boldsymbol {\ epsilon} $ - 尽可能少的评估中的准确帕累托一组设计。我们在$ \ boldsymbol {\ epsilon} $ - 准确的Pareto Set识别上提供信息类型和度量尺寸类型界限。我们还在实验表明我们的算法在多个基准数据集上优于其他Pareto Set识别方法。

For large state-space Markovian Decision Problems Monte-Carlo planning is one of the few viable approaches to find near-optimal solutions. In this paper we introduce a new algorithm, UCT, that applies bandit ideas to guide Monte-Carlo planning. In finite-horizon or discounted MDPs the algorithm is shown to be consistent and finite sample bounds are derived on the estimation error due to sampling. Experimental results show that in several domains, UCT is significantly more efficient than its alternatives.

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

我们考虑使用昂贵的功能评估（也称为实验）的黑匣子多目标优化（MOO）的问题，其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如，在硬件设计优化中，我们需要使用昂贵的计算模拟找到权衡性能，能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中，我们提出了一种基于输出空间熵（OSE）搜索原理来解决MOO问题的一般框架：选择最大化每单位资源成本的信息的实验，这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理，以导出以下四个Moo问题设置的高效算法：1）最基本的EM单一保真设置，实验昂贵且准确; 2）处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3）离散的多保真设置，实验可以在消耗的资源量和评估准确度时变化; 4）EM连续保真设置，其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明，基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。

与单目标优化（SOO）相反，多目标优化（MOO）需要优化器才能找到Pareto Frontier，这是不受其他可行解决方案主导的可行解决方案的子集。在本文中，我们提出了Lamoo，这是一种新型的多目标优化器，它从观察到的样品中学习模型，以分区搜索空间，然后专注于可能包含帕累托前沿子集的有希望的区域。该分区基于优势数，该数字衡量了一个数据点与现有样本之间的帕累托边境的“多么近”。为了说明由于样本有限和模型不匹配而导致的可能分区错误，我们利用蒙特卡洛树搜索（MCT）利用有希望的区域，同时探索次优的区域，这些区域可能会以后可能包含良好的解决方案。从理论上讲，我们在某些假设下通过Lamoo证明了通过Lamoo进行学习空间分配的功效。从经验上讲，在Hypervolume（HV）基准上，一种受欢迎的MOO指标，Lamoo在多个现实世界中的MOO任务上大大优于强大的基线，在NASBENCH上，在NASBENCH上的神经体系结构的样品效率高达225％，对于Molecular，最高可用于10％设计。

在与其他代理商的社交互动下进行计划是自动驾驶的重要问题。随着自动驾驶汽车在相互作用中的作用会影响，并且也受到其他试剂的影响，因此自动驾驶汽车需要有效地推断其他试剂的反应。大多数现有方法将问题提出为广泛的NASH平衡问题，该问题通过基于优化的方法解决。但是，他们要求过多的计算资源，并且由于非凸度而容易落入本地最低限度。蒙特卡洛树搜索（MCTS）成功解决了游戏理论问题中的此类问题。但是，随着交互游戏树的成倍增长，一般的MCT仍然需要大量迭代才能达到Optima。在本文中，我们通过将预测算法作为启发式算法纳入了基于一般MCT的高效游戏理论轨迹计划算法。最重要的是，符合社会的奖励和贝叶斯推理算法旨在产生多样化的驾驶行为并确定其他驾驶员的驾驶偏好。结果证明了在高度交互式场景中包含自然主义驾驶行为的数据集的提议框架的有效性。

在本文中，我们研究了众所周知的团队导演问题，其中一批机器人通过访问地点收集奖励。通常，假设奖励是机器人已知的;但是，在环境监测或场景重建的应用中，奖励通常是主观的，并指定它们是具有挑战性的。我们提出了一个框架来通过向它们呈现替代解决方案来学习用户的未知偏好，并且用户在所提出的替代解决方案上提供排名。我们考虑了用户的两种情况：1）确定替代解决方案的最佳排名的确定性用户，以及根据未知概率分布提供最佳排名的噪声用户。对于确定性用户，我们提出了一个框架，以最大限度地减少与最佳解决方案的最大偏差的界限，即后悔。我们适应捕获嘈杂用户的方法，并最大限度地减少预期的遗憾。最后，我们展示了学习用户偏好的重要性以及在广泛的实验结果中使用真实的世界数据集进行环境监测问题的大量实验结果的性能。

Partially observable Markov decision processes (POMDPs) provide a flexible representation for real-world decision and control problems. However, POMDPs are notoriously difficult to solve, especially when the state and observation spaces are continuous or hybrid, which is often the case for physical systems. While recent online sampling-based POMDP algorithms that plan with observation likelihood weighting have shown practical effectiveness, a general theory characterizing the approximation error of the particle filtering techniques that these algorithms use has not previously been proposed. Our main contribution is bounding the error between any POMDP and its corresponding finite sample particle belief MDP (PB-MDP) approximation. This fundamental bridge between PB-MDPs and POMDPs allows us to adapt any sampling-based MDP algorithm to a POMDP by solving the corresponding particle belief MDP, thereby extending the convergence guarantees of the MDP algorithm to the POMDP. Practically, this is implemented by using the particle filter belief transition model as the generative model for the MDP solver. While this requires access to the observation density model from the POMDP, it only increases the transition sampling complexity of the MDP solver by a factor of $\mathcal{O}(C)$, where $C$ is the number of particles. Thus, when combined with sparse sampling MDP algorithms, this approach can yield algorithms for POMDPs that have no direct theoretical dependence on the size of the state and observation spaces. In addition to our theoretical contribution, we perform five numerical experiments on benchmark POMDPs to demonstrate that a simple MDP algorithm adapted using PB-MDP approximation, Sparse-PFT, achieves performance competitive with other leading continuous observation POMDP solvers.

多臂强盗（MAB）问题是一个简单而强大的框架，在不确定性下的决策背景下进行了广泛的研究。在许多实际应用程序（例如机器人应用程序）中，选择ARM对应于限制下一个可用臂（动作）选择的物理动作。在此激励的情况下，我们研究了一个称为图形匪徒的mAb的扩展，在该图形上，试图从不同节点收集的奖励来传播图形。该图定义了代理在每个步骤中选择下一个可用节点时的自由度。我们假设图形结构完全可用，但是奖励分布未知。我们建立在基于脱机图的计划算法和乐观原则的基础上，我们设计了一种在线学习算法，该算法可以使用乐观原则来平衡长期探索 - 探索。我们表明我们提出的算法达到$ o（| s | \ sqrt {t} \ log（t）+d | s | s | \ log t）$学习后悔，其中$ | s | $是节点的数量和$ d $是该图的直径，与在类似设置下的最著名的增强学习算法相比，这是优越的。数值实验证实，我们的算法优于几个基准。最后，我们提出了一个由图形匪徒框架建模的合成机器人应用程序，其中机器人在农村/郊区位置网络上移动，使用我们建议的算法提供高速Internet访问。

我们向连续状态马尔可夫决策过程（MDP）提出了一种扩散近似方法，该方法可用于解决非结构化的越野环境中的自主导航和控制。与呈现完全已知的状态转换模型的大多数决策定理计划框架相比，我们设计了一种方法，该方法消除了这种强烈假设，这些假设通常非常难以在现实中工程师。我们首先采用价值函数的二阶泰勒扩展。然后通过部分微分方程近似贝尔曼的最优性方程，其仅依赖于转换模型的第一和第二矩。通过组合价值函数的内核表示，然后设计一种有效的策略迭代算法，其策略评估步骤可以表示为特征的方程式的线性系统，其特征是由有限组支持状态。我们首先通过大量的仿真以2D美元的$ 2D $避让和2.5d $地形导航问题进行验证。结果表明，拟议的方法在几个基线上导致了卓越的性能。然后，我们开发一个系统，该系统将我们的决策框架整合，与船上感知，并在杂乱的室内和非结构化的户外环境中进行现实世界的实验。物理系统的结果进一步展示了我们在挑战现实世界环境中的方法的适用性。

本文重点介绍了具有高输出方差的随机模拟器的多目标优化，其中输入空间是有限的，并且目标函数的评估昂贵。我们依靠贝叶斯优化算法，这些算法使用概率模型来对要优化的功能进行预测。所提出的方法是用于估计帕累托最佳溶液的帕累托主动学习（PAL）算法的扩展，该算法使其适合随机环境。我们将其命名为随机模拟器（PAL）的Pareto主动学习。通过数值实验对一组双维，双目标测试问题进行数值实验评估了PAL的表现。与其他基于标量的和随机搜索的方法相比，PAL表现出卓越的性能。

行为树（BT）是一种在自主代理中（例如机器人或计算机游戏中的虚拟实体）之间在不同任务之间进行切换的方法。 BT是创建模块化和反应性的复杂系统的一种非常有效的方法。这些属性在许多应用中至关重要，这导致BT从计算机游戏编程到AI和机器人技术的许多分支。在本书中，我们将首先对BTS进行介绍，然后我们描述BTS与早期切换结构的关系，并且在许多情况下如何概括。然后，这些想法被用作一套高效且易于使用的设计原理的基础。安全性，鲁棒性和效率等属性对于自主系统很重要，我们描述了一套使用BTS的状态空间描述正式分析这些系统的工具。借助新的分析工具，我们可以对BTS如何推广早期方法的形式形式化。我们还显示了BTS在自动化计划和机器学习中的使用。最后，我们描述了一组扩展的工具，以捕获随机BT的行为，其中动作的结果由概率描述。这些工具可以计算成功概率和完成时间。