具有多模式传感（AIPPMS）的自适应信息路径计划（AIPPMS）考虑了配备多个传感器的代理商的问题，每个传感器具有不同的感应精度和能量成本。代理商的目标是探索环境并在未知的，部分可观察到的环境中受到其资源约束的信息。先前的工作集中在不太一般的适应性信息路径计划（AIPP）问题上，该问题仅考虑了代理人运动对收到的观察结果的影响。 AIPPMS问题通过要求代理的原因共同出现感应和移动的影响，同时平衡资源约束与信息目标，从而增加了额外的复杂性。我们将AIPPMS问题作为一种信念马尔可夫决策过程，并具有高斯流程信念，并使用在线计划中使用顺序的贝叶斯优化方法来解决它。我们的方法始终优于以前的AIPPMS解决方案，这几乎将几乎每个实验中获得的平均奖励增加了一倍，同时还将根平方的错误在环境信念中减少了50％。我们完全开放我们的实施方式，以帮助进一步开发和比较。

信息性规划试图指导机器人的一系列动作，以收集最大信息的数据以映射大环境或学习动态系统。信息规划中的现有工作主要侧重于提出新规划者，并将其应用于各种机器人应用，如环境监测，自主勘探和系统识别。信息规划人员优化了概率模型给出的目标，例如，高斯过程回归。在实践中，该模型可以很容易受到无处不在的传感异常值的影响，导致误导目标。直接的解决方案是使用搁板的异常值检测器过滤出传感数据流中的异常值。但是，信息性样本也根据定义稀缺，因此它们可能被错误地筛选出来。在本文中，我们提出了一种方法来使机器人能够重新访问除了优化信息规划目标之外对异常值进行采样的位置。通过这样做，机器人可以在异常值附近收集更多样本，并更新异常值检测器以减少误报的数量。这是通过在蒙特卡罗树搜索的帕累托变体上设计一个新目标来实现的。我们证明所提出的框架可以实现比仅应用异常值探测器更好的性能。

有效计划的能力对于生物体和人造系统都是至关重要的。在认知神经科学和人工智能（AI）中广泛研究了基于模型的计划和假期，但是从不同的角度来看，以及难以调和的考虑（生物现实主义与可伸缩性）的不同意见（生物现实主义与可伸缩性）。在这里，我们介绍了一种新颖的方法来计划大型POMDP（Active Tree search（ACT）），该方法结合了神经科学中领先的计划理论的规范性特征和生物学现实主义（主动推论）和树木搜索方法的可扩展性AI。这种统一对两种方法都是有益的。一方面，使用树搜索可以使生物学接地的第一原理，主动推断的方法可应用于大规模问题。另一方面，主动推理为探索 - 开发困境提供了一种原则性的解决方案，该解决方案通常在树搜索方法中以启发性解决。我们的模拟表明，ACT成功地浏览了对基于抽样的方法，需要自适应探索的问题以及大型POMDP问题“ RockSample”的二进制树，其中ACT近似于最新的POMDP解决方案。此外，我们说明了如何使用ACT来模拟人类和其他解决大型计划问题的人类和其他动物的神经生理反应（例如，在海马和前额叶皮层）。这些数值分析表明，主动树搜索是神经科学和AI计划理论的原则性实现，既具有生物现实主义和可扩展性。

嘈杂的传感，不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程（POMDP）提供了一个原则上的数学框架，用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中，它看到了许多成功的应用程序，涵盖了本地化和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距，以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征，并将它们与POMDP框架的数学和算法属性联系起来，以进行有效的建模和解决方案。对于从业者来说，调查提供了一些关键任务特征，以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师，该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并指出了有希望的新方向进行进一步研究。

跨越多个领域的系统的自主权水平正在提高，但是这些系统仍然经历故障。减轻失败风险的一种方法是整合人类对自治系统的监督，并依靠人类在自治失败时控制人类。在这项工作中，我们通过行动建议制定了一种协作决策的方法，该建议在不控制系统的情况下改善行动选择。我们的方法通过通过建议合并共享的隐式信息来修改代理商的信念，并以比遵循建议的行动遵循更少的建议，以更少的建议来利用每个建议。我们假设协作代理人共享相同的目标，并通过有效的行动进行交流。通过假设建议的行动仅取决于国家，我们可以将建议的行动纳入对环境的独立观察。协作环境的假设使我们能够利用代理商的政策来估计行动建议的分布。我们提出了两种使用建议动作的方法，并通过模拟实验证明了该方法。提出的方法可以提高性能，同时对次优的建议也有鲁棒性。

主动同时定位和映射（SLAM）是规划和控制机器人运动以构建周围环境中最准确，最完整的模型的问题。自从三十多年前出现了积极感知的第一项基础工作以来，该领域在不同科学社区中受到了越来越多的关注。这带来了许多不同的方法和表述，并回顾了当前趋势，对于新的和经验丰富的研究人员来说都是非常有价值的。在这项工作中，我们在主动大满贯中调查了最先进的工作，并深入研究了仍然需要注意的公开挑战以满足现代应用程序的需求。为了实现现实世界的部署。在提供了历史观点之后，我们提出了一个统一的问题制定并审查经典解决方案方案，该方案将问题分解为三个阶段，以识别，选择和执行潜在的导航措施。然后，我们分析替代方法，包括基于深入强化学习的信念空间规划和现代技术，以及审查有关多机器人协调的相关工作。该手稿以讨论新的研究方向的讨论，解决可再现的研究，主动的空间感知和实际应用，以及其他主题。

在本文中，我们为具有异质传感器的机器人团队提供了在线自适应计划策略，以使用学习的模型进行决策模型从潜在空间领域进行采样。当前的机器人抽样方法试图收集有关可观察到的空间场的信息。但是，许多应用程序，例如环境监测和精确农业，都涉及不直接观察或衡量昂贵的现象，称为潜在现象。在我们的方法中，我们试图通过使用具有异质传感器的机器人团队有效地采样可观察到的空间场来实时推理潜在现象，在这种空间场中，每个机器人都有一个独特的传感器来测量不同可观察的场。信息增益是使用从可观察到的空间场映射到潜在现象的学习模型来估计的。该模型捕获了关系中的不确定性，以允许信息理论措施。此外，我们明确考虑可观察到的空间场之间的相关性，从而捕获了观察结果并非独立的传感器类型之间的关系。我们表明，可以学习这些相关性，并研究学习相关模型对我们采样方法性能的影响。通过我们的定性和定量结果，我们说明了经验学习的相关性提高了团队的整体抽样效率。我们使用在魁北克的Lac Hertel上收集的传感器测量数据集模拟我们的方法，我们可以公开使用。

Partially observable Markov decision processes (POMDPs) provide a flexible representation for real-world decision and control problems. However, POMDPs are notoriously difficult to solve, especially when the state and observation spaces are continuous or hybrid, which is often the case for physical systems. While recent online sampling-based POMDP algorithms that plan with observation likelihood weighting have shown practical effectiveness, a general theory characterizing the approximation error of the particle filtering techniques that these algorithms use has not previously been proposed. Our main contribution is bounding the error between any POMDP and its corresponding finite sample particle belief MDP (PB-MDP) approximation. This fundamental bridge between PB-MDPs and POMDPs allows us to adapt any sampling-based MDP algorithm to a POMDP by solving the corresponding particle belief MDP, thereby extending the convergence guarantees of the MDP algorithm to the POMDP. Practically, this is implemented by using the particle filter belief transition model as the generative model for the MDP solver. While this requires access to the observation density model from the POMDP, it only increases the transition sampling complexity of the MDP solver by a factor of $\mathcal{O}(C)$, where $C$ is the number of particles. Thus, when combined with sparse sampling MDP algorithms, this approach can yield algorithms for POMDPs that have no direct theoretical dependence on the size of the state and observation spaces. In addition to our theoretical contribution, we perform five numerical experiments on benchmark POMDPs to demonstrate that a simple MDP algorithm adapted using PB-MDP approximation, Sparse-PFT, achieves performance competitive with other leading continuous observation POMDP solvers.

本文主要研究范围传感机器人在置信度富的地图（CRM）中的定位和映射，这是一种持续信仰的密集环境表示，然后扩展到信息理论探索以减少姿势不确定性。大多数关于主动同时定位和映射（SLAM）和探索的作品始终假设已知的机器人姿势或利用不准确的信息指标来近似姿势不确定性，从而导致不知名的环境中的勘探性能和效率不平衡。这激发了我们以可测量的姿势不确定性扩展富含信心的互信息（CRMI）。具体而言，我们为CRMS提出了一种基于Rao-Blackwellized粒子过滤器的定位和映射方案（RBPF-CLAM），然后我们开发了一种新的封闭形式的加权方法来提高本地化精度而不扫描匹配。我们通过更准确的近似值进一步计算了使用加权颗粒的不确定的CRMI（UCRMI）。仿真和实验评估显示了在非结构化和密闭场景中提出的方法的定位准确性和探索性能。

对于许多强化学习（RL）应用程序，指定奖励是困难的。本文考虑了一个RL设置，其中代理仅通过查询可以询问可以的专家来获取有关奖励的信息，例如，评估单个状态或通过轨迹提供二进制偏好。从如此昂贵的反馈中，我们的目标是学习奖励的模型，允许标准RL算法实现高预期的回报，尽可能少的专家查询。为此，我们提出了信息定向奖励学习（IDRL），它使用奖励的贝叶斯模型，然后选择要最大化信息增益的查询，这些查询是有关合理的最佳策略之间的返回差异的差异。与针对特定类型查询设计的先前主动奖励学习方法相比，IDRL自然地适应不同的查询类型。此外，它通过将焦点转移降低奖励近似误差来实现类似或更好的性能，从而降低奖励近似误差，以改善奖励模型引起的策略。我们支持我们的调查结果，在多个环境中进行广泛的评估，并具有不同的查询类型。

Building an AI agent that can design on its own has been a goal since the 1980s. Recently, deep learning has shown the ability to learn from large-scale data, enabling significant advances in data-driven design. However, learning over prior data limits us only to solve problems that have been solved before and biases data-driven learning towards existing solutions. The ultimate goal for a design agent is the ability to learn generalizable design behavior in a problem space without having seen it before. We introduce a self-learning agent framework in this work that achieves this goal. This framework integrates a deep policy network with a novel tree search algorithm, where the tree search explores the problem space, and the deep policy network leverages self-generated experience to guide the search further. This framework first demonstrates an ability to discover high-performing generative strategies without any prior data, and second, it illustrates a zero-shot generalization of generative strategies across various unseen boundary conditions. This work evaluates the effectiveness and versatility of the framework by solving multiple versions of two engineering design problems without retraining. Overall, this paper presents a methodology to self-learn high-performing and generalizable problem-solving behavior in an arbitrary problem space, circumventing the needs for expert data, existing solutions, and problem-specific learning.

Rather than augmenting rewards with penalties for undesired behavior, Constrained Partially Observable Markov Decision Processes (CPOMDPs) plan safely by imposing inviolable hard constraint value budgets. Previous work performing online planning for CPOMDPs has only been applied to discrete action and observation spaces. In this work, we propose algorithms for online CPOMDP planning for continuous state, action, and observation spaces by combining dual ascent with progressive widening. We empirically compare the effectiveness of our proposed algorithms on continuous CPOMDPs that model both toy and real-world safety-critical problems. Additionally, we compare against the use of online solvers for continuous unconstrained POMDPs that scalarize cost constraints into rewards, and investigate the effect of optimistic cost propagation.

主动位置估计（APE）是使用一个或多个传感平台本地化一个或多个目标的任务。 APE是搜索和拯救任务，野生动物监测，源期限估计和协作移动机器人的关键任务。 APE的成功取决于传感平台的合作水平，他们的数量，他们的自由度和收集的信息的质量。 APE控制法通过满足纯粹剥削或纯粹探索性标准，可以实现主动感测。前者最大限度地减少了位置估计的不确定性;虽然后者驱动了更接近其任务完成的平台。在本文中，我们定义了系统地分类的主要元素，并批判地讨论该域中的最新状态。我们还提出了一个参考框架作为对截图相关的解决方案的形式主义。总体而言，本调查探讨了主要挑战，并设想了本地化任务的自主感知系统领域的主要研究方向。促进用于搜索和跟踪应用的强大主动感测方法的开发也有益。

通过连续行动解决部分可观察到的马尔可夫决策过程（POMDP）是具有挑战性的，尤其是对于高维操作空间。为了减轻这一困难，我们提出了一种新的基于采样的在线POMDP求解器，称为使用Voronoi Trees（Advt）的自适应离散化。它结合使用蒙特卡洛树搜索与动作空间的自适应离散化以及乐观的优化，以有效地采样高维连续的动作空间并计算最佳动作。具体而言，我们使用称为Voronoi树的分层分区来适应每个采样信念的动作空间。 Voronoi树是一种二进制空间分区（BSP），它隐式地将单元格的分区保留为从单元中采样的两个点的伏诺图图。这种分区策略可以保持分区和估计每个细胞的大小的成本，即使在高维空间中，需要许多采样点才能覆盖空间。 Advt使用单元格的估计尺寸形成单元的动作值的上限结合，进而使用上等信心来指导蒙特卡洛树搜索扩展并进一步离散动作空间。该策略使Advt能够更好地利用动作空间中的本地信息，从而导致动作空间离散化更具适应性，因此与现有求解器相比，计算良好的POMDP解决方案的效率更高。对四种基准问题的模拟实验表明，与最新的连续作用POMDP求解器相比，ADVT优于高维连续作用空间的表现要好于高维连续的动作空间。

这项工作研究了以下假设：与人类驾驶状态的部分可观察到的马尔可夫决策过程（POMDP）计划可以显着提高自动高速公路驾驶的安全性和效率。我们在模拟场景中评估了这一假设，即自动驾驶汽车必须在快速连续中安全执行三个车道变化。通过观测扩大（POMCPOW）算法，通过部分可观察到的蒙特卡洛计划获得了近似POMDP溶液。这种方法的表现优于过度自信和保守的MDP基准，匹配或匹配效果优于QMDP。相对于MDP基准，POMCPOW通常将不安全情况的速率降低了一半或将成功率提高50％。

在RL的许多实际应用中，观察来自环境的状态过渡是昂贵的。例如，在核聚变的等离子体控制问题中，计算给定的状态对对的下一个状态需要查询昂贵的过渡功能，这可以导致许多小时的计算机模拟或美元科学研究。这种昂贵的数据收集禁止应用标准RL算法，该算法通常需要大量观察来学习。在这项工作中，我们解决了有效地学习策略的问题，同时为转换函数进行最小数量的状态动作查询。特别是，我们利用贝叶斯最优实验设计的想法，以指导选择国家行动查询以获得高效学习。我们提出了一种采集功能，该函数量化了状态动作对将提供多少信息对Markov决策过程提供的最佳解决方案。在每次迭代时，我们的算法最大限度地提高了该采集功能，选择要查询的最具信息性的状态动作对，从而产生数据有效的RL方法。我们试验各种模拟的连续控制问题，并显示我们的方法学习最佳政策，最高$ 5 $ - $ 1,000 \倍的数据，而不是基于模型的RL基线，10 ^ 3美元 - $ 10 ^ 5 \ times比无模型RL基线更少的数据。我们还提供了几种消融比较，这指出了从获得数据的原理方法产生的大量改进。

Representing and reasoning about uncertainty is crucial for autonomous agents acting in partially observable environments with noisy sensors. Partially observable Markov decision processes (POMDPs) serve as a general framework for representing problems in which uncertainty is an important factor. Online sample-based POMDP methods have emerged as efficient approaches to solving large POMDPs and have been shown to extend to continuous domains. However, these solutions struggle to find long-horizon plans in problems with significant uncertainty. Exploration heuristics can help guide planning, but many real-world settings contain significant task-irrelevant uncertainty that might distract from the task objective. In this paper, we propose STRUG, an online POMDP solver capable of handling domains that require long-horizon planning with significant task-relevant and task-irrelevant uncertainty. We demonstrate our solution on several temporally extended versions of toy POMDP problems as well as robotic manipulation of articulated objects using a neural perception frontend to construct a distribution of possible models. Our results show that STRUG outperforms the current sample-based online POMDP solvers on several tasks.

机器人对未知环境的探索从根本上是一个不确定性下决策的问题，在这种情况下，机器人必须考虑传感器测量，本地化，动作执行以及许多其他因素的不确定性。对于大规模勘探应用，自治系统必须克服依次确定哪些环境区域的挑战，可以探索哪些区域，同时安全地评估与障碍和危险地形相关的风险。在这项工作中，我们提出了一个风险意识的元级决策框架，以平衡与本地和全球勘探相关的权衡。元级决策是基于经典的等级覆盖计划者，通过在本地和全球政策之间进行切换，其总体目标是选择最有可能在随机环境中最大化奖励的政策。我们使用有关环境历史，穿术风险和动力学约束的信息，以推理成功执行本地和全球政策之间的策略执行的可能性。我们已经在模拟和各种大规模现实世界硬件测试中验证了解决方案。我们的结果表明，通过平衡本地和全球探索，我们可以更有效地显着探索大规模的环境。

受约束的部分可观察到的马尔可夫决策过程（CPOMDP）已用于模拟各种现实现象。但是，众所周知，它们很难解决最优性，并且只有几种近似方法来获得高质量的解决方案。在这项研究中，我们将基于网格的近似值与线性编程（LP）模型结合使用来生成CPOMDP的近似策略。我们考虑了五个CPOMDP问题实例，并对其有限和无限的地平线配方进行了详细的数值研究。我们首先通过使用精确溶液方法进行比较分析来建立近似无约束的POMDP策略的质量。然后，我们显示了基于LP的CPOMDP解决方案方法的性能，用于不同的问题实例的不同预算水平（即成本限制）。最后，我们通过应用确定性政策约束来展示基于LP的方法的灵活性，并研究这些约束对收集的奖励和CPU运行时间的影响。我们的分析表明，LP模型可以有效地为有限和无限的地平线问题生成近似策略，同时提供了将各种其他约束结合到基础模型中的灵活性。

本文提出了一种以完全分布式方式工作的协同环境学习算法。多机器人系统比单个机器人更有效，但它涉及以下挑战：1）使用多个机器人在线分布式学习环境地图; 2）基于学习地图的安全和有效的探索路径的产生; 3）对机器人数量的维持能力。为此，我们将整个过程划分为环境学习和路径规划的两个阶段。在每个阶段应用分布式算法并通过相邻机器人之间的通信组合。环境学习算法使用分布式高斯过程，路径规划算法使用分布式蒙特卡罗树搜索。因此，我们构建一个可扩展系统，而无需对机器人数量的约束。仿真结果证明了所提出的系统的性能和可扩展性。此外，基于实际数据集的仿真验证了我们算法在更现实的方案中的实用程序。