The SOTA algorithms for addressing QDec-POMDP issues, QDec-FP and QDec-FPS, are unable to effectively tackle problems that involve different types of sensing agents. We propose a new algorithm that addresses this issue by requiring agents to adopt the same plan if one agent is unable to take a sensing action but the other can. Our algorithm performs significantly better than both QDec-FP and QDec-FPS in these types of situations.

OW QMIX, CW QMIX, QTRAN, QMIX, and VDN are the state-of-the-art algorithms for solving Dec-POMDP domains. OW QMIX, CW QMIX, QTRAN, QMIX, and VDN failed to solve complex agents' cooperation domains such as box-pushing. We give a 2-stage algorithm to solve such problems. On 1st stage we solve single-agent problem (POMDP) and get an optimal policy traces. On 2nd stage we solve multi-agent problem (Dec-POMDP) with the single-agent optimal policy traces. Single-agent to multi-agent has a clear advantage over OW QMIX, CW QMIX, QTRAN, QMIX, and VDN on complex agents' cooperative domains.

在从同质机器人群到异构人类自治团队的多机构团队的运营中，可能会发生意外的事件。虽然对多代理任务分配问题的操作效率是主要目标，但决策框架必须足够聪明，可以用有限的资源来管理意外的任务负载。否则，操作效率将大幅下降，而超载的代理人面临不可预见的风险。在这项工作中，我们为多机构团队提供了一个决策框架，以通过分散的强化学习来考虑负载管理，以学习负载管理，并避免了不必要的资源使用。我们说明了负载管理对团队绩效的影响，并在示例场景中探索了代理行为。此外，在处理潜在的超负荷情况时，开发了一种衡量协作中的代理重要性的衡量标准。

在现实世界应用中，推理不完整的知识，传感，时间概念和数字约束的能力至关重要。尽管几个AI计划者能够处理其中一些要求，但它们主要限于特定类型的约束问题。本文提出了一种新的计划方法，该方法将临时计划构建结合在时间计划框架中，提供考虑数字约束和不完整知识的解决方案。我们建议对计划域定义语言（PDDL）进行较小的扩展，以模型（i）不完整，（ii）通过未知命题进行操作的知识传感动作，以及（iii）非确定性感应效应的可能结果。我们还引入了一组新的计划域来评估我们的求解器，该求解器在各种问题上表现出良好的性能。

嘈杂的传感，不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程（POMDP）提供了一个原则上的数学框架，用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中，它看到了许多成功的应用程序，涵盖了本地化和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距，以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征，并将它们与POMDP框架的数学和算法属性联系起来，以进行有效的建模和解决方案。对于从业者来说，调查提供了一些关键任务特征，以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师，该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并指出了有希望的新方向进行进一步研究。

Representing and reasoning about uncertainty is crucial for autonomous agents acting in partially observable environments with noisy sensors. Partially observable Markov decision processes (POMDPs) serve as a general framework for representing problems in which uncertainty is an important factor. Online sample-based POMDP methods have emerged as efficient approaches to solving large POMDPs and have been shown to extend to continuous domains. However, these solutions struggle to find long-horizon plans in problems with significant uncertainty. Exploration heuristics can help guide planning, but many real-world settings contain significant task-irrelevant uncertainty that might distract from the task objective. In this paper, we propose STRUG, an online POMDP solver capable of handling domains that require long-horizon planning with significant task-relevant and task-irrelevant uncertainty. We demonstrate our solution on several temporally extended versions of toy POMDP problems as well as robotic manipulation of articulated objects using a neural perception frontend to construct a distribution of possible models. Our results show that STRUG outperforms the current sample-based online POMDP solvers on several tasks.

具有多模式传感（AIPPMS）的自适应信息路径计划（AIPPMS）考虑了配备多个传感器的代理商的问题，每个传感器具有不同的感应精度和能量成本。代理商的目标是探索环境并在未知的，部分可观察到的环境中受到其资源约束的信息。先前的工作集中在不太一般的适应性信息路径计划（AIPP）问题上，该问题仅考虑了代理人运动对收到的观察结果的影响。 AIPPMS问题通过要求代理的原因共同出现感应和移动的影响，同时平衡资源约束与信息目标，从而增加了额外的复杂性。我们将AIPPMS问题作为一种信念马尔可夫决策过程，并具有高斯流程信念，并使用在线计划中使用顺序的贝叶斯优化方法来解决它。我们的方法始终优于以前的AIPPMS解决方案，这几乎将几乎每个实验中获得的平均奖励增加了一倍，同时还将根平方的错误在环境信念中减少了50％。我们完全开放我们的实施方式，以帮助进一步开发和比较。

本文介绍了一个混合在线的部分可观察到的马尔可夫决策过程（POMDP）计划系统，该系统在存在环境中其他代理商引入的多模式不确定性的情况下解决了自主导航的问题。作为一个特别的例子，我们考虑了密集的行人和障碍物中的自主航行问题。该问题的流行方法首先使用完整的计划者（例如，混合A*）生成一条路径，具有对不确定性的临时假设，然后使用基于在线树的POMDP求解器来解决问题的不确定性，并控制问题的有限方面（即沿着路径的速度）。我们提出了一种更有能力和响应的实时方法，使POMDP规划师能够控制更多的自由度（例如，速度和标题），以实现更灵活，更有效的解决方案。这种修改大大扩展了POMDP规划师必须推荐的国家空间区域，从而大大提高了在实时控制提供的有限计算预算中找到有效的推出政策的重要性。我们的关键见解是使用多Query运动计划技术（例如，概率路线图或快速行进方法）作为先验，以快速生成在有限的地平线搜索中POMDP规划树可能达到的每个状态的高效推出政策。我们提出的方法产生的轨迹比以前的方法更安全，更有效，即使在较长的计划范围内密集拥挤的动态环境中。

意图识别是促进多种代理系统中协作的重要步骤。现有工作主要侧重于单个代理设置中的意图识别，并使用描述模型，例如，使用描述性模型。贝叶斯网络，在识别过程中。在本文中，我们采用了一种规范的方法来模拟代理人的行为，其中他们的意图隐藏在实施计划。我们将地标引入行为模型，因此增强了识别多个代理的公共意图的信息特征。我们通过仅关注其计划中的动作序列来进一步改进模型，并提供用于识别和比较其意图的光模型。新模型在代理人互动中观察到的部分计划后，为分组代理商的共同意图提供了简单的方法。我们提供实验结果支持。

临时团队合作是设计可以与新队友合作而无需事先协调的研究问题的研究问题。这项调查做出了两个贡献：首先，它提供了对临时团队工作问题不同方面的结构化描述。其次，它讨论了迄今为止该领域取得的进展，并确定了临时团队工作中需要解决的直接和长期开放问题。

跨越多个领域的系统的自主权水平正在提高，但是这些系统仍然经历故障。减轻失败风险的一种方法是整合人类对自治系统的监督，并依靠人类在自治失败时控制人类。在这项工作中，我们通过行动建议制定了一种协作决策的方法，该建议在不控制系统的情况下改善行动选择。我们的方法通过通过建议合并共享的隐式信息来修改代理商的信念，并以比遵循建议的行动遵循更少的建议，以更少的建议来利用每个建议。我们假设协作代理人共享相同的目标，并通过有效的行动进行交流。通过假设建议的行动仅取决于国家，我们可以将建议的行动纳入对环境的独立观察。协作环境的假设使我们能够利用代理商的政策来估计行动建议的分布。我们提出了两种使用建议动作的方法，并通过模拟实验证明了该方法。提出的方法可以提高性能，同时对次优的建议也有鲁棒性。

我们介绍了Pogema（https://github.com/airi-institute/pogema）一个沙盒，用于挑战部分可观察到的多代理探路（PO-MAPF）问题。这是一个基于网格的环境，专门设计为灵活，可调和可扩展的基准。它可以针对各种PO-MAPF量身定制，这些PO-MAPF可以作为计划和学习方法及其组合的绝佳测试基础，这将使我们能够填补AI计划和学习之间的差距。

在本文中，我们提出了一种新的贝叶斯在线预测算法，用于局部可观察性（ATPO）下的Ad Hoc团队的问题设置，这使得与未知的队友执行未知任务的运行协作，而无需预先协调协议。与以前的作品不同，假设环境的完全可观察状态，ATPO使用代理商的观察来确定队友正在执行哪项任务的部分可观察性。我们的方法既不假设队友的行为也不是可见的，也不是环境奖励信号。我们在三个域中评估ATPO - 追踪域的两个修改版本，具有部分可观察性和过核域。我们的研究结果表明，ATPO在识别可能的任务中的大型文库中，在近乎最佳的时间内求助，以及在适应越来越大的问题尺寸方面可以进行高效的速度，可以有效和强大。

强化学习（RL）在很大程度上依赖于探索以从环境中学习并最大程度地获得观察到的奖励。因此，必须设计一个奖励功能，以确保从收到的经验中获得最佳学习。以前的工作将自动机和基于逻辑的奖励成型与环境假设相结合，以提供自动机制，以根据任务综合奖励功能。但是，关于如何将基于逻辑的奖励塑造扩大到多代理增强学习（MARL）的工作有限。如果任务需要合作，则环境将需要考虑联合状态，以跟踪其他代理，从而遭受对代理数量的维度的诅咒。该项目探讨了如何针对不同场景和任务设计基于逻辑的奖励成型。我们提出了一种针对半偏心逻辑基于逻辑的MARL奖励成型的新方法，该方法在代理数量中是可扩展的，并在多种情况下对其进行了评估。

在这项工作中，我们建立了对砂桩镶嵌的不均匀区域的解说中的自治控制的启发式和学习策略。我们将问题正式化为马尔可夫决策过程，设计了一个演示了代理环境交互的模拟，最后将我们的模拟器与真正的Dozer原型进行了比较。我们使用钢筋学习，行为克隆和对比学习的方法来培训混合政策。我们的培训代理AGPNET达到人力级性能，优于自主分级任务的当前最先进的机器学习方法。此外，我们的代理能够从随机情景中推广到看不见的世界问题。

了解强化学习（RL）代理的新兴行为可能很困难，因为这种代理通常使用高度复杂的决策程序在复杂的环境中进行训练。这引起了RL中解释性的多种方法，旨在调和可能在主体行为与观察者预期的行为之间产生的差异。最近的方法取决于域知识，这可能并非总是可用的，分析代理商的策略，或者是对基础环境的特定要素的分析，通常被建模为马尔可夫决策过程（MDP）。我们的主要主张是，即使基本的MDP尚不完全了解（例如，尚未准确地了解过渡概率），也没有由代理商维护（即，在使用无模型方法时），但仍可以利用它为自动生成解释。为此，我们建议使用以前在文献中使用的正式MDP抽象和转换来加快寻找最佳策略的搜索，以自动产生解释。由于这种转换通常基于环境的符号表示，因此它们可能代表了预期和实际代理行为之间差距的有意义的解释。我们正式定义了这个问题，建议一类可用于解释新兴行为的转换，并提出了有效搜索解释的方法。我们演示了一组标准基准测试的方法。

人类代理团队，这是一个问题，其中人类和自治机构合作实现一项任务，是人类AI协作的典型。为有效的合作，人类希望有一个有效的计划，而是在现实的情况下，他们可能难以计算由于认知限制的最佳计划。在这种情况下，具有许多计算资源的代理的指导可能是有用的。但是，如果代理人明确指导人类行为，人类可能会觉得他们已经失去了自主，并由代理商控制。因此，我们调查了通过代理人行为提供的隐性指导。通过这种指导，代理商以一种方式使人类能够易于找到合作任务的有效计划，然后可以改善计划。由于人类自愿改善了他们的计划，他或她保持自治。我们通过将贝叶斯思想理论集成到现有的协作规划算法中并通过行为实验进行了模拟了一个具有隐含指导，并通过隐性指导的行为实验证明了使人们能够在改善计划和保留自治之间保持平衡。

机器人对未知环境的探索从根本上是一个不确定性下决策的问题，在这种情况下，机器人必须考虑传感器测量，本地化，动作执行以及许多其他因素的不确定性。对于大规模勘探应用，自治系统必须克服依次确定哪些环境区域的挑战，可以探索哪些区域，同时安全地评估与障碍和危险地形相关的风险。在这项工作中，我们提出了一个风险意识的元级决策框架，以平衡与本地和全球勘探相关的权衡。元级决策是基于经典的等级覆盖计划者，通过在本地和全球政策之间进行切换，其总体目标是选择最有可能在随机环境中最大化奖励的政策。我们使用有关环境历史，穿术风险和动力学约束的信息，以推理成功执行本地和全球政策之间的策略执行的可能性。我们已经在模拟和各种大规模现实世界硬件测试中验证了解决方案。我们的结果表明，通过平衡本地和全球探索，我们可以更有效地显着探索大规模的环境。

强化学习（RL）在机器人中的应用通常受高数据需求的限制。另一方面，许多机器人场景中容易获得近似模型，使基于模型的方法，如规划数据有效的替代方案。尽管如此，这些方法的性能遭受了模型不精确或错误。从这个意义上讲，RL和基于模型的规划者的各个优势和弱点是。在目前的工作中，我们调查如何将两种方法集成到结合其优势的一个框架中。我们介绍了学习执行（L2E），从而利用近似计划中包含的信息学习有关计划的普遍政策。在我们的机器人操纵实验中，与纯RL，纯规划或基线方法相比，L2E在结合学习和规划的基线方法时表现出增加的性能。

Cooperative multi-agent reinforcement learning (MARL) has achieved significant results, most notably by leveraging the representation-learning abilities of deep neural networks. However, large centralized approaches quickly become infeasible as the number of agents scale, and fully decentralized approaches can miss important opportunities for information sharing and coordination. Furthermore, not all agents are equal -- in some cases, individual agents may not even have the ability to send communication to other agents or explicitly model other agents. This paper considers the case where there is a single, powerful, \emph{central agent} that can observe the entire observation space, and there are multiple, low-powered \emph{local agents} that can only receive local observations and are not able to communicate with each other. The central agent's job is to learn what message needs to be sent to different local agents based on the global observations, not by centrally solving the entire problem and sending action commands, but by determining what additional information an individual agent should receive so that it can make a better decision. In this work we present our MARL algorithm \algo, describe where it would be most applicable, and implement it in the cooperative navigation and multi-agent walker domains. Empirical results show that 1) learned communication does indeed improve system performance, 2) results generalize to heterogeneous local agents, and 3) results generalize to different reward structures.