我们研究了覆盖的阶段 - 避免多个代理的动态游戏,其中多个代理相互作用,并且每种希望满足不同的目标条件,同时避免失败状态。 Reach-避免游戏通常用于表达移动机器人运动计划中发现的安全关键最优控制问题。虽然这些运动计划问题存在各种方法,但我们专注于找到时间一致的解决方案,其中计划未来的运动仍然是最佳的,尽管先前的次优行动。虽然摘要,时间一致性封装了一个非常理想的财产:即使机器人早期从计划发出的机器人的运动发散,即,由于例如内在的动态不确定性或外在环境干扰,即使机器人的运动分歧,时间一致的运动计划也保持最佳。我们的主要贡献是一种计算 - 避免多种代理的算法算法,避免呈现时间一致的解决方案。我们展示了我们在两位和三位玩家模拟驾驶场景中的方法,其中我们的方法为所有代理商提供了安全控制策略。
translated by 谷歌翻译
我们考虑战略设置,其中几个用户在重复的在线互动中聘用,辅助最小化的代理商代表他们反复发挥“游戏”。我们研究了代理人的重复游戏的动态和平均结果,并将其视为诱导用户之间的元游戏。我们的主要焦点是用户可以在此元游戏中从“操纵”他们自己的代理商中可以受益于他们自己的代理商。我们正式定义了普通游戏的这种“用户代理元荟萃游戏”模型,讨论了自动化代理动态的不同概念下的属性,并分析了2x2游戏中用户的均衡,其中动态收敛到a单均衡。
translated by 谷歌翻译
我们研究多个代理商在多目标环境的同时学习的问题。具体来说,我们考虑两种药剂重复播放一个多目标的正常形式的游戏。在这样的游戏,从联合行动所产生的收益都向量值。以基于效用的方法,我们假设效用函数存在映射向量标公用事业和考虑旨在最大限度地提高预期收益载体的效用代理。作为代理商不一定知道他们的对手的效用函数或策略,他们必须学会互动的最佳策略对方。为了帮助代理商在适当的解决办法到达,我们介绍四种新型偏好通信协议双方的合作以及自身利益的沟通。每一种方法描述了一个代理在他们的行动以及如何另一代理响应通信偏好的特定协议。这些协议是一组对不沟通基线代理5个标杆游戏随后对其进行评估。我们发现,偏好通信可以彻底改变学习的过程,并导致其没有在此设置先前观测环纳什均衡的出现。另外,还要在那里代理商必须学会当通信的通信方案。对于与纳什均衡游戏的代理,我们发现通信可以是有益的,但很难知道什么时候剂有不同的最佳平衡。如果不是这种情况,代理变得冷漠通信。在游戏没有纳什均衡,我们的结果表明,整个学习率的差异。当使用更快的学习者,我们观察到明确的沟通,在50%左右的时间变得越来越普遍,因为它可以帮助他们在学习的妥协联合政策。较慢的学生保留这种模式在较小的程度,但显示增加的冷漠。
translated by 谷歌翻译
在本文中,我们提出了连续时间游戏理论镜中下降(MD)动态的二阶扩展,称为MD2,其收敛于MED(但不一定是严格的)变分性稳定状态(VSS)而不使用常见辅助技术,如平均或折扣。我们表明MD2在轻微修改后享有无悔的趋势以及对强大的VSS的指数汇率。此外,MD2可用于导出许多新颖的原始空间动态。最后,使用随机近似技术,我们提供了对内部仅噪声的离散时间MD2的收敛保证。提供了所选模拟以说明我们的结果。
translated by 谷歌翻译
\ EMPH {人工智能}(AI)系统越来越多地参与影响我们生活的决策,确保自动决策是公平的,道德已经成为最优先事项。直观地,我们觉得类似人的决定,人工代理人的判断应该必然地以一些道德原则为基础。然而,如果有关决定所基础的所有有关因素的全部信息,可以真正伦理(人类或人为)和公平(根据任何道德理论)和公平(根据公平的任何概念)的规定在决策时。这提出了两个问题:(1)在设置中,我们依赖使用通过监督学习获得的分类器的AI系统,存在一些感应/泛化,即使在学习期间也可能不存在一些相关属性。 (2)根据游戏揭示任何 - 无论是道德的纯策略都不可避免地易于剥削,建模这些决定。此外,在许多游戏中,只能通过使用混合策略来获得纳什均衡,即实现数学上最佳结果,决定必须随机化。在本文中,我们认为,在监督学习设置中,存在至少以及确定性分类器的随机分类器,因此在许多情况下可能是最佳选择。我们支持我们的理论效果,具有一个实证研究,表明对随机人工决策者的积极社会态度,并讨论了与使用与当前的AI政策和标准化举措相关的随机分类器相关的一些政策和实施问题。
translated by 谷歌翻译
大多数算法研究到目前为止,多智能经纪信息设计的研究专注于没有代理商外部性的限制情况;一些例外调查了真正的战略游戏,如零和游戏和二价格拍卖,但只关注最佳的公共信令。本文启动了\ emph {public}和\ emph {privy}信号传导的算法信息设计,其中of基本的外部性,即单例拥塞游戏,在今天的数字经济中的应用范围广,机器调度,路由,对于公共和私人信令等,我们表明,当资源数量是常数时,可以有效地计算最佳信息设计。为了我们的知识,这是一系列高效的\ EMPH {精确}算法,用于在简明地代表的许多玩家游戏中的信息设计。我们的结果符合新颖的技术,如开发某些“减少形式”,以便在公共信令中紧凑地表征均衡或代表私人信令中的球员边际信仰。当有许多资源时,我们会显示计算难扰性结果。为了克服多个均衡问题,这里我们介绍了均衡 - \ EMPH {忽视}硬度的新概念,这条规定了计算良好信令方案的任何可能性,而不管均衡选择规则如何。
translated by 谷歌翻译
密集的安全导航,城市驾驶环境仍然是一个开放的问题和一个活跃的研究领域。与典型的预测 - 计划方法不同,游戏理论规划考虑了一辆车的计划如何影响另一个车辆的行为。最近的工作表明,在具有非线性目标和约束的普通和游戏中找到当地纳什均衡所需的时间重大改进。当狡辩到驾驶时,这些作品假设场景中的所有车辆一起玩游戏,这可能导致密集流量的难治性计算时间。我们通过假设代理商在他们的观察附近玩游戏的代理商来制定分散的游戏理论规划方法,我们认为我们认为是人类驾驶的更合理的假设。游戏是并行播放的,以进行交互图的所有强烈连接的组件,显着减少了每个游戏中的玩家和约束的数量,从而减少了规划所需的时间。我们证明我们的方法可以通过比较智能驱动程序模型和集中式游戏理论规划在互动数据集中的环形交叉路口时,通过比较智能驱动程序模型和集中式游戏理论规划的性能来实现无碰撞,高效的驾驶。我们的实现可在http://github.com/sisl/decnashplanning获取。
translated by 谷歌翻译
学习问题通常表现出一个有趣的反馈机制,其中人口数据对竞争决策者的行为作出反应。本文为这种现象制定了一种新的游戏理论框架,称为多人执行预测。我们专注于两个不同的解决方案概念,即(i)表现稳定稳定的均衡和(ii)纳什均衡的比赛。后者均衡可以说是更具信息性的,但只有在游戏是单调时才有效地发现。我们表明,在温和的假设下,可以通过各种算法有效地发现所需稳定的均衡,包括重复再培训和重复(随机)梯度播放。然后,我们为游戏的强大单调性建立透明的充分条件,并使用它们开发用于查找纳什均衡的算法。我们研究了衍生免费方法和自适应梯度算法,其中每个玩家在学习其分发和梯度步骤的学习的分配和梯度步骤之间交替。合成和半合成数值实验说明了结果。
translated by 谷歌翻译
无罪化的交叉路口驾驶对自动车辆有挑战性。为了安全有效的性能,应考虑相互作用的车辆的多样化和动态行为。基于游戏理论框架,提出了一种用于无罪交叉口的自动决策的人类收益设计方法。展望理论被引入将客观碰撞风险映射到主观驾驶员收益,并且驾驶风格可以量化为安全和速度之间的权衡。为了考虑相互作用的动态,进一步引入了概率模型来描述司机的加速趋势。仿真结果表明,该决策算法可以描述极限情况下双车交互的动态过程。统一采样案例模拟的统计数据表明,安全互动的成功率达到98%,而且还可以保证速度效率。在四臂交叉路口的四车辆交互情景中进一步应用并验证了所提出的方法。
translated by 谷歌翻译
主导的行动是自然的(也许是最简单的)多代理概括的子最优动作,如标准单代理决策中的那样。因此类似于标准强盗学习,多代理系统中的基本学习问题是如果他们只能观察到他们播放动作的回报的嘈杂的强盗反馈,那么代理商可以学会有效地消除所有主导的动作。令人惊讶的是,尽管有一个看似简单的任务,我们展示了一个相当负面的结果;也就是说,标准没有遗憾的算法 - 包括整个双平均算法的家庭 - 可呈指数级地取消逐渐消除所有主导的行动。此外,具有较强的交换后悔的算法也遭受了类似的指数低效率。为了克服这些障碍,我们开发了一种新的算法,调整EXP3,历史奖励减少(exp3-DH); Exp3-DH逐渐忘记仔细量身定制的速率。我们证明,当所有代理运行Exp3-DH(A.K.A.,在多代理学习中自行发行)时,所有主导的行动都可以在多项多轮内迭代地消除。我们的实验结果进一步证明了Exp3-DH的效率,即使是那些专门用于在游戏中学习的最先进的强盗算法,也无法有效地消除所有主导的行动。
translated by 谷歌翻译
在常见和冲突的利益(混合动机环境)最近在多智能经纪人学习中获得了相当大的关注的情况下,在普通和冲突的环境中的合作。然而,通常研究的混合动机环境具有单一的合作结果,所有代理商可以同意。许多现实世界的多代理环境是讨价还价的问题(BPS):它们有几个帕累托最优的收益档案,代理具有冲突的偏好。我们认为当规范性分歧的空间导致存在多个竞争合作均衡的空间时,典型的合作诱导学习算法未能在BPS中合作,并经过凭经验说明这个问题。要纠正问题,我们介绍了规范适应性政策的概念。规范适应性政策能够根据不同情况下的不同规范表现,从而为解决规范性分歧的机会创造了机会。我们开发一类规范适应性政策,并在实验中展示,这些实验性显着增加了合作。然而,规范适应性无法解决从利用率和合作稳健性之间产生的基本权衡产生的残余议价失败。
translated by 谷歌翻译
人机互动和博弈论在相对隔离中,在彼此相对隔离三十年来发展了不同的信任理论。人机互动专注于信任模型的潜在尺寸,层,相关性和前一种,而游戏理论集中在奇异信任决策背后的心理学和策略。这两个领域都努力了解过度信任和信任校准,以及如何衡量信任期望,风险和脆弱性。本文介绍了关闭这些字段之间的差距的初始步骤。使用相互依存理论和社会心理学的见解和实验结果,这项工作开始分析大型游戏理论竞争数据集,以证明各种人类信任交互的最强预测因子是承诺和信任的相互依存导出的变量我们开发了。然后,它提出了对人类主题的第二次研究,以获得更现实的信任情景,涉及人类和人机信任。在竞争数据和我们的实验数据中,我们证明了相互依存的指标更好地捕获了博弈论所提出的理性或规范性心理推理的社会“超级”。这项工作进一步探讨了相互依存的理论 - 以其对承诺,胁迫和合作的关注 - 解决了人机信托内的许多拟议的基础构建和前所,在机器人取代人类时缩小了新的光线的关键相似之处和差异在信任互动中。
translated by 谷歌翻译
我们研究了在几个课程之一的未知会员的对手对对手的反复游戏中保证对反对者的低遗憾的问题。我们添加了我们的算法是非利用的约束,因为对手缺乏使用算法的激励,我们无法实现超过一些“公平”价值的奖励。我们的解决方案是一组专家算法(LAFF),该算法(LAFF)在一组子算法内搜索每个对手课程的最佳算法,并在检测对手剥削证据时使用惩罚政策。通过依赖对手课的基准,我们展示了除了剥削者之外的可能对手统一地掩盖了Lublinear的遗憾,我们保证对手有线性遗憾。为了我们的知识,这项工作是第一个在多智能经纪人学习中提供遗憾和非剥削性的保证。
translated by 谷歌翻译
处理上下文依赖知识导致了上下文概念的不同形式化。其中包括上下文化的知识存储库(CKR)框架,它扎根于描述逻辑,而是强烈地与逻辑程序的关键联系,特别是逻辑程序和应答设置编程(ASP)。 CKR框架迎合了在上下文中具有缺陷的公理和例外的推理,这在覆盖范围(特异性)层级中的上下文中扩展到知识继承。然而,该方法仅支持这种单一类型的上下文关系,并且由于例外情况下的模型偏好的非普通问题而仅适用于受限制的层次结构。在本文中,我们克服了这些限制,并呈现了CKR层次的概括到多个上下文关系,以及他们对不可行的公理和偏好的解释。为了支持推理,我们使用带有代数措施的ASP,这是最近的ASP与加权公式的延伸,允许一个允许根据命题原子的真实值将数量与解释联系起来。值得注意的是,我们表明,对于具有多个上下文关系的CKR层次结构的相关片段,可以使用流行的ASPrin框架实现查询应答。代数措施方法更强大,并实现了例如。通过CKRS的认知查询推理,它打开了在其他应用中使用定量ASP扩展的有趣的视角。
translated by 谷歌翻译
钢筋学习(RL)最近在许多人工智能应用中取得了巨大成功。 RL的许多最前沿应用涉及多个代理,例如,下棋和去游戏,自主驾驶和机器人。不幸的是,古典RL构建的框架不适合多代理学习,因为它假设代理的环境是静止的,并且没有考虑到其他代理的适应性。在本文中,我们介绍了动态环境中的多代理学习的随机游戏模型。我们专注于随机游戏的简单和独立学习动态的发展:每个代理商都是近视,并为其他代理商的战略选择最佳响应类型的行动,而不与对手进行任何协调。为随机游戏开发收敛最佳响应类型独立学习动态有限的进展。我们展示了我们最近提出的简单和独立的学习动态,可保证零汇率随机游戏的融合,以及对此设置中的动态多代理学习的其他同时算法的审查。一路上,我们还重新审视了博弈论和RL文学的一些古典结果,以适应我们独立的学习动态的概念贡献,以及我们分析的数学诺克特。我们希望这篇审查文件成为在博弈论中研究独立和自然学习动态的重新训练的推动力,对于具有动态环境的更具挑战性的环境。
translated by 谷歌翻译
标准的游戏理论解答概念,纳什均衡假设所有球员都表现得合理。如果我们遵循纳什均衡和对手是非理性的(或遵循不同的纳什均衡的策略),那么我们可能会获得极低的回报。另一方面,Maximin策略假定所有反对代理都在播放以最大限度地减少我们的收益(即使它不是最佳利益),并确保最大可能的最坏情况,但导致非常保守的戏剧。我们提出了一种新的解决方案概念,称为安全均衡,模拟对手的行为与指定概率的表现合理,并且潜在的任意表现在剩下的概率上。我们证明所有战略形式游戏中存在安全均衡(对于合理性参数的所有可能值),并证明其计算是PPAD-HARD。我们提出了用于计算2和$ N $ -Player游戏中的安全均衡的精确算法,以及可缩放的近似算法。
translated by 谷歌翻译
最近的多人游戏的理论和应用方面的最新进步,从电子运动到多种子体生成的对抗网络,我们专注于团队零和游戏中的最大优化。在这类游戏中,玩家分为两支队伍,在同一支队内等等,对手团队的相反标志。与TextBook二手零和游戏不同,在我们的类中找到纳什均衡可以被证明是CLS-Hard,即,它不太可能具有用于计算NASH均衡的多项式时间算法。此外,在该广义框架中,使用梯度下降上升(GDA),其乐观变体和额外梯度,我们建立了即使是渐近的最后一次迭代或时间平均收敛到纳什均衡。具体来说,我们展示了一个诱导效用是\ emph {non}的团队游戏系列\ \ emph {non}有吸引力的\ {per-se}混合的纳什均衡,作为底层优化景观的严格鞍点。利用控制理论的技术,我们通过设计局部收敛的修改GDA来补充这些负面结果,以纳入均衡。最后,我们讨论了我们的框架与AI架构的联系,其中与多助理生成对冲网络这样的团队竞争结构。
translated by 谷歌翻译
在博弈论中的精髓结果是von Neumann的Minmax定理,这些定理使得零和游戏承认基本上独特的均衡解决方案。古典学习结果对本定理构建,以表明在线无后悔动态会聚到零和游戏中的时间平均意义上的均衡。在过去几年中,一个关键的研究方向专注于表征这种动态的日常行为。一般结果在这个方向上表明,广泛的在线学习动态是循环的,并且在零和游戏中正式的Poincar {e}复发。在具有时间不变均衡的定期零和游戏的情况下,我们分析了这些在线学习行为的稳健性。该模型概括了通常的重复游戏制定,同时也是参与者之间反复竞争的现实和自然模型,这取决于外源性环境变化,如日期效果,周到一周的趋势和季节性。有趣的是,即使在最简单的这种情况下,也可能失败的时间平均收敛性,尽管有均衡是固定的。相比之下,使用新颖的分析方法,我们表明Poincar \'{E}尽管这些动态系统的复杂性,非自主性质,但是普及的复发概括。
translated by 谷歌翻译
我们专注于简单,一维的集体决策问题(通常被称为设施位置问题),并探索战略防护和比例公平的问题。我们为满足战略防护和不同程度的比例公平程度的机制提出了几种特征结果。我们还将其中一个机制描述为满足自然公平性和单调性性质的任何机制的独特均衡结果。最后,我们确定了战略和按比例公平机制,提供了满足相应公平公理的所有机制中的最佳福利最佳逼近。
translated by 谷歌翻译
我们考虑估算人类代理偏好的问题,从战略系统数据反复相互作用。最近,证明了一种称为“量子遗憾”的新估计方法,对人类代理的估计比假设代理是合理的并且达到纳什均衡的经典方法产生更准确的估计;然而,这种方法尚未与考虑人类戏剧行为方面的方法进行比较。在本文中,我们为此目的利用行为经济学的均衡概念,并询问它们与量子后悔和纳什均衡方法相比的操作。我们开发了基于建立的行为均衡模型的四种估计方法,从观察到的正常形式游戏数据中推断人类的公用事业。我们研究的均衡模型是量子响应平衡,动作采样平衡,回报采样平衡和脉冲平衡平衡。我们表明,在这些概念中的一些概念中,推断通过封闭式公式进行分析地实现,而在其他方面则在其他方面只能算法算法。我们使用2x2游戏的实验数据来评估这些行为均衡方法的估计成功。结果表明,它们产生的估计比纳什均衡的估计更准确。与量子后悔方法的比较表明,行为方法具有更好的击中率,但模量遗憾的方法在整体平均平均误差方面表现更好,我们讨论了方法之间的差异。
translated by 谷歌翻译