对接系统对于在线多人游戏中创建公平匹配至关重要,这直接影响玩家的满足感和游戏体验。大多数对接系统在很大程度上取决于对玩家游戏技能的精确估计来构建公平的游戏。但是,新手的技能等级通常是不准确的,因为当前的对接评级算法需要大量游戏才能学习新玩家的真正技能。在早期阶段使用这些不可靠的技能得分通常会导致团队绩效方面的差异,这会导致负面的游戏体验。这被称为对接评级算法的“冷启动”问题。为了克服这个难题,本文提出了QuickSkill,这是一个基于深度学习的新手技能估算框架,以快速探究在线多人游戏中新玩家的能力。 QuickSkill提取了玩家最初的几款游戏中的顺序性能功能,以通过专用的神经网络来预测他/她的未来技能评级,从而在玩家的早期游戏阶段进行准确的技能估计。通过使用Quickskill进行对接,可以在最初的冷门时期大大改善游戏公平性。我们在离线和在线场景中都在流行的移动多人游戏中进行实验。使用两个现实世界中的匿名游戏数据集获得的结果表明,提议的QuickSkill提供了对新手游戏技能的精确估计,从而导致团队技能差异明显降低和更好的玩家游戏体验。据我们所知,提议的Quickskill是第一个解决传统技能评级算法的冷门问题的框架。
translated by 谷歌翻译
胜利预测对于了解电子竞技中的技能建模,团队合作和对接至关重要。在本文中,我们提出了GCN-WP,这是基于图形卷积网络的电子竞技的半监督胜利预测模型。该模型在一个赛季(1年)的过程中了解了电子竞技联盟的结构,并在另一个类似的联赛上做出了预测。该模型集成了有关比赛和玩家的30多个功能,并采用图形卷积根据他们的附近进行分类。与机器学习或LOL的技能评级模型相比,我们的模型可实现最先进的预测准确性。该框架是可以推广的,因此可以轻松地扩展到其他多人游戏在线游戏。
translated by 谷歌翻译
竞争性在线游戏使用评分系统进行对接;基于进步的算法可以根据他们玩游戏的结果来估计具有可解释评分的玩家的技能水平。但是,玩家的总体体验是由超出其游戏唯一结果的因素来影响的。在本文中,我们设计了从游戏统计信息到模拟玩家的几个功能,并创建了准确代表其行为和真实绩效水平的评分。然后,我们将行为评级的估计能力与通过三个主流评分系统创建的评分的估计能力进行了比较,通过预测竞争激烈的射击游戏类型的四种流行游戏模式中的玩家排名。我们的结果表明,行为等级在维持创建表示形式的解释性的同时提出了更准确的绩效估计。考虑玩家的演奏行为的不同方面和使用行为等级进行对接可能会导致对决,这些比赛与玩家的目标和兴趣更加一致,因此导致了更愉快的游戏体验。
translated by 谷歌翻译
在人类可能希望从这些系统中学习,与它们合作或作为合作伙伴互动的情况下,可以捕获类似人类行为的AI系统越来越有用。为了开发以人为导向的AI系统,预测人类行为(而不是预测最佳行动)的问题受到了广泛关注。现有的工作集中在总体意义上捕获人类行为,这可能会限制任何特定个人可以从与这些系统互动中获得的收益。我们通过开发国际象棋中人类行为的高度准确的预测模型来扩展这一工作。国际象棋是探索人类互动的一个丰富领域,因为它结合了一套独特的属性:AI系统在多年前实现了超人类的表现,但人类仍然与他们以及对手和准备工具紧密互动,并且有一种关于单个玩家游戏的大量记录数据。从迈亚(Maia)开始,该版本的Alphazero经过了对人类人群的培训,我们证明我们可以通过应用一系列微调方法来显着提高特定玩家的举动的预测准确性。此外,我们的个性化模型可用于执行风格测定法 - 预测谁采取了一组给定的动作 - 表明他们在个人层面上捕获了人类的决策。我们的工作展示了一种使AI系统更好地与个人行为保持一致的方法,这可能会导致人类互动的大量改善。
translated by 谷歌翻译
The highest grossing media franchise of all times, with over \$90 billion in total revenue, is Pokemon. The video games belong to the class of Japanese Role Playing Games (J-RPG). Developing a powerful AI agent for these games is very hard because they present big challenges to MinMax, Monte Carlo Tree Search and statistical Machine Learning, as they are vastly different from the well explored in AI literature games. An AI agent for one of these games means significant progress in AI agents for the entire class. Further, the key principles of such work can hopefully inspire approaches to several domains that require excellent teamwork under conditions of extreme uncertainty, including managing a team of doctors, robots or employees in an ever changing environment, like a pandemic stricken region or a war-zone. In this paper we first explain the mechanics of the game and we perform a game analysis. We continue by proposing unique AI algorithms based on our understanding that the two biggest challenges in the game are keeping a balanced team and dealing with three sources of uncertainty. Later on, we describe why evaluating the performance of such agents is challenging and we present the results of our approach. Our AI agent performed significantly better than all previous attempts and peaked at the 33rd place in the world, in one of the most popular battle formats, while running on only 4 single socket servers.
translated by 谷歌翻译
这项研究旨在实现两个目标:第一个目标是策划一个大型且信息丰富的数据集,其中包含有关球员的行动和位置的关键和简洁的摘要,以及在专业和NCAA中排球的来回旅行模式Div-i室内排球游戏。尽管几项先前的研究旨在为其他运动创建类似的数据集(例如羽毛球和足球),但尚未实现为室内排球创建这样的数据集。第二个目标是引入排球描述性语言,以充分描述游戏中的集会过程并将语言应用于我们的数据集。基于精选的数据集和我们的描述性运动语言,我们使用我们的数据集介绍了三项用于自动化排球行动和战术分析的任务:(1)排球拉力赛预测,旨在预测集会的结果,并帮助球员和教练改善决策制定决策在实践中,(2)设置类型和命中类型预测,以帮助教练和球员更有效地为游戏做准备,以及(3)排球策略和进攻区统计,以提供高级排球统计数据,并帮助教练了解游戏和对手的策略更好的。我们进行了案例研究,以展示实验结果如何为排球分析社区提供见解。此外,基于现实世界数据的实验评估为我们的数据集和语言的未来研究和应用建立了基准。这项研究弥合了室内排球场与计算机科学之间的差距。
translated by 谷歌翻译
这份手稿专注于NBA篮球锦标赛比赛结果的特点“定义。显示了如何基于一个单一特征(ELO评级或相对胜利频率)的模型的质量优于使用箱得分预测器的模型(例如四个因素)。特征是EX ANTE,计算了包含16个NBA常规季节数据的数据集,特别注意主场因素。模型已经通过深度学习生产,使用交叉验证。
translated by 谷歌翻译
深度加强学习(RL)的最新进展导致许多2人零和游戏中的相当大的进展,如去,扑克和星际争霸。这种游戏的纯粹对抗性质允许概念上简单地应用R1方法。然而,现实世界的设置是许多代理商,代理交互是复杂的共同利益和竞争方面的混合物。我们认为外交,一个旨在突出由多种代理交互导致的困境的7人棋盘游戏。它还具有大型组合动作空间和同时移动,这对RL算法具有具有挑战性。我们提出了一个简单但有效的近似最佳响应操作员,旨在处理大型组合动作空间并同时移动。我们还介绍了一系列近似虚构游戏的政策迭代方法。通过这些方法,我们成功地将RL申请到外交:我们认为我们的代理商令人信服地令人信服地表明,游戏理论均衡分析表明新过程产生了一致的改进。
translated by 谷歌翻译
在足球(或协会足球)中,球员迅速从英雄转变为零,反之亦然。性能不是静态度量,而是一种易变的措施。将绩效分析为时间序列而不是静止的时间点对于做出更好的决策至关重要。本文介绍并探讨了I-VAEP和O-VAEP模型,以评估行动和评估玩家的意图和执行。然后,我们随着时间的推移分析这些评级,并提出用例,以基本将我们将玩家评分视为连续问题的选择。结果,我们出席了谁是最好的球员以及他们的表现如何发展,定义波动率指标以衡量球员的一致性,并建立玩家发展曲线以帮助决策。
translated by 谷歌翻译
Did you know that over 70 million of Dota2 players have their in-game data freely accessible? What if such data is used in malicious ways? This paper is the first to investigate such a problem. Motivated by the widespread popularity of video games, we propose the first threat model for Attribute Inference Attacks (AIA) in the Dota2 context. We explain how (and why) attackers can exploit the abundant public data in the Dota2 ecosystem to infer private information about its players. Due to lack of concrete evidence on the efficacy of our AIA, we empirically prove and assess their impact in reality. By conducting an extensive survey on $\sim$500 Dota2 players spanning over 26k matches, we verify whether a correlation exists between a player's Dota2 activity and their real-life. Then, after finding such a link ($p\!<\!0.01$ and $\rho>0.3$), we ethically perform diverse AIA. We leverage the capabilities of machine learning to infer real-life attributes of the respondents of our survey by using their publicly available in-game data. Our results show that, by applying domain expertise, some AIA can reach up to 98% precision and over 90% accuracy. This paper hence raises the alarm on a subtle, but concrete threat that can potentially affect the entire competitive gaming landscape. We alerted the developers of Dota2.
translated by 谷歌翻译
人工智能(AI)球员已经获得了像Go,国际象棋和奥赛罗(Reversi)这样的游戏的超人技能。换句话说,AI球员作为人类球员的对手变得太强。然后,我们不会与AI播放器一起玩棋盘游戏。为了娱乐人类球员,AI球员必须自动平衡其人类球员的技能。为了解决这个问题,我提出了一个具有动态难度调整的AI播放器的Alphadda,基于Alphazero。 alphadda包括一个深神经网络(DNN)和蒙特卡罗树搜索,如alphazero。 alphadda估计游戏状态的值仅使用DNN的板状态,并根据值改变其技能。 Alphadda可以仅使用游戏的状态调整Alphadda技能,而无需先验对对手的知识。在本研究中,Alphadda播放Connect4,6x6 othello,使用6x6尺寸板,与其他AI代理商使用6x6尺寸板,othello。其他AI代理商是alphazero,蒙特卡罗树搜索,minimax算法和随机播放器。本研究表明,除随机玩家外,alphadda实现了与其他AI代理的技能。 alphadda的DDA能力来自于从游戏状态的值的准确估计。我们将能够为任何游戏使用Alphadda的方法,因为DNN可以估计来自状态的值。
translated by 谷歌翻译
蒙特卡洛树搜索(MCT)是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样,并存储动作的统计数据,以在每个随后的迭代中做出更有教育的选择。然而,该方法已成为组合游戏的最新技术,但是,在更复杂的游戏(例如那些具有较高的分支因素或实时系列的游戏)以及各种实用领域(例如,运输,日程安排或安全性)有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。
translated by 谷歌翻译
体育由于其全球影响力和影响力丰富的预测任务,是部署机器学习模型的令人兴奋的领域。但是,由于其规模,准确性和可访问性,传统运动的数据通常不适合研究使用。为了解决这些问题,我们转向电子竞技,这是一个越来越多的域,它涵盖了类似于传统体育的视频游戏。由于电子竞技数据是通过服务器日志而不是外围传感器获取的,因此电子竞技提供了一个独特的机会来获得大量清洁和详细的时空数据,类似于传统运动中收集的数据。为了解析电子竞技数据,我们开发了AWPY,这是一个开源电子竞技游戏日志解析库,可以从游戏日志中提取玩家轨迹和动作。使用AWPY,我们可以从1,558个游戏日志中解析86万动作,79万游戏帧和417K轨迹,从专业的反击比赛中创建电子竞技轨迹和动作(ESTA)数据集。埃斯塔(ESTA)是迄今为止最大,最颗粒状的公共运动数据集之一。我们使用ESTA来开发基准,以使用特定于玩家的信息进行赢得预测。 ESTA数据可在https://github.com/pnxenopoulos/esta上获得,并且AWPY通过PYPI公开。
translated by 谷歌翻译
本文调查了具有不平等专业知识的组织之间竞争的动态。多智能体增强学习已被用来模拟和理解各种激励方案的影响,旨在抵消这种不等式。我们设计触摸标记,基于众所周知的多助手粒子环境的游戏,其中两支球队(弱,强),不平等但不断变化的技能水平相互竞争。对于培训此类游戏,我们提出了一种新颖的控制器辅助多智能体增强学习算法\我们的\,它使每个代理商携带策略的集合以及通过选择性地分区示例空间,触发智能角色划分队友。使用C-MADDPG作为潜在的框架,我们向弱小的团队提出了激励计划,使两队的最终奖励成为同一个。我们发现尽管激动人心,但弱小队的最终奖励仍然缺乏强大的团​​队。在检查中,我们意识到弱小球队的整体激励计划并未激励该团队中的较弱代理来学习和改进。要抵消这一点,我们现在特别激励了较弱的球员学习,因此,观察到超越初始阶段的弱小球队与更强大的团队表现。本文的最终目标是制定一种动态激励计划,不断平衡两支球队的奖励。这是通过设计富有奖励的激励计划来实现的,该计划从环境中取出最低信息。
translated by 谷歌翻译
在线多人游戏中游戏的复杂性产生了强烈的兴趣对玩家使用的不同游戏或策略进行建模。我们为在线多人游戏战场3开发了一个分层贝叶斯回归方法,其中性能被建模为角色,游戏类型和由该玩家在每个比赛中都采取的地图。我们之前使用Dirichlet进程,使得在我们的回归模型中具有类似玩家特定系数的玩家的聚类,这使我们能够在战场3个玩家的样本中发现常见的游戏样式。这种贝叶斯半导体聚类方法有几个优点:不需要指定常用播放样式的数量,玩家可以在多个集群之间移动,并且所产生的分组通常具有直接解释。我们详细审视战场3个玩家中最常见的游戏风格,并找到了展出整体高性能的玩家组,以及在特定游戏类型,地图和角色中表现特别良好的玩家的分组。我们还能够区分播放者,这些玩家是从混合播放器展示在其比赛中展出多种游戏风格的混合播放器的稳定成员。建模这种不同游戏风格的景观将帮助游戏开发人员开发新参与者的专门教程,并在在线匹配队列中提高互补团队的构建。
translated by 谷歌翻译
本文介绍了一种扮演流行的第一人称射击(FPS)视频游戏的AI代理商的AI代理商;来自像素输入的全球攻势(CSGO)。代理人,一个深度神经网络,符合Deathmatch游戏模式内置AI内置AI的媒体难度的性能,同时采用人类的戏剧风格。与在游戏中的许多事先工作不同,CSGO没有API,因此算法必须培训并实时运行。这限制了可以生成的策略数据的数量,妨碍许多增强学习算法。我们的解决方案使用行为克隆 - 在从在线服务器上的人类播放(400万帧,大小与Imagenet相当的400万帧)上刮出的大型嘈杂数据集的行为克隆训练,以及一个较小的高质量专家演示数据集。这种比例是比FPS游戏中的模仿学习的先前工作的数量级。
translated by 谷歌翻译
超过人类决策能力的机器学习模型的出现,在复杂的领域中启动了一种运动,以构建与人类互动的AI系统。许多构建基础对于这项活动至关重要,中心是人类行为的算法表征。尽管现有的大部分工作都集中在人类的总体行为上,但一个重要的远程目标是开发专门针对个人人并可以在其中区分的行为模型。为了使这个过程形式化,我们研究了行为风格的问题,其中任务是仅从决策中确定决策者。我们提出了一种基于变压器的方法,用于在国际象棋的背景下进行行为风格测量法,其中有人试图识别玩一组游戏的玩家。我们的方法在几个弹药的分类框架中运行,并且可以在只有100个标签游戏的情况下正确地从成千上万的候选玩家中识别出98%精度的候选人。即使接受业余比赛的训练,我们的方法还是对大师级玩家的分布样本的概括,尽管业余球员和世界一流的球员之间存在巨大差异。最后,我们更广泛地考虑了我们所产生的嵌入有关国际象棋中人类风格的揭示的内容,以及在行为数据中识别个人的强大方法的潜在伦理含义。
translated by 谷歌翻译
在这项工作中,我们通过利用观察到的游戏点(如目标)的差异(例如目标)来开发一对一对一游戏的团队(或玩家)的新算法,也称为胜利的边际(MOV)。我们的目的是获得ELO式算法,其操作易于实施,直观地理解。这是三个步骤完成的:首先,我们在团队技能和离散MOV变量之间定义概率模型:这概括了智能算法的模型,其中MOV变量被离散分为三类(Win / Loss / Draw) 。其次,通过手头的正式概率模型,通过随机梯度来实现最大似然规则所需的优化;这对于评级更新产生简单的在线方程,其常规形式与ELO算法的那些特征相同:主要差异在于定义的分数和预期分数的方式。第三,我们提出了一种简单的方法来估计模型的系数,从而定义算法的操作;它以历史数据以封闭形式完成,因此该算法针对感兴趣的运动量身定制,并且定义其操作的系数以完全透明的方式确定。还提出了基于替代,优化的找到系数的策略。我们展示了基于英国英超联赛协会足球的结果和全国足球联盟的美国足球的结果。
translated by 谷歌翻译
2048 is a single-player stochastic puzzle game. This intriguing and addictive game has been popular worldwide and has attracted researchers to develop game-playing programs. Due to its simplicity and complexity, 2048 has become an interesting and challenging platform for evaluating the effectiveness of machine learning methods. This dissertation conducts comprehensive research on reinforcement learning and computer game algorithms for 2048. First, this dissertation proposes optimistic temporal difference learning, which significantly improves the quality of learning by employing optimistic initialization to encourage exploration for 2048. Furthermore, based on this approach, a state-of-the-art program for 2048 is developed, which achieves the highest performance among all learning-based programs, namely an average score of 625377 points and a rate of 72% for reaching 32768-tiles. Second, this dissertation investigates several techniques related to 2048, including the n-tuple network ensemble learning, Monte Carlo tree search, and deep reinforcement learning. These techniques are promising for further improving the performance of the current state-of-the-art program. Finally, this dissertation discusses pedagogical applications related to 2048 by proposing course designs and summarizing the teaching experience. The proposed course designs use 2048-like games as materials for beginners to learn reinforcement learning and computer game algorithms. The courses have been successfully applied to graduate-level students and received well by student feedback.
translated by 谷歌翻译
在许多多机构设置中,参与者可以组建团队以实现可能超过其个人能力的集体成果。衡量代理商的相对贡献并分配促进持续合作的奖励份额是艰巨的任务。合作游戏理论提供了识别分配方案(例如沙普利价值)的解决方案概念,这些概念公平地反映了个人对团队或核心表现的贡献,从而减少了代理人放弃团队的动机。此类方法的应用包括识别有影响力的特征并分享合资企业或团队成立的成本。不幸的是,即使在受限设置中,使用这些解决方案也需要解决计算障碍,因为它们很难计算。在这项工作中,我们展示了如何通过训练神经网络提出公平和稳定的回报分配来将合作游戏理论解决方案蒸馏成学习的模型。我们表明,我们的方法创建的模型可以推广到远离训练分布的游戏,并且可以预测比训练期间观察到的更多玩家的解决方案。我们框架的一个重要应用是可以解释的AI:我们的方法可用于加快在许多情况下的Shapley价值计算。
translated by 谷歌翻译