人工智能系统越来越涉及持续学习，以实现在系统培训期间不遇到的一般情况下的灵活性。与自治系统的人类互动广泛研究，但在系统积极学习的同时，研究发生了迄今为止发生的互动，并且可以在几分钟内明显改变其行为。在这项试验研究中，我们调查如何在代理商发展能力时如何发展人类和不断学习的预测代理人之间的互动。此外，我们可以比较两个不同的代理架构来评估代理设计中的代表性选择如何影响人工代理交互。我们开发虚拟现实环境和基于时间的预测任务，其中从增强学习（RL）算法增强人类预测中学到的预测。我们评估参与者在此任务中的性能和行为如何在代理类型中不同，使用定量和定性分析。我们的研究结果表明，系统的人类信任可能受到与代理人的早期互动的影响，并且反过来的信任会影响战略行为，但试点研究的限制排除了任何结论的声明。我们将信任作为互动的关键特征，以考虑基于RL的技术在考虑基于RL的技术时，并对这项研究进行了几项建议，以准备更大规模的调查。本文的视频摘要可以在https://youtu.be/ovyjdnbqtwq找到。

在本文中，我们为Pavlovian信号传达的多方面的研究 - 一个过程中学到的一个过程，一个代理商通过另一个代理商通知决策的时间扩展预测。信令紧密连接到时间和时间。在生成和接收信号的服务中，已知人类和其他动物代表时间，确定自过去事件以来的时间，预测到未来刺激的时间，并且都识别和生成展开时间的模式。我们调查通过引入部分可观察到的决策域来对学习代理之间的影响和信令在我们称之为霜冻空心的情况下如何影响学习代理之间的影响和信令。在该域中，预测学习代理和加强学习代理被耦合到两部分决策系统，该系统可以在避免时间条件危险时获取稀疏奖励。我们评估了两个域变型：机器代理在七态线性步行中交互，以及虚拟现实环境中的人机交互。我们的结果展示了帕夫洛维亚信号传导的学习速度，对药剂 - 代理协调具有不同时间表示（并且不）的影响，以及颞次锯齿对药剂和人毒剂相互作用的影响方式不同。作为主要贡献，我们将Pavlovian信号传导为固定信号范例与两个代理之间完全自适应通信学习之间的天然桥梁。我们进一步展示了如何从固定的信令过程计算地构建该自适应信令处理，其特征在于，通过快速的连续预测学习和对接收信号的性质的最小限制。因此，我们的结果表明了加固学习代理之间的沟通学习的可行建设者的途径。

交互式增强学习建议使用外部信息，以加快学习过程。当与学习者互动时，人类可以提供评估或有益的建议。先前的研究通过在交互式增强学习过程中包括实时反馈，专门旨在提高代理商的学习速度，同时最大程度地减少对人类的时间的需求，从而重点关注人类建议的效果。这项工作重点是回答两种评估或信息性的方法中的哪种是人类的首选教学方法。此外，这项工作为人类试验提供了实验设置，旨在比较人们用来提供人类参与建议的方法。获得的结果表明，向学习者提供信息的用户提供了更准确的建议，愿意在更长的时间内为学习者提供帮助，并每集提供更多建议。此外，使用信息丰富的方法的参与者的自我评估表明，与提供评估建议的人相比，代理商遵循建议的能力更高，因此，他们认为自己的建议的准确性更高。

Taking advice from others requires confidence in their competence. This is important for interaction with peers, but also for collaboration with social robots and artificial agents. Nonetheless, we do not always have access to information about others' competence or performance. In these uncertain environments, do our prior beliefs about the nature and the competence of our interacting partners modulate our willingness to rely on their judgments? In a joint perceptual decision making task, participants made perceptual judgments and observed the simulated estimates of either a human participant, a social humanoid robot or a computer. Then they could modify their estimates based on this feedback. Results show participants' belief about the nature of their partner biased their compliance with its judgments: participants were more influenced by the social robot than human and computer partners. This difference emerged strongly at the very beginning of the task and decreased with repeated exposure to empirical feedback on the partner's responses, disclosing the role of prior beliefs in social influence under uncertainty. Furthermore, the results of our functional task suggest an important difference between human-human and human-robot interaction in the absence of overt socially relevant signal from the partner: the former is modulated by social normative mechanisms, whereas the latter is guided by purely informational mechanisms linked to the perceived competence of the partner.

在人类居住的环境中使用机器人的挑战是设计对人类互动引起的扰动且鲁棒的设计行为。我们的想法是用内在动机（IM）拟订机器人，以便它可以处理新的情况，并作为人类的真正社交，因此对人类互动伙伴感兴趣。人机互动（HRI）实验主要关注脚本或远程机器人，这是模拟特性，如IM来控制孤立的行为因素。本文介绍了一个“机器人学家”的研究设计，允许比较自主生成的行为彼此，而且首次评估机器人中基于IM的生成行为的人类感知。我们在受试者内部用户学习（n = 24），参与者与具有不同行为制度的完全自主的Sphero BB8机器人互动：一个实现自适应，本质上动机的行为，另一个是反应性的，但不是自适应。机器人及其行为是故意最小的，以专注于IM诱导的效果。与反应基线行为相比，相互作用后问卷的定量分析表明对尺寸“温暖”的显着提高。温暖被认为是人类社会认知中社会态度形成的主要维度。一种被认为是温暖（友好，值得信赖的）的人体验更积极的社交互动。

可接受的是指对象允许的可能动作的感知。尽管其与人计算机相互作用有关，但没有现有理论解释了支撑无力形成的机制;也就是说，通过交互发现和适应的充分性。基于认知科学的加固学习理论，提出了一种综合性的无力形成理论。关键假设是用户学习在存在增强信号（成功/故障）时将有前途的电机动作与经验相关联。他们还学会分类行动（例如，“旋转”拨号），使他们能够命名和理由的能力。在遇到新颖的小部件时，他们概括这些行动的能力决定了他们感受到的能力。我们在虚拟机器人模型中实现了这个理论，它展示了在交互式小部件任务中的人性化适应性。虽然其预测与人类数据的趋势对齐，但人类能够更快地适应能力，表明存在额外机制。

人类的感知基于无意识的推论，其中感觉输入与先前的信息集成在一起。这种现象被称为上下文依赖性，有助于面对外部世界的不确定性，并在先前的经验上构建了预测。另一方面，人类的感知过程固有地是由社会互动塑造的。但是，上下文依赖性的机制如何影响到迄今为止未知。如果使用以前的经验 - 先验 - 在单个环境中是有益的，那么它可能代表了其他代理商可能没有相同先验的社会场景中的问题，从而在共享环境上造成了感知的错误。本研究解决了这个问题。我们研究了与人形机器人ICUB的互动环境中的上下文依赖性，该机器人是刺激示威者。参与者在两个条件下重现了机器人所示的长度：一个具有社交性的ICUB，另一个与ICUB充当机械臂。机器人的不同行为显着影响了感知的先验使用。此外，社会机器人通过提高准确性并减少参与者的总体感知错误，从而对感知性能产生积极影响。最后，观察到的现象是按照贝叶斯的方法加深和探索共同感知的新概念进行了建模的。

Intelligent agents have great potential as facilitators of group conversation among older adults. However, little is known about how to design agents for this purpose and user group, especially in terms of agent embodiment. To this end, we conducted a mixed methods study of older adults' reactions to voice and body in a group conversation facilitation agent. Two agent forms with the same underlying artificial intelligence (AI) and voice system were compared: a humanoid robot and a voice assistant. One preliminary study (total n=24) and one experimental study comparing voice and body morphologies (n=36) were conducted with older adults and an experienced human facilitator. Findings revealed that the artificiality of the agent, regardless of its form, was beneficial for the socially uncomfortable task of conversation facilitation. Even so, talkative personality types had a poorer experience with the "bodied" robot version. Design implications and supplementary reactions, especially to agent voice, are also discussed.

人类不断受到他人的行为和观点的影响。至关重要的是，人类之间的社会影响是由互惠构成的：我们更多地遵循一直在考虑我们意见的人的建议。在当前的工作中，我们研究了与社会类人机器人互动时相互影响的影响是否可以出现。在一项联合任务中，人类参与者和人形机器人进行了感知估计，然后在观察伴侣的判断后可以公开修改它们。结果表明，赋予机器人表达和调节其对人类判断的易感水平的能力代表了双刃剑。一方面，当机器人遵循他们的建议时，参与者对机器人的能力失去了信心。另一方面，参与者不愿透露他们对易感机器人缺乏信心，这表明出现了支持人类机器人合作的社会影响力的相互机制。

本文详细概述了将连续学习（CL）应用于单课的人类机器人互动（HRI）会议（AVG。31 +-10分钟）的案例研究，其中机器人的心理健康教练是积极的（n = 20）参与者的心理学（PP）练习。我们介绍了互动会议后与参与者进行的简短半结构访谈记录的数据的主题分析（TA）的结果，以及对统计结果的分析，证明了参与者的个性如何影响他们如何看待机器人的方式及其互动。

最后，这项工作将包括对解释的上下文形式的调查。在这项研究中，我们将包括一个时间障碍的方案，其中将测试不同水平的理解水平，以使我们能够评估合适且可理解的解释。为此，我们提出了不同的理解水平（lou）。用户研究将旨在比较不同的LOU在不同的互动环境中。将研究同时医院环境的用户研究。

Curiosity for machine agents has been a focus of lively research activity. The study of human and animal curiosity, particularly specific curiosity, has unearthed several properties that would offer important benefits for machine learners, but that have not yet been well-explored in machine intelligence. In this work, we conduct a comprehensive, multidisciplinary survey of the field of animal and machine curiosity. As a principal contribution of this work, we use this survey as a foundation to introduce and define what we consider to be five of the most important properties of specific curiosity: 1) directedness towards inostensible referents, 2) cessation when satisfied, 3) voluntary exposure, 4) transience, and 5) coherent long-term learning. As a second main contribution of this work, we show how these properties may be implemented together in a proof-of-concept reinforcement learning agent: we demonstrate how the properties manifest in the behaviour of this agent in a simple non-episodic grid-world environment that includes curiosity-inducing locations and induced targets of curiosity. As we would hope, our example of a computational specific curiosity agent exhibits short-term directed behaviour while updating long-term preferences to adaptively seek out curiosity-inducing situations. This work, therefore, presents a landmark synthesis and translation of specific curiosity to the domain of machine learning and reinforcement learning and provides a novel view into how specific curiosity operates and in the future might be integrated into the behaviour of goal-seeking, decision-making computational agents in complex environments.

语言是协调问题的强大解决方案：他们提供了稳定的，有关我们所说的单词如何对应于我们头脑中的信仰和意图的共同期望。然而，在变量和非静止社会环境中的语言使用需要语言表征来灵活：旧词在飞行中获取新的临时或合作伙伴特定含义。在本文中，我们介绍了柴（通过推理的连续分层适应），一个分层贝叶斯的协调理论和会议组织，旨在在这两个基本观察之间调和长期张力。我们认为，沟通的中央计算问题不仅仅是传输，如在经典配方中，而是在多个时间尺度上持续学习和适应。合作伙伴特定的共同点迅速出现在数型互动中的社会推论中，而社群范围内的社会公约是稳定的前锋，这些前锋已经抽象出与多个合作伙伴的互动。我们展示了新的实证数据，展示了我们的模型为多个现象提供了对先前账户挑战的计算基础：（1）与同一合作伙伴的重复互动的更有效的参考表达的融合（2）将合作伙伴特定的共同基础转移到陌生人，并（3）交际范围的影响最终会形成。

关于人类阅读的研究长期以来一直记录在阅读行为表明特定于任务的效果，但是建立一个通用模型来预测人类在给定任务中将显示什么的通用模型。我们介绍了Neat，这是人类阅读中注意力分配的计算模型，基于人类阅读优化了一项任务中关注经济和成功之间的权衡。我们的模型是使用当代神经网络建模技术实施的，并对注意力分配的分配方式在不同任务中如何变化做出明确的测试预测。我们在一项针对阅读理解任务的两个版本的眼影研究中对此进行了测试，发现我们的模型成功说明了整个任务的阅读行为。因此，我们的工作提供了证据表明，任务效果可以建模为对任务需求的最佳适应。

在计算加强学习中，越来越多的作品试图通过预测未来的感觉来构建代理人对世界的看法。关于环境观察的预测用作额外的输入功能，以实现更好的目标指导决策。这项工作中的一个公开挑战是从代理商可能做出的许多预测中决定哪些预测可能最能支持决策。在连续学习问题中，这一挑战尤其明显，在这种问题上，单一的经验可以为单一的代理使用。作为主要贡献，我们介绍了一个元梯度下降过程，代理商通过该过程学习1）要做出的预测，2）其所选预测的估计值； 3）如何使用这些估计来生成最大化未来奖励的政策 - - 全部在一个持续学习的过程中。在本手稿中，我们将表达为一般价值函数的预测考虑：对未来信号积累的时间扩展估计。我们证明，通过与环境的互动，代理可以独立选择解决部分观察性的预测，从而产生类似于专业指定的GVF的性能。通过学习，而不是手动指定这些预测，我们使代理商能够以自我监督的方式确定有用的预测，从而迈向真正的自主系统。

人类机器人协作组装系统提高了工作场所的效率和生产力，但可能会增加工人的认知需求。本文提出了一个在线和定量框架，以评估与同事的互动，即人类运营商或具有不同控制策略的工业协作机器人所引起的认知工作量。该方法可以监视操作员的注意力分布和上身运动学，从而受益于低成本立体声摄像机和尖端的人工智能算法的输入图像（即头姿势估计和骨架跟踪）。三种实验场景具有工作站特征和互动方式的变化，旨在测试我们在线方法的性能，以防止最新的离线测量。结果证明，我们基于视觉的认知负荷评估有可能将其集成到新一代的协作机器人技术中。后者将使人类的认知状态监测和机器人控制策略适应改善人类舒适，人体工程学和对自动化的信任。

Human operators in human-robot teams are commonly perceived to be critical for mission success. To explore the direct and perceived impact of operator input on task success and team performance, 16 real-world missions (10 hrs) were conducted based on the DARPA Subterranean Challenge. These missions were to deploy a heterogeneous team of robots for a search task to locate and identify artifacts such as climbing rope, drills and mannequins representing human survivors. Two conditions were evaluated: human operators that could control the robot team with state-of-the-art autonomy (Human-Robot Team) compared to autonomous missions without human operator input (Robot-Autonomy). Human-Robot Teams were often in directed autonomy mode (70% of mission time), found more items, traversed more distance, covered more unique ground, and had a higher time between safety-related events. Human-Robot Teams were faster at finding the first artifact, but slower to respond to information from the robot team. In routine conditions, scores were comparable for artifacts, distance, and coverage. Reasons for intervention included creating waypoints to prioritise high-yield areas, and to navigate through error-prone spaces. After observing robot autonomy, operators reported increases in robot competency and trust, but that robot behaviour was not always transparent and understandable, even after high mission performance.

尽管Ai在各个领域的超人表现，但人类往往不愿意采用AI系统。许多现代AI技术中缺乏可解释性的缺乏可令人伤害他们的采用，因为用户可能不相信他们不理解的决策过程的系统。我们通过一种新的实验调查这一主张，其中我们使用互动预测任务来分析可解释性和结果反馈对AI信任的影响和AI辅助预测任务的人类绩效。我们发现解释性导致了不强大的信任改进，而结果反馈具有明显更大且更可靠的效果。然而，这两个因素对参与者的任务表现产生了适度的影响。我们的研究结果表明（1）接受重大关注的因素，如可解释性，在越来越多的信任方面可能比其他结果反馈的因素效果，而（2）通过AI系统增强人类绩效可能不是在AI中增加信任的简单问题。 ，随着增加的信任并不总是与性能同样大的改进相关联。这些调查结果邀请了研究界不仅关注产生解释的方法，而且还专注于确保在实践中产生影响和表现的技巧。

This article presents a survey of literature in the area of Human-Robot Interaction (HRI), specifically on systems containing more than two agents (i.e., having multiple humans and/or multiple robots). We identify three core aspects of ``Multi-agent" HRI systems that are useful for understanding how these systems differ from dyadic systems and from one another. These are the Team structure, Interaction style among agents, and the system's Computational characteristics. Under these core aspects, we present five attributes of HRI systems, namely Team size, Team composition, Interaction model, Communication modalities, and Robot control. These attributes are used to characterize and distinguish one system from another. We populate resulting categories with examples from recent literature along with a brief discussion of their applications and analyze how these attributes differ from the case of dyadic human-robot systems. We summarize key observations from the current literature, and identify challenges and promising areas for future research in this domain. In order to realize the vision of robots being part of the society and interacting seamlessly with humans, there is a need to expand research on multi-human -- multi-robot systems. Not only do these systems require coordination among several agents, they also involve multi-agent and indirect interactions which are absent from dyadic HRI systems. Adding multiple agents in HRI systems requires advanced interaction schemes, behavior understanding and control methods to allow natural interactions among humans and robots. In addition, research on human behavioral understanding in mixed human-robot teams also requires more attention. This will help formulate and implement effective robot control policies in HRI systems with large numbers of heterogeneous robots and humans; a team composition reflecting many real-world scenarios.

本文展示了单个机制如何通过直接从代理的原始传感器流流层构建层。这种机制，一般值函数（GVF）或“预测”，捕获高级，抽象知识，作为一组关于现有特征和知识的一组预测，其专门基于代理的低级感官和动作。因此，预测提供了将原始传感器数据组织成有用的抽象的表示 - 通过无限数量的层 - AI和认知科学的长寻求目标。本文的核心是一个详细的思想实验，提供了一个具体，逐步的正式说明，逐步的人工代理商如何从其原始的传感器体验中构建真实，有用的抽象知识。知识表示为关于代理人的观察到其行为后果的一组分层预测（预测）。该图示出了十二个独立的图层：最低的原始像素，触摸和力传感器以及少量动作;较高层次增加抽象，最终导致了对代理商世界的丰富知识，对应于门口，墙壁，房间和平面图。然后，我认为这种一般机制可以允许表示广泛的日常人类知识。