有一段漫长的历史，努力与我们周围的实体和空间探索音乐元素，例如Musique Concr \'Ete和Ambient Music。在计算机音乐和数字艺术的背景下，还设计了集中在周围物体和物理空间上的互动体验。近年来，随着设备的开发和普及，在扩展现实中设计了越来越多的作品，以创造这种音乐体验。在本文中，我们描述了MR4MR，这是一项声音安装工作，使用户可以在混合现实的背景下体验与周围空间相互作用产生的旋律（MR）。用户使用HoloLens，用户可以撞击周围环境中真实对象的虚拟对象。然后，通过遵循物体发出的声音并使用音乐生成机器学习模型进行随机变化并逐渐改变旋律的声音，用户可以感觉到其环境旋律“转世”。
translated by 谷歌翻译
MetaVerse，巨大的虚拟物理网络空间，为艺术家带来了前所未有的机会，将我们的身体环境的每个角落与数字创造力混合。本文对计算艺术进行了全面的调查，其中七个关键主题与成权相关，描述了混合虚拟物理现实中的新颖艺术品。主题首先涵盖了MetaVerse的建筑元素，例如虚拟场景和字符，听觉，文本元素。接下来，已经反映了诸如沉浸式艺术，机器人艺术和其他用户以其他用户的方法提供了沉浸式艺术，机器人艺术和其他用户中心的若干非凡类型的新颖创作。最后，我们提出了几项研究议程：民主化的计算艺术，数字隐私和搬迁艺术家的安全性，为数字艺术品，技术挑战等等的所有权认可。该调查还担任艺术家和搬迁技术人员的介绍材料，以开始在超现实主义网络空间领域创造。
translated by 谷歌翻译
本文介绍了素描的现实，这种方法结合了AR素描和驱动的有形用户界面（TUI），用于双向素描交互。双向草图使虚拟草图和物理对象通过物理驱动和数字计算相互影响。在现有的AR素描中，虚拟世界和物理世界之间的关系只是一个方向 - 虽然物理互动会影响虚拟草图，但虚拟草图对物理对象或环境没有返回效果。相反，双向素描相互作用允许草图和驱动的tuis之间的无缝耦合。在本文中，我们采用桌面大小的小型机器人（Sony Toio）和基于iPad的AR素描工具来演示该概念。在我们的系统中，在iPad上绘制和模拟的虚拟草图（例如，线，墙壁，摆和弹簧）可以移动，动画，碰撞和约束物理Toio机器人，就像虚拟草图和物理对象存在于同一空间中一样通过AR和机器人运动之间的无缝耦合。本文贡献了一组新型的互动和双向AR素描的设计空间。我们展示了一系列潜在的应用，例如有形的物理教育，可探索的机制，儿童有形游戏以及通过素描的原位机器人编程。
translated by 谷歌翻译
Large language models trained for code generation can be applied to speaking virtual worlds into existence (creating virtual worlds). In this work we show that prompt-based methods can both accelerate in-VR level editing, as well as can become part of gameplay rather than just part of game development. As an example, we present Codex VR Pong which shows non-deterministic game mechanics using generative processes to not only create static content but also non-trivial interactions between 3D objects. This demonstration naturally leads to an integral discussion on how one would evaluate and benchmark experiences created by generative models - as there are no qualitative or quantitative metrics that apply in these scenarios. We conclude by discussing impending challenges of AI-assisted co-creation in VR.
translated by 谷歌翻译
In the Metaverse, the physical space and the virtual space co-exist, and interact simultaneously. While the physical space is virtually enhanced with information, the virtual space is continuously refreshed with real-time, real-world information. To allow users to process and manipulate information seamlessly between the real and digital spaces, novel technologies must be developed. These include smart interfaces, new augmented realities, efficient storage and data management and dissemination techniques. In this paper, we first discuss some promising co-space applications. These applications offer opportunities that neither of the spaces can realize on its own. We then discuss challenges. Finally, we discuss and envision what are likely to be required from the database and system perspectives.
translated by 谷歌翻译
我们介绍RealityTalk，该系统通过语音驱动的互动虚拟元素来增强实时实时演示。增强演示文稿利用嵌入式视觉效果和动画来吸引和表现力。但是，现有的实时演示工具通常缺乏互动性和即兴创作，同时在视频编辑工具中产生这种效果需要大量的时间和专业知识。RealityTalk使用户能够通过实时语音驱动的交互创建实时增强演示文稿。用户可以通过实时语音和支持方式进行交互提示，移动和操纵图形元素。根据我们对177个现有视频编辑的增强演示文稿的分析，我们提出了一套新颖的互动技术，然后将它们纳入真人秀。我们从主持人的角度评估我们的工具，以证明系统的有效性。
translated by 谷歌翻译
框架已开始出现，以对提供沉浸式，直观的接口提供沉浸式，直观的界面的虚拟，增强和混合现实（VAM）技术来促进人机互动。然而，这些框架未能捕获VAM-HRI的生长子场的关键特性，并且由于连续尺度而难以持续应用。这项工作通过创建用于组织VAM-HRI系统（TOKC）的关键特征来构建这些先前的框架。 Tokcs离散地分离出现在先前作品中使用的连续尺度，以获得更一致的分类，并增加与机器人的内部模型，锚点位置，可操纵性和系统的软件相关的额外特征。为了展示工具的能力，TOKCS应用于来自第四届VAM-HRI车间的十篇论文，并检查了关键趋势和外卖。这些趋势突出了TOKCS的表现能力，同时还帮助框架更新的趋势和VAM-HRI研究的未来工作建议。
translated by 谷歌翻译
数字化和自动化方面的快速进步导致医疗保健的加速增长，从而产生了新型模型，这些模型正在创造新的渠道，以降低成本。 Metaverse是一项在数字空间中的新兴技术，在医疗保健方面具有巨大的潜力，为患者和医生带来了现实的经验。荟萃分析是多种促成技术的汇合，例如人工智能，虚拟现实，增强现实，医疗设备，机器人技术，量子计算等。通过哪些方向可以探索提供优质医疗保健治疗和服务的新方向。这些技术的合并确保了身临其境，亲密和个性化的患者护理。它还提供自适应智能解决方案，以消除医疗保健提供者和接收器之间的障碍。本文对医疗保健的荟萃分析提供了全面的综述，强调了最新技术的状态，即采用医疗保健元元的能力技术，潜在的应用程序和相关项目。还确定了用于医疗保健应用的元元改编的问题，并强调了合理的解决方案作为未来研究方向的一部分。
translated by 谷歌翻译
2020-07-09
我们介绍了ThreedWorld（TDW），是交互式多模态物理模拟的平台。 TDW能够模拟高保真感官数据和富裕的3D环境中的移动代理和对象之间的物理交互。独特的属性包括：实时近光 - 真实图像渲染;对象和环境库，以及他们定制的例程;有效构建新环境课程的生成程序;高保真音频渲染;各种材料类型的现实物理相互作用，包括布料，液体和可变形物体;可定制的代理体现AI代理商;并支持与VR设备的人类交互。 TDW的API使多个代理能够在模拟中进行交互，并返回一系列表示世界状态的传感器和物理数据。我们在计算机视觉，机器学习和认知科学中的新兴的研究方向上提供了通过TDW的初始实验，包括多模态物理场景理解，物理动态预测，多代理交互，像孩子一样学习的模型，并注意研究人类和神经网络。
translated by 谷歌翻译
在这项工作中，我们通过混合现实（MR）应用中的视频传球来探讨自幻想的创建。我们介绍了我们的端到端系统，包括：在商业头部安装显示器（HMD）上进行自定义MR视频通行证实现，我们基于深度学习的实时egpocentric身体细分算法以及我们优化的卸载体系结构，以交流使用HMD分割服务器。为了验证这项技术，我们设计了一种身临其境的VR体验，用户必须在活跃的火山火山口中穿过狭窄的瓷砖路径。这项研究是在三个身体表示条件下进行的：虚拟手，带有颜色的全身分割的视频传递以及深度学习全身分割的视频通行。这种身临其境的经历由30名女性和28名男性进行。据我们所知，这是首次旨在评估基于视频的自我avatar的用户研究，以代表用户在MR场景中。结果表明，不同身体表示在存在方面没有显着差异，虚拟手和全身表示之间的某些实施方案中等改善。视觉质量结果表明，就整个身体感知和整体分割质量而言，深入学习算法的结果更好。我们提供了一些关于使用基于视频的自我幻想的讨论，以及对评估方法的一些思考。提出的E2E解决方案处于最新技术状态的边界，因此在达到成熟之前仍有改进的空间。但是，该溶液是新型MR分布式溶液的关键起点。
translated by 谷歌翻译
实时的对象和人类存在的虚拟数据在大型领域中拥有一个宝贵的关键，可以在人工智能的技术发展中实现许多体验和应用，并且计算机视觉扩大了跟踪和分类事物的可能性。视频输入也超过了传统上最受欢迎和常见的硬件设置的局限性，以检测人类的姿势和位置，例如低视野和有限的跟踪能力。在应用程序开发中使用计算机视觉的好处很大，因为它增加了传统的输入源（例如视频流），并且可以集成在许多环境和平台中。在新的媒体互动艺术的背景下，基于身体运动并在大区域或狂欢中扩展，这项研究提出了一种新颖的方式和一个框架，以获取对象/人的数据和虚拟表示，例如三维位置，Skeltons/Skeltons/Skeltons/单个RGB摄像机的姿势和口罩。通过最近的一些发展和计算机视野领域的先前研究来研究最先进的技术，该论文还提出了一种从单眼图像中获取三维位置数据的原始方法，该模型不依赖于计算机视觉的复杂培训系统但结合了先前的计算机视觉研究并增加了代表Z深度的能力，IETO代表了2D输入源中3轴的世界位置。
translated by 谷歌翻译
本文介绍了一种基于变压器深度学习模型为视频游戏生成音乐的体系结构。该系统按照设计视频游戏音乐目前使用的标准分层策略来生成各种层的音乐。根据唤醒现象模型，音乐对玩家的心理环境具有适应性。我们的动机是根据玩家的口味自定义音乐，他们可以通过一系列音乐示例选择他喜欢的音乐风格。我们讨论了未来的当前局限性和前景，例如对音乐组件的协作和互动控制。
translated by 谷歌翻译
当今的计算机不仅限于笔记本电脑和台式机。手机和笔记本电脑等移动小工具也可以利用它。但是，在过去50年中没有更改的一个输入设备是QWERTY键盘。通过传感器技术和人工智能，虚拟键盘用户可以在任何表面上输入任何表面。在这项研究中，我们使用图像处理的想法来创建一个应用程序，以使用新颖的框架来查看计算机键盘，该框架可以精确地检测手势，同时也具有可持续性且在财务上可行。相机用于捕获键盘图像和手指动作，后来充当虚拟键盘。此外，本研究还描述了一种接受手指坐标为输入的可见虚拟小鼠。该系统具有降低外围成本的直接好处，减少由于外部设备而产生的电子废物，并为无法使用传统键盘和鼠标的人们提供可访问性。
translated by 谷歌翻译
随着物联网（IoT）和5G/6G无线通信的进步，近年来，移动计算的范式已经显着发展，从集中式移动云计算到分布式雾计算和移动边缘计算（MEC）。 MEC将计算密集型任务推向网络的边缘，并将资源尽可能接近端点，以解决有关存储空间，资源优化，计算性能和效率方面的移动设备缺点。与云计算相比，作为分布式和更紧密的基础架构，MEC与其他新兴技术的收敛性，包括元元，6G无线通信，人工智能（AI）和区块链，也解决了网络资源分配的问题，更多的网络负载，更多的网络负载，以及延迟要求。因此，本文研究了用于满足现代应用程序严格要求的计算范例。提供了MEC在移动增强现实（MAR）中的应用程序方案。此外，这项调查提出了基于MEC的元元的动机，并将MEC的应用介绍给了元元。特别强调上述一组技术融合，例如6G具有MEC范式，通过区块链加强MEC等。
translated by 谷歌翻译
The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 2nd International Workshop on Reading Music Systems, held in Delft on the 2nd of November 2019.
translated by 谷歌翻译
工业机器人的机器人编程方法是耗时的，并且通常需要运营商在机器人和编程中具有知识。为了降低与重新编程相关的成本，最近已经提出了使用增强现实的各种接口，为用户提供更直观的手段，可以实时控制机器人并在不必编码的情况下编程它们。但是，大多数解决方案都要求操作员接近真正的机器人的工作空间，这意味着由于安全危险而从生产线上移除它或关闭整个生产线。我们提出了一种新颖的增强现实界面，提供了用户能够建模工作空间的虚拟表示，该工作空间可以被保存和重复使用，以便编程新任务或调整旧任务，而无需与真正的机器人共同定位。与以前的接口类似，操作员随后可以通过操纵虚拟机器人来实时地控制机器人任务或控制机器人。我们评估所提出的界面与用户学习的直观和可用性，其中18名参与者为拆卸任务编写了一个机器人操纵器。
translated by 谷歌翻译
We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.
translated by 谷歌翻译
过场动物是许多视频游戏不可或缺的一部分，但是它们的创作既昂贵又耗时，并且需要许多游戏开发人员缺乏的技能。尽管AI已被利用为半自动过场动画的生产，但结果通常缺乏专业人类董事特征的样式的内部一致性和统一性。我们用Cine-AI克服了这一缺点，Cine-AI是一种开源程序性摄影工具集，能够以杰出的人类导演的风格生成游戏中过场动画。 Cine-AI在流行的游戏引擎团结中实现，具有新颖的时间轴和情节板界面，用于设计时间操纵，并结合运行时摄影自动化。通过两项使用定量和定性措施的用户研究，我们证明了Cine-AI产生过过过场动物，这些过场动物与目标主管正确关联，同时提供高于平均水平的可用性。我们的导演模仿数据集可公开使用，可以由用户和电影爱好者扩展。
translated by 谷歌翻译
Covid19 Pandemary已经证明了需要远程学习和虚拟学习应用，如虚拟现实（VR）和基于平板电脑的解决方案。开发人员创建复杂的学习情景是非常耗时的，可能需要一年多。使用系统分析师，开发人员和3D艺术家的团队也是昂贵的。有要求提供简单的方法，使讲师能够为其实验室教程创建自己的内容。已经开发了开发通用模型的研究，以便为需要与实验室资源进行实际交互的科目的半自动创建虚拟学习工具。除了用于创建数字双胞胎的系统之外，还提出了一种描述为电动实验室教程创建虚拟学习应用程序的案例研究。
translated by 谷歌翻译
In this chapter, we review and discuss the transformation of AI technology in HCI/UX work and assess how AI technology will change how we do the work. We first discuss how AI can be used to enhance the result of user research and design evaluation. We then discuss how AI technology can be used to enhance HCI/UX design. Finally, we discuss how AI-enabled capabilities can improve UX when users interact with computing systems, applications, and services.
translated by 谷歌翻译