外科模拟器不仅允许规划和培训复杂的程序，而且还提供了为算法开发产生结构化数据的能力，这可以应用于图像引导的计算机辅助干预措施。虽然在外科医生或数据生成引擎的发展培训平台上，但我们知识的这两个功能尚未一起提供。我们展示了我们的开发成本效益和协同框架，命名为异步多体框架加（AMBF +），它与练习其外科技能的用户同时生成下游算法开发的数据。 AMBF +在虚拟现实（VR）设备上提供立体显示器，并触觉外科仿真的触觉反馈。它还可以生成不同的数据，例如对象姿势和分段图。 AMBF +采用柔性插件设置设计，可允许仿真仿真不同外科手术。我们将AMBF +的一个用例显示为虚拟钻探模拟器，用于横向颅底手术，用户可以使用虚拟手术钻积极地修改患者解剖结构。我们进一步演示如何生成的数据可用于验证和培训下游计算机视觉算法
translated by 谷歌翻译
Hololens（Microsoft Corp.，WA Redmond，WA）是一款头饰，光学透明的增强现实展示，是最近提高医学增强现实研究的主要参与者。在医疗环境中，HoloLens使医生能够立即了解患者信息，直接与他们对临床方案的看法，医学生，可以更好地了解复杂的解剖学或程序，甚至可以通过执行治疗任务。改进，沉浸式指导。在这篇系统的综述中，我们提供了有关医疗领域第一代霍洛伦斯在2016年3月发布到2021年的全面使用的全面概述，一直关注其继任者霍洛伦斯2号。通过系统搜索PubMed和Scopus数据库确定了171个相关出版物。我们分析了这些出版物的预期用例，注册和跟踪的技术方法，数据源，可视化以及验证和评估。我们发现，尽管已经显示出在各种医学场景中使用Hololens的可行性，但在精确，可靠性，可用性，工作流程和感知方面的努力增加了在临床实践中建立AR。
translated by 谷歌翻译
使用增强现实（AR）用于导航目的，这表明在手术手术过程中协助医生有益。这些应用通常需要知道外科手术工具和患者的姿势，以提供外科医生在任务执行过程中可以使用的视觉信息。现有的医学级跟踪系统使用放置在手术室内的红外摄像头（OR）来识别感兴趣的对象附加并计算其姿势的复古反射标记。一些市售的AR头式显示器（HMD）使用类似的摄像头进行自定位，手动跟踪和估算对象的深度。这项工作提出了一个使用AR HMD的内置摄像机来准确跟踪复古反射标记的框架，例如在手术过程中使用的标记，而无需集成任何其他组件。该框架还能够同时跟踪多个工具。我们的结果表明，横向翻译的准确度为0.09 +-0.06毫米，可以实现标记的跟踪和检测，纵向翻译的0.42 +-0.32 mm，绕垂直轴旋转的0.80 +-0.39 ver。此外，为了展示所提出的框架的相关性，我们在手术程序的背景下评估了系统的性能。该用例旨在在骨科过程中复制K-Wire插入的场景。为了进行评估，为两名外科医生和一名生物医学研究人员提供了视觉导航，每次都进行了21次注射。该用例的结果提供了与基于AR的导航程序报告的相当精度。
translated by 谷歌翻译
在这项工作中，我们通过混合现实（MR）应用中的视频传球来探讨自幻想的创建。我们介绍了我们的端到端系统，包括：在商业头部安装显示器（HMD）上进行自定义MR视频通行证实现，我们基于深度学习的实时egpocentric身体细分算法以及我们优化的卸载体系结构，以交流使用HMD分割服务器。为了验证这项技术，我们设计了一种身临其境的VR体验，用户必须在活跃的火山火山口中穿过狭窄的瓷砖路径。这项研究是在三个身体表示条件下进行的：虚拟手，带有颜色的全身分割的视频传递以及深度学习全身分割的视频通行。这种身临其境的经历由30名女性和28名男性进行。据我们所知，这是首次旨在评估基于视频的自我avatar的用户研究，以代表用户在MR场景中。结果表明，不同身体表示在存在方面没有显着差异，虚拟手和全身表示之间的某些实施方案中等改善。视觉质量结果表明，就整个身体感知和整体分割质量而言，深入学习算法的结果更好。我们提供了一些关于使用基于视频的自我幻想的讨论，以及对评估方法的一些思考。提出的E2E解决方案处于最新技术状态的边界，因此在达到成熟之前仍有改进的空间。但是，该溶液是新型MR分布式溶液的关键起点。
translated by 谷歌翻译
本文介绍了Cerberus机器人系统系统，该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性，降解的感知条件以及缺乏GPS支持，严峻的导航条件和拒绝通信，地下设置使自动操作变得特别要求。为了应对这一挑战，我们开发了Cerberus系统，该系统利用了腿部和飞行机器人的协同作用，再加上可靠的控制，尤其是为了克服危险的地形，多模式和多机器人感知，以在传感器退化，以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划，反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力，表现出有效的探索，对感兴趣的对象的可靠检测以及准确的映射。在本文中，我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果，并讨论了为社区带来利益的教训所面临的亮点和挑战。
translated by 谷歌翻译
综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...
translated by 谷歌翻译
筛查结肠镜检查是多种3D计算机视觉技术的重要临床应用，包括深度估计，表面重建和缺失区域检测。但是，由于难以获取地面真相数据，因此在实际结肠镜检查视频中对这些技术的开发，评估和比较仍然在很大程度上是定性的。在这项工作中，我们提出了一个带有高清临床结肠镜和高保真结肠模型的结肠镜检查3D视频数据集（C3VD），用于在结肠镜检查中进行基准计算机视觉方法。我们介绍了一种新颖的多模式2D-3D注册技术，以注册光学视频序列，并以地面真实的视图对已知3D模型的视图。通过将光学图像转换为具有生成对抗网络的深度图，并通过进化优化器对齐边缘特征来注册不同的模态。在模拟实验中，这种注册方法达到了0.321毫米的平均翻译误差，平均旋转误差为0.159度，无误地面真相可用。该方法还利用视频信息，将注册精度提高了55.6％以进行翻译，与单帧注册相比，旋转60.4％。 22个简短的视频序列被注册，以生成10,015个总帧，具有配对的地面真实深度，表面正常，光流，遮挡，六个自由度姿势，覆盖范围图和3D模型。该数据集还包括胃肠病学家与配对地面真相姿势和3D表面模型获得的筛选视频。数据集和注册源代码可在urr.jhu.edu/c3vd上获得。
translated by 谷歌翻译
机器人超声（US）成像已被视为克服美国自由手检查的局限性，即操作员互操作机构的局限性。 \修订{然而，机器人美国系统在扫描过程中无法对主体运动做出反应，这限制了他们的临床接受。}关于人类超声检查员，他们经常通过重新定位探针甚至重新启动摄取，尤其是因为扫描而对患者的运动做出反应。具有较长结构等肢体动脉的解剖学。为了实现这一特征，我们提出了一个基于视觉的系统来监视受试者的运动并自动更新扫描轨迹，从而无缝获得目标解剖结构的完整3D图像。使用RGB图像中的分段对象掩码开发运动监视模块。一旦受试者移动，机器人将通过使用迭代最接近点算法在移动前后获得的对象的表面点云来停止并重新计算合适的轨迹。之后，为了确保重新定位US探针后的最佳接触条件，使用基于置信的微调过程来避免探针和接触表面之间的潜在间隙。最后，整个系统在具有不均匀表面的人类臂幻象上进行了验证，而对象分割网络也在志愿者上得到验证。结果表明，提出的系统可以对对象运动做出反应，并可靠地提供准确的3D图像。
translated by 谷歌翻译
培训和测试监督对象检测模型需要大量带有地面真相标签的图像。标签定义图像中的对象类及其位置，形状以及可能的其他信息，例如姿势。即使存在人力，标签过程也非常耗时。我们引入了一个新的标签工具，用于2D图像以及3D三角网格：3D标记工具（3DLT）。这是一个独立的，功能丰富和跨平台软件，不需要安装，并且可以在Windows，MacOS和基于Linux的发行版上运行。我们不再像当前工具那样在每个图像上分别标记相同的对象，而是使用深度信息从上述图像重建三角形网格，并仅在上述网格上标记一次对象。我们使用注册来简化3D标记，离群值检测来改进2D边界框的计算和表面重建，以将标记可能性扩展到大点云。我们的工具经过最先进的方法测试，并且在保持准确性和易用性的同时，它极大地超过了它们。
translated by 谷歌翻译
2020-07-09
我们介绍了ThreedWorld（TDW），是交互式多模态物理模拟的平台。 TDW能够模拟高保真感官数据和富裕的3D环境中的移动代理和对象之间的物理交互。独特的属性包括：实时近光 - 真实图像渲染;对象和环境库，以及他们定制的例程;有效构建新环境课程的生成程序;高保真音频渲染;各种材料类型的现实物理相互作用，包括布料，液体和可变形物体;可定制的代理体现AI代理商;并支持与VR设备的人类交互。 TDW的API使多个代理能够在模拟中进行交互，并返回一系列表示世界状态的传感器和物理数据。我们在计算机视觉，机器学习和认知科学中的新兴的研究方向上提供了通过TDW的初始实验，包括多模态物理场景理解，物理动态预测，多代理交互，像孩子一样学习的模型，并注意研究人类和神经网络。
translated by 谷歌翻译
在本报告中，我们提出了在哥斯达黎加太平洋架子和圣托里尼 - Kolumbo Caldera Complex中，在寻找寿命中的寻找寿命任务中的自主海洋机器人技术协调，操作策略和结果。它作为可能存在于海洋超越地球的环境中的类似物。本报告侧重于ROV操纵器操作的自动化，用于从海底获取有针对性的生物样品收集和返回的。在未来的外星勘查任务到海洋世界的背景下，ROV是一个模拟的行星着陆器，必须能够有能力的高水平自主权。我们的田间试验涉及两个水下车辆，冰（Nui）杂交ROV的两个水下车辆（即，龙眼或自主）任务，都配备了7-DOF液压机械手。我们描述了一种适应性，硬件无关的计算机视觉架构，可实现高级自动化操作。 Vision系统提供了对工作空间的3D理解，以便在复杂的非结构化环境中通知操纵器运动计划。我们展示了视觉系统和控制框架通过越来越具有挑战性的环境中的现场试验的有效性，包括来自活性Undersea火山，Kolumbo内的自动收集和生物样品的回报。根据我们在该领域的经验，我们讨论了我们的系统的表现，并确定了未来研究的有希望的指示。
translated by 谷歌翻译
本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。
translated by 谷歌翻译
Figure 1: Example output from our system, generated in real-time with a handheld Kinect depth camera and no other sensing infrastructure. Normal maps (colour) and Phong-shaded renderings (greyscale) from our dense reconstruction system are shown. On the left for comparison is an example of the live, incomplete, and noisy data from the Kinect sensor (used as input to our system).
translated by 谷歌翻译
休眠季节葡萄树修剪需要熟练的季节性工人，这在冬季变得越来越缺乏。随着在短期季节性招聘文化和低工资的短期季节性招聘文化和低工资的时间内，随着工人更少的葡萄藤，葡萄藤往往被修剪不一致地导致葡萄化物不平衡。除此之外，目前现有的机械方法无法选择性地修剪葡萄园和手动后续操作，通常需要进一步提高生产成本。在本文中，我们展示了崎岖，全自治机器人的设计和田间评估，用于休眠季节葡萄园的端到最终修剪。该设计的设计包括新颖的相机系统，运动冗余机械手，地面机器人和在感知系统中的新颖算法。所提出的研究原型机器人系统能够在213秒/葡萄藤中完全从两侧刺激一排藤蔓，总修枝精度为87％。与机械预灌浆试验相比，商业葡萄园中自治系统的初始现场测试显示出休眠季节修剪的显着变化。在手稿中描述了设计方法，系统组件，经验教训，未来增强以及简要的经济分析。
translated by 谷歌翻译
我们提出Dave Aquatic Virtual Environals（Dave），这是用于水下机器人，传感器和环境的开源仿真堆栈。传统的机器人模拟器并非旨在应对海洋环境带来的独特挑战，包括但不限于在空间和时间上变化的环境条件，受损或具有挑战性的感知以及在通常未探索的环境中数据的不可用。考虑到各种传感器和平台，对于不可避免地抵制更广泛采用的特定用例，车轮通常会重新发明。在现有模拟器的基础上，我们提供了一个框架，以帮助加快算法的开发和评估，否则这些算法需要在海上需要昂贵且耗时的操作。该框架包括基本的构建块（例如，新车，水跟踪多普勒速度记录仪，基于物理的多微型声纳）以及开发工具（例如，动态测深的产卵，洋流），使用户可以专注于方法论，而不是方法。比软件基础架构。我们通过示例场景，测深数据导入，数据检查的用户界面和操纵运动计划以及可视化来演示用法。
translated by 谷歌翻译
为了有效地使用导航系统，诸如深度传感器的距离信息传感器是必不可少的。由于深度传感器难以在内窥镜检查中使用，因此许多组提出了一种使用卷积神经网络的方法。在本文中，通过通过CT上扫描模型分段的结肠模型通过内窥镜模拟产生深度图像和内窥镜图像的基础事实。可以使用SIM-to-Real方法使用Corpergan用于内窥镜检查图像来创建照片逼真的模拟图像。通过训练生成的数据集，我们提出了定量内窥镜检查深度估计网络。该方法代表了比现有无监督的基于培训的结果更好的评估得分。
translated by 谷歌翻译
我们描述了一个软件框架和用于串联的硬件平台，用于设计和分析模拟和现实中机器人自主算法。该软件是开源的，独立的容器和操作系统（OS）的软件，具有三个主要组件：COS ++车辆仿真框架（Chrono）的ROS 2接口（Chrono），该框架提供了高保真的轮毂/跟踪的车辆和传感器仿真；基于ROS 2的基本基于算法设计和测试的自治堆栈；以及一个开发生态系统，可在感知，状态估计，路径计划和控制中进行可视化和硬件实验。随附的硬件平台是1/6刻度的车辆，并具有可重新配置的用于计算，传感和跟踪的可重新配置的安装。其目的是允许对算法和传感器配置进行物理测试和改进。由于该车辆平台在模拟环境中具有数字双胞胎，因此可以测试和比较模拟和现实中相同的算法和自主堆栈。该平台的构建是为了表征和管理模拟到现实差距。在此，我们描述了如何建立，部署和用于改善移动应用程序的自主权。
translated by 谷歌翻译
translated by 谷歌翻译
现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。
translated by 谷歌翻译
新兴的元应用需要人类手的可靠，准确和逼真的复制品，以便在物理世界中进行复杂的操作。虽然真实的人手代表了骨骼，肌肉，肌腱和皮肤之间最复杂的协调之一，但最先进的技术一致专注于仅建模手的骨架。在本文中，我们提出了Nimble，这是一种新型的参数手模型，其中包括缺少的密钥组件，将3D手模型带入了新的现实主义水平。我们首先在最近的磁共振成像手（MRI手）数据集上注释肌肉，骨骼和皮肤，然后在数据集中的单个姿势和受试者上注册一个体积模板手。敏捷由20个骨头组成，作为三角形网格，7个肌肉群作为四面体网眼和一个皮肤网。通过迭代形状的注册和参数学习，它进一步产生形状的混合形状，姿势混合形状和关节回归器。我们证明将敏捷性应用于建模，渲染和视觉推理任务。通过强制执行内部骨骼和肌肉以符合解剖学和运动学规则，Nimble可以使3D手动画为前所未有的现实主义。为了建模皮肤的外观，我们进一步构建了一个光度法，以获取高质量的纹理和正常地图，以模型皱纹和棕榈印刷。最后，敏捷还通过合成丰富的数据或直接作为推理网络中的可区分层来使基于学习的手姿势和形状估计受益。
translated by 谷歌翻译