使用增强现实（AR）用于导航目的，这表明在手术手术过程中协助医生有益。这些应用通常需要知道外科手术工具和患者的姿势，以提供外科医生在任务执行过程中可以使用的视觉信息。现有的医学级跟踪系统使用放置在手术室内的红外摄像头（OR）来识别感兴趣的对象附加并计算其姿势的复古反射标记。一些市售的AR头式显示器（HMD）使用类似的摄像头进行自定位，手动跟踪和估算对象的深度。这项工作提出了一个使用AR HMD的内置摄像机来准确跟踪复古反射标记的框架，例如在手术过程中使用的标记，而无需集成任何其他组件。该框架还能够同时跟踪多个工具。我们的结果表明，横向翻译的准确度为0.09 +-0.06毫米，可以实现标记的跟踪和检测，纵向翻译的0.42 +-0.32 mm，绕垂直轴旋转的0.80 +-0.39 ver。此外，为了展示所提出的框架的相关性，我们在手术程序的背景下评估了系统的性能。该用例旨在在骨科过程中复制K-Wire插入的场景。为了进行评估，为两名外科医生和一名生物医学研究人员提供了视觉导航，每次都进行了21次注射。该用例的结果提供了与基于AR的导航程序报告的相当精度。
translated by 谷歌翻译
Hololens（Microsoft Corp.，WA Redmond，WA）是一款头饰，光学透明的增强现实展示，是最近提高医学增强现实研究的主要参与者。在医疗环境中，HoloLens使医生能够立即了解患者信息，直接与他们对临床方案的看法，医学生，可以更好地了解复杂的解剖学或程序，甚至可以通过执行治疗任务。改进，沉浸式指导。在这篇系统的综述中，我们提供了有关医疗领域第一代霍洛伦斯在2016年3月发布到2021年的全面使用的全面概述，一直关注其继任者霍洛伦斯2号。通过系统搜索PubMed和Scopus数据库确定了171个相关出版物。我们分析了这些出版物的预期用例，注册和跟踪的技术方法，数据源，可视化以及验证和评估。我们发现，尽管已经显示出在各种医学场景中使用Hololens的可行性，但在精确，可靠性，可用性，工作流程和感知方面的努力增加了在临床实践中建立AR。
translated by 谷歌翻译
位置敏感探测器（PSDS）提供了高精度跟踪单个活动标记的两个（或三个）自由（DOF）位置，同时具有高更新频率和低延迟的快速响应时间，所有使用非常简单的信号处理电路。然而，由于缺乏方向测量，有限的跟踪范围和对环境变化的敏感性，它们并不特别适用于6-DOF对象姿势跟踪系统。我们提出了一种新颖的6-DOF姿势跟踪系统，用于需要单个有效标记的刚性物体跟踪。所提出的系统使用立体声的PSD对和多个惯性测量单元（IMU）。这是基于实用的方法来识别和控制红外发光二极管（IR-LED）有源标记的功率，目的是增加跟踪工作空间并降低功耗。我们所提出的跟踪系统用三种不同的工作空间尺寸验证，使用具有三种不同动态运动模式的机器人臂操纵器进行静态和动态位置精度。结果表明，静态位置根均方（RMS）误差为0.6mm。动态位置rms误差为0.7-0.9mm。方向rms误差在不同动态运动时的0.04和0.9度之间。总的来说，我们所提出的跟踪系统能够在工作空间的中间范围和实验室设置下的所有工作空间的子度准确度下跟踪刚性物体姿势。
translated by 谷歌翻译
我们引入了一种新型技术和相关的高分辨率数据集，旨在精确评估基于无线信号的室内定位算法。该技术实现了基于增强的现实（AR）定位系统，该系统用于注释具有高精度位置数据的无线信号参数数据样本。我们在装饰有AR标记的区域中跟踪实用且低成本的可导航相机设置和蓝牙低能（BLE）信标的位置。我们通过使用冗余数字标记来最大程度地提高基于AR的本地化的性能。相机捕获的视频流经过一系列标记识别，子集选择和过滤操作，以产生高度精确的姿势估计。我们的结果表明，我们可以将AR定位系统的位置误差降低到0.05米以下的速率。然后，将位置数据用于注释BLE数据，这些数据由驻扎在环境中的传感器同时捕获，因此，构建具有接地真相的无线信号数据集，该数据集允许准确评估基于无线信号的本地化系统。
translated by 谷歌翻译
机器人超声（US）成像已被视为克服美国自由手检查的局限性，即操作员互操作机构的局限性。 \修订{然而，机器人美国系统在扫描过程中无法对主体运动做出反应，这限制了他们的临床接受。}关于人类超声检查员，他们经常通过重新定位探针甚至重新启动摄取，尤其是因为扫描而对患者的运动做出反应。具有较长结构等肢体动脉的解剖学。为了实现这一特征，我们提出了一个基于视觉的系统来监视受试者的运动并自动更新扫描轨迹，从而无缝获得目标解剖结构的完整3D图像。使用RGB图像中的分段对象掩码开发运动监视模块。一旦受试者移动，机器人将通过使用迭代最接近点算法在移动前后获得的对象的表面点云来停止并重新计算合适的轨迹。之后，为了确保重新定位US探针后的最佳接触条件，使用基于置信的微调过程来避免探针和接触表面之间的潜在间隙。最后，整个系统在具有不均匀表面的人类臂幻象上进行了验证，而对象分割网络也在志愿者上得到验证。结果表明，提出的系统可以对对象运动做出反应，并可靠地提供准确的3D图像。
translated by 谷歌翻译
在本报告中，我们提出了在哥斯达黎加太平洋架子和圣托里尼 - Kolumbo Caldera Complex中，在寻找寿命中的寻找寿命任务中的自主海洋机器人技术协调，操作策略和结果。它作为可能存在于海洋超越地球的环境中的类似物。本报告侧重于ROV操纵器操作的自动化，用于从海底获取有针对性的生物样品收集和返回的。在未来的外星勘查任务到海洋世界的背景下，ROV是一个模拟的行星着陆器，必须能够有能力的高水平自主权。我们的田间试验涉及两个水下车辆，冰（Nui）杂交ROV的两个水下车辆（即，龙眼或自主）任务，都配备了7-DOF液压机械手。我们描述了一种适应性，硬件无关的计算机视觉架构，可实现高级自动化操作。 Vision系统提供了对工作空间的3D理解，以便在复杂的非结构化环境中通知操纵器运动计划。我们展示了视觉系统和控制框架通过越来越具有挑战性的环境中的现场试验的有效性，包括来自活性Undersea火山，Kolumbo内的自动收集和生物样品的回报。根据我们在该领域的经验，我们讨论了我们的系统的表现，并确定了未来研究的有希望的指示。
translated by 谷歌翻译
几十年来，机器人和手眼校准都一直是研究的目的。尽管当前方法能够精确，可靠地识别机器人运动模型的参数，但它们仍然依赖于外部设备，例如校准对象，标记和/或外部传感器。本文没有试图将记录的测量结果适合已知对象的模型，而是将机器人校准视为离线大满贯问题，其中扫描姿势通过移动的运动学链将扫描姿势链接到空间中的固定点。因此，提出的框架允许使用任意眼睛深度传感器的机器人校准，从而无需任何外部工具就可以实现完全自主的自主校准。我的新方法是利用迭代最接近点算法的修改版本来运行多个3D记录的捆绑调整，以估计运动模型的最佳参数。对系统的详细评估显示在带有各种附着的3D传感器的真实机器人上。提出的结果表明，该系统以其成本的一小部分达到了与专用外部跟踪系统相当的精度。
translated by 谷歌翻译
本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。
translated by 谷歌翻译
安装在微空中车辆（MAV）上的地面穿透雷达是有助于协助人道主义陆地间隙的工具。然而，合成孔径雷达图像的质量取决于雷达天线的准确和精确运动估计以及与MAV产生信息性的观点。本文介绍了一个完整的自动空气缩进的合成孔径雷达（GPSAR）系统。该系统由空间校准和时间上同步的工业级传感器套件组成，使得在地面上方，雷达成像和光学成像。自定义任务规划框架允许在地上控制地上的Stripmap和圆形（GPSAR）轨迹的生成和自动执行，以及空中成像调查飞行。基于因子图基于Dual接收机实时运动（RTK）全局导航卫星系统（GNSS）和惯性测量单元（IMU）的测量值，以获得精确，高速平台位置和方向。地面真理实验表明，传感器时机为0.8美元，正如0.1美元的那样，定位率为1 kHz。与具有不确定标题初始化的单个位置因子相比，双位置因子配方可提高高达40％，批量定位精度高达59％。我们的现场试验验证了本地化准确性和精度，使得能够相干雷达测量和检测在沙子中埋入的雷达目标。这验证了作为鸟瞰着地图检测系统的潜力。
translated by 谷歌翻译
本文介绍了Cerberus机器人系统系统，该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性，降解的感知条件以及缺乏GPS支持，严峻的导航条件和拒绝通信，地下设置使自动操作变得特别要求。为了应对这一挑战，我们开发了Cerberus系统，该系统利用了腿部和飞行机器人的协同作用，再加上可靠的控制，尤其是为了克服危险的地形，多模式和多机器人感知，以在传感器退化，以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划，反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力，表现出有效的探索，对感兴趣的对象的可靠检测以及准确的映射。在本文中，我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果，并讨论了为社区带来利益的教训所面临的亮点和挑战。
translated by 谷歌翻译
可靠地定量自然和人为气体释放（例如，从海底进入海洋的自然和人为气体释放（例如，Co $ _2 $，甲烷），最终是大气，是一个具有挑战性的任务。虽然船舶的回声探测器允许在水中检测水中的自由气，但是即使从较大的距离中，精确量化需要诸如未获得的升高速度和气泡尺寸分布的参数。光学方法的意义上是互补的，即它们可以提供从近距离的单个气泡或气泡流的高时和空间分辨率。在这一贡献中，我们介绍了一种完整的仪器和评估方法，用于光学气泡流特征。专用仪器采用高速深海立体声摄像机系统，可在部署在渗透网站以进行以后的自动分析时录制泡泡图像的Tbleabytes。对于几分钟的短序列可以获得泡特性，然后将仪器迁移到其他位置，或者以自主间隔模式迁移到几天内，以捕获由于电流和压力变化和潮汐循环引起的变化。除了报告泡沫特征的步骤旁边，我们仔细评估了可达准确性并提出了一种新颖的校准程序，因为由于缺乏点对应，仅使用气泡的剪影。该系统已成功运营，在太平洋高达1000万水深，以评估甲烷通量。除了样品结果外，我们还会报告在开发期间汲取的故障案例和经验教训。
translated by 谷歌翻译
许多钥匙孔干预依赖于双手动处理外科手术器械，强迫主要外科医生依靠第二个外科医生作为相机助理。除了过度涉及手术人员的负担外，这可能导致图像稳定性降低，增加任务完成时间，有时由于任务的单调而有时会出现错误。由一组基本说明控制的机器人内窥镜持有者已被提出作为替代方案，但它们的不自然处理可能会增加（SOLO）外科医生的认知负荷，这阻碍了它们的临床验收。如果机器人内窥镜持有者通过语义上丰富的指令与操作外科医生合作的机器人内窥镜持有者，则可以实现手术工作流程的更无缝集成。作为概念证明，本文介绍了一种新颖的系统，为外科医生和机器人内窥镜支架之间的协同相互作用铺平了道路。该拟议的平台允许外科医生执行生理协调和导航任务，而机器人臂自动执行内窥镜定位任务。在我们的系统中，我们提出了一种基于外科刀具分割的新型工具提示定位方法和一种新型的视觉伺服方法，可确保内窥镜摄像机的平滑和适当的运动。我们验证了我们的视觉管道并运行了对该系统的用户学习。通过使用欧洲妇科手术课程验证的腹腔镜运动来确保研究的临床相关性，涉及双部手动协调和导航。我们拟议的系统的成功应用提供了更广泛的临床采用机器人内窥镜架的有希望的起点。
translated by 谷歌翻译
在这项工作中，我们通过混合现实（MR）应用中的视频传球来探讨自幻想的创建。我们介绍了我们的端到端系统，包括：在商业头部安装显示器（HMD）上进行自定义MR视频通行证实现，我们基于深度学习的实时egpocentric身体细分算法以及我们优化的卸载体系结构，以交流使用HMD分割服务器。为了验证这项技术，我们设计了一种身临其境的VR体验，用户必须在活跃的火山火山口中穿过狭窄的瓷砖路径。这项研究是在三个身体表示条件下进行的：虚拟手，带有颜色的全身分割的视频传递以及深度学习全身分割的视频通行。这种身临其境的经历由30名女性和28名男性进行。据我们所知，这是首次旨在评估基于视频的自我avatar的用户研究，以代表用户在MR场景中。结果表明，不同身体表示在存在方面没有显着差异，虚拟手和全身表示之间的某些实施方案中等改善。视觉质量结果表明，就整个身体感知和整体分割质量而言，深入学习算法的结果更好。我们提供了一些关于使用基于视频的自我幻想的讨论，以及对评估方法的一些思考。提出的E2E解决方案处于最新技术状态的边界，因此在达到成熟之前仍有改进的空间。但是，该溶液是新型MR分布式溶液的关键起点。
translated by 谷歌翻译
增强现实（AR）透明视觉是一个有趣的研究主题，因为它使用户能够通过墙壁看到并查看被遮挡的对象。大多数现有研究的重点是透明视觉的视觉效果，而相互作用方法的研究较少。但是，我们认为，使用常见的互动方式，例如，空中点击和语音，可能不是控制透明视觉的最佳方法。这是因为当我们想浏览某些东西时，它与我们的目光深度/狂热有关，因此应由眼睛自然控制。遵循这个想法，本文提出了一种新颖的目光控制（GVC）AR中的透明视觉技术。由于需要凝视深度，因此我们使用两个红外摄像机和相应的算法构建了一个凝视跟踪模块，然后将其组装到Microsoft Hololens 2中，以实现凝视深度估计。然后，我们提出了两种不同的GVC模式，以供透明视觉拟合不同的情况。广泛的实验结果表明，我们的凝视深度估计是有效而准确的。通过与常规互动方式进行比较，我们的GVC技术在效率方面也很出色，用户更喜欢。最后，我们提出了凝视控制的透明视觉的四个示例应用。
translated by 谷歌翻译
视觉的触觉传感器由于经济实惠的高分辨率摄像机和成功的计算机视觉技术而被出现为机器人触摸的有希望的方法。但是，它们的物理设计和他们提供的信息尚不符合真实应用的要求。我们提供了一种名为Insight的强大，柔软，低成本，视觉拇指大小的3D触觉传感器：它不断在其整个圆锥形感测表面上提供定向力分布图。围绕内部单眼相机构造，传感器仅在刚性框架上仅成型一层弹性体，以保证灵敏度，鲁棒性和软接触。此外，Insight是第一个使用准直器将光度立体声和结构光混合的系统来检测其易于更换柔性外壳的3D变形。通过将图像映射到3D接触力的空间分布（正常和剪切）的深神经网络推断力信息。洞察力在0.4毫米的总空间分辨率，力量幅度精度约为0.03 n，并且对于具有不同接触面积的多个不同触点，在0.03-2 n的范围内的5度大约5度的力方向精度。呈现的硬件和软件设计概念可以转移到各种机器人部件。
translated by 谷歌翻译
折射率是最常见的眼睛障碍，是可更正视觉障碍的关键原因，造成了美国近80％的视觉障碍。可以使用多种方法诊断折射误差，包括主观折射，视网膜镜检查和自动磨蚀器。尽管主观折射是黄金标准，但它需要患者的合作，因此不适合婴儿，幼儿和发育迟缓的成年人。视网膜镜检查是一种客观折射方法，不需要患者的任何输入。但是，视网膜镜检查需要镜头套件和训练有素的检查员，这限制了其用于大规模筛查的使用。在这项工作中，我们通过将智能手机连接到视网膜镜和录制视网膜镜视频与患者戴着定制的纸框架来自动化自动化。我们开发了一个视频处理管道，该管道将视网膜视频视为输入，并根据我们提出的视网膜镜检查数学模型的扩展来估算净屈光度错误。我们的系统减轻了对镜头套件的需求，可以由未经培训的检查员进行。在一项185只眼睛的临床试验中，我们的灵敏度为91.0％，特异性为74.0％。此外，与主观折射测量相比，我们方法的平均绝对误差为0.75 $ \ pm $ 0.67D。我们的结果表明，我们的方法有可能用作现实世界中医疗设置中的基于视网膜镜检查的折射率筛选工具。
translated by 谷歌翻译
许多施工机器人任务（例如自动水泥抛光或机器人石膏喷涂）需要高精度3D表面信息。但是，目前在市场上发现的消费级深度摄像头还不够准确，对于需要毫米（mm）级别准确性的这些任务。本文介绍了SL传感器，SL传感器是一种结构化的光传感溶液，能够通过利用相移初量法（PSP）编码技术来生产5 Hz的高保真点云。将SL传感器与两个商用深度摄像机进行了比较 - Azure Kinect和Realsense L515。实验表明，SL传感器以室内表面重建应用的精度和精度超过了两个设备。此外，为了证明SL传感器成为机器人应用的结构化光传感研究平台的能力，开发了运动补偿策略，该策略允许SL传感器在传统PSP方法仅在传感器静态时工作时在线性运动过程中运行。现场实验表明，SL传感器能够生成喷雾灰泥表面的高度详细的重建。机器人操作系统（ROS）的软件和SL传感器的示例硬件构建是开源的，其目的是使结构化的光传感更容易被施工机器人社区访问。所有文档和代码均可在https://github.com/ethz-asl/sl_sensor/上获得。
translated by 谷歌翻译
纳米大小的无人机具有探索未知和复杂环境的巨大潜力。它们的尺寸很小，使它们敏捷且安全地靠近人类，并使他们能够穿过狭窄的空间。但是，它们的尺寸很小和有效载荷限制了板载计算和传感的可能性，从而使完全自主的飞行极具挑战性。迈向完全自主权的第一步是可靠的避免障碍，这在通用的室内环境中被证明在技术上具有挑战性。当前的方法利用基于视觉或一维传感器来支持纳米无人机感知算法。这项工作为基于新颖的毫米尺寸64像素多区域飞行时间（TOF）传感器和通用的无模型控制策略提供了轻巧的避免障碍系统。报告的现场测试基于Crazyflie 2.1，该测试由定制的多区TOF甲板扩展，总质量为35克。该算法仅使用0.3％的车载处理能力（210US执行时间），帧速率为15fps，为许多未来应用提供了绝佳的基础。运行提出的感知系统（包括抬起和操作传感器）所需的总无人机功率不到10％。在通用且以前未开发的室内环境中，提出的自动纳米大小无人机以0.5m/s的速度达到100％可靠性。所提出的系统释放出具有广泛数据集的开源，包括TOF和灰度摄像头数据，并与运动捕获中的无人机位置地面真相结合在一起。
translated by 谷歌翻译
机器人超声（US）成像旨在克服美国自由企业考试的一些局限性，例如难以保证操作员可重复性。然而，由于患者之间的解剖学和生理变化以及解剖下结构的相对运动，富有鲁棒性产生最佳轨迹以检查感兴趣的解剖学时，当他们构成明确的关节时，这是一项挑战。为了应对这一挑战，本文提出了一种基于视觉的方法，允许自动机器人美国肢体扫描。为此，使用带注释的血管结构的人臂的Atlas MRI模板用于生成轨迹并注册并将其投射到患者的皮肤表面上，以进行机器人的美国获得。为了有效地细分并准确地重建目标的3D容器，我们通过将通道注意模块纳入U-NET型神经网络中，利用连续美国框架中的空间连续性。自动轨迹生成方法对具有各种铰接关节角度的六名志愿者进行评估。在所有情况下，该系统都可以成功地获取志愿者四肢上计划的血管结构。对于一名志愿者，还提供了MRI扫描，可以评估美国图像中扫描动脉的平均半径，从而导致半径估计（$ 1.2 \ pm0.05〜mm $）可与MRI地面真相相当（$ 1.2 \ $ $） PM0.04〜mm $）。
translated by 谷歌翻译
本文介绍了多传感器用户界面的开发，以促进电弧焊接任务的指导。获得手眼协调能力的传统方法通常是通过一对一的指导来进行的，学员必须戴着保护头盔并进行多项测试。这种方法效率低下，因为电弧从电弧发出的有害光阻止了对过程的密切监测。从业者只能观察到一个小的亮点。为了解决这些问题，最近的培训方法利用虚拟现实来安全地模拟该过程并可视化工件的几何形状。但是，这些类型的仿真平台的合成性质降低了它们的有效性，因为它们无法构成与环境的实际焊接相互作用，从而阻碍了受训者的学习过程。为了为用户提供真正的焊接体验，我们开发了一个新的多传感器扩展现实平台，用于弧焊接训练。我们的系统由：（1）HDR摄像头，实时监视真实的焊接位； （2）深度传感器，捕获场景的3D几何形状； （3）头部安装的VR显示屏，可以安全地可视化过程。我们的创新平台为用户提供了“机器人培训师”，接缝几何形状的虚拟提示，自动点跟踪和性能得分。为了验证平台的可行性，我们通过几项焊接培训任务进行了广泛的实验。我们表明，与传统的培训实践和最近的虚拟现实方法相比，我们的自动多传感器方法在准确性，学习曲线和有效性方面取得了更好的性能。
translated by 谷歌翻译