机器人超声（US）成像旨在克服美国自由企业考试的一些局限性，例如难以保证操作员可重复性。然而，由于患者之间的解剖学和生理变化以及解剖下结构的相对运动，富有鲁棒性产生最佳轨迹以检查感兴趣的解剖学时，当他们构成明确的关节时，这是一项挑战。为了应对这一挑战，本文提出了一种基于视觉的方法，允许自动机器人美国肢体扫描。为此，使用带注释的血管结构的人臂的Atlas MRI模板用于生成轨迹并注册并将其投射到患者的皮肤表面上，以进行机器人的美国获得。为了有效地细分并准确地重建目标的3D容器，我们通过将通道注意模块纳入U-NET型神经网络中，利用连续美国框架中的空间连续性。自动轨迹生成方法对具有各种铰接关节角度的六名志愿者进行评估。在所有情况下，该系统都可以成功地获取志愿者四肢上计划的血管结构。对于一名志愿者，还提供了MRI扫描，可以评估美国图像中扫描动脉的平均半径，从而导致半径估计（$ 1.2 \ pm0.05〜mm $）可与MRI地面真相相当（$ 1.2 \ $ $） PM0.04〜mm $）。

机器人超声（US）成像已被视为克服美国自由手检查的局限性，即操作员互操作机构的局限性。 \修订{然而，机器人美国系统在扫描过程中无法对主体运动做出反应，这限制了他们的临床接受。}关于人类超声检查员，他们经常通过重新定位探针甚至重新启动摄取，尤其是因为扫描而对患者的运动做出反应。具有较长结构等肢体动脉的解剖学。为了实现这一特征，我们提出了一个基于视觉的系统来监视受试者的运动并自动更新扫描轨迹，从而无缝获得目标解剖结构的完整3D图像。使用RGB图像中的分段对象掩码开发运动监视模块。一旦受试者移动，机器人将通过使用迭代最接近点算法在移动前后获得的对象的表面点云来停止并重新计算合适的轨迹。之后，为了确保重新定位US探针后的最佳接触条件，使用基于置信的微调过程来避免探针和接触表面之间的潜在间隙。最后，整个系统在具有不均匀表面的人类臂幻象上进行了验证，而对象分割网络也在志愿者上得到验证。结果表明，提出的系统可以对对象运动做出反应，并可靠地提供准确的3D图像。

在核医学中，规定放射性碘治疗以治疗甲状腺功能亢进等疾病。规定剂量的计算在甲状腺体积上取决于其他因素。目前使用传统的2D超声成像估计这一点。但是，这种模态本质上是依赖的，导致体积估计的高变异性。为了提高再现性和一致性，我们用甲状腺体积的自动机器人超声扫描唯一地结合了基于神经网络的分割。通过使用具有连接超声探头的6 DOF机器人臂实现机器人采集。其运动基于每个甲状腺叶的在线分割和美国图像的外观。在后处理期间，将美国图像分段以获得体积估计。在一种消融研究中，与机器人在体积精度方面执行的与机器人执行的天真线性运动相比，我们证明了机器人臂运动的运动引导算法的优越性。在对幻影的用户研究中，我们将传统的2D超声测量与机器人系统进行了比较。与地面真理相比，超声专家用户的平均体积测量误差可能会从20.85 +/- 16.10％显着降低到仅8.23 +/- 3.10％。在非专家用户中观察到这种趋势，其中测量了与机器人系统的平均误差改善，以高达85美元的价格，这显然显示了机器人支持的优势。

超声（US）成像通常用于协助诊断和脊柱疾病的干预，而通过手动操作探针进行标准化美国收购需要大量的经验和超声检查的培训。在这项工作中，我们提出了一种新的双代理框架，集成了强化学习（RL）代理和深度学习（DL）代理，以共同确定基于实时超声图像美国探测器的移动，以模拟专家超声检查操作者的决策过程，以实现脊柱超声自主标准视图收购。此外，通过美国传播的性质和脊柱解剖的特性的启发，我们引入一个视图特定的声影奖励利用阴影信息来隐式地引导朝向脊柱的不同标准视图探针的导航。我们的方法在从$ $ 17名志愿者获得的美国经济数据建立了一个模拟环境的定量和定性实验验证。平均导航精度朝向不同的标准视图达到$5.18毫米/ 5.25 ^ \ CIRC $ $和12.87毫米/ 17.49 ^ \ CIRC $在分子内和主体间设置，分别。结果表明，我们的方法可以有效地解释美国的图像和导航探头获取脊柱多种标准的意见。

休眠季节葡萄树修剪需要熟练的季节性工人，这在冬季变得越来越缺乏。随着在短期季节性招聘文化和低工资的短期季节性招聘文化和低工资的时间内，随着工人更少的葡萄藤，葡萄藤往往被修剪不一致地导致葡萄化物不平衡。除此之外，目前现有的机械方法无法选择性地修剪葡萄园和手动后续操作，通常需要进一步提高生产成本。在本文中，我们展示了崎岖，全自治机器人的设计和田间评估，用于休眠季节葡萄园的端到最终修剪。该设计的设计包括新颖的相机系统，运动冗余机械手，地面机器人和在感知系统中的新颖算法。所提出的研究原型机器人系统能够在213秒/葡萄藤中完全从两侧刺激一排藤蔓，总修枝精度为87％。与机械预灌浆试验相比，商业葡萄园中自治系统的初始现场测试显示出休眠季节修剪的显着变化。在手稿中描述了设计方法，系统组件，经验教训，未来增强以及简要的经济分析。

本文介绍了全髋关节置换术（THA）的手术机器人系统的开发和实验评估。尽管在关节置换手术中使用的现有机器人系统已经取得了一些进展，但机器人组必须在操作过程中准确地位于目标位置，这在很大程度上取决于外科医生的经验。此外，手持式髋臼铰刀通常表现出不均匀的强度和研磨文件。此外，缺乏实时测量股骨颈长度的技术可能导致结果不佳。为了应对这些挑战，我们提出了一种可实时可追溯的光学定位策略，以减少手术期间对机器人臂的不必要的手动调整，一种稳定磨削的最终效用系统，以及提供股骨颈的实时测量的光学探测器长度和其他参数用于选择适当的假体。下肢的长度在安装假体时测量。实验评估结果表明，根据其准确性，执行能力和鲁棒性，提出的手术机器人系统对于THA是可行的。

筛查结肠镜检查是多种3D计算机视觉技术的重要临床应用，包括深度估计，表面重建和缺失区域检测。但是，由于难以获取地面真相数据，因此在实际结肠镜检查视频中对这些技术的开发，评估和比较仍然在很大程度上是定性的。在这项工作中，我们提出了一个带有高清临床结肠镜和高保真结肠模型的结肠镜检查3D视频数据集（C3VD），用于在结肠镜检查中进行基准计算机视觉方法。我们介绍了一种新颖的多模式2D-3D注册技术，以注册光学视频序列，并以地面真实的视图对已知3D模型的视图。通过将光学图像转换为具有生成对抗网络的深度图，并通过进化优化器对齐边缘特征来注册不同的模态。在模拟实验中，这种注册方法达到了0.321毫米的平均翻译误差，平均旋转误差为0.159度，无误地面真相可用。该方法还利用视频信息，将注册精度提高了55.6％以进行翻译，与单帧注册相比，旋转60.4％。 22个简短的视频序列被注册，以生成10,015个总帧，具有配对的地面真实深度，表面正常，光流，遮挡，六个自由度姿势，覆盖范围图和3D模型。该数据集还包括胃肠病学家与配对地面真相姿势和3D表面模型获得的筛选视频。数据集和注册源代码可在urr.jhu.edu/c3vd上获得。

新兴的元应用需要人类手的可靠，准确和逼真的复制品，以便在物理世界中进行复杂的操作。虽然真实的人手代表了骨骼，肌肉，肌腱和皮肤之间最复杂的协调之一，但最先进的技术一致专注于仅建模手的骨架。在本文中，我们提出了Nimble，这是一种新型的参数手模型，其中包括缺少的密钥组件，将3D手模型带入了新的现实主义水平。我们首先在最近的磁共振成像手（MRI手）数据集上注释肌肉，骨骼和皮肤，然后在数据集中的单个姿势和受试者上注册一个体积模板手。敏捷由20个骨头组成，作为三角形网格，7个肌肉群作为四面体网眼和一个皮肤网。通过迭代形状的注册和参数学习，它进一步产生形状的混合形状，姿势混合形状和关节回归器。我们证明将敏捷性应用于建模，渲染和视觉推理任务。通过强制执行内部骨骼和肌肉以符合解剖学和运动学规则，Nimble可以使3D手动画为前所未有的现实主义。为了建模皮肤的外观，我们进一步构建了一个光度法，以获取高质量的纹理和正常地图，以模型皱纹和棕榈印刷。最后，敏捷还通过合成丰富的数据或直接作为推理网络中的可区分层来使基于学习的手姿势和形状估计受益。

本文介绍了使用腿收割机进行精密收集任务的集成系统。我们的收割机在狭窄的GPS拒绝了森林环境中的自主导航和树抓取了一项挑战性的任务。提出了映射，本地化，规划和控制的策略，并集成到完全自主系统中。任务从使用定制的传感器模块开始使用人员映射感兴趣区域。随后，人类专家选择树木进行收获。然后将传感器模块安装在机器上并用于给定地图内的本地化。规划算法在单路径规划问题中搜索一个方法姿势和路径。我们设计了一个路径，后面的控制器利用腿的收割机的谈判粗糙地形的能力。在达接近姿势时，机器用通用夹具抓住一棵树。此过程重复操作员选择的所有树。我们的系统已经在与树干和自然森林中的测试领域进行了测试。据我们所知，这是第一次在现实环境中运行的全尺寸液压机上显示了这一自主权。

使用增强现实（AR）用于导航目的，这表明在手术手术过程中协助医生有益。这些应用通常需要知道外科手术工具和患者的姿势，以提供外科医生在任务执行过程中可以使用的视觉信息。现有的医学级跟踪系统使用放置在手术室内的红外摄像头（OR）来识别感兴趣的对象附加并计算其姿势的复古反射标记。一些市售的AR头式显示器（HMD）使用类似的摄像头进行自定位，手动跟踪和估算对象的深度。这项工作提出了一个使用AR HMD的内置摄像机来准确跟踪复古反射标记的框架，例如在手术过程中使用的标记，而无需集成任何其他组件。该框架还能够同时跟踪多个工具。我们的结果表明，横向翻译的准确度为0.09 +-0.06毫米，可以实现标记的跟踪和检测，纵向翻译的0.42 +-0.32 mm，绕垂直轴旋转的0.80 +-0.39 ver。此外，为了展示所提出的框架的相关性，我们在手术程序的背景下评估了系统的性能。该用例旨在在骨科过程中复制K-Wire插入的场景。为了进行评估，为两名外科医生和一名生物医学研究人员提供了视觉导航，每次都进行了21次注射。该用例的结果提供了与基于AR的导航程序报告的相当精度。

用机器人手操纵物体是一项复杂的任务。不仅需要协调手指，而且机器人最终效应器的姿势也需要协调。使用人类的运动演示是指导机器人行为的直观和数据效率的方式。我们提出了一个具有自动实施例映射的模块化框架，以将记录的人体运动转移到机器人系统中。在这项工作中，我们使用运动捕获来记录人类运动。我们在八项具有挑战性的任务上评估了我们的方法，其中机器人手需要掌握和操纵可变形或小且脆弱的物体。我们测试了模拟和实际机器人中的轨迹子集，并且整体成功率是一致的。

Ultrasound is progressing toward becoming an affordable and versatile solution to medical imaging. With the advent of COVID-19 global pandemic, there is a need to fully automate ultrasound imaging as it requires trained operators in close proximity to patients for long period of time. In this work, we investigate the important yet seldom-studied problem of scan target localization, under the setting of lung ultrasound imaging. We propose a purely vision-based, data driven method that incorporates learning-based computer vision techniques. We combine a human pose estimation model with a specially designed regression model to predict the lung ultrasound scan targets, and deploy multiview stereo vision to enhance the consistency of 3D target localization. While related works mostly focus on phantom experiments, we collect data from 30 human subjects for testing. Our method attains an accuracy level of 15.52 (9.47) mm for probe positioning and 4.32 (3.69){\deg} for probe orientation, with a success rate above 80% under an error threshold of 25mm for all scan targets. Moreover, our approach can serve as a general solution to other types of ultrasound modalities. The code for implementation has been released.

通常，非刚性登记的问题是匹配在两个不同点拍摄的动态对象的两个不同扫描。这些扫描可以进行刚性动作和非刚性变形。由于模型的新部分可能进入视图，而其他部件在两个扫描之间堵塞，则重叠区域是两个扫描的子集。在最常规的设置中，没有给出先前的模板形状，并且没有可用的标记或显式特征点对应关系。因此，这种情况是局部匹配问题，其考虑了随后的扫描在具有大量重叠区域的情况下进行的扫描经历的假设[28]。本文在环境中寻址的问题是同时在环境中映射变形对象和本地化摄像机。

几十年来，机器人和手眼校准都一直是研究的目的。尽管当前方法能够精确，可靠地识别机器人运动模型的参数，但它们仍然依赖于外部设备，例如校准对象，标记和/或外部传感器。本文没有试图将记录的测量结果适合已知对象的模型，而是将机器人校准视为离线大满贯问题，其中扫描姿势通过移动的运动学链将扫描姿势链接到空间中的固定点。因此，提出的框架允许使用任意眼睛深度传感器的机器人校准，从而无需任何外部工具就可以实现完全自主的自主校准。我的新方法是利用迭代最接近点算法的修改版本来运行多个3D记录的捆绑调整，以估计运动模型的最佳参数。对系统的详细评估显示在带有各种附着的3D传感器的真实机器人上。提出的结果表明，该系统以其成本的一小部分达到了与专用外部跟踪系统相当的精度。

脑出血（ICH）是最致命的中风子类型，死亡率高达52％。由于颅骨切开术引起的潜在皮质破坏，保守管理（注意等待）历史上一直是一种常见的治疗方法。最小的侵入性疏散最近已成为一种可公认的治疗方法，用于体积30-50 mL的深座性血肿的患者，但适当的可视化和工具敏感性仍然受到常规内窥镜方法的限制，尤其是较大的血肿体积（> 50 mL）。在本文中，我们描述了Aspihre的发展（脑部出血机器人疏散的手术平台），这是有史以来的第一个同心管机器人，该机器人使用现成的塑料管来进行MR引导ICH撤离，改善工具敏感性和程序可视化。机器人运动学模型是基于基于校准的方法和试管力学建模开发的，使模型可以考虑可变曲率和扭转偏转。使用可变增益PID算法控制旋转精度为0.317 +/- 0.3度。硬件和理论模型在一系列系统的基准和MRI实验中进行了验证，导致1.39 +\ -0.54 mm的管尖的位置精度。验证靶向准确性后，在MR引导的幻影凝块疏散实验中测试了机器人的疏散功效。该机器人能够在5分钟内撤离最初38.36 mL的凝块，使残留血肿为8.14 mL，远低于15 mL指南，表明良好的后疏散临床结果。

视觉的触觉传感器由于经济实惠的高分辨率摄像机和成功的计算机视觉技术而被出现为机器人触摸的有希望的方法。但是，它们的物理设计和他们提供的信息尚不符合真实应用的要求。我们提供了一种名为Insight的强大，柔软，低成本，视觉拇指大小的3D触觉传感器：它不断在其整个圆锥形感测表面上提供定向力分布图。围绕内部单眼相机构造，传感器仅在刚性框架上仅成型一层弹性体，以保证灵敏度，鲁棒性和软接触。此外，Insight是第一个使用准直器将光度立体声和结构光混合的系统来检测其易于更换柔性外壳的3D变形。通过将图像映射到3D接触力的空间分布（正常和剪切）的深神经网络推断力信息。洞察力在0.4毫米的总空间分辨率，力量幅度精度约为0.03 n，并且对于具有不同接触面积的多个不同触点，在0.03-2 n的范围内的5度大约5度的力方向精度。呈现的硬件和软件设计概念可以转移到各种机器人部件。

传统的LIDAR射测（LO）系统主要利用从经过的环境获得的几何信息来注册激光扫描并估算Lidar Ego-Motion，而在动态或非结构化环境中可能不可靠。本文提出了Inten-loam，一种低饮用和健壮的激光镜和映射方法，该方法完全利用激光扫描的隐式信息（即几何，强度和时间特征）。扫描点被投影到圆柱形图像上，这些图像有助于促进各种特征的有效和适应性提取，即地面，梁，立面和反射器。我们提出了一种新型基于强度的点登记算法，并将其纳入LIDAR的探光仪，从而使LO系统能够使用几何和强度特征点共同估计LIDAR EGO-MOTION。为了消除动态对象的干扰，我们提出了一种基于时间的动态对象删除方法，以在MAP更新之前过滤它们。此外，使用与时间相关的体素网格滤波器组织并缩减了本地地图，以维持当前扫描和静态局部图之间的相似性。在模拟和实际数据集上进行了广泛的实验。结果表明，所提出的方法在正常驾驶方案中实现了类似或更高的精度W.R.T，在非结构化环境中，最先进的方法优于基于几何的LO。

触摸感在使人类能够理解和与周围环境互动方面发挥着关键作用。对于机器人，触觉感应也是不可替代的。在与物体交互时，触觉传感器为机器人提供了理解物体的有用信息，例如分布式压力，温度，振动和纹理。在机器人抓住期间，视力通常由其最终效应器封闭，而触觉感应可以测量视觉无法访问的区域。在过去的几十年中，已经为机器人开发了许多触觉传感器，并用于不同的机器人任务。在本章中，我们专注于使用触觉对机器人抓握的触觉，并研究近期对物质性质的触觉趋势。我们首先讨论了术语，即形状，姿势和材料特性对三个重要的物体特性的触觉感知。然后，我们通过触觉感应审查抓握稳定性预测的最新发展。在这些作品中，我们确定了在机器人抓握中协调视觉和触觉感应的要求。为了证明使用触觉传感来提高视觉感知，介绍了我们最近的抗议重建触觉触觉感知的发展。在所提出的框架中，首先利用相机视觉的大型接收领域以便快速搜索含有裂缝的候选区域，然后使用高分辨率光学触觉传感器来检查这些候选区域并重建精制的裂缝形状。实验表明，我们所提出的方法可以实现0.82mm至0.24mm的平均距离误差的显着降低，以便重建。最后，我们在讨论了对机器人任务中施加触觉感应的公开问题和未来方向的讨论。

Purpose: Trans-oral robotic surgery (TORS) using the da Vinci surgical robot is a new minimally-invasive surgery method to treat oropharyngeal tumors, but it is a challenging operation. Augmented reality (AR) based on intra-operative ultrasound (US) has the potential to enhance the visualization of the anatomy and cancerous tumors to provide additional tools for decision-making in surgery. Methods: We propose and carry out preliminary evaluations of a US-guided AR system for TORS, with the transducer placed on the neck for a transcervical view. Firstly, we perform a novel MRI-transcervical 3D US registration study. Secondly, we develop a US-robot calibration method with an optical tracker and an AR system to display the anatomy mesh model in the real-time endoscope images inside the surgeon console. Results: Our AR system reaches a mean projection error of 26.81 and 27.85 pixels for the projection from the US to stereo cameras in a water bath experiment. The average target registration error for MRI to 3D US is 8.90 mm for the 3D US transducer and 5.85 mm for freehand 3D US, and the average distance between the vessel centerlines is 2.32 mm. Conclusion: We demonstrate the first proof-of-concept transcervical US-guided AR system for TORS and the feasibility of trans-cervical 3D US-MRI registration. Our results show that trans-cervical 3D US is a promising technique for TORS image guidance.

视网膜手术是一种复杂的医疗程序，需要特殊的专业知识和灵巧。为此目的，目前正在开发几种机器人平台，以实现或改善显微外科任务的结果。由于这种机器人的控制通常被设计用于在视网膜附近导航，成功的套管针对接并将仪器插入眼睛中代表了一种额外的认知努力，因此是机器人视网膜手术中的开放挑战之一。为此目的，我们为自主套管针对接的平台结合了计算机愿景和机器人设置。灵感来自古巴Colibri（蜂鸟）使用只使用视觉将其喙对齐，我们将相机安装到机器人系统的内逸线器上。通过估计套管针的位置和姿势，机器人能够自主地对齐并导航仪器朝向贸易圈的入口点（TEP），最后执行插入。我们的实验表明，该方法能够精确地估计套管针的位置和姿势，实现可重复的自主对接。这项工作的目的是降低机器人设置准备在手术任务之前的复杂性，因此增加了系统集成到临床工作流程的直观。