抽象的。目的：本文提出了一种用于产生虚拟术中CT扫描的方案，以改善内窥镜窦手术（ESS）的手术完整性。方法：该工作呈现三种方法，基于尖端运动，基于尖端轨迹的基于仪器，以及基于仪器，以及虚拟术中CT生成的非参数平滑和高斯过程回归。结果：所提出的方法研究，并在尸体上进行的ESS进行了比较。外科结果表明，所有三种方法都改善了骰子相似系数> 86％，F分数> 92％和精度> 89.91％。发现基于尖端轨迹的方法具有最佳性能，并在外科完整性评估中获得了96.87％的精度。结论：这项工作表明，虚拟术中CT扫描改善了实际手术场景与参考模型之间的一致性，并提高了ESS中的手术完整性。与实际的术中CT扫描相比，该方案对现有的外科议定书没有影响，不需要除了最多的ESS中已经提供的额外硬件克服了高成本，重复辐射和由实际术中引起的细长麻醉CTS，并在ESS中实用。

内镜窦和头骨基础手术（Essbss）是一个具有挑战性和潜在的危险的外科手术，客观技能评估是提高手术训练有效性的关键组成部分，重新​​验证外科医生的技能，并降低手术创伤和并发症手术室的速度。由于外科手术的复杂性，操作风格的变化，以及新的外科技能的快速发展，外科技能评估仍然是一个具有挑战性的问题。这项工作提出了一种新颖的高斯过程学习的启发式自动客观外科手术技能评估方法。不同于经典的外科技能评估算法，所提出的方法1）利用外科仪器相对运动中的运动学特征，而不是使用特定的外科任务或统计数据实时评估技能; 2）提供信息丰富的反馈，而不是总结分数; 3）能够逐步从新数据逐步学习，而不是根据固定的数据集。该方法将仪器运动投射到内窥镜坐标中以减少数据维度。然后，它提取投影数据的运动学特征，并学习外科技能水平与高斯过程学习技术的特征之间的关系。该方法在全内镜颅底和尸体上的鼻窦手术中核实。这些手术具有不同的病理学，需要不同的治疗并具有不同的复杂性。实验结果表明，该方法达到了100 \％的预测精度，用于完整的外科手术和90 \％的实时预测评估精度。

非对比度CT（NCCT）图像中准确的梗塞分割是迈向计算机辅助急性缺血性中风（AIS）评估的关键步骤。在临床实践中，脑半球的双侧对称比较通常用于定位病理异常。最近的研究探索了不对称的协助AIS分割。但是，在评估其对AIS的贡献时，大多数以前基于对称性的工作都混合了不同类型的不对称性。在本文中，我们提出了一个新型的不对称分解网络（ADN），以自动将NCCT中的病理不对称性和内在的解剖不对称分离，以进行更有效和可解释的AIS分割。 ADN首先基于输入NCCT进行不对称分解，该输入nccts产生不同类型的3D不对称图。然后生成合成的，固有的 - 敏化补偿和病理 - 空气 - 对称盐的NCCT体积，后来用作分割网络的输入。 ADN的培训结合了领域知识，并采用了组织型意识到的正则化损失函数，以鼓励临床上敏感的病理不对称提取。加上无监督的3D转换网络，ADN在公共NCCT数据集上实现了最新的AIS分割性能。除了出色的表现外，我们认为学到的临床可解剖的不对称图也可以为更好地理解AIS评估提供见解。我们的代码可从https://github.com/nihaomiao/miccai22_adn获得。

Hololens（Microsoft Corp.，WA Redmond，WA）是一款头饰，光学透明的增强现实展示，是最近提高医学增强现实研究的主要参与者。在医疗环境中，HoloLens使医生能够立即了解患者信息，直接与他们对临床方案的看法，医学生，可以更好地了解复杂的解剖学或程序，甚至可以通过执行治疗任务。改进，沉浸式指导。在这篇系统的综述中，我们提供了有关医疗领域第一代霍洛伦斯在2016年3月发布到2021年的全面使用的全面概述，一直关注其继任者霍洛伦斯2号。通过系统搜索PubMed和Scopus数据库确定了171个相关出版物。我们分析了这些出版物的预期用例，注册和跟踪的技术方法，数据源，可视化以及验证和评估。我们发现，尽管已经显示出在各种医学场景中使用Hololens的可行性，但在精确，可靠性，可用性，工作流程和感知方面的努力增加了在临床实践中建立AR。

超声（US）成像通常用于协助诊断和脊柱疾病的干预，而通过手动操作探针进行标准化美国收购需要大量的经验和超声检查的培训。在这项工作中，我们提出了一种新的双代理框架，集成了强化学习（RL）代理和深度学习（DL）代理，以共同确定基于实时超声图像美国探测器的移动，以模拟专家超声检查操作者的决策过程，以实现脊柱超声自主标准视图收购。此外，通过美国传播的性质和脊柱解剖的特性的启发，我们引入一个视图特定的声影奖励利用阴影信息来隐式地引导朝向脊柱的不同标准视图探针的导航。我们的方法在从$ $ 17名志愿者获得的美国经济数据建立了一个模拟环境的定量和定性实验验证。平均导航精度朝向不同的标准视图达到$5.18毫米/ 5.25 ^ \ CIRC $ $和12.87毫米/ 17.49 ^ \ CIRC $在分子内和主体间设置，分别。结果表明，我们的方法可以有效地解释美国的图像和导航探头获取脊柱多种标准的意见。

晚期钆增强磁共振成像（LGE MRI）通常用于可视化和量化左心房（LA）疤痕。疤痕的位置和程度提供了心理生理学和心房颤动进展的重要信息（AF）。因此，LGE MRI的La Scar分段和量化可用于AF患者的计算机辅助诊断和治疗分层。由于手动描绘可能是耗时的，并且经过专家内和专家间变异性，因此非常需要自动化这种计算，这然而仍然仍然具有挑战性和研究。本文旨在为La腔，墙壁，瘢痕和消融差距分割和LGE MRI的定量提供系统审查，以及AF研究的相关文献。具体而言，我们首先总结AF相关的成像技术，特别是LGE MRI。然后，我们详细介绍了四个计算任务的方法，并总结了每个任务中应用的验证策略。最后，概述了未来可能的未来发展，简要调查了上述方法的潜在临床应用。审查表明，该主题的研究仍处于早期阶段。虽然已经提出了几种方法，但特别是对于LA分割，由于与图像采集的高度变化相关的性能问题和图像采集差异有关的性能问题，仍有很大的算法发展。

休眠季节葡萄树修剪需要熟练的季节性工人，这在冬季变得越来越缺乏。随着在短期季节性招聘文化和低工资的短期季节性招聘文化和低工资的时间内，随着工人更少的葡萄藤，葡萄藤往往被修剪不一致地导致葡萄化物不平衡。除此之外，目前现有的机械方法无法选择性地修剪葡萄园和手动后续操作，通常需要进一步提高生产成本。在本文中，我们展示了崎岖，全自治机器人的设计和田间评估，用于休眠季节葡萄园的端到最终修剪。该设计的设计包括新颖的相机系统，运动冗余机械手，地面机器人和在感知系统中的新颖算法。所提出的研究原型机器人系统能够在213秒/葡萄藤中完全从两侧刺激一排藤蔓，总修枝精度为87％。与机械预灌浆试验相比，商业葡萄园中自治系统的初始现场测试显示出休眠季节修剪的显着变化。在手稿中描述了设计方法，系统组件，经验教训，未来增强以及简要的经济分析。

从磁共振成像（MRI）数据（称为颅骨条状）中去除非脑信号是许多神经图像分析流的组成部分。尽管它们很丰富，但通常是针对具有特定采集特性的图像量身定制的，即近乎各向异性的分辨率和T1加权（T1W）MRI对比度，这些分辨率在研究环境中很普遍。结果，现有的工具倾向于适应其他图像类型，例如在诊所常见的快速旋转回声（FSE）MRI中获得的厚切片。尽管近年来基于学习的大脑提取方法已获得吸引力，但这些方法面临着类似的负担，因为它们仅对训练过程中看到的图像类型有效。为了在成像协议的景观中实现强大的颅骨缠身，我们引入了Synthstrip，这是一种快速，基于学习的脑萃取工具。通过利用解剖学分割来生成具有解剖学，强度分布和远远超过现实医学图像范围的完全合成训练数据集，Synthstrip学会了成功推广到各种真实获得的大脑图像，从而消除了使用训练数据的需求目标对比。我们证明了合成条的功效对受试者人群的各种图像采集和决议的功效，从新生儿到成人。我们显示出与流行的颅骨基线的准确性的实质性提高 - 所有这些基线都采用单个训练有素的模型。我们的方法和标记的评估数据可在https://w3id.org/synthstrip上获得。

使用增强现实（AR）用于导航目的，这表明在手术手术过程中协助医生有益。这些应用通常需要知道外科手术工具和患者的姿势，以提供外科医生在任务执行过程中可以使用的视觉信息。现有的医学级跟踪系统使用放置在手术室内的红外摄像头（OR）来识别感兴趣的对象附加并计算其姿势的复古反射标记。一些市售的AR头式显示器（HMD）使用类似的摄像头进行自定位，手动跟踪和估算对象的深度。这项工作提出了一个使用AR HMD的内置摄像机来准确跟踪复古反射标记的框架，例如在手术过程中使用的标记，而无需集成任何其他组件。该框架还能够同时跟踪多个工具。我们的结果表明，横向翻译的准确度为0.09 +-0.06毫米，可以实现标记的跟踪和检测，纵向翻译的0.42 +-0.32 mm，绕垂直轴旋转的0.80 +-0.39 ver。此外，为了展示所提出的框架的相关性，我们在手术程序的背景下评估了系统的性能。该用例旨在在骨科过程中复制K-Wire插入的场景。为了进行评估，为两名外科医生和一名生物医学研究人员提供了视觉导航，每次都进行了21次注射。该用例的结果提供了与基于AR的导航程序报告的相当精度。

机器人超声（US）成像旨在克服美国自由企业考试的一些局限性，例如难以保证操作员可重复性。然而，由于患者之间的解剖学和生理变化以及解剖下结构的相对运动，富有鲁棒性产生最佳轨迹以检查感兴趣的解剖学时，当他们构成明确的关节时，这是一项挑战。为了应对这一挑战，本文提出了一种基于视觉的方法，允许自动机器人美国肢体扫描。为此，使用带注释的血管结构的人臂的Atlas MRI模板用于生成轨迹并注册并将其投射到患者的皮肤表面上，以进行机器人的美国获得。为了有效地细分并准确地重建目标的3D容器，我们通过将通道注意模块纳入U-NET型神经网络中，利用连续美国框架中的空间连续性。自动轨迹生成方法对具有各种铰接关节角度的六名志愿者进行评估。在所有情况下，该系统都可以成功地获取志愿者四肢上计划的血管结构。对于一名志愿者，还提供了MRI扫描，可以评估美国图像中扫描动脉的平均半径，从而导致半径估计（$ 1.2 \ pm0.05〜mm $）可与MRI地面真相相当（$ 1.2 \ $ $） PM0.04〜mm $）。

筛查结肠镜检查是多种3D计算机视觉技术的重要临床应用，包括深度估计，表面重建和缺失区域检测。但是，由于难以获取地面真相数据，因此在实际结肠镜检查视频中对这些技术的开发，评估和比较仍然在很大程度上是定性的。在这项工作中，我们提出了一个带有高清临床结肠镜和高保真结肠模型的结肠镜检查3D视频数据集（C3VD），用于在结肠镜检查中进行基准计算机视觉方法。我们介绍了一种新颖的多模式2D-3D注册技术，以注册光学视频序列，并以地面真实的视图对已知3D模型的视图。通过将光学图像转换为具有生成对抗网络的深度图，并通过进化优化器对齐边缘特征来注册不同的模态。在模拟实验中，这种注册方法达到了0.321毫米的平均翻译误差，平均旋转误差为0.159度，无误地面真相可用。该方法还利用视频信息，将注册精度提高了55.6％以进行翻译，与单帧注册相比，旋转60.4％。 22个简短的视频序列被注册，以生成10,015个总帧，具有配对的地面真实深度，表面正常，光流，遮挡，六个自由度姿势，覆盖范围图和3D模型。该数据集还包括胃肠病学家与配对地面真相姿势和3D表面模型获得的筛选视频。数据集和注册源代码可在urr.jhu.edu/c3vd上获得。

迄今为止，迄今为止，众所周知，对广泛的互补临床相关任务进行了全面比较了医学图像登记方法。这限制了采用研究进展，以防止竞争方法的公平基准。在过去五年内已经探讨了许多新的学习方法，但优化，建筑或度量战略的问题非常适合仍然是开放的。 Learn2reg涵盖了广泛的解剖学：脑，腹部和胸部，方式：超声波，CT，MRI，群体：患者内部和患者内部和监督水平。我们为3D注册的培训和验证建立了较低的入境障碍，这帮助我们从20多个独特的团队中汇编了65多个单独的方法提交的结果。我们的互补度量集，包括稳健性，准确性，合理性和速度，使得能够独特地位了解当前的医学图像登记现状。进一步分析监督问题的转移性，偏见和重要性，主要是基于深度学习的方法的优越性，并将新的研究方向开放到利用GPU加速的常规优化的混合方法。

动态MRI可以捕获具有高对比度的软组织器官中的时间解剖变化，但是获得的序列通常遭受有限的体积覆盖，这使得器官形状轨迹的高分辨率重建在时间研究中的主要挑战。由于腹部器官形状的变异性跨越时间和受试者，本研究的目的是朝向3D致密速度测量来完全覆盖整个表面并提取有意义的特征，其特征在于观察到的器官变形并实现临床作用或决定。我们在深呼吸运动期间提出了一种用于表征膀胱表面动力学的管道。对于紧凑的形状表示，首先使用重建的时间体积来使用LDDMM框架建立专用的动态4D网状序列。然后，我们从诸如网格伸长和失真的机械参数执行器官动力学的统计表征。由于我们将器官引用作为非平面，因此我们还使用平均曲率变化为度量来量化表面演变。然而，曲率的数值计算强烈地取决于表面参数化。为了应对这一依赖性，我们采用了一种用于表面变形分析的新方法。独立于参数化并最小化测地曲线的长度，通过最小化Dirichlet能量，它使表面曲线平滑地朝向球体。 eulerian PDE方法用于从曲线缩短流中导出形状描述符。使用Laplace Beltrami操作员特征函数来计算各个运动模式之间的接口，用于球形映射。用于提取用于局部控制的模拟形状轨迹的表征相关曲线的应用演示了所提出的形状描述符的稳定性。

The use of needles to access sites within organs is fundamental to many interventional medical procedures both for diagnosis and treatment. Safe and accurate navigation of a needle through living tissue to an intra-tissue target is currently often challenging or infeasible due to the presence of anatomical obstacles in the tissue, high levels of uncertainty, and natural tissue motion (e.g., due to breathing). Medical robots capable of automating needle-based procedures in vivo have the potential to overcome these challenges and enable an enhanced level of patient care and safety. In this paper, we show the first medical robot that autonomously navigates a needle inside living tissue around anatomical obstacles to an intra-tissue target. Our system leverages an aiming device and a laser-patterned highly flexible steerable needle, a type of needle capable of maneuvering along curvilinear trajectories to avoid obstacles. The autonomous robot accounts for anatomical obstacles and uncertainty in living tissue/needle interaction with replanning and control and accounts for respiratory motion by defining safe insertion time windows during the breathing cycle. We apply the system to lung biopsy, which is critical in the diagnosis of lung cancer, the leading cause of cancer-related death in the United States. We demonstrate successful performance of our system in multiple in vivo porcine studies and also demonstrate that our approach leveraging autonomous needle steering outperforms a standard manual clinical technique for lung nodule access.

脑出血（ICH）是最致命的中风子类型，死亡率高达52％。由于颅骨切开术引起的潜在皮质破坏，保守管理（注意等待）历史上一直是一种常见的治疗方法。最小的侵入性疏散最近已成为一种可公认的治疗方法，用于体积30-50 mL的深座性血肿的患者，但适当的可视化和工具敏感性仍然受到常规内窥镜方法的限制，尤其是较大的血肿体积（> 50 mL）。在本文中，我们描述了Aspihre的发展（脑部出血机器人疏散的手术平台），这是有史以来的第一个同心管机器人，该机器人使用现成的塑料管来进行MR引导ICH撤离，改善工具敏感性和程序可视化。机器人运动学模型是基于基于校准的方法和试管力学建模开发的，使模型可以考虑可变曲率和扭转偏转。使用可变增益PID算法控制旋转精度为0.317 +/- 0.3度。硬件和理论模型在一系列系统的基准和MRI实验中进行了验证，导致1.39 +\ -0.54 mm的管尖的位置精度。验证靶向准确性后，在MR引导的幻影凝块疏散实验中测试了机器人的疏散功效。该机器人能够在5分钟内撤离最初38.36 mL的凝块，使残留血肿为8.14 mL，远低于15 mL指南，表明良好的后疏散临床结果。

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

基于治疗期间的单投影图像的器官形状重建具有广泛的临床范围，例如在图像引导放射治疗和手术指导中。我们提出了一种图形卷积网络，该网络实现了用于单视点2D投影图像的3D器官网格的可变形登记。该框架使得能够同时训练两种类型的变换：从2D投影图像到位移图，以及从采样的每周顶点特征到满足网格结构的几何约束的3D位移。假设申请放射治疗，验证了2D / 3D可变形的登记性能，用于尚未瞄准迄今为止，即肝脏，胃，十二指肠和肾脏以及胰腺癌的多个腹部器官。实验结果表明，考虑多个器官之间的关系的形状预测可用于预测临床上可接受的准确性的数字重建射线照片的呼吸运动和变形。

人类生理学中的各种结构遵循特异性形态，通常在非常细的尺度上表达复杂性。这种结构的例子是胸前气道，视网膜血管和肝血管。可以观察到可以观察到可以观察到可以观察到可以观察到空间排列的磁共振成像（MRI），计算机断层扫描（CT），光学相干断层扫描（OCT）等医学成像模式（MRI），计算机断层扫描（CT），可以观察到空间排列的大量2D和3D图像的集合。这些结构在医学成像中的分割非常重要，因为对结构的分析提供了对疾病诊断，治疗计划和预后的见解。放射科医生手动标记广泛的数据通常是耗时且容易出错的。结果，在过去的二十年中，自动化或半自动化的计算模型已成为医学成像的流行研究领域，迄今为止，许多计算模型已经开发出来。在这项调查中，我们旨在对当前公开可用的数据集，细分算法和评估指标进行全面审查。此外，讨论了当前的挑战和未来的研究方向。

近年来，由于其在数字人物，角色产生和动画中的广泛应用，人们对3D人脸建模的兴趣越来越大。现有方法压倒性地强调了对面部的外部形状，质地和皮肤特性建模，而忽略了内部骨骼结构和外观之间的固有相关性。在本文中，我们使用学习的参数面部发电机提出了雕塑家，具有骨骼一致性的3D面部创作，旨在通过混合参数形态表示轻松地创建解剖上正确和视觉上令人信服的面部模型。雕塑家的核心是露西（Lucy），这是与整形外科医生合作的第一个大型形状面部脸部数据集。我们的Lucy数据集以最古老的人类祖先之一的化石命名，其中包含正牙手术前后全人头的高质量计算机断层扫描（CT）扫描，这对于评估手术结果至关重要。露西（Lucy）由144次扫描，分别对72名受试者（31名男性和41名女性）组成，其中每个受试者进行了两次CT扫描，并在恐惧后手术中进行了两次CT扫描。根据我们的Lucy数据集，我们学习了一个新颖的骨骼一致的参数面部发电机雕塑家，它可以创建独特而细微的面部特征，以帮助定义角色，同时保持生理声音。我们的雕塑家通过将3D脸的描绘成形状混合形状，姿势混合形状和面部表达混合形状，共同在统一数据驱动的框架下共同建模头骨，面部几何形状和面部外观。与现有方法相比，雕塑家在面部生成任务中保留了解剖学正确性和视觉现实主义。最后，我们展示了雕塑家在以前看不见的各种花式应用中的鲁棒性和有效性。

本文介绍了使用腿收割机进行精密收集任务的集成系统。我们的收割机在狭窄的GPS拒绝了森林环境中的自主导航和树抓取了一项挑战性的任务。提出了映射，本地化，规划和控制的策略，并集成到完全自主系统中。任务从使用定制的传感器模块开始使用人员映射感兴趣区域。随后，人类专家选择树木进行收获。然后将传感器模块安装在机器上并用于给定地图内的本地化。规划算法在单路径规划问题中搜索一个方法姿势和路径。我们设计了一个路径，后面的控制器利用腿的收割机的谈判粗糙地形的能力。在达接近姿势时，机器用通用夹具抓住一棵树。此过程重复操作员选择的所有树。我们的系统已经在与树干和自然森林中的测试领域进行了测试。据我们所知，这是第一次在现实环境中运行的全尺寸液压机上显示了这一自主权。