许多钥匙孔干预依赖于双手动处理外科手术器械，强迫主要外科医生依靠第二个外科医生作为相机助理。除了过度涉及手术人员的负担外，这可能导致图像稳定性降低，增加任务完成时间，有时由于任务的单调而有时会出现错误。由一组基本说明控制的机器人内窥镜持有者已被提出作为替代方案，但它们的不自然处理可能会增加（SOLO）外科医生的认知负荷，这阻碍了它们的临床验收。如果机器人内窥镜持有者通过语义上丰富的指令与操作外科医生合作的机器人内窥镜持有者，则可以实现手术工作流程的更无缝集成。作为概念证明，本文介绍了一种新颖的系统，为外科医生和机器人内窥镜支架之间的协同相互作用铺平了道路。该拟议的平台允许外科医生执行生理协调和导航任务，而机器人臂自动执行内窥镜定位任务。在我们的系统中，我们提出了一种基于外科刀具分割的新型工具提示定位方法和一种新型的视觉伺服方法，可确保内窥镜摄像机的平滑和适当的运动。我们验证了我们的视觉管道并运行了对该系统的用户学习。通过使用欧洲妇科手术课程验证的腹腔镜运动来确保研究的临床相关性，涉及双部手动协调和导航。我们拟议的系统的成功应用提供了更广泛的临床采用机器人内窥镜架的有希望的起点。

在本报告中，我们提出了在哥斯达黎加太平洋架子和圣托里尼 - Kolumbo Caldera Complex中，在寻找寿命中的寻找寿命任务中的自主海洋机器人技术协调，操作策略和结果。它作为可能存在于海洋超越地球的环境中的类似物。本报告侧重于ROV操纵器操作的自动化，用于从海底获取有针对性的生物样品收集和返回的。在未来的外星勘查任务到海洋世界的背景下，ROV是一个模拟的行星着陆器，必须能够有能力的高水平自主权。我们的田间试验涉及两个水下车辆，冰（Nui）杂交ROV的两个水下车辆（即，龙眼或自主）任务，都配备了7-DOF液压机械手。我们描述了一种适应性，硬件无关的计算机视觉架构，可实现高级自动化操作。 Vision系统提供了对工作空间的3D理解，以便在复杂的非结构化环境中通知操纵器运动计划。我们展示了视觉系统和控制框架通过越来越具有挑战性的环境中的现场试验的有效性，包括来自活性Undersea火山，Kolumbo内的自动收集和生物样品的回报。根据我们在该领域的经验，我们讨论了我们的系统的表现，并确定了未来研究的有希望的指示。

休眠季节葡萄树修剪需要熟练的季节性工人，这在冬季变得越来越缺乏。随着在短期季节性招聘文化和低工资的短期季节性招聘文化和低工资的时间内，随着工人更少的葡萄藤，葡萄藤往往被修剪不一致地导致葡萄化物不平衡。除此之外，目前现有的机械方法无法选择性地修剪葡萄园和手动后续操作，通常需要进一步提高生产成本。在本文中，我们展示了崎岖，全自治机器人的设计和田间评估，用于休眠季节葡萄园的端到最终修剪。该设计的设计包括新颖的相机系统，运动冗余机械手，地面机器人和在感知系统中的新颖算法。所提出的研究原型机器人系统能够在213秒/葡萄藤中完全从两侧刺激一排藤蔓，总修枝精度为87％。与机械预灌浆试验相比，商业葡萄园中自治系统的初始现场测试显示出休眠季节修剪的显着变化。在手稿中描述了设计方法，系统组件，经验教训，未来增强以及简要的经济分析。

Mohamed Bin Zayed国际机器人挑战（MBZIRC）2020为无人机（无人机）构成了不同的挑战。我们提供了四个量身定制的无人机，专门为MBZIRC的单独空中机器人任务开发，包括自定义硬件和软件组件。在挑战1中，使用高效率，车载对象检测管道进行目标UAV，以捕获来自目标UAV的球。第二个UAV使用类似的检测方法来查找和流行散落在整个竞技场的气球。对于挑战2，我们展示了一种能够自主空中操作的更大的无人机：从相机图像找到并跟踪砖。随后，将它们接近，挑选，运输并放在墙上。最后，在挑战3中，我们的UAV自动发现使用LIDAR和热敏摄像机的火灾。它用船上灭火器熄灭火灾。虽然每个机器人都具有任务特定的子系统，但所有无人机都依赖于为该特定和未来竞争开发的标准软件堆栈。我们介绍了我们最开源的软件解决方案，包括系统配置，监控，强大无线通信，高级控制和敏捷轨迹生成的工具。为了解决MBZirc 2020任务，我们在多个研究领域提出了机器视觉和轨迹生成的多个研究领域。我们介绍了我们的科学贡献，这些贡献构成了我们的算法和系统的基础，并分析了在阿布扎比的MBZIRC竞赛2020年的结果，我们的系统在大挑战中达到了第二名。此外，我们讨论了我们参与这种复杂的机器人挑战的经验教训。

本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。

本文介绍了Cerberus机器人系统系统，该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性，降解的感知条件以及缺乏GPS支持，严峻的导航条件和拒绝通信，地下设置使自动操作变得特别要求。为了应对这一挑战，我们开发了Cerberus系统，该系统利用了腿部和飞行机器人的协同作用，再加上可靠的控制，尤其是为了克服危险的地形，多模式和多机器人感知，以在传感器退化，以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划，反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力，表现出有效的探索，对感兴趣的对象的可靠检测以及准确的映射。在本文中，我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果，并讨论了为社区带来利益的教训所面临的亮点和挑战。

本文介绍了使用腿收割机进行精密收集任务的集成系统。我们的收割机在狭窄的GPS拒绝了森林环境中的自主导航和树抓取了一项挑战性的任务。提出了映射，本地化，规划和控制的策略，并集成到完全自主系统中。任务从使用定制的传感器模块开始使用人员映射感兴趣区域。随后，人类专家选择树木进行收获。然后将传感器模块安装在机器上并用于给定地图内的本地化。规划算法在单路径规划问题中搜索一个方法姿势和路径。我们设计了一个路径，后面的控制器利用腿的收割机的谈判粗糙地形的能力。在达接近姿势时，机器用通用夹具抓住一棵树。此过程重复操作员选择的所有树。我们的系统已经在与树干和自然森林中的测试领域进行了测试。据我们所知，这是第一次在现实环境中运行的全尺寸液压机上显示了这一自主权。

腔内器官内部的导航是一项艰巨的任务，需要在操作员的手的运动与从内窥镜视频获得的信息之间进行非直觉的协调。开发自动化某些任务的工具可以减轻干预期间医生的身体和精神负担，从而使他们专注于诊断和决策任务。在本文中，我们提出了一种用于腔内导航的协同解决方案，该解决方案由3D打印的内窥镜软机器人组成，该机器人可以在腔内结构内安全移动。基于卷积神经网络（CNN）的Visual Servoing用于完成自主导航任务。 CNN经过幻象和体内数据训练以分割管腔，并提出了一种无模型的方法来控制受约束环境中的运动。在不同的路径配置中，在解剖幻像中验证了所提出的机器人。我们使用不同的指标分析机器人的运动，例如任务完成时间，平滑度，稳态中的误差以及均值和最大误差。我们表明，我们的方法适合在空心环境和条件下安全导航，这些环境和条件与最初对网络训练的条件不同。

本文介绍了设计，开发，并通过IISC-TCS团队为穆罕默德·本·扎耶德国际机器人挑战赛2020年挑战1的目标的挑战1硬件 - 软件系统的测试是抓住从移动和机动悬挂球UAV和POP气球锚定到地面，使用合适的操纵器。解决这一挑战的重要任务包括具有高效抓取和突破机制的硬件系统的设计和开发，考虑到体积和有效载荷的限制，使用适用于室外环境的可视信息的准确目标拦截算法和开发动态多功能机空中系统的软件架构，执行复杂的动态任务。在本文中，设计了具有末端执行器的单个自由度机械手设计用于抓取和突发，并且开发了鲁棒算法以拦截在不确定的环境中的目标。基于追求参与和人工潜在功能的概念提出了基于视觉的指导和跟踪法。本工作中提供的软件架构提出了一种操作管理系统（OMS）架构，其在多个无人机之间协同分配静态和动态任务，以执行任何给定的任务。这项工作的一个重要方面是所有开发的系统都设计用于完全自主模式。在这项工作中还包括对凉亭环境和现场实验结果中完全挑战的模拟的详细描述。所提出的硬件软件系统对反UAV系统特别有用，也可以修改以满足其他几种应用。

视网膜手术是一种复杂的医疗程序，需要特殊的专业知识和灵巧。为此目的，目前正在开发几种机器人平台，以实现或改善显微外科任务的结果。由于这种机器人的控制通常被设计用于在视网膜附近导航，成功的套管针对接并将仪器插入眼睛中代表了一种额外的认知努力，因此是机器人视网膜手术中的开放挑战之一。为此目的，我们为自主套管针对接的平台结合了计算机愿景和机器人设置。灵感来自古巴Colibri（蜂鸟）使用只使用视觉将其喙对齐，我们将相机安装到机器人系统的内逸线器上。通过估计套管针的位置和姿势，机器人能够自主地对齐并导航仪器朝向贸易圈的入口点（TEP），最后执行插入。我们的实验表明，该方法能够精确地估计套管针的位置和姿势，实现可重复的自主对接。这项工作的目的是降低机器人设置准备在手术任务之前的复杂性，因此增加了系统集成到临床工作流程的直观。

可靠地定量自然和人为气体释放（例如，从海底进入海洋的自然和人为气体释放（例如，Co $ _2 $，甲烷），最终是大气，是一个具有挑战性的任务。虽然船舶的回声探测器允许在水中检测水中的自由气，但是即使从较大的距离中，精确量化需要诸如未获得的升高速度和气泡尺寸分布的参数。光学方法的意义上是互补的，即它们可以提供从近距离的单个气泡或气泡流的高时和空间分辨率。在这一贡献中，我们介绍了一种完整的仪器和评估方法，用于光学气泡流特征。专用仪器采用高速深海立体声摄像机系统，可在部署在渗透网站以进行以后的自动分析时录制泡泡图像的Tbleabytes。对于几分钟的短序列可以获得泡特性，然后将仪器迁移到其他位置，或者以自主间隔模式迁移到几天内，以捕获由于电流和压力变化和潮汐循环引起的变化。除了报告泡沫特征的步骤旁边，我们仔细评估了可达准确性并提出了一种新颖的校准程序，因为由于缺乏点对应，仅使用气泡的剪影。该系统已成功运营，在太平洋高达1000万水深，以评估甲烷通量。除了样品结果外，我们还会报告在开发期间汲取的故障案例和经验教训。

安装在微空中车辆（MAV）上的地面穿透雷达是有助于协助人道主义陆地间隙的工具。然而，合成孔径雷达图像的质量取决于雷达天线的准确和精确运动估计以及与MAV产生信息性的观点。本文介绍了一个完整的自动空气缩进的合成孔径雷达（GPSAR）系统。该系统由空间校准和时间上同步的工业级传感器套件组成，使得在地面上方，雷达成像和光学成像。自定义任务规划框架允许在地上控制地上的Stripmap和圆形（GPSAR）轨迹的生成和自动执行，以及空中成像调查飞行。基于因子图基于Dual接收机实时运动（RTK）全局导航卫星系统（GNSS）和惯性测量单元（IMU）的测量值，以获得精确，高速平台位置和方向。地面真理实验表明，传感器时机为0.8美元，正如0.1美元的那样，定位率为1 kHz。与具有不确定标题初始化的单个位置因子相比，双位置因子配方可提高高达40％，批量定位精度高达59％。我们的现场试验验证了本地化准确性和精度，使得能够相干雷达测量和检测在沙子中埋入的雷达目标。这验证了作为鸟瞰着地图检测系统的潜力。

This article formulates a generic representation of a path-following controller operating under contained motion, which was developed in the context of surgical robotics. It reports two types of constrained motion: i) Bilateral Constrained Motion, also called Remote Center Motion (RCM), and ii) Unilaterally Constrained Motion (UCM). In the first case, the incision hole has almost the same diameter as the robotic tool. In contrast, in the second state, the diameter of the incision orifice is larger than the tool diameter. The second case offers more space where the surgical instrument moves freely without constraints before touching the incision wall. The proposed method combines two tasks that must operate hierarchically: i) respect the RCM or UCM constraints formulated by equality or inequality, respectively, and ii) perform a surgical assignment, e.g., scanning or ablation expressed as a 3D path-following task. The proposed methods and materials were tested first on our simulator that mimics realistic conditions of middle ear surgery, and then on an experimental platform. Different validation scenarios were carried out experimentally to assess quantitatively and qualitatively each developed approach. Although ultimate precision was not the goal of this work, our concept is validated with enough accuracy (inferior to 100 micrometres) for ear surgery.

在过去的十年中，自动驾驶航空运输车辆引起了重大兴趣。这是通过空中操纵器和新颖的握手的技术进步来实现这一目标的。此外，改进的控制方案和车辆动力学能够更好地对有效载荷进行建模和改进的感知算法，以检测无人机（UAV）环境中的关键特征。在这项调查中，对自动空中递送车辆的技术进步和开放研究问题进行了系统的审查。首先，详细讨论了各种类型的操纵器和握手，以及动态建模和控制方法。然后，讨论了降落在静态和动态平台上的。随后，诸如天气状况，州估计和避免碰撞之类的风险以确保安全过境。最后，调查了交付的UAV路由，该路由将主题分为两个领域：无人机操作和无人机合作操作。

使用增强现实（AR）用于导航目的，这表明在手术手术过程中协助医生有益。这些应用通常需要知道外科手术工具和患者的姿势，以提供外科医生在任务执行过程中可以使用的视觉信息。现有的医学级跟踪系统使用放置在手术室内的红外摄像头（OR）来识别感兴趣的对象附加并计算其姿势的复古反射标记。一些市售的AR头式显示器（HMD）使用类似的摄像头进行自定位，手动跟踪和估算对象的深度。这项工作提出了一个使用AR HMD的内置摄像机来准确跟踪复古反射标记的框架，例如在手术过程中使用的标记，而无需集成任何其他组件。该框架还能够同时跟踪多个工具。我们的结果表明，横向翻译的准确度为0.09 +-0.06毫米，可以实现标记的跟踪和检测，纵向翻译的0.42 +-0.32 mm，绕垂直轴旋转的0.80 +-0.39 ver。此外，为了展示所提出的框架的相关性，我们在手术程序的背景下评估了系统的性能。该用例旨在在骨科过程中复制K-Wire插入的场景。为了进行评估，为两名外科医生和一名生物医学研究人员提供了视觉导航，每次都进行了21次注射。该用例的结果提供了与基于AR的导航程序报告的相当精度。

近年来，空中机器人背景下的高速导航和环境互动已成为几个学术和工业研究研究的兴趣领域。特别是，由于其若干环境中的潜在可用性，因此搜索和拦截（SAI）应用程序造成引人注目的研究区域。尽管如此，SAI任务涉及有关感官权重，板载计算资源，致动设计和感知和控制算法的具有挑战性的发展。在这项工作中，已经提出了一种用于高速对象抓握的全自动空中机器人。作为一个额外的子任务，我们的系统能够自主地刺穿位于靠近表面的杆中的气球。我们的第一款贡献是在致动和感觉水平的致动和感觉水平的空中机器人的设计，包括具有额外传感器的新型夹具设计，使机器人能够高速抓住物体。第二种贡献是一种完整的软件框架，包括感知，状态估计，运动计划，运动控制和任务控制，以便快速且强大地执行自主掌握任务。我们的方法已在一个具有挑战性的国际竞争中验证，并显示出突出的结果，能够在室外环境中以6米/分来自动搜索，遵循和掌握移动物体

培训和测试监督对象检测模型需要大量带有地面真相标签的图像。标签定义图像中的对象类及其位置，形状以及可能的其他信息，例如姿势。即使存在人力，标签过程也非常耗时。我们引入了一个新的标签工具，用于2D图像以及3D三角网格：3D标记工具（3DLT）。这是一个独立的，功能丰富和跨平台软件，不需要安装，并且可以在Windows，MacOS和基于Linux的发行版上运行。我们不再像当前工具那样在每个图像上分别标记相同的对象，而是使用深度信息从上述图像重建三角形网格，并仅在上述网格上标记一次对象。我们使用注册来简化3D标记，离群值检测来改进2D边界框的计算和表面重建，以将标记可能性扩展到大点云。我们的工具经过最先进的方法测试，并且在保持准确性和易用性的同时，它极大地超过了它们。

The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.

为了安全操作，机器人必须能够避免在不确定的环境中发生碰撞。现有的不确定性运动计划方法通常会对高斯和障碍几何形状做出保守的假设。尽管视觉感知可以对环境提供更准确的表示，但其用于安全运动计划的使用受到神经网络的固有错误校准的限制以及获得足够数据集的挑战。为了解决这些模仿，我们建议采用经过系统增强数据集训练的深层语义分割网络的合奏，以确保可靠的概率占用信息。为了避免在运动计划中进行保守主义，我们通过基于场景的路径计划方法直接采用了概率感知。速度调度方案被应用于路径上，以确保跟踪不准确的情况。我们证明了系统数据增强与深层合奏结合的有效性以及与最新方法相比的基于方案的计划方法，并在涉及人手的实验中验证了我们的框架。

我们构建了一个系统，可以通过自己的手展示动作，使任何人都可以控制机器人手和手臂。机器人通过单个RGB摄像机观察人类操作员，并实时模仿其动作。人的手和机器人的手在形状，大小和关节结构上有所不同，并且从单个未校准的相机进行这种翻译是一个高度不受约束的问题。此外，重新定位的轨迹必须有效地在物理机器人上执行任务，这要求它们在时间上平稳且没有自我收集。我们的关键见解是，虽然配对的人类机器人对应数据的收集价格昂贵，但互联网包含大量丰富而多样的人类手视频的语料库。我们利用这些数据来训练一个理解人手并将人类视频流重新定位的系统训练到机器人手臂轨迹中，该轨迹是平稳，迅速，安全和语义上与指导演示的相似的系统。我们证明，它使以前未经训练的人能够在各种灵巧的操纵任务上进行机器人的态度。我们的低成本，无手套，无标记的远程遥控系统使机器人教学更容易访问，我们希望它可以帮助机器人学习在现实世界中自主行动。视频https://robotic-telekinesis.github.io/