基于视觉的控制在研究中发现了一个关键位置，以在物理传感限制下控制连续式机器人时解决状态反馈的要求。传统的视觉伺服需要特征提取和跟踪，而成像设备捕获图像，这限制了控制器的效率。我们假设采用深度学习模型和实现直接视觉伺服可以通过消除跟踪要求和控制连续内机器人而无需精确的系统模型来有效地解决问题。在本文中，我们控制了一种利用改进的VGG-16深度学习网络和掌握直接视觉伺服方法的单段肌腱驱动的连续内机器人。所提出的算法首先在搅拌机中使用目标的一个输入图像在搅拌机中开发，然后在真正的机器人上实现。由归一化目标和捕获图像之间的绝对差异和反映的正常，阴影和遮挡场景的收敛性和准确性证明了所提出的控制器的有效性和鲁棒性。

The precise control of soft and continuum robots requires knowledge of their shape. The shape of these robots has, in contrast to classical rigid robots, infinite degrees of freedom. To partially reconstruct the shape, proprioceptive techniques use built-in sensors resulting in inaccurate results and increased fabrication complexity. Exteroceptive methods so far rely on placing reflective markers on all tracked components and triangulating their position using multiple motion-tracking cameras. Tracking systems are expensive and infeasible for deformable robots interacting with the environment due to marker occlusion and damage. Here, we present a regression approach for 3D shape estimation using a convolutional neural network. The proposed approach takes advantage of data-driven supervised learning and is capable of real-time marker-less shape estimation during inference. Two images of a robotic system are taken simultaneously at 25 Hz from two different perspectives, and are fed to the network, which returns for each pair the parameterized shape. The proposed approach outperforms marker-less state-of-the-art methods by a maximum of 4.4\% in estimation accuracy while at the same time being more robust and requiring no prior knowledge of the shape. The approach can be easily implemented due to only requiring two color cameras without depth and not needing an explicit calibration of the extrinsic parameters. Evaluations on two types of soft robotic arms and a soft robotic fish demonstrate our method's accuracy and versatility on highly deformable systems in real-time. The robust performance of the approach against different scene modifications (camera alignment and brightness) suggests its generalizability to a wider range of experimental setups, which will benefit downstream tasks such as robotic grasping and manipulation.

我们提出了一个通用框架，用于使用安装在机器人操纵器上的相机在农场设置中准确定位传感器和最终效应器。我们的主要贡献是一种基于新的且可靠的功能跟踪算法的视觉致密伺服方法。在苹果园进行的现场实验的结果表明，即使在环境影响下，我们的方法也会收敛到给定的终止标准，例如强风，不同的照明条件和目标对象的部分遮挡。此外，我们通过实验表明，对于广泛的初始条件，系统会收敛到所需的视图。这种方法为新应用提供了可能性，例如自动化水果检查，水果采摘或精确的农药应用。

在本文中，我们提出了一种新颖的，通用的数据驱动方法，用于伺服控制连续机器人的3-D形状，并嵌入了纤维bragg光栅（FBG）传感器。 3D形状感知和控制技术的发展对于连续机器人在手术干预中自主执行任务至关重要。但是，由于连续机器人的非线性特性，主要难度在于它们的建模，尤其是对于具有可变刚度的软机器人。为了解决这个问题，我们通过利用FBG形状反馈和神经网络（NNS）提出了一个新的健壮自适应控制器，该反馈和神经网络（NNS）可以在线估算连续机器人的未知模型，并说明了意外的干扰以及NN近似错误，该错误表现出适应性行为对适应性行为呈现没有先验数据探索的未建模系统。基于新的复合适应算法，Lyapunov理论证明了具有NNS学习参数的闭环系统的渐近收敛。为了验证所提出的方法，我们通过使用两个连续机器人进行了一项全面的实验研究，这些连续机器人都与多核FBG集成，包括机器人辅助结肠镜和多部分可扩展的软操纵剂。结果表明，在各种非结构化环境以及幻影实验中，我们的控制器的可行性，适应性和优越性。

休眠季节葡萄树修剪需要熟练的季节性工人，这在冬季变得越来越缺乏。随着在短期季节性招聘文化和低工资的短期季节性招聘文化和低工资的时间内，随着工人更少的葡萄藤，葡萄藤往往被修剪不一致地导致葡萄化物不平衡。除此之外，目前现有的机械方法无法选择性地修剪葡萄园和手动后续操作，通常需要进一步提高生产成本。在本文中，我们展示了崎岖，全自治机器人的设计和田间评估，用于休眠季节葡萄园的端到最终修剪。该设计的设计包括新颖的相机系统，运动冗余机械手，地面机器人和在感知系统中的新颖算法。所提出的研究原型机器人系统能够在213秒/葡萄藤中完全从两侧刺激一排藤蔓，总修枝精度为87％。与机械预灌浆试验相比，商业葡萄园中自治系统的初始现场测试显示出休眠季节修剪的显着变化。在手稿中描述了设计方法，系统组件，经验教训，未来增强以及简要的经济分析。

可变形物体的形状控制是一个具有挑战性且重要的机器人问题。本文提出了一个基于模态分析的新型3D全局变形特征的无模型控制器。与使用几何功能的大多数现有控制器不同，我们的控制器通过将3D全局变形将其分解为低频模式形状，采用基于物理的变形功能。尽管模态分析在计算机视觉和仿真中被广泛采用，但尚未用于机器人变形控制中。我们为机器人操纵下的基于模态的变形控制开发了一个新的无模型框架。模式形状的物理解释使我们能够制定一个分析变形雅各布矩阵，将机器人操纵映射到模态特征的变化上。在Jacobian矩阵中，对象的未知几何形状和物理性质被视为低维模态参数，可用于线性地参数化闭环系统。因此，可以设计具有证实稳定性的自适应控制器，以使对象变形，同时在线估计模态参数。模拟和实验是在不同设置下使用线性，平面和实体对象进行的。结果不仅证实了我们的控制器的出色性能，而且还证明了其优势比基线方法。

在本文中，创建了具有定制设计的执行器空间弦编码器的增强软机器人原型，以研究动态软机器人轨迹跟踪。软机器人原型嵌入了所提出的自适应被动性控制和有效的动态模型，使具有挑战性的轨迹跟踪任务成为可能。我们通过在不同的操作场景上执行实验验证：各种跟踪速度和外部干扰来探索跟踪准确性以及提出的控制策略的全部潜力。在所有实验场景中，提出的自适应被动控制都优于常规PD反馈线性化控制。实验分析详细介绍了所提出的方法的优势和缺点，并指出了未来软机器人动态控制的下一步。

该制造业目前目前目睹了与工业机器人前所未有的采用的范式转变，机器愿景是一种关键的感知技术，使这些机器人能够在非结构化环境中进行精确的操作。然而，传统视觉传感器对照明条件和高速运动的灵敏度为生产线的可靠性和工作速率设定了限制。神经形态视觉是最近的技术，有可能解决传统视觉的挑战，其具有高颞率，低延迟和宽动态范围。在本文中，我们首次提出了一种新型神经形态视觉的基于峰值的控制器，用于更快，更可靠的加工操作，并具有能够进行具有亚毫米精度的钻井任务的完整机器人系统。我们所提出的系统使用我们专为神经形态摄像机的异步输出开发的两种感知阶段为3D定位了目标工件。第一阶段执行用于初始估计工件的姿势的多视图重建，并且第二阶段使用圆孔检测对工件的局部区域进行这种估计。然后，机器人精确地定位钻孔末端执行器并使用基于组合的位置和基于图像的视觉伺服方法钻取工件上的目标孔。所提出的解决方案是通过实验验证的用于在具有不受控制的照明的非结构环境中任意地放置的工件上的工件上钻出螺母孔。实验结果证明了我们的溶液的有效性小于0.1mm的平均位置误差，并证明了神经形态视觉的使用克服了传统相机的照明和速度限制。

In this paper, we propose a novel variable-length estimation approach for shape sensing of extensible soft robots utilizing fiber Bragg gratings (FBGs). Shape reconstruction from FBG sensors has been increasingly developed for soft robots, while the narrow stretching range of FBG fiber makes it difficult to acquire accurate sensing results for extensible robots. Towards this limitation, we newly introduce an FBG-based length sensor by leveraging a rigid curved channel, through which FBGs are allowed to slide within the robot following its body extension/compression, hence we can search and match the FBGs with specific constant curvature in the fiber to determine the effective length. From the fusion with the above measurements, a model-free filtering technique is accordingly presented for simultaneous calibration of a variable-length model and temporally continuous length estimation of the robot, enabling its accurate shape sensing using solely FBGs. The performances of the proposed method have been experimentally evaluated on an extensible soft robot equipped with an FBG fiber in both free and unstructured environments. The results concerning dynamic accuracy and robustness of length estimation and shape sensing demonstrate the effectiveness of our approach.

本文介绍了设计，开发，并通过IISC-TCS团队为穆罕默德·本·扎耶德国际机器人挑战赛2020年挑战1的目标的挑战1硬件 - 软件系统的测试是抓住从移动和机动悬挂球UAV和POP气球锚定到地面，使用合适的操纵器。解决这一挑战的重要任务包括具有高效抓取和突破机制的硬件系统的设计和开发，考虑到体积和有效载荷的限制，使用适用于室外环境的可视信息的准确目标拦截算法和开发动态多功能机空中系统的软件架构，执行复杂的动态任务。在本文中，设计了具有末端执行器的单个自由度机械手设计用于抓取和突发，并且开发了鲁棒算法以拦截在不确定的环境中的目标。基于追求参与和人工潜在功能的概念提出了基于视觉的指导和跟踪法。本工作中提供的软件架构提出了一种操作管理系统（OMS）架构，其在多个无人机之间协同分配静态和动态任务，以执行任何给定的任务。这项工作的一个重要方面是所有开发的系统都设计用于完全自主模式。在这项工作中还包括对凉亭环境和现场实验结果中完全挑战的模拟的详细描述。所提出的硬件软件系统对反UAV系统特别有用，也可以修改以满足其他几种应用。

在本文中，我们开辟了基于路径积分（PI）最优控制理论的可视伺服系统的新途径，其中可以将非线性部分微分方程（PDE）转换为使用Feynman的所有可能的轨迹的期望-KAC（FK）引理。更精确地，我们提出了基于采样的模型预测控制（即，模型预测路径积分（MPPI）控制）算法，提出了MPPI-VS控制策略，实时和无反转控制策略（即，模型预测路径积分（MPPI）控制）算法 - 基于，3D点和基于位置的可视伺服技术，考虑到系统约束（例如可见性，3D和控制约束）以及与机器人和相机模型相关联的参数不确定性以及测量噪声。与经典的视觉伺服控制方案相反，我们的控制策略直接利用交互矩阵的近似，而无需估计交互矩阵反转或执行伪反转。我们在带有引导摄像机的6-DOF笛卡尔机器人上验证MPPI-VS控制策略以及基于图像平面中的四个点作为视觉特征的常规摄像机。与经典计划相比，更好地评估和展示所提出的控制策略的鲁棒性和潜在优势，进行了各种操作条件下的密集模拟，然后讨论。所获得的结果证明了所提出的方案在容易与系统限制中应对的有效性和能力，以及在相机参数和测量中存在大误差的鲁棒性。

该工作介绍了基于加强学习的开关控制机构，以在存在干扰的情况下自动地将铁磁物体（代表毫师机器人代表毫师机器人）围绕受约束的环境中的障碍物移动。当主动控制是必要的情况时，这种机制可用于导航通过复杂环境的物体（例如，胶囊内窥镜检查，药物颗粒的群体），但是直接操纵可能危险。所提出的控制方案包括由两个子控制器实现的交换控制架构。第一子控制器设计用于采用机器人的逆运动液解决方案来进行待携带的铁磁颗粒的环境搜索，同时稳健。第二子控制器使用定制的彩虹算法来控制机器人臂，即UR5机器人，通过受约束的环境将铁磁颗粒携带到所需位置。对于定制的彩虹算法，采用来自隐式定位网络（IQN）算法和RESET的定量Huber丢失。所提出的控制器首先在实时物理仿真引擎（Pybullet）中进行培训和测试。之后，训练有素的控制器被转移到UR5机器人，以在真实的情况下远程运输铁磁粒子，以证明所提出的方法的适用性。实验结果显示了98.86 \％的平均成功率计算出30个随机产生的轨迹的发作。

腔内器官内部的导航是一项艰巨的任务，需要在操作员的手的运动与从内窥镜视频获得的信息之间进行非直觉的协调。开发自动化某些任务的工具可以减轻干预期间医生的身体和精神负担，从而使他们专注于诊断和决策任务。在本文中，我们提出了一种用于腔内导航的协同解决方案，该解决方案由3D打印的内窥镜软机器人组成，该机器人可以在腔内结构内安全移动。基于卷积神经网络（CNN）的Visual Servoing用于完成自主导航任务。 CNN经过幻象和体内数据训练以分割管腔，并提出了一种无模型的方法来控制受约束环境中的运动。在不同的路径配置中，在解剖幻像中验证了所提出的机器人。我们使用不同的指标分析机器人的运动，例如任务完成时间，平滑度，稳态中的误差以及均值和最大误差。我们表明，我们的方法适合在空心环境和条件下安全导航，这些环境和条件与最初对网络训练的条件不同。

虽然在各种应用中广泛使用刚性机器人，但它们在他们可以执行的任务中受到限制，并且在密切的人机交互中可以保持不安全。另一方面，软机器鞋面超越了刚性机器人的能力，例如与工作环境，自由度，自由度，制造成本和与环境安全互动的兼容性。本文研究了纤维增强弹性机壳（释放）作为一种特定类型的软气动致动器的行为，可用于软装饰器。创建动态集参数模型以在各种操作条件下模拟单一免费的运动，并通知控制器的设计。所提出的PID控制器使用旋转角度来控制多项式函数之后的自由到限定的步进输入或轨迹的响应来控制末端执行器的方向。另外，采用有限元分析方法，包括释放的固有非线性材料特性，精确地评估释放的各种参数和配置。该工具还用于确定模块中多个释放的工作空间，这基本上是软机械臂的构建块。

Soft robots are interesting examples of hyper-redundancy in robotics, however, the nonlinear continuous dynamics of these robots and the use of hyper-elastic and visco-elastic materials makes modeling of these robots more complicated. This study presents a geometric Inverse Kinematic (IK) model for trajectory tracking of multi-segment extensible soft robots, where, each segment of the soft actuator is geometrically approximated with multiple rigid links connected with rotary and prismatic joints. Using optimization methods, the desired configuration variables of the soft actuator for the desired end-effector positions are obtained. Also, the redundancy of the robot is applied for second task applications, such as tip angle control. The model's performance is investigated through simulations, numerical benchmarks, and experimental validations and results show lower computational costs and higher accuracy compared to most existing methods. The method is easy to apply to multi segment soft robots, both in 2D and 3D. As a case study, a fully 3D-printed soft robot manipulator is tested using a control unit and the model predictions show good agreement with the experimental results.

机器人布操作是自动机器人系统的相关挑战性问题。高度可变形的对象，因为纺织品在操纵过程中可以采用多种配置和形状。因此，机器人不仅应该了解当前的布料配置，还应能够预测布的未来行为。本文通过使用模型预测控制（MPC）策略在对象的其他部分应用动作，从而解决了间接控制纺织对象某些点的配置的问题，该策略还允许间接控制的行为点。设计的控制器找到了最佳控制信号，以实现所需的未来目标配置。本文中的探索场景考虑了通过抓住其上角，以平方布的下角跟踪参考轨迹。为此，我们提出并验证线性布模型，该模型允许实时解决与MPC相关的优化问题。增强学习（RL）技术用于学习所提出的布模型的最佳参数，并调整所得的MPC。在模拟中获得准确的跟踪结果后，在真实的机器人中实现并执行了完整的控制方案，即使在不利条件下也可以获得准确的跟踪。尽管总观察到的误差达到5 cm标记，但对于30x30 cm的布，分析表明，MPC对该值的贡献少于30％。

视觉的触觉传感器由于经济实惠的高分辨率摄像机和成功的计算机视觉技术而被出现为机器人触摸的有希望的方法。但是，它们的物理设计和他们提供的信息尚不符合真实应用的要求。我们提供了一种名为Insight的强大，柔软，低成本，视觉拇指大小的3D触觉传感器：它不断在其整个圆锥形感测表面上提供定向力分布图。围绕内部单眼相机构造，传感器仅在刚性框架上仅成型一层弹性体，以保证灵敏度，鲁棒性和软接触。此外，Insight是第一个使用准直器将光度立体声和结构光混合的系统来检测其易于更换柔性外壳的3D变形。通过将图像映射到3D接触力的空间分布（正常和剪切）的深神经网络推断力信息。洞察力在0.4毫米的总空间分辨率，力量幅度精度约为0.03 n，并且对于具有不同接触面积的多个不同触点，在0.03-2 n的范围内的5度大约5度的力方向精度。呈现的硬件和软件设计概念可以转移到各种机器人部件。

许多工业组装任务都涉及孔洞孔，例如插入具有巨大公差的插入，即使在高度校准的机器人细胞中也很具有挑战性。可以采用视觉伺服来提高系统中不确定性的鲁棒性，但是，最先进的方法要么依赖于准确的3D模型用于合成渲染，要么手动参与训练数据。我们提出了一种新型的自我监督的视觉伺服涂方法，用于高精度钉插入，该方法是完全自动化的，不依赖合成数据。我们证明了其适用于将电子组件插入具有紧密公差的印刷电路板中。我们表明，可以通过我们提出的视觉伺服方法在强大但缓慢的基于力的插入策略之前大幅度地加速插入孔的插入，该方法的配置是完全自主的。

在本报告中，我们提出了在哥斯达黎加太平洋架子和圣托里尼 - Kolumbo Caldera Complex中，在寻找寿命中的寻找寿命任务中的自主海洋机器人技术协调，操作策略和结果。它作为可能存在于海洋超越地球的环境中的类似物。本报告侧重于ROV操纵器操作的自动化，用于从海底获取有针对性的生物样品收集和返回的。在未来的外星勘查任务到海洋世界的背景下，ROV是一个模拟的行星着陆器，必须能够有能力的高水平自主权。我们的田间试验涉及两个水下车辆，冰（Nui）杂交ROV的两个水下车辆（即，龙眼或自主）任务，都配备了7-DOF液压机械手。我们描述了一种适应性，硬件无关的计算机视觉架构，可实现高级自动化操作。 Vision系统提供了对工作空间的3D理解，以便在复杂的非结构化环境中通知操纵器运动计划。我们展示了视觉系统和控制框架通过越来越具有挑战性的环境中的现场试验的有效性，包括来自活性Undersea火山，Kolumbo内的自动收集和生物样品的回报。根据我们在该领域的经验，我们讨论了我们的系统的表现，并确定了未来研究的有希望的指示。

近年来，空中机器人背景下的高速导航和环境互动已成为几个学术和工业研究研究的兴趣领域。特别是，由于其若干环境中的潜在可用性，因此搜索和拦截（SAI）应用程序造成引人注目的研究区域。尽管如此，SAI任务涉及有关感官权重，板载计算资源，致动设计和感知和控制算法的具有挑战性的发展。在这项工作中，已经提出了一种用于高速对象抓握的全自动空中机器人。作为一个额外的子任务，我们的系统能够自主地刺穿位于靠近表面的杆中的气球。我们的第一款贡献是在致动和感觉水平的致动和感觉水平的空中机器人的设计，包括具有额外传感器的新型夹具设计，使机器人能够高速抓住物体。第二种贡献是一种完整的软件框架，包括感知，状态估计，运动计划，运动控制和任务控制，以便快速且强大地执行自主掌握任务。我们的方法已在一个具有挑战性的国际竞争中验证，并显示出突出的结果，能够在室外环境中以6米/分来自动搜索，遵循和掌握移动物体