许多工业组装任务都涉及孔洞孔，例如插入具有巨大公差的插入，即使在高度校准的机器人细胞中也很具有挑战性。可以采用视觉伺服来提高系统中不确定性的鲁棒性，但是，最先进的方法要么依赖于准确的3D模型用于合成渲染，要么手动参与训练数据。我们提出了一种新型的自我监督的视觉伺服涂方法，用于高精度钉插入，该方法是完全自动化的，不依赖合成数据。我们证明了其适用于将电子组件插入具有紧密公差的印刷电路板中。我们表明，可以通过我们提出的视觉伺服方法在强大但缓慢的基于力的插入策略之前大幅度地加速插入孔的插入，该方法的配置是完全自主的。

我们介绍了基于学习的合规控制器，用于工业机器人的装配操作。我们提出了在从演示（LFD）中的一般环境中的一个解决方案，其中通过专家教师演示提供标称轨迹。这可以用于学习可以概括为组装中涉及的一个部件的新颖的技术的合适的表达，例如钉孔中的孔（PEG）插入任务。在期望中，在视觉或其他感测系统不完全准确地估计这种新颖的位置，机器人需要进一步修改产生的轨迹，以响应通过力 - 扭矩（F / T）传感器测量的力读数安装在机器人的手腕或另一个合适的位置。在组装期间遍历参考轨迹的恒定速度的假设，我们提出了一种新颖的容纳力控制器，其允许机器人安全地探索不同的接触配置。使用该控制器收集的数据用于训练高斯过程模型以预测栓地相对于目标孔的位置的未对准。我们表明所提出的基于学习的方法可以校正由PIH任务中组装部件之间的未对准引起的各种接触配置，在插入期间实现了高成功率。我们使用工业操纵器臂展示结果，并证明所提出的方法可以使用从培训的机器学习模型的力反馈来执行自适应插入。

机器人钉孔组件由于其准确性的高度需求而仍然是一项具有挑战性的任务。先前的工作倾向于通过限制最终效果的自由度，或限制目标与初始姿势位置之间的距离来简化问题，从而阻止它们部署在现实世界中。因此，我们提出了一种粗到精细的视觉致毒（CFV）钉孔法，基于3D视觉反馈实现了6DOF最终效应器运动控制。CFV可以通过在细化前进行快速姿势估计来处理任意倾斜角度和较大的初始对齐误差。此外，通过引入置信度图来忽略对象无关的轮廓，CFV可以抵抗噪声，并且可以处理训练数据以外的各种目标。广泛的实验表明，CFV的表现优于最先进的方法，并分别获得100％，91％和82％的平均成功率，分别为3-DOF，4-DOF和6-DOF PEG-IN-IN-HOLE。

本文介绍了一种系统集成方法，用于一种6-DOF（自由度）协作机器人，以操作移液液的移液液。它的技术发展是三倍。首先，我们设计了用于握住和触发手动移液器的最终效果。其次，我们利用协作机器人的优势来识别基于公认姿势的实验室姿势和计划的机器人运动。第三，我们开发了基于视觉的分类器来预测和纠正定位误差，从而精确地附着在一次性技巧上。通过实验和分析，我们确认开发的系统，尤其是计划和视觉识别方法，可以帮助确保高精度和柔性液体分配。开发的系统适用于低频，高更改的生化液体分配任务。我们预计它将促进协作机器人的部署进行实验室自动化，从而提高实验效率，而不会显着自定义实验室环境。

该制造业目前目前目睹了与工业机器人前所未有的采用的范式转变，机器愿景是一种关键的感知技术，使这些机器人能够在非结构化环境中进行精确的操作。然而，传统视觉传感器对照明条件和高速运动的灵敏度为生产线的可靠性和工作速率设定了限制。神经形态视觉是最近的技术，有可能解决传统视觉的挑战，其具有高颞率，低延迟和宽动态范围。在本文中，我们首次提出了一种新型神经形态视觉的基于峰值的控制器，用于更快，更可靠的加工操作，并具有能够进行具有亚毫米精度的钻井任务的完整机器人系统。我们所提出的系统使用我们专为神经形态摄像机的异步输出开发的两种感知阶段为3D定位了目标工件。第一阶段执行用于初始估计工件的姿势的多视图重建，并且第二阶段使用圆孔检测对工件的局部区域进行这种估计。然后，机器人精确地定位钻孔末端执行器并使用基于组合的位置和基于图像的视觉伺服方法钻取工件上的目标孔。所提出的解决方案是通过实验验证的用于在具有不受控制的照明的非结构环境中任意地放置的工件上的工件上钻出螺母孔。实验结果证明了我们的溶液的有效性小于0.1mm的平均位置误差，并证明了神经形态视觉的使用克服了传统相机的照明和速度限制。

插入整孔组件是一项艰巨的任务。由于孔的公差很小，插入中的较小错误将导致故障。这些故障会损坏组件，并且需要手动干预才能恢复。错误可能来自不精确的对象抓取和弯曲销。因此，重要的是，系统必须准确地确定对象的位置并拒绝弯曲销的组件。通过利用对象中固有的约束，使用模板匹配的方法可以获得非常精确的姿势估计。还实施了针对销检查的方法，并显示了成功的方法。该设置是自动执行的，具有两个新颖的贡献。对引脚进行深度学习分割，并通过模拟发现检查姿势。从检查姿势和分段引脚中，然后生成用于姿势估计和引脚检查的模板。为了训练深度学习方法，创建了分段整个孔组件的数据集。该网络在测试集上显示97.3％的精度。还在插入CAD模型上测试了PIN分割网络，并成功地分割了引脚。完整的系统在三个不同的对象上进行了测试，并且实验表明该系统能够成功插入所有对象。通过手动纠正错误和用弯曲销的对象拒绝对象。

视网膜手术是一种复杂的医疗程序，需要特殊的专业知识和灵巧。为此目的，目前正在开发几种机器人平台，以实现或改善显微外科任务的结果。由于这种机器人的控制通常被设计用于在视网膜附近导航，成功的套管针对接并将仪器插入眼睛中代表了一种额外的认知努力，因此是机器人视网膜手术中的开放挑战之一。为此目的，我们为自主套管针对接的平台结合了计算机愿景和机器人设置。灵感来自古巴Colibri（蜂鸟）使用只使用视觉将其喙对齐，我们将相机安装到机器人系统的内逸线器上。通过估计套管针的位置和姿势，机器人能够自主地对齐并导航仪器朝向贸易圈的入口点（TEP），最后执行插入。我们的实验表明，该方法能够精确地估计套管针的位置和姿势，实现可重复的自主对接。这项工作的目的是降低机器人设置准备在手术任务之前的复杂性，因此增加了系统集成到临床工作流程的直观。

人类仍在执行许多高精度（DIS）任务，而这是自动化的理想机会。本文提供了一个框架，该框架使非专家的人类操作员能够教机器人手臂执行复杂的精确任务。该框架使用可变的笛卡尔阻抗控制器来执行从动力学人类示范中学到的轨迹。可以给出反馈以进行交互重塑或加快原始演示。董事会本地化是通过对任务委员会位置的视觉估算来完成的，并通过触觉反馈进行了完善。我们的框架在机器人基准拆卸挑战上进行了测试，该机器人必须执行复杂的精确任务，例如关键插入。结果显示每个操纵子任务的成功率很高，包括盒子中新型姿势的情况。还进行了消融研究以评估框架的组成部分。

机器人操纵可以配制成诱导一系列空间位移：其中移动的空间可以包括物体，物体的一部分或末端执行器。在这项工作中，我们提出了一个简单的模型架构，它重新排列了深度功能，以从视觉输入推断出可视输入的空间位移 - 这可以参数化机器人操作。它没有对象的假设（例如规范姿势，模型或关键点），它利用空间对称性，并且比我们学习基于视觉的操纵任务的基准替代方案更高的样本效率，并且依赖于堆叠的金字塔用看不见的物体组装套件;从操纵可变形的绳索，以将堆积的小物体推动，具有闭环反馈。我们的方法可以表示复杂的多模态策略分布，并推广到多步顺序任务，以及6dof拾取器。 10个模拟任务的实验表明，它比各种端到端基线更快地学习并概括，包括使用地面真实对象姿势的政策。我们在现实世界中使用硬件验证我们的方法。实验视频和代码可在https://transporternets.github.io获得

基于视觉的机器人组装是一项至关重要但具有挑战性的任务，因为与多个对象的相互作用需要高水平的精度。在本文中，我们提出了一个集成的6D机器人系统，以感知，掌握，操纵和组装宽度，以紧密的公差。为了提供仅在现成的RGB解决方案的情况下，我们的系统建立在单眼6D对象姿势估计网络上，该估计网络仅使用合成图像训练，该图像利用了基于物理的渲染。随后，提出了姿势引导的6D转换以及无碰撞组装来构建具有任意初始姿势的任何设计结构。我们的新型3轴校准操作通过解开6D姿势估计和机器人组件进一步提高了精度和鲁棒性。定量和定性结果都证明了我们提出的6D机器人组装系统的有效性。

密集对象跟踪，能够通过像素级精度本地化特定的对象点，是一个重要的计算机视觉任务，具有多种机器人的下游应用程序。现有方法在单个前向通行证中计算密集的键盘嵌入，这意味着模型培训以一次性跟踪所有内容，或者将它们的全部容量分配给稀疏预定义的点，交易一般性以获得准确性。在本文中，我们基于观察到给定时间的相关点数通常相对较少，例如，探索中间地面。掌握目标对象的点。我们的主要贡献是一种新颖的架构，灵感来自少量任务适应，这允许一个稀疏样式的网络在嵌入点嵌入的关键点嵌入时的条件。我们的中央发现是，这种方法提供了密集嵌入模型的一般性，同时提供准确性更加接近稀疏关键点方法。我们呈现了说明此容量与准确性权衡的结果，并使用真正的机器人挑选任务展示将转移到新对象实例（在课程中）的能力。

We describe a learning-based approach to handeye coordination for robotic grasping from monocular images. To learn hand-eye coordination for grasping, we trained a large convolutional neural network to predict the probability that task-space motion of the gripper will result in successful grasps, using only monocular camera images and independently of camera calibration or the current robot pose. This requires the network to observe the spatial relationship between the gripper and objects in the scene, thus learning hand-eye coordination. We then use this network to servo the gripper in real time to achieve successful grasps. To train our network, we collected over 800,000 grasp attempts over the course of two months, using between 6 and 14 robotic manipulators at any given time, with differences in camera placement and hardware. Our experimental evaluation demonstrates that our method achieves effective real-time control, can successfully grasp novel objects, and corrects mistakes by continuous servoing.

Robots have been steadily increasing their presence in our daily lives, where they can work along with humans to provide assistance in various tasks on industry floors, in offices, and in homes. Automated assembly is one of the key applications of robots, and the next generation assembly systems could become much more efficient by creating collaborative human-robot systems. However, although collaborative robots have been around for decades, their application in truly collaborative systems has been limited. This is because a truly collaborative human-robot system needs to adjust its operation with respect to the uncertainty and imprecision in human actions, ensure safety during interaction, etc. In this paper, we present a system for human-robot collaborative assembly using learning from demonstration and pose estimation, so that the robot can adapt to the uncertainty caused by the operation of humans. Learning from demonstration is used to generate motion trajectories for the robot based on the pose estimate of different goal locations from a deep learning-based vision system. The proposed system is demonstrated using a physical 6 DoF manipulator in a collaborative human-robot assembly scenario. We show successful generalization of the system's operation to changes in the initial and final goal locations through various experiments.

我们介绍了一个机器人组装系统，该系统简化了从产品组件的CAD模型到完整编程和自适应组装过程的设计对制造工作流程。我们的系统（在CAD工具中）捕获了特定机器人工作电脑组装过程的意图，并生成了任务级指令的配方。通过将视觉传感与深度学习的感知模型相结合，机器人推断出从生成的配方中组装设计的必要动作。感知模型是直接从模拟训练的，从而使系统可以根据CAD信息识别各个部分。我们用两个机器人的工作栏演示了系统，以组装互锁的3D零件设计。我们首先在模拟中构建和调整组装过程，并验证生成的食谱。最后，真正的机器人工作电池使用相同的行为组装了设计。

基于视觉的控制在研究中发现了一个关键位置，以在物理传感限制下控制连续式机器人时解决状态反馈的要求。传统的视觉伺服需要特征提取和跟踪，而成像设备捕获图像，这限制了控制器的效率。我们假设采用深度学习模型和实现直接视觉伺服可以通过消除跟踪要求和控制连续内机器人而无需精确的系统模型来有效地解决问题。在本文中，我们控制了一种利用改进的VGG-16深度学习网络和掌握直接视觉伺服方法的单段肌腱驱动的连续内机器人。所提出的算法首先在搅拌机中使用目标的一个输入图像在搅拌机中开发，然后在真正的机器人上实现。由归一化目标和捕获图像之间的绝对差异和反映的正常，阴影和遮挡场景的收敛性和准确性证明了所提出的控制器的有效性和鲁棒性。

机器人外科助理（RSAs）通常用于通过专家外科医生进行微创手术。然而，长期以来充满了乏味和重复的任务，如缝合可以导致外科医生疲劳，激励缝合的自动化。随着薄反射针的视觉跟踪极具挑战性，在未反射对比涂料的情况下修改了针。作为朝向无修改针的缝合子任务自动化的步骤，我们提出了休斯顿：切换未经修改，外科手术，工具障碍针，一个问题和算法，它使用学习的主动传感策略与立体声相机本地化并对齐针头进入另一臂的可见和可访问的姿势。为了补偿机器人定位和针头感知误差，然后算法执行使用多个摄像机的高精度抓握运动。在使用Da Vinci研究套件（DVRK）的物理实验中，休斯顿成功通过了96.7％的成功率，并且能够在故障前平均地在臂32.4倍之间顺序地执行切换。在培训中看不见的针头，休斯顿实现了75-92.9％的成功率。据我们所知，这项工作是第一个研究未修改的手术针的切换。查看https://tinyurl.com/huston-surgery用于额外​​的材料。

最近，深度加固学习（RL）在机器人操作应用中表现出了一些令人印象深刻的成功。但是，由于样本效率和安全性问题，现实世界中的培训机器人是不平凡的。提出了SIM到现实的转移来解决上述问题，但引入了一个名为“现实差距”的新问题。在这项工作中，我们通过使用单个摄像头的输入来解决上述问题，为基于视觉的组装任务引入SIM模型学习框架，并在模拟环境中进行培训。我们提出了一种基于循环一致的生成对抗网络（CycleGAN）和力量控制转移方法来弥合现实差距的域适应方法。我们证明，在模拟环境中训练有训练的拟议框架可以成功地转移到真实的孔洞设置中。

增强学习（RL）是一个强大的数学框架，可让机器人通过反复试验学习复杂的技能。尽管在许多应用中取得了许多成功，但RL算法仍然需要数千个试验才能融合到高性能的政策，可以在学习时产生危险的行为，并且优化的政策（通常为神经网络建模）几乎可以在无法执行的解释时给出零的解释。任务。由于这些原因，在工业环境中采用RL并不常见。另一方面，行为树（BTS）可以提供一个策略表示，a）支持模块化和可综合的技能，b）允许轻松解释机器人动作，c）提供了有利的低维参数空间。在本文中，我们提出了一种新颖的算法，该算法可以学习模拟中BT策略的参数，然后在没有任何其他培训的情况下将其推广到物理机器人。我们利用了使用数字化工作站的物理模拟器，并使用黑盒优化器优化相关参数。我们在包括避免障碍物和富含接触的插入（孔洞）的任务中，通过7道型kuka-iiwa操纵器展示了我们方法的功效，其中我们的方法优于基准。

掌控的摄像机校准是机器人中的基本和长期研究的问题。我们展示了使用基于学习的方法在线解决此问题的研究，同时使用完全合成数据培训我们的模型。我们研究了三种主要方法：直接从图像预测外部矩阵的直接回归模型，一个稀疏的对应模型回归2D关键点，然后使用PNP，以及使用回归深度和分割映射的一个密集对应模型来实现ICP姿势估计。在我们的实验中，我们将这些方法互相基准，并反对建立良好的经典方法，以找到直接回归优于其他方法的令人惊讶的结果，并且我们对这些结果进行了进一步的见解来进行噪声敏感性分析。

机器人钉孔组装是机器人自动化研究中的重要任务。加强学习（RL）与深度神经网络（DNN）相结合，导致了这一领域的非凡成就。但是，在融合应用程序的独特环境和任务要求下，当前基于RL的方法几乎无法表现出色。因此，我们提出了一种新设计的基于RL的方法。此外，与其他方法不同，我们专注于DNN的结构而不是RL模型的创新。从RGB摄像机和力/扭矩（F/T）传感器中输入的数据，将其输入到多输入分支网络中，并且当前状态中的最佳动作是由网络输出的。所有训练和实验都是在现实的环境中进行的，从实验结果中，这种多传感器融合方法已显示在不确定和不稳定的环境中具有0.1mm精度的刚性钉钉组装任务中很好地工作。