血管内操作中的自主机器人有可能安全可靠地浏览循环系统，同时降低对人体错误的敏感性。但是，训练机器人的过程涉及许多挑战，例如由于机器学习算法的效率低下而导致的长期培训持续时间以及导管与血管内幻影之间的相互作用引起的安全问题。物理模拟器已在血管内手术的背景下使用，但通常用于员工培训，通常不符合自主插管目标。此外，大多数当前的模拟器都是封闭消息，它阻碍了安全可靠的自主系统的协作开发。在这项工作中，我们介绍了Cathsim，Cathsim是一种开源模拟环境，可加快用于自主内血管内导航的机器学习算法的开发。我们首先使用最先进的血管内机器人模拟高保真导管和主动脉。然后，我们在模拟环境中提供了导管和主动脉之间实时力传感的能力。我们通过使用两种流行的强化学习算法，近端策略优化（PPO）和软参与者（SAC）在两个主要动脉内执行两个不同的导管插入任务来验证我们的模拟器。实验结果表明，使用我们的开源模拟器，我们可以成功训练增强型学习剂以执行不同的自主插管任务。

结肠镜检查的柔性内窥镜由于其固有的复杂性而产生了一些局限性，导致患者不适和缺乏临床医生的直觉。机器人设备和自主控制代表了一种可行的解决方案，以减少内镜医生的工作量和训练时间，同时改善整体程序结果。自主内窥镜控制的先前工作使用启发式政策，将其概括限制在非结构化和高度可变形的结肠环境中，需要频繁进行人类干预。这项工作提出了一种基于图像的内窥镜控制，使用深钢筋学习，称为深度视觉运动控制（DVC），以在结肠道的复杂部分中表现出适应性行为。 DVC学习内窥镜图像与内窥镜的控制信号之间的映射。对20位专家胃肠道内镜医生进行的首次用户研究是为了将其导航性能与使用现实的虚拟模拟器进行比较的DVC策略。结果表明，DVC在几个评估参数上显示出同等的性能，更安全。此外，与最先进的启发式控制政策相比，对20名新手参与者进行了第二次用户研究，以证明人类的监督更容易。对结肠镜检查程序的无缝监督将使干预主义者能够专注于医疗决策，而不是内窥镜的控制问题。

最近，深度加固学习（RL）在机器人操作应用中表现出了一些令人印象深刻的成功。但是，由于样本效率和安全性问题，现实世界中的培训机器人是不平凡的。提出了SIM到现实的转移来解决上述问题，但引入了一个名为“现实差距”的新问题。在这项工作中，我们通过使用单个摄像头的输入来解决上述问题，为基于视觉的组装任务引入SIM模型学习框架，并在模拟环境中进行培训。我们提出了一种基于循环一致的生成对抗网络（CycleGAN）和力量控制转移方法来弥合现实差距的域适应方法。我们证明，在模拟环境中训练有训练的拟议框架可以成功地转移到真实的孔洞设置中。

我们介绍了栖息地2.0（H2.0），这是一个模拟平台，用于培训交互式3D环境和复杂物理的场景中的虚拟机器人。我们为体现的AI堆栈 - 数据，仿真和基准任务做出了全面的贡献。具体来说，我们提出：（i）复制：一个由艺术家的，带注释的，可重新配置的3D公寓（匹配真实空间）与铰接对象（例如可以打开/关闭的橱柜和抽屉）； （ii）H2.0：一个高性能物理学的3D模拟器，其速度超过8-GPU节点上的每秒25,000个模拟步骤（实时850x实时），代表先前工作的100倍加速；和（iii）家庭助理基准（HAB）：一套辅助机器人（整理房屋，准备杂货，设置餐桌）的一套常见任务，以测试一系列移动操作功能。这些大规模的工程贡献使我们能够系统地比较长期结构化任务中的大规模加固学习（RL）和经典的感官平面操作（SPA）管道，并重点是对新对象，容器和布局的概括。 。我们发现（1）与层次结构相比，（1）平面RL政策在HAB上挣扎； （2）具有独立技能的层次结构遭受“交接问题”的困扰，（3）水疗管道比RL政策更脆。

最近在体现AI中的研究已经通过使用模拟环境来开发和培训机器人学习方法。然而，使用模拟已经引起了只需要机器人模拟器可以模拟的任务：运动和物理接触的任务。我们呈现IGIBSON 2.0，一个开源仿真环境，通过三个关键创新支持模拟更多样化的家庭任务。首先，IGIBSON 2.0支持对象状态，包括温度，湿度水平，清洁度和切割和切片状态，以涵盖更广泛的任务。其次，IGIBSON 2.0实现了一组谓词逻辑函数，该逻辑函数将模拟器状态映射到烹饪或浸泡等逻辑状态。另外，给定逻辑状态，IGIBSON 2.0可以对满足它的有效物理状态进行示例。此功能可以以最少的努力从用户生成潜在的无限实例。采样机制允许我们的场景在语义有意义的位置中的小对象更密集地填充。第三，IGIBSON 2.0包括虚拟现实（VR）界面，以将人类浸入其场景以收集示威操作。因此，我们可以从这些新型任务中收集人类的示威活动，并使用它们进行模仿学习。我们评估了IGIBSON 2.0的新功能，以实现新的任务的机器人学习，希望能够展示这一新模拟器的潜力来支持体现AI的新研究。 IGIBSON 2.0及其新数据集可在http://svl.stanford.edu/igibson/上公开提供。

尽管移动操作在工业和服务机器人技术方面都重要，但仍然是一个重大挑战，因为它需要将最终效应轨迹的无缝整合与导航技能以及对长匹马的推理。现有方法难以控制大型配置空间，并导航动态和未知环境。在先前的工作中，我们建议将移动操纵任务分解为任务空间中最终效果的简化运动生成器，并将移动设备分解为训练有素的强化学习代理，以说明移动基础的运动基础，以说明运动的运动可行性。在这项工作中，我们引入了移动操作的神经导航（n $^2 $ m $^2 $），该导航将这种分解扩展到复杂的障碍环境，并使其能够解决现实世界中的广泛任务。最终的方法可以在未探索的环境中执行看不见的长马任务，同时立即对动态障碍和环境变化做出反应。同时，它提供了一种定义新的移动操作任务的简单方法。我们证明了我们提出的方法在多个运动学上多样化的移动操纵器上进行的广泛模拟和现实实验的能力。代码和视频可在http://mobile-rl.cs.uni-freiburg.de上公开获得。

Figure 1: A five-fingered humanoid hand trained with reinforcement learning manipulating a block from an initial configuration to a goal configuration using vision for sensing.

机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。

学习玩乒乓球是机器人的一个具有挑战性的任务，作为所需的各种笔画。最近的进展表明，深度加强学习（RL）能够在模拟环境中成功地学习最佳动作。然而，由于高勘探努力，RL在实际情况中的适用性仍然有限。在这项工作中，我们提出了一个现实的模拟环境，其中多种模型是为球的动态和机器人的运动学而建立的。代替训练端到端的RL模型，提出了一种具有TD3骨干的新的政策梯度方法，以基于击球时间基于球的预测状态来学习球拍笔划。在实验中，我们表明，所提出的方法显着优于仿真中现有的RL方法。此外，将域从仿真跨越现实，我们采用了一个有效的再培训方法，并在三种实际情况下测试。由此产生的成功率为98％，距离误差约为24.9厘米。总培训时间约为1.5小时。

该工作介绍了基于加强学习的开关控制机构，以在存在干扰的情况下自动地将铁磁物体（代表毫师机器人代表毫师机器人）围绕受约束的环境中的障碍物移动。当主动控制是必要的情况时，这种机制可用于导航通过复杂环境的物体（例如，胶囊内窥镜检查，药物颗粒的群体），但是直接操纵可能危险。所提出的控制方案包括由两个子控制器实现的交换控制架构。第一子控制器设计用于采用机器人的逆运动液解决方案来进行待携带的铁磁颗粒的环境搜索，同时稳健。第二子控制器使用定制的彩虹算法来控制机器人臂，即UR5机器人，通过受约束的环境将铁磁颗粒携带到所需位置。对于定制的彩虹算法，采用来自隐式定位网络（IQN）算法和RESET的定量Huber丢失。所提出的控制器首先在实时物理仿真引擎（Pybullet）中进行培训和测试。之后，训练有素的控制器被转移到UR5机器人，以在真实的情况下远程运输铁磁粒子，以证明所提出的方法的适用性。实验结果显示了98.86 \％的平均成功率计算出30个随机产生的轨迹的发作。

仿真最近已成为深度加强学习，以安全有效地从视觉和预防性投入获取一般和复杂的控制政策的关键。尽管它与环境互动直接关系，但通常认为触觉信息通常不会被认为。在这项工作中，我们展示了一套针对触觉机器人和加强学习量身定制的模拟环境。提供了一种简单且快速的模拟光学触觉传感器的方法，其中高分辨率接触几何形状表示为深度图像。近端策略优化（PPO）用于学习所有考虑任务的成功策略。数据驱动方法能够将实际触觉传感器的当前状态转换为对应的模拟深度图像。此策略在物理机器人上实时控制循环中实现，以演示零拍摄的SIM-TO-REAL策略转移，以触摸感的几个物理交互式任务。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

这项工作调查了基于课程学习（CL）对代理商的绩效的影响。特别是，我们专注于机器人毛美导航的安全方面，比较标准端到端（E2E）培训策略。为此，我们提出了一种方法，即利用学习（tol）和微调在基于团结的模拟中的微调，以及Robotnik Kairos作为机器人代理。对于公平的比较，我们的评估考虑了对每个学习方法的同等计算需求（即，相同的相互作用和环境的难度数），并确认我们基于CL的方法使用TOL优于E2E方法。特别是，我们提高了培训的政策的平均成功率和安全，导致看不见的测试方案中的碰撞减少了10％。为了进一步确认这些结果，我们采用正式的验证工具来量化加强学习政策的正确行为数量超过所需规范。

由于配置空间的高维度以及受各种材料特性影响的动力学的复杂性，布料操纵是一项具有挑战性的任务。复杂动力学的效果甚至在动态折叠中更为明显，例如，当平方板通过单个操纵器将一块织物折叠为两种时。为了说明复杂性和不确定性，使用例如通常需要视觉。但是，构建动态布折叠的视觉反馈政策是一个开放的问题。在本文中，我们提出了一种解决方案，该解决方案可以使用强化学习（RL）学习模拟政策，并将学识渊博的政策直接转移到现实世界中。此外，要学习一种操纵多种材料的单一策略，我们将模拟中的材料属性随机化。我们评估了现实世界实验中视觉反馈和材料随机化的贡献。实验结果表明，所提出的解决方案可以使用现实世界中的动态操作成功地折叠不同的面料类型。代码，数据和视频可从https://sites.google.com/view/dynamic-cloth-folding获得

Dexterous manipulation with anthropomorphic robot hands remains a challenging problem in robotics because of the high-dimensional state and action spaces and complex contacts. Nevertheless, skillful closed-loop manipulation is required to enable humanoid robots to operate in unstructured real-world environments. Reinforcement learning (RL) has traditionally imposed enormous interaction data requirements for optimizing such complex control problems. We introduce a new framework that leverages recent advances in GPU-based simulation along with the strength of imitation learning in guiding policy search towards promising behaviors to make RL training feasible in these domains. To this end, we present an immersive virtual reality teleoperation interface designed for interactive human-like manipulation on contact rich tasks and a suite of manipulation environments inspired by tasks of daily living. Finally, we demonstrate the complementary strengths of massively parallel RL and imitation learning, yielding robust and natural behaviors. Videos of trained policies, our source code, and the collected demonstration datasets are available at https://maltemosbach.github.io/interactive_ human_like_manipulation/.

强化学习（RL）是一种基于代理的方法，可以教机器人在物理世界中导航。已知收集RL的数据是一项费力的任务，现实世界实验可能会冒险。模拟器以更快，更具成本效益的方式促进培训数据的收集。但是，RL经常需要大量的仿真步骤才能使代理在简单任务上变得熟练。这是基于RL的视觉四面导航字段中普遍的问题，其中状态尺寸通常非常大，动态模型很复杂。此外，渲染图像和获得代理的物理特性在计算上可能很昂贵。为了解决这个问题，我们提出了一个基于Airsim的模拟框架，该框架提供了有效的并行训练。在此框架的基础上，APE-X经过修改，以结合空调环境的分散培训，以利用众多网络计算机。通过实验，我们能够使用上述框架将训练时间从3.9小时减少到11分钟，总共有74个代理和两台网络计算机。可以在https://sites.google.com/view/prl4airsim/home上找到有关我们项目Prl4airsim的更多详细信息和有关我们项目的视频。

具有通用机器人臂的外星漫游者在月球和行星勘探中具有许多潜在的应用。将自主权引入此类系统是需要增加流浪者可以花费收集科学数据并收集样本的时间的。这项工作调查了深钢筋学习对月球上对象的基于视觉的机器人抓握的适用性。创建了一个具有程序生成数据集的新型模拟环境，以在具有不平衡的地形和严酷照明的非结构化场景中训练代理。然后，采用了无模型的非政治演员 - 批评算法来端对端学习，该策略将紧凑的OCTREE观察结果直接映射到笛卡尔空间中的连续行动。实验评估表明，与传统使用的基于图像的观测值相比，3D数据表示可以更有效地学习操纵技能。域随机化改善了以前看不见的物体和不同照明条件的新场景的学识关系的概括。为此，我们通过评估月球障碍设施中的真实机器人上的训练有素的代理来证明零射击的SIM到现实转移。

我们提出了Midgard，这是一个用于室外非结构化环境中自动机器人导航的开源模拟平台。 Midgard旨在实现在影照相3D环境中对自主代理（例如，无人接地车）进行培训，并通过培训场景中的可变性来支持基于学习的代理的概括技巧。 Midgard的主要功能包括可配置，可扩展和难度驱动的程序景观生成管道，并具有基于虚幻引擎的快速和影像现实主义场景。此外，Midgard还对OpenAi Gym进行了内置支持，OpenAi Gym是一个用于功能扩展的编程接口（例如，集成新型的传感器，自定义曝光内部模拟变量）和各种模拟代理传感器（例如RGB，DEPTH和实例/实例/语义细分）。我们评估了Midgard的功能，作为使用一组最先进的强化学习算法的机器人导航的基准测试工具。结果表明，Midgard作为模拟和训练环境的适用性，以及我们程序生成方法在控制场景难度方面的有效性，这直接反映了准确度量指标。 Midgard构建，源代码和文档可在https://midgardsim.org/上找到。

强化学习（RL）通过原始像素成像和连续的控制任务在视频游戏中表现出了令人印象深刻的表现。但是，RL的性能较差，例如原始像素图像，例如原始像素图像。人们普遍认为，基于物理状态的RL策略（例如激光传感器测量值）比像素学习相比会产生更有效的样品结果。这项工作提出了一种新方法，该方法从深度地图估算中提取信息，以教授RL代理以执行无人机导航（UAV）的无地图导航。我们提出了深度模仿的对比度无监督的优先表示（DEPTH-CUPRL），该表示具有优先重播记忆的估算图像的深度。我们使用RL和对比度学习的组合，根据图像的RL问题引发。从无人驾驶汽车（UAV）对结果的分析中，可以得出结论，我们的深度cuprl方法在无MAP导航能力中对决策和优于最先进的像素的方法有效。

Surgical robot automation has attracted increasing research interest over the past decade, expecting its huge potential to benefit surgeons, nurses and patients. Recently, the learning paradigm of embodied AI has demonstrated promising ability to learn good control policies for various complex tasks, where embodied AI simulators play an essential role to facilitate relevant researchers. However, existing open-sourced simulators for surgical robot are still not sufficiently supporting human interactions through physical input devices, which further limits effective investigations on how human demonstrations would affect policy learning. In this paper, we study human-in-the-loop embodied intelligence with a new interactive simulation platform for surgical robot learning. Specifically, we establish our platform based on our previously released SurRoL simulator with several new features co-developed to allow high-quality human interaction via an input device. With these, we further propose to collect human demonstrations and imitate the action patterns to achieve more effective policy learning. We showcase the improvement of our simulation environment with the designed new features and tasks, and validate state-of-the-art reinforcement learning algorithms using the interactive environment. Promising results are obtained, with which we hope to pave the way for future research on surgical embodied intelligence. Our platform is released and will be continuously updated in the website: https://med-air.github.io/SurRoL/