神经辐射场（NERF）最近被成为自然，复杂3D场景的代表的强大范例。 NERFS表示神经网络中的连续体积密度和RGB值，并通过射线跟踪从看不见的相机观点生成照片逼真图像。我们提出了一种算法，用于通过仅使用用于本地化的板载RGB相机表示为NERF的3D环境导航机器人。我们假设现场的NERF已经预先训练了离线，机器人的目标是通过NERF中的未占用空间导航到目标姿势。我们介绍了一种轨迹优化算法，其避免了基于NERF中的高密度区域的碰撞，其基于差分平整度的离散时间版本，其可用于约束机器人的完整姿势和控制输入。我们还介绍了基于优化的过滤方法，以估计单位的RGB相机中的NERF中机器人的6dof姿势和速度。我们将轨迹策划器与在线重新循环中的姿势过滤器相结合，以提供基于视觉的机器人导航管道。我们使用丛林健身房环境，教堂内部和巨石阵线导航的四轮车机器人，使用RGB相机展示仿真结果。我们还展示了通过教会导航的全向地面机器人，要求它重新定位以缩小差距。这项工作的视频可以在https://mikh3x4.github.io/nerf-navigation/找到。

我们提出了一种算法，以（i）在线学习具有带有激光雷达的机器人的深度签名距离功能（SDF），以代表3D环境几何形状，以及（ii）鉴于此深度学习的地图，（ii）计划无碰撞轨迹。我们的算法采用了传入的激光扫描，并不断优化神经网络，以代表其当前附近环境的SDF。当SDF网络质量饱和时，我们将缓存网络的副本，以及学习的置信度指标，并初始化新的SDF网络以继续映射环境的新区域。然后，我们通过信心加权的计划来串联所有缓存的本地SDF，以提供全球SDF进行计划。为了计划，我们使用顺序凸模型预测控制（MPC）算法。 MPC规划师优化了机器人动态可行的轨迹，同时没有与全局SDF中映射的障碍物相撞。我们表明，与现有在线SDF培训的现有方法相比，我们的在线映射算法产生的地图更高。在Webots Simulator中，我们进一步展示了在线运行的组合映射器和计划者 - 自动导航，并且在未知环境中没有碰撞。

我们提出了LOC-NERF，这是一种基于实时视觉的机器人定位方法，结合了蒙特卡洛定位和神经辐射场（NERF）。我们的系统使用预先训练的NERF模型作为环境的地图，可以使用RGB摄像机作为机器人唯一的外部感受传感器实时定位。尽管神经辐射场在计算机视觉和图形中看到了重要的视觉渲染应用，但他们发现机器人技术的用途有限。现有的基于NERF的本地化方法需要良好的初始姿势猜测和重大的计算，这使得它们对于实时机器人技术应用不切实际。通过使用Monte Carlo定位作为使用NERF MAP模型估算姿势的主力，LOC-NERF能够比ART的状态更快地执行本地化，并且不依赖初始姿势估计。除了测试合成数据外，我们还使用ClearPath Jackal UGV收集的实际数据运行系统，并首次证明了使用神经光辉场进行实时全球定位的能力。我们在https://github.com/mit-spark/loc-nerf上公开代码。

尽管常规机器人系统中的每个不同任务都需要专用的场景表示形式，但本文表明，统一表示形式可以直接用于多个关键任务。我们提出了用于映射，进程和计划（LOG-GPIS-MOP）的log-gaussian过程隐式表面：基于统一表示形式的表面重建，本地化和导航的概率框架。我们的框架将对数转换应用于高斯过程隐式表面（GPIS）公式，以恢复全局表示，该表示可以准确地捕获具有梯度的欧几里得距离场，同时又是隐式表面。通过直接估计距离字段及其通过LOG-GPIS推断的梯度，提出的增量进程技术计算出传入帧的最佳比对，并在全球范围内融合以生成MAP。同时，基于优化的计划者使用相同的LOG-GPIS表面表示计算安全的无碰撞路径。我们根据最先进的方法验证了2D和3D和3D和基准测试的模拟和真实数据集的拟议框架。我们的实验表明，LOG-GPIS-MOP在顺序的音程，表面映射和避免障碍物中产生竞争结果。

在本文中，我们关注将基于能量的模型（EBM）作为运动优化的指导先验的问题。 EBM是一组神经网络，可以用合适的能量函数参数为参数的GIBBS分布来表示表达概率密度分布。由于其隐含性，它们可以轻松地作为优化因素或运动优化问题中的初始采样分布整合在一起，从而使它们成为良好的候选者，以将数据驱动的先验集成在运动优化问题中。在这项工作中，我们提出了一组所需的建模和算法选择，以使EBMS适应运动优化。我们调查了将其他正规化器在学习EBM中的好处，以将它们与基于梯度的优化器一起使用，并提供一组EBM架构，以学习用于操纵任务的可通用分布。我们提出了多种情况，可以将EBM集成以进行运动优化，并评估学到的EBM的性能，以指导模拟和真实机器人实验的指导先验。

最近的研究通过使用直接非线性模型预测控制（NMPC），使固定翼无人驾驶飞行器（无人机）能够在受约束空间中操纵。然而，这种方法仅限于先验的已知地图和地面真理状态测量。在本文中，我们介绍了一种直接的NMPC方法，它利用Nanomap，一种光重点云映射框架，用于使用车载立体视觉产生自由的轨迹。我们首先探讨了我们在模拟中的方法，并证明我们的算法足以使城市环境中的视觉导航。然后，我们使用42英寸的固定翼UAV在硬件中展示我们的方法，并显示我们的运动规划算法能够使用一组简约的目标点围绕建筑物导航。我们还显示存储点云历史，对于导航这些类型的约束环境非常重要。

视觉惯性进程（VIO）被广泛用于多次计算机的状态估计，但在很少的视觉特征或过度攻击性飞行中的环境中起作用可能很差。在这项工作中，我们建议使用任何基于功能的VIO算法使用的多杆避免感知碰撞轨迹轨迹计划器。我们的方法能够以快速的速度飞行车辆到达目标位置，从而避免在未知的固定环境中遇到障碍，同时达到良好的VIO状态估计精度。拟议的规划师样本了一组最小的混蛋轨迹，并发现其中无冲突的轨迹，然后根据其目标和感知质量对其进行评估。特征及其位置的运动模糊都是为了感知质量。我们对功能运动模糊的新颖考虑使轨迹在具有不同光级别的环境下的侵略性自动适应。评估中的最佳轨迹是由车辆跟踪的，当从相机中收到新图像时，将以退缩的方式更新。仅对VIO做出了通用假设，因此计划器可以与各种现有系统一起使用。提出的方法可以在船上的小型嵌入式计算机上实时运行。我们通过在室内和室外环境中进行实验验证了我们提出的方法的有效性。与感知不可或缺的策划者相比，提议的计划者在摄像机的视野中保留了更多功能，并使飞行变得不那么侵略性，从而使VIO更加准确。它还减少了VIO失败，这是对感知态度计划者的发生，但并非针对拟议的计划者。还验证了拟议的规划师飞越密集障碍的能力。可以在https://youtu.be/qo3lzirpwtq上找到实验视频。

内部计算模型的物理体是机器人和动物的能力来规划和控制行动的基础。这些“自我模型”允许机器人考虑多种可能的未来行动的结果，而不会在物理现实中尝试。最近的完全数据驱动自建模中的进展使机器能够直接从任务 - 不可行的交互数据学习自己的前瞻性运动学。然而，前进kinema \ -tics模型只能预测形态的有限方面，例如关节和肿块的最终效果或速度的位置。一个关键的挑战是模拟整个形态和运动学，而无需先验知识的形态的哪些方面与未来的任务相关。在这里，我们建议，而不是直接建模前瞻性，更有用的自我建模形式是一个可以回答空间占用查询的形式，而是在机器人的状态下调节空间占用疑问。这种查询驱动的自模型在空间域中是连续的，内存高效，完全可分辨：运动感知。在物理实验中，我们展示了视觉自我模型是如何准确到工作空间的百分比，使机器人能够执行各种运动规划和控制任务。视觉自我建模还可以让机器人从真实世界损坏中检测，本地化和恢复，从而提高机器弹性。我们的项目网站是：https://robot-morphology.cs.columbia.edu/

本文着重于影响弹性的移动机器人的碰撞运动计划和控制的新兴范式转移，并开发了一个统一的层次结构框架，用于在未知和部分观察的杂物空间中导航。在较低级别上，我们开发了一种变形恢复控制和轨迹重新启动策略，该策略处理可能在本地运行时发生的碰撞。低级系统会积极检测碰撞（通过内部内置的移动机器人上的嵌入式霍尔效应传感器），使机器人能够从其内部恢复，并在本地调整后影响后的轨迹。然后，在高层，我们提出了一种基于搜索的计划算法，以确定如何最好地利用潜在的碰撞来改善某些指标，例如控制能量和计算时间。我们的方法建立在A*带有跳跃点的基础上。我们生成了一种新颖的启发式功能，并进行了碰撞检查和调整技术，从而使A*算法通过利用和利用可能的碰撞来更快地收敛到达目标。通过将全局A*算法和局部变形恢复和重新融合策略以及该框架的各个组件相结合而生成的整体分层框架在模拟和实验中都经过了广泛的测试。一项消融研究借鉴了与基于搜索的最先进的避免碰撞计划者（用于整体框架）的链接，以及基于搜索的避免碰撞和基于采样的碰撞 - 碰撞 - 全球规划师（对于更高的较高的碰撞 - 等级）。结果证明了我们的方法在未知环境中具有碰撞的运动计划和控制的功效，在2D中运行的一类撞击弹性机器人具有孤立的障碍物。

We formulate grasp learning as a neural field and present Neural Grasp Distance Fields (NGDF). Here, the input is a 6D pose of a robot end effector and output is a distance to a continuous manifold of valid grasps for an object. In contrast to current approaches that predict a set of discrete candidate grasps, the distance-based NGDF representation is easily interpreted as a cost, and minimizing this cost produces a successful grasp pose. This grasp distance cost can be incorporated directly into a trajectory optimizer for joint optimization with other costs such as trajectory smoothness and collision avoidance. During optimization, as the various costs are balanced and minimized, the grasp target is allowed to smoothly vary, as the learned grasp field is continuous. In simulation benchmarks with a Franka arm, we find that joint grasping and planning with NGDF outperforms baselines by 63% execution success while generalizing to unseen query poses and unseen object shapes. Project page: https://sites.google.com/view/neural-grasp-distance-fields.

为了浏览复杂的环境，机器人必须越来越多地使用高维视觉反馈（例如图像）进行控制。但是，依靠高维图像数据来控制决策会提出重要的问题；特别是，我们如何证明视觉反馈控制器的安全性？控制屏障功能（CBF）是在状态反馈设置中证明反馈控制器安全性的强大工具，但是由于需要预测未来的观察以评估屏障功能，因此传统上，CBF非常适合视觉反馈控制。 。在这项工作中，我们通过利用神经辐射领域（NERFS）的最新进展来解决这个问题，该领域学习了3D场景的隐式表示，并且可以从以前未见的摄像机的角度呈现图像，以提供基于CBF的单步视觉远景控制器。这种新颖的组合能够滤除不安全的动作和干预以保持安全性。我们在实时仿真实验中证明了控制器的效果，在实时模拟实验中，它成功阻止了机器人采取危险的动作。

多年来，运动规划，映射和人类轨迹预测的单独领域显着提出。然而，在提供能够使移动操纵器能够执行全身运动并考虑移动障碍物的预测运动时，文献在提供实际框架方面仍然稀疏。基于以前的优化的运动计划方法，使用距离字段遭受更新环境表示所需的高计算成本。我们证明，与从头划痕计算距离场相比，GPU加速预测的复合距离场显着降低计算时间。我们将该技术与完整的运动规划和感知框架集成，其占据动态环境中的人类的预测运动，从而实现了包含预测动作的反应性和先发制人的运动规划。为实现这一目标，我们提出并实施了一种新颖的人类轨迹预测方法，该方法结合了基于轨迹优化的运动规划的意图识别。我们在现实世界丰田人类支持机器人（HSR）上验证了我们的由Onboard Camera的现场RGB-D传感器数据验证了我们的结果框架。除了在公开的数据集提供分析外，我们还释放了牛津室内人类运动（牛津-IHM）数据集，并在人类轨迹预测中展示了最先进的性能。牛津-IHM数据集是一个人类轨迹预测数据集，人们在室内环境中的兴趣区域之间行走。静态和机器人安装的RGB-D相机都观察了用运动捕获系统跟踪的人员。

神经辐射场（NERF）在代表具有高分辨率细节和有效记忆的复杂3D场景方面取得了巨大成功。然而，当前基于NERF的姿势估计量没有初始姿势预测，并且在优化过程中易于局部优势。在本文中，我们介绍了纬度：全球定位，具有截短的动态低通滤波器，该过滤器引入了城市规模的NERF中的两阶段定位机制。在识别阶段，我们通过训练有素的NERFS生成的图像来训练回归器，该图像为全球本地化提供了初始值。在姿势优化阶段，我们通过直接优化切线平面上的姿势来最大程度地减少观察到的图像之间的残差和渲染图像。为了避免收敛到局部最优，我们引入了一个截短的动态低通滤波器（TDLF），以进行粗到细小的姿势注册。我们在合成和现实世界中评估了我们的方法，并显示了其在大规模城市场景中高精度导航的潜在应用。代码和数据将在https://github.com/jike5/latitude上公开获取。

This paper presents a safety-critical locomotion control framework for quadrupedal robots. Our goal is to enable quadrupedal robots to safely navigate in cluttered environments. To tackle this, we introduce exponential Discrete Control Barrier Functions (exponential DCBFs) with duality-based obstacle avoidance constraints into a Nonlinear Model Predictive Control (NMPC) with Whole-Body Control (WBC) framework for quadrupedal locomotion control. This enables us to use polytopes to describe the shapes of the robot and obstacles for collision avoidance while doing locomotion control of quadrupedal robots. Compared to most prior work, especially using CBFs, that utilize spherical and conservative approximation for obstacle avoidance, this work demonstrates a quadrupedal robot autonomously and safely navigating through very tight spaces in the real world. (Our open-source code is available at github.com/HybridRobotics/quadruped_nmpc_dcbf_duality, and the video is available at youtu.be/p1gSQjwXm1Q.)

本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。

本报告提出了微型航空车辆（MAV）自主导航的组合最优控制和感知框架在新颖的室内封闭环境中，专门用于车载传感器数据。我们使用模拟器的特权信息来为我们的感知系统生成3D空间中的最佳航点，以便我们学会模仿。培训的基于学习的感知模块又能够单独生成类似障碍避免从传感器数据（RGB + IMU）的航点。我们展示了框架跨IGIBSON模拟环境中的新颖场景的功效。

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

By utilizing only depth information, the paper introduces a novel but efficient local planning approach that enhances not only computational efficiency but also planning performances for memoryless local planners. The sampling is first proposed to be based on the depth data which can identify and eliminate a specific type of in-collision trajectories in the sampled motion primitive library. More specifically, all the obscured primitives' endpoints are found through querying the depth values and excluded from the sampled set, which can significantly reduce the computational workload required in collision checking. On the other hand, we furthermore propose a steering mechanism also based on the depth information to effectively prevent an autonomous vehicle from getting stuck when facing a large convex obstacle, providing a higher level of autonomy for a planning system. Our steering technique is theoretically proved to be complete in scenarios of convex obstacles. To evaluate effectiveness of the proposed DEpth based both Sampling and Steering (DESS) methods, we implemented them in the synthetic environments where a quadrotor was simulated flying through a cluttered region with multiple size-different obstacles. The obtained results demonstrate that the proposed approach can considerably decrease computing time in local planners, where more trajectories can be evaluated while the best path with much lower cost can be found. More importantly, the success rates calculated by the fact that the robot successfully navigated to the destinations in different testing scenarios are always higher than 99.6% on average.

主动同时定位和映射（SLAM）是规划和控制机器人运动以构建周围环境中最准确，最完整的模型的问题。自从三十多年前出现了积极感知的第一项基础工作以来，该领域在不同科学社区中受到了越来越多的关注。这带来了许多不同的方法和表述，并回顾了当前趋势，对于新的和经验丰富的研究人员来说都是非常有价值的。在这项工作中，我们在主动大满贯中调查了最先进的工作，并深入研究了仍然需要注意的公开挑战以满足现代应用程序的需求。为了实现现实世界的部署。在提供了历史观点之后，我们提出了一个统一的问题制定并审查经典解决方案方案，该方案将问题分解为三个阶段，以识别，选择和执行潜在的导航措施。然后，我们分析替代方法，包括基于深入强化学习的信念空间规划和现代技术，以及审查有关多机器人协调的相关工作。该手稿以讨论新的研究方向的讨论，解决可再现的研究，主动的空间感知和实际应用，以及其他主题。

为了实现成功的实地自主权，移动机器人需要自由适应环境的变化。视觉导航系统（如视觉教学和重复（VT＆R）通常会假设参考轨迹周围的空间是自由的，但如果环境受阻，则路径跟踪可能会失败，或者机器人可以与先前看不见的障碍物碰撞。在这项工作中，我们为VT＆R系统提供了一个局部反应控制器，允许机器人尽管对环境进行物理变化，但是尽管环境变化。我们的控制器使用本地高程映射来计算矢量表示，并输出10 Hz导航的Twist命令。它们组合在Riemannian运动策略（RMP）控制器中，该控制器需要<2 ms以在CPU上运行。我们将我们的控制器与VT＆R系统集成在内的ANYMAL COMOT，并在室内杂乱的空间和大规模地下矿井中进行了测试。我们表明，当发生诸如靠近墙壁，交叉门口或穿越狭窄的走廊时，当发生视觉跟踪时，我们的本地反应控制器保持机器人安全。视频：https://youtu.be/g_awnec5awu.