由于温室环境中的较高变化和遮挡，机器人对番茄植物的视觉重建非常具有挑战性。 Active-Vision的范式通过推理先前获取的信息并系统地计划相机观点来收集有关植物的新信息，从而有助于克服这些挑战。但是，现有的主动视觉算法不能在有针对性的感知目标（例如叶子节点的3D重建）上表现良好，因为它们不能区分需要重建的植物零件和植物的其余部分。在本文中，我们提出了一种注意力驱动的主动视觉算法，该算法仅根据任务进行任务，仅考虑相关的植物零件。在模拟环境中评估了所提出的方法，该方法是针对番茄植物3D重建的任务，即各种关注水平，即整个植物，主茎和叶子节点。与预定义和随机方法相比，我们的方法将3D重建的准确性提高了9.7％和5.3％的整个植物的准确性，主茎的准确性为14.2％和7.9％，叶子源分别为25.9％和17.3％。前3个观点。同样，与预定义和随机方法相比，我们的方法重建了整个植物的80％和主茎，在1个较少的角度和80％的叶子节点中重建了3个较小的观点。我们还证明，尽管植物模型发生了变化，遮挡量，候选观点的数量和重建决议，但注意力驱动的NBV规划师仍有效地工作。通过在活动视觉上添加注意力机制，可以有效地重建整个植物和靶向植物部分。我们得出的结论是，有必要的注意机制对于显着提高复杂农业食品环境中的感知质量是必要的。

从混乱中挑选特定对象是许多操纵任务的重要组成部分。部分观察结果通常要求机器人在尝试掌握之前收集场景的其他观点。本文提出了一个闭环的下一次最佳策划者，该计划者根据遮挡的对象零件驱动探索。通过不断从最新场景重建中预测抓地力，我们的政策可以在线决定最终确定执行或适应机器人的轨迹以进行进一步探索。我们表明，与常见的相机位置和处理固定基线失败的情况相比，我们的反应性方法会减少执行时间而不会丢失掌握成功率。视频和代码可在https://github.com/ethz-asl/active_grasp上找到。

休眠季节葡萄树修剪需要熟练的季节性工人，这在冬季变得越来越缺乏。随着在短期季节性招聘文化和低工资的短期季节性招聘文化和低工资的时间内，随着工人更少的葡萄藤，葡萄藤往往被修剪不一致地导致葡萄化物不平衡。除此之外，目前现有的机械方法无法选择性地修剪葡萄园和手动后续操作，通常需要进一步提高生产成本。在本文中，我们展示了崎岖，全自治机器人的设计和田间评估，用于休眠季节葡萄园的端到最终修剪。该设计的设计包括新颖的相机系统，运动冗余机械手，地面机器人和在感知系统中的新颖算法。所提出的研究原型机器人系统能够在213秒/葡萄藤中完全从两侧刺激一排藤蔓，总修枝精度为87％。与机械预灌浆试验相比，商业葡萄园中自治系统的初始现场测试显示出休眠季节修剪的显着变化。在手稿中描述了设计方法，系统组件，经验教训，未来增强以及简要的经济分析。

对未知环境的探索是机器人技术中的一个基本问题，也是自治系统应用中的重要组成部分。探索未知环境的一个主要挑战是，机器人必须计划每个时间步骤可用的有限信息。尽管大多数当前的方法都依靠启发式方法和假设来根据这些部分观察来规划路径，但我们提出了一种新颖的方式，通过利用3D场景完成来将深度学习整合到探索中，以获取知情，安全，可解释的探索映射和计划。我们的方法，SC-explorer，使用新型的增量融合机制和新提出的分层多层映射方法结合了场景的完成，以确保机器人的安全性和效率。我们进一步提出了一种信息性的路径计划方法，利用了我们的映射方法的功能和新颖的场景完整感知信息增益。虽然我们的方法通常适用，但我们在微型航空车辆（MAV）的用例中进行了评估。我们仅使用移动硬件彻底研究了高保真仿真实验中的每个组件，并证明我们的方法可以使环境的覆盖范围增加73％，而不是基线，而MAP准确性的降低仅最少。即使最终地图中未包含场景的完成，我们也可以证明它们可以用于指导机器人选择更多信息的路径，从而加快机器人传感器的测量值35％。我们将我们的方法作为开源。

Accurate representation and localization of relevant objects is important for robots to perform tasks. Building a generic representation that can be used across different environments and tasks is not easy, as the relevant objects vary depending on the environment and the task. Furthermore, another challenge arises in agro-food environments due to their complexity, and high levels of clutter and occlusions. In this paper, we present a method to build generic representations in highly occluded agro-food environments using multi-view perception and 3D multi-object tracking. Our representation is built upon a detection algorithm that generates a partial point cloud for each detected object. The detected objects are then passed to a 3D multi-object tracking algorithm that creates and updates the representation over time. The whole process is performed at a rate of 10 Hz. We evaluated the accuracy of the representation on a real-world agro-food environment, where it was able to successfully represent and locate tomatoes in tomato plants despite a high level of occlusion. We were able to estimate the total count of tomatoes with a maximum error of 5.08% and to track tomatoes with a tracking accuracy up to 71.47%. Additionally, we showed that an evaluation using tracking metrics gives more insight in the errors in localizing and representing the fruits.

对于旨在提供家庭服务，搜索和救援，狭窄的检查和医疗援助的机器人来说，在未知，混乱的环境中进行积极的感测和计划是一个公开挑战。尽管存在许多主动感应方法，但它们通常考虑开放空间，假设已知设置，或者大多不概括为现实世界的场景。我们介绍了活跃的神经传感方法，该方法通过手持摄像头生成机器人操纵器的运动学可行视点序列，以收集重建基础环境所需的最小观测值。我们的框架积极收集视觉RGBD观测值，将它们汇总到场景表示中，并执行对象形状推断，以避免与环境的不必要的机器人相互作用。我们使用域随机化训练我们的合成数据方法，并通过SIM到实现的传递成功地执行了其成功执行，以重建狭窄，覆盖的，现实的机柜环境，这些环境杂乱无章。由于周围的障碍物和环境较低的照明条件，自然机柜场景对机器人运动和场景重建构成了重大挑战。然而，尽管设置不利，但就各种环境重建指标（包括计划速度，观点数量和整体场景覆盖）而言，我们的方法与基线相比表现出高性能。

对现实世界的高质量观​​察对于各种应用至关重要，包括生产小型场景的3D印刷复制品以及对大型基础设施进行检查。这些3D观察通常是通过从不同观点组合多个传感器测量结果来获得的。指导选择合适的视图被称为下一个最佳视图（NBV）计划问题。大多数NBV都使用刚性数据结构（例如表面网格或体素电网）进行测量的原因。这简化了下一个最佳视图选择，但可以在计算上昂贵，减少现实世界的保真度，并与最终数据处理一起选择下一个最佳视图。本文介绍了表面边缘资源管理器（请参阅），这是一种NBV方法，该方法直接从先前的传感器测量中选择了新的观测值，而无需刚性数据结构。请参阅使用测量密度，以提出下一个最佳视图，以增加观察到的表面不足的覆盖范围，同时避免潜在的遮挡。模拟实验的统计结果表明，与在小型和大型场景上评估的体积方法相比，SEE可以在更少的计算时间和传感器行进距离中获得更好的表面覆盖范围。现实世界实验证明了使用固定在机器人臂上的3D传感器自主观察鹿雕像。

本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。

本文介绍了Cerberus机器人系统系统，该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性，降解的感知条件以及缺乏GPS支持，严峻的导航条件和拒绝通信，地下设置使自动操作变得特别要求。为了应对这一挑战，我们开发了Cerberus系统，该系统利用了腿部和飞行机器人的协同作用，再加上可靠的控制，尤其是为了克服危险的地形，多模式和多机器人感知，以在传感器退化，以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划，反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力，表现出有效的探索，对感兴趣的对象的可靠检测以及准确的映射。在本文中，我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果，并讨论了为社区带来利益的教训所面临的亮点和挑战。

Three-dimensional models provide a volumetric representation of space which is important for a variety of robotic applications including flying robots and robots that are equipped with manipulators. In this paper, we present an open-source framework to generate volumetric 3D environment models. Our mapping approach is based on octrees and uses probabilistic occupancy estimation. It explicitly represents not only occupied space, but also free and unknown areas. Furthermore, we propose an octree map compression method that keeps the 3D models compact. Our framework is available as an open-source C++ library and has already been successfully applied in several robotics projects. We present a series of experimental results carried out with real robots and on publicly available real-world datasets. The results demonstrate that our approach is able to update the representation efficiently and models the data consistently while keeping the memory requirement at a minimum.

While the capabilities of autonomous systems have been steadily improving in recent years, these systems still struggle to rapidly explore previously unknown environments without the aid of GPS-assisted navigation. The DARPA Subterranean (SubT) Challenge aimed to fast track the development of autonomous exploration systems by evaluating their performance in real-world underground search-and-rescue scenarios. Subterranean environments present a plethora of challenges for robotic systems, such as limited communications, complex topology, visually-degraded sensing, and harsh terrain. The presented solution enables long-term autonomy with minimal human supervision by combining a powerful and independent single-agent autonomy stack, with higher level mission management operating over a flexible mesh network. The autonomy suite deployed on quadruped and wheeled robots was fully independent, freeing the human supervision to loosely supervise the mission and make high-impact strategic decisions. We also discuss lessons learned from fielding our system at the SubT Final Event, relating to vehicle versatility, system adaptability, and re-configurable communications.

隐式神经表示显示了3D场景重建的有希望的潜力。最近的工作将其应用于自主3D重建，通过学习信息获得图路径计划的信息增益。有效，信息增益的计算很昂贵，并且与使用体积表示相比，使用隐式表示为3D点进行碰撞检查要慢得多。在本文中，我们建议1）利用神经网络作为信息增益场的隐式函数近似器，以及2）将隐式细粒表示与粗量表示形式结合起来，以提高效率。随着效率的提高，我们提出了基于基于图的计划者的新型信息路径计划。我们的方法表明，与具有隐性和明确表示的自主重建相比，重建质量和计划效率的显着提高。我们将该方法部署在真正的无人机上，结果表明我们的方法可以计划信息意见并以高质量重建场景。

我们提出了多视图表演者（MVP） - 从一系列时间顺序的视图中完成3D形状完成的新体系结构。MVP通过使用称为表演者的线性注意变压器来完成此任务。我们的模型允许当前对场景的观察到以前的观察，以更准确地填充。过去观察的历史通过紧凑的关联内存来压缩，该记忆近似于现代连续的霍普菲尔德内存，但至关重要的是与历史长度无关。我们将模型与几个基线进行比较，以便随着时间的推移完成形状完成，这证明了MVP提供的概括。据我们所知，MVP是第一个多重视图体素重建方法，它不需要对多个深度视图进行注册，也需要第一个基于因果变压器的模型进行3D形状完成。

如今，机器人在我们的日常生活中起着越来越重要的作用。在以人为本的环境中，机器人经常会遇到成堆的对象，包装的项目或孤立的对象。因此，机器人必须能够在各种情况下掌握和操纵不同的物体，以帮助人类进行日常任务。在本文中，我们提出了一种多视图深度学习方法，以处理以人为中心的域中抓住强大的对象。特别是，我们的方法将任意对象的点云作为输入，然后生成给定对象的拼字图。获得的视图最终用于估计每个对象的像素抓握合成。我们使用小对象抓住数据集训练模型端到端，并在模拟和现实世界数据上对其进行测试，而无需进行任何进一步的微调。为了评估所提出方法的性能，我们在三种情况下进行了广泛的实验集，包括孤立的对象，包装的项目和一堆对象。实验结果表明，我们的方法在所有仿真和现实机器人方案中都表现出色，并且能够在各种场景配置中实现新颖对象的可靠闭环抓握。

本文开发了一种协作人类机器人探索的方法，该方法利用了隐式协调。大多数自动的单机器人和多机器人勘探系统都要求远程操作员为机器人团队提供明确的指导。很少有人考虑如何将人类合作伙伴与机器人一起嵌入到该领域的指导。对人类机器人探索的剩下的挑战是从人类到机器人的目标有效沟通。在本文中，我们开发了一种方法论，该方法从人的头上的头盔深度相机到机器人的头盔深度摄像头，以及一个基于信息增益的探索目标，并在人类提供的观点中偏向运动计划。结果是一个安全访问感兴趣区域的空中系统，该区域可能无法立即被人类查看或无法触及。该方法在模拟和运动捕获场中的硬件实验中进行了评估。仿真和硬件实验的视频可在以下网址提供：https：//youtu.be/7jgkbpvfioe。

在本文中，我们解决了物体的主动机器人3D重建问题。特别是，我们研究了带有武器摄像机的移动机器人如何选择有利数量的视图来有效地恢复对象的3D形状。与现有的问题解决方案相反，我们利用了流行的神经辐射字段的对象表示，最近对各种计算机视觉任务显示了令人印象深刻的结果。但是，直接推荐使用这种表示形式的对象的显式3D几何细节，这并不是很直接的，这使得对密度3D重建的下一最佳视图选择问题具有挑战性。本文介绍了基于射线的容积不确定性估计器，该估计量沿对象隐式神经表示的每个光线沿每个射线的重量分布计算重量分布的熵。我们表明，考虑到提出的估计量的新观点，可以推断基础3D几何形状的不确定性。然后，我们提出了一个由基于射线的体积不确定性在基于神经辐射字段的表示中的指导下进行的最佳视图选择策略。令人鼓舞的关于合成和现实世界数据的实验结果表明，本文提出的方法可以使新的研究方向在机器人视觉应用中使用隐式的3D对象表示对次要的观察问题，从而将我们的方法与现有方法区分开依赖于显式3D几何建模的方法。

同时对象识别和姿势估计是机器人安全与人类和环境安全相互作用的两个关键功能。尽管对象识别和姿势估计都使用视觉输入，但大多数最先进的问题将它们作为两个独立的问题解决，因为前者需要视图不变的表示，而对象姿势估计需要一个与观点有关的描述。如今，多视图卷积神经网络（MVCNN）方法显示出最新的分类性能。尽管已广泛探索了MVCNN对象识别，但对多视图对象构成估计方法的研究很少，而同时解决这两个问题的研究更少。 MVCNN方法中虚拟摄像机的姿势通常是预先定义的，从而绑定了这种方法的应用。在本文中，我们提出了一种能够同时处理对象识别和姿势估计的方法。特别是，我们开发了一个深度的对象不合时宜的熵估计模型，能够预测给定3D对象的最佳观点。然后将对象的视图馈送到网络中，以同时预测目标对象的姿势和类别标签。实验结果表明，从此类位置获得的观点足以达到良好的精度得分。此外，我们设计了现实生活中的饮料场景，以证明拟议方法在真正的机器人任务中的运作效果如何。代码可在线获得：github.com/subhadityamukherjee/more_mvcnn

隐式神经表示表现出了令人信服的结果3D重建，并且最近也证明了在线大满贯系统的潜力。但是，将它们应用于自主3D重建，在此尚未研究机器人探索场景并计划重建的视图路径的情况下。在本文中，我们首次通过解决两个关键挑战来首次探索自动3D场景重建的可能性：1）寻求标准以根据新表示形式衡量候选人观点的质量，以及2）从可以推广到不同场景的数据而不是手工制作的数据中学习标准。对于第一个挑战，提出了峰值信噪比（PSNR）的代理来量化观点质量。代理是通过将场景中空间点的颜色视为在高斯分布下而不是确定性分布下的随机变量来获得的；分布的方差量化了重建的不确定性并组成代理。在第二个挑战中，代理与场景隐式神经网络的参数共同优化。通过提出的视图质量标准，我们可以将新表示形式应用于自动3D重建。我们的方法证明了与使用TSDF或重建的变体相比，在没有视图计划的情况下，与使用TSDF或重建的变体相比，对各种指标的各种指标进行了重大改进。

抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得

保持最新的地图以反映现场的最新变化非常重要，尤其是在涉及在延长环境中操作的机器人重复遍历的情况。未发现的变化可能会导致地图质量恶化，导致本地化差，操作效率低下和机器人丢失。体积方法，例如截断的签名距离功能（TSDF），由于其实时生产致密而详细的地图，尽管在随着时间的推移随着时间的流逝而变化的地图更新仍然是一个挑战，但由于它们的实时生产而迅速获得了吸引力。我们提出了一个框架，该框架引入了一种新颖的概率对象状态表示，以跟踪对象在半静态场景中的姿势变化。该表示为每个对象共同对平稳性评分和TSDF变更度量进行建模。同时加入几何信息和语义信息的贝叶斯更新规则被得出以实现一致的在线地图维护。为了与最先进的方法一起广泛评估我们的方法，我们在仓库环境中发布了一个新颖的现实数据集。我们还评估了公共Toycar数据集。我们的方法优于半静态环境重建质量的最先进方法。