在本文中,我们使用单个摄像头和惯性测量单元(IMU)以及相应的感知共识问题(即,所有观察者的独特性和相同的ID)来解决基于视觉的检测和跟踪多个航空车的问题。我们设计了几种基于视觉的分散贝叶斯多跟踪滤波策略,以解决视觉探测器算法获得的传入的未分类测量与跟踪剂之间的关联。我们根据团队中代理的数量在不同的操作条件以及可扩展性中比较它们的准确性。该分析提供了有关给定任务最合适的设计选择的有用见解。我们进一步表明,提出的感知和推理管道包括深度神经网络(DNN),因为视觉目标检测器是轻量级的,并且能够同时运行控制和计划,并在船上进行大小,重量和功率(交换)约束机器人。实验结果表明,在各种具有挑战性的情况(例如重闭)中,有效跟踪了多个无人机。
translated by 谷歌翻译
去中心化的国家估计是GPS贬低的地区自动空中群体系统中最基本的组成部分之一,但它仍然是一个极具挑战性的研究主题。本文提出了Omni-swarm,一种分散的全向视觉惯性-UWB状态估计系统,用于解决这一研究利基市场。为了解决可观察性,复杂的初始化,准确性不足和缺乏全球一致性的问题,我们在Omni-warm中引入了全向感知前端。它由立体宽型摄像机和超宽带传感器,视觉惯性探测器,基于多无人机地图的本地化以及视觉无人机跟踪算法组成。前端的测量值与后端的基于图的优化融合在一起。所提出的方法可实现厘米级的相对状态估计精度,同时确保空中群中的全球一致性,这是实验结果证明的。此外,在没有任何外部设备的情况下,可以在全面的无人机间碰撞方面支持,表明全旋转的潜力是自动空中群的基础。
translated by 谷歌翻译
本文提出了一种新颖的方法,用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分,拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反,该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署,并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划,面向覆盖范围和压缩的拓扑范围的LTVMAP领域,以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用,以在一般的3D环境中可见性受限的知情搜索,而对环境结构没有任何假设,同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道,用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外,在定性和定量评估的各种环境中,在不同的环境中进行了广泛的实验验证,UAV系统的性能得到了支持。
translated by 谷歌翻译
我们提出了一种系统解决方案,以实现使用热图像和惯性测量的飞行机器人团队的数据效率,分散的状态估计。每个机器人可以独立飞行,并在可能的情况下交换数据以完善其状态估计。我们的系统前端应用在线光度校准以完善热图像,从而增强功能跟踪并放置识别。我们的系统后端使用协方差融合策略来忽略代理之间的互相关,以降低内存使用和计算成本。通信管道使用本地汇总的描述符(VLAD)的向量来构建需要较低带宽使用情况的请求响应策略。我们在合成数据和现实世界数据上测试我们的协作方法。我们的结果表明,相对于个人代理方法,该提出的方法最多可提高46%的轨迹估计,同时减少多达89%的通信交换。数据集和代码将发布给公众,扩展了已经发布的JPL XVIO库。
translated by 谷歌翻译
基于视觉的相对本地化可以为空中群体的合作提供有效的反馈,并在以前的作品中得到了广泛的调查。但是,有限的视野(FOV)本身限制了其性能。要应对这个问题,这封信提出了一种新的分布式主动视觉相关的相对本地化框架,并将其应用于空中群中的形成控制。灵感来自鸟群本质上,我们设计了基于图形的注意力计划(GAP),以改善群体中活跃视觉的观察质量。然后,主动检测结果与来自超宽带(UWB)的板载测量和视觉惯性内径(VIO)融合,以获得实时相对位置,从而进一步改善了群体的形成控制性能。模拟和实验表明,所提出的主动视觉系统在估计和形成准确性方面优于固定视觉系统。
translated by 谷歌翻译
本文通过讨论参加了为期三年的SubT竞赛的六支球队的不同大满贯策略和成果,报道了地下大满贯的现状。特别是,本文有四个主要目标。首先,我们审查团队采用的算法,架构和系统;特别重点是以激光雷达以激光雷达为中心的SLAM解决方案(几乎所有竞争中所有团队的首选方法),异质的多机器人操作(包括空中机器人和地面机器人)和现实世界的地下操作(从存在需要处理严格的计算约束的晦涩之处)。我们不会回避讨论不同SubT SLAM系统背后的肮脏细节,这些系统通常会从技术论文中省略。其次,我们通过强调当前的SLAM系统的可能性以及我们认为与一些良好的系统工程有关的范围来讨论该领域的成熟度。第三,我们概述了我们认为是基本的开放问题,这些问题可能需要进一步的研究才能突破。最后,我们提供了在SubT挑战和相关工作期间生产的开源SLAM实现和数据集的列表,并构成了研究人员和从业人员的有用资源。
translated by 谷歌翻译
While the capabilities of autonomous systems have been steadily improving in recent years, these systems still struggle to rapidly explore previously unknown environments without the aid of GPS-assisted navigation. The DARPA Subterranean (SubT) Challenge aimed to fast track the development of autonomous exploration systems by evaluating their performance in real-world underground search-and-rescue scenarios. Subterranean environments present a plethora of challenges for robotic systems, such as limited communications, complex topology, visually-degraded sensing, and harsh terrain. The presented solution enables long-term autonomy with minimal human supervision by combining a powerful and independent single-agent autonomy stack, with higher level mission management operating over a flexible mesh network. The autonomy suite deployed on quadruped and wheeled robots was fully independent, freeing the human supervision to loosely supervise the mission and make high-impact strategic decisions. We also discuss lessons learned from fielding our system at the SubT Final Event, relating to vehicle versatility, system adaptability, and re-configurable communications.
translated by 谷歌翻译
在协作人类机器人语义传感问题中,例如为了进行科学探索,机器人可能会通过人类伴侣提供过度质疑的信息,从而导致次优的状态估计和团队绩效差。当人类不能被视为牙齿时,机器人需要更新状态信念,以正确解释人类语义观察与导致这些观察的现实世界状态之间可能存在的差异。这项工作为在一般环境中针对语义可能性的概率语义数据关联(PSDA)概率进行了严格的在线计算制定了策略,这与以前的工作不同,这些工作开发了针对特定设置的天真或启发式近似。新的PSDA方法纳入了混合贝叶斯数据融合方案中,该方案将高斯混合先验用于对象状态和SoftMax函数用于语义人类传感器观察可能性,并在Monte Carlo模拟中证明了合作的多对象搜索任务的范围人类感测特征(例如错误的检测率)。结果表明,每当语义人类传感器数据包含重要的目标参考歧义性,用于自主对象搜索和本地化时,PSDA会导致在广泛条件下对观察关联概率的强大估计。
translated by 谷歌翻译
移动机器人和无人机的异构团队在对环境的自主探索方面提供了可观的好处。然而,尽管广泛讨论了此类系统的联合勘探方案,但它们仍未对无人机对接过程中外部条件变化和群体断层的适应性低。当一个代理商失去其位置信号时,我们提出了一种基于视觉的无人机群对接系统,以在移动平台上稳健地着陆。拟议的蜂鹰系统依靠基于视觉的检测来进行移动平台跟踪和导航其代理。群的每架无人机都带有RGB摄像头和APRILTAG3 QR代码标记。 Swarmhawk可以在两种操作模式之间切换,在全球无人机本地化的情况下充当均匀的群,或者在一个无人机或全球本地化故障中出现相机故障的情况下,将领导者的无人机指向其邻居。进行了两项实验,以通过静态和移动平台在全球和本地定位下评估Swarmhawk的性能。实验结果表明,静态移动平台上的群体着陆任务具有足够的准确性(均匀地层的4.2 cm误差为4.2厘米,领导者 - 追随者形成中的1.9厘米)和移动平台(同质地层中的6.9厘米和4.7 cm的误差为6.9 cm,在4.7 cm中的误差领导者追随者组)。此外,无人机在领导者追随者组中沿着复杂的轨迹(平均误差为19.4 cm)移动的平台上显示出良好的降落。拟议的蜂鹰技术可以潜在地应用于各种群情景中,包括复杂的环境勘探,检查和无人机交付。
translated by 谷歌翻译
本文介绍了Cerberus机器人系统系统,该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性,降解的感知条件以及缺乏GPS支持,严峻的导航条件和拒绝通信,地下设置使自动操作变得特别要求。为了应对这一挑战,我们开发了Cerberus系统,该系统利用了腿部和飞行机器人的协同作用,再加上可靠的控制,尤其是为了克服危险的地形,多模式和多机器人感知,以在传感器退化,以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划,反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力,表现出有效的探索,对感兴趣的对象的可靠检测以及准确的映射。在本文中,我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果,并讨论了为社区带来利益的教训所面临的亮点和挑战。
translated by 谷歌翻译
Autonomous Micro Aerial Vehicles are deployed for a variety tasks including surveillance and monitoring. Perching and staring allow the vehicle to monitor targets without flying, saving battery power and increasing the overall mission time without the need to frequently replace batteries. This paper addresses the Active Visual Perching (AVP) control problem to autonomously perch on inclined surfaces up to $90^\circ$. Our approach generates dynamically feasible trajectories to navigate and perch on a desired target location, while taking into account actuator and Field of View (FoV) constraints. By replanning in mid-flight, we take advantage of more accurate target localization increasing the perching maneuver's robustness to target localization or control errors. We leverage the Karush-Kuhn-Tucker (KKT) conditions to identify the compatibility between planning objectives and the visual sensing constraint during the planned maneuver. Furthermore, we experimentally identify the corresponding boundary conditions that maximizes the spatio-temporal target visibility during the perching maneuver. The proposed approach works on-board in real-time with significant computational constraints relying exclusively on cameras and an Inertial Measurement Unit (IMU). Experimental results validate the proposed approach and shows the higher success rate as well as increased target interception precision and accuracy with respect to a one-shot planning approach, while still retaining aggressive capabilities with flight envelopes that include large excursions from the hover position on inclined surfaces up to 90$^\circ$, angular speeds up to 750~deg/s, and accelerations up to 10~m/s$^2$.
translated by 谷歌翻译
近年来我们目睹了巨大进展的动机,本文提出了对协作同时定位和映射(C-SLAM)主题的科学文献的调查,也称为多机器人猛击。随着地平线上的自动驾驶车队和工业应用中的多机器人系统的兴起,我们相信合作猛击将很快成为未来机器人应用的基石。在本调查中,我们介绍了C-Slam的基本概念,并呈现了彻底的文献综述。我们还概述了C-Slam在鲁棒性,通信和资源管理方面的主要挑战和限制。我们通过探索该地区目前的趋势和有前途的研究途径得出结论。
translated by 谷歌翻译
主动位置估计(APE)是使用一个或多个传感平台本地化一个或多个目标的任务。 APE是搜索和拯救任务,野生动物监测,源期限估计和协作移动机器人的关键任务。 APE的成功取决于传感平台的合作水平,他们的数量,他们的自由度和收集的信息的质量。 APE控制法通过满足纯粹剥削或纯粹探索性标准,可以实现主动感测。前者最大限度地减少了位置估计的不确定性;虽然后者驱动了更接近其任务完成的平台。在本文中,我们定义了系统地分类的主要元素,并批判地讨论该域中的最新状态。我们还提出了一个参考框架作为对截图相关的解决方案的形式主义。总体而言,本调查探讨了主要挑战,并设想了本地化任务的自主感知系统领域的主要研究方向。促进用于搜索和跟踪应用的强大主动感测方法的开发也有益。
translated by 谷歌翻译
准确的自我和相对状态估计是完成群体任务的关键前提,例如协作自主探索,目标跟踪,搜索和救援。本文提出了一种全面分散的状态估计方法,用于空中群体系统,其中每个无人机执行精确的自我状态估计,通过无线通信交换自我状态和相互观察信息,并估算相对状态(W.R.T.)(W.R.T.)无人机,全部实时,仅基于激光惯性测量。提出了一种基于3D激光雷达的新型无人机检测,识别和跟踪方法,以获得队友无人机的观察。然后,将相互观察测量与IMU和LIDAR测量紧密耦合,以实时和准确地估计自我状态和相对状态。广泛的现实世界实验显示了对复杂场景的广泛适应性,包括被GPS贬低的场景,摄影机的退化场景(漆黑的夜晚)或激光雷达(面对单个墙)。与运动捕获系统提供的地面真相相比,结果显示了厘米级的定位精度,该精度优于单个无人机系统的其他最先进的激光惯性射测。
translated by 谷歌翻译
多对象跟踪(MOT)是现代高级驾驶员辅助系统(ADA)和自动驾驶(AD)系统的关键应用之一。 MOT的大多数解决方案都是基于随机矢量贝叶斯过滤器,例如Global最近的邻居(GNN)以及基于规则的启发轨道维护。随着随机有限集(RFS)理论的发展,最近已将RFS贝叶斯过滤器应用于ADA和AD Systems的MOT任务中。但是,由于计算成本和实施复杂性,它们在实际流量中的有用性是对疑问的。在本文中,据透露,具有基于规则的启发式轨道维护的GNN不足以在ADA和AD系统中基于激光雷达的MOT任务。通过系统地比较几个不同的基于对象过滤器的跟踪框架,包括传统的随机矢量贝叶斯滤波器,以及基于规则的启发式跟踪维护和RFS贝叶斯过滤器,可以说明这种判断。此外,提出了一个简单有效的跟踪器,即使用全局最近邻居(GNN-PMB)跟踪器的Poisson Multi-Bernoulli滤波器,建议用于基于激光雷达的MOT任务。拟议的GNN-PMB跟踪器在Nuscenes测试数据集中取得了竞争性的结果,并显示出优于其他最先进的LIDAR的跟踪性能,而Haver Holly Holling Trackers,Lidar和基于摄像机的基于摄像头的跟踪器。
translated by 谷歌翻译
本文介绍了设计,开发,并通过IISC-TCS团队为穆罕默德·本·扎耶德国际机器人挑战赛2020年挑战1的目标的挑战1硬件 - 软件系统的测试是抓住从移动和机动悬挂球UAV和POP气球锚定到地面,使用合适的操纵器。解决这一挑战的重要任务包括具有高效抓取和突破机制的硬件系统的设计和开发,考虑到体积和有效载荷的限制,使用适用于室外环境的可视信息的准确目标拦截算法和开发动态多功能机空中系统的软件架构,执行复杂的动态任务。在本文中,设计了具有末端执行器的单个自由度机械手设计用于抓取和突发,并且开发了鲁棒算法以拦截在不确定的环境中的目标。基于追求参与和人工潜在功能的概念提出了基于视觉的指导和跟踪法。本工作中提供的软件架构提出了一种操作管理系统(OMS)架构,其在多个无人机之间协同分配静态和动态任务,以执行任何给定的任务。这项工作的一个重要方面是所有开发的系统都设计用于完全自主模式。在这项工作中还包括对凉亭环境和现场实验结果中完全挑战的模拟的详细描述。所提出的硬件软件系统对反UAV系统特别有用,也可以修改以满足其他几种应用。
translated by 谷歌翻译
本文介绍了我们拦截更快的入侵者无人机的方法,这是受MBZIRC 2020挑战1.的启发1.通过利用对入侵者轨迹的形状的先验知识,我们可以计算拦截点。目标跟踪基于Yolov3微型卷积神经网络的图像处理,并结合使用饰品安装的ZED ZED迷你立体声摄像机的深度计算。我们使用摄像头的RGB和深度数据,设计降噪的直方图过滤器来提取目标的3D位置。获得目标位置的3D测量值用于计算图八形轨迹的位置,方向和大小,我们使用Bernoulli Lemniscate近似。一旦近似被认为是足够精确的,可以通过观察值和估计之间的距离来测量,我们将计算一个拦截点,以将拦截器无人机直接放在入侵者的路径上。根据MBZIRC竞争期间收集的经验,我们的方法已在模拟和现场实验中得到了验证。我们的结果证实,我们已经开发了一个有效的视觉感知模块,该模块可以提取以足以支持拦截计划的精确性来描述入侵者无人机运动的信息。在大多数模拟遭遇中,我们可以跟踪和拦截比拦截器快30%的目标。在非结构化环境中的相应测试产生了12个成功结果中的9个。
translated by 谷歌翻译
In recent years, aerial swarm technology has developed rapidly. In order to accomplish a fully autonomous aerial swarm, a key technology is decentralized and distributed collaborative SLAM (CSLAM) for aerial swarms, which estimates the relative pose and the consistent global trajectories. In this paper, we propose $D^2$SLAM: a decentralized and distributed ($D^2$) collaborative SLAM algorithm. This algorithm has high local accuracy and global consistency, and the distributed architecture allows it to scale up. $D^2$SLAM covers swarm state estimation in two scenarios: near-field state estimation for high real-time accuracy at close range and far-field state estimation for globally consistent trajectories estimation at the long-range between UAVs. Distributed optimization algorithms are adopted as the backend to achieve the $D^2$ goal. $D^2$SLAM is robust to transient loss of communication, network delays, and other factors. Thanks to the flexible architecture, $D^2$SLAM has the potential of applying in various scenarios.
translated by 谷歌翻译
太空探索目睹了毅力漫游者登陆火星表面,并展示了火星直升机超越地球以外的第一次飞行。在他们在火星上的任务中,毅力漫游者和Ingenuity合作探索了火星表面,Ingenuity侦察员地形信息为Rover的安全穿越。因此,确定两个平台之间的相对姿势对于此任务的成功至关重要。在这种必要性的驱动下,这项工作提出了基于基于神经形态视觉测量(NVBM)和惯性测量的融合的强大相对定位系统。神经形态视觉的出现引发了计算机视觉社区的范式转变,这是由于其独特的工作原理由现场发生的光强度变化触发的异步事件所划定。这意味着由于照明不变性而无法在静态场景中获取观察结果。为了规避这一限制,在场景中插入了高频活动地标,以确保一致的事件射击。这些地标被用作促进相对定位的显着特征。开发了一种新型的基于事件的地标识别算法,使用高斯混合模型(GMM),用于匹配我们NVBM的地标对应。 NVBM与提议的状态估计器中的惯性测量,地标跟踪Kalman滤波器(LTKF)和翻译解耦的Kalman Filter(TDKF)分别用于地标跟踪和相对定位。该系统在各种实验中进行了测试,并且在准确性和范围方面具有优于最先进的方法。
translated by 谷歌翻译
Mohamed Bin Zayed国际机器人挑战(MBZIRC)2020为无人机(无人机)构成了不同的挑战。我们提供了四个量身定制的无人机,专门为MBZIRC的单独空中机器人任务开发,包括自定义硬件和软件组件。在挑战1中,使用高效率,车载对象检测管道进行目标UAV,以捕获来自目标UAV的球。第二个UAV使用类似的检测方法来查找和流行散落在整个竞技场的气球。对于挑战2,我们展示了一种能够自主空中操作的更大的无人机:从相机图像找到并跟踪砖。随后,将它们接近,挑选,运输并放在墙上。最后,在挑战3中,我们的UAV自动发现使用LIDAR和热敏摄像机的火灾。它用船上灭火器熄灭火灾。虽然每个机器人都具有任务特定的子系统,但所有无人机都依赖于为该特定和未来竞争开发的标准软件堆栈。我们介绍了我们最开源的软件解决方案,包括系统配置,监控,强大无线通信,高级控制和敏捷轨迹生成的工具。为了解决MBZirc 2020任务,我们在多个研究领域提出了机器视觉和轨迹生成的多个研究领域。我们介绍了我们的科学贡献,这些贡献构成了我们的算法和系统的基础,并分析了在阿布扎比的MBZIRC竞赛2020年的结果,我们的系统在大挑战中达到了第二名。此外,我们讨论了我们参与这种复杂的机器人挑战的经验教训。
translated by 谷歌翻译