这项工作介绍了斯坦福大学的Rendezvous和光学导航（Tron）的机器人测试的最新进展 - 这是一个能够验证空间载光学导航机器学习算法的第一个机器人试验。 Tron设施包括两个6度自由的Kuka机器人武器和一组Vicon运动轨道摄像机，以重新配置相机和目标样机模型之间的任意相对姿势。该设施包括多个地球玻璃灯箱和阳光灯，以重建高保真星源照明条件。在该设施概述后，该工作详细说明了多源校准程序，使物体与相机之间的相对姿势估计，具有毫米级位置和跨越级别的方向精度。最后，使用在合成图像上预先培训的卷积神经网络（CNN）进行合成和Tron模拟成像的比较分析。结果显示了CNN性能相当大的差距，表明Tron模拟图像可用于验证从计算机图形学更容易访问的合成图像训练的任何机器学习算法的鲁棒性。
translated by 谷歌翻译
基于自主视觉的太空传播导航是未来轨道服务和空间物流任务的启用技术。虽然一般的计算机愿景受益于机器学习（ML），但由于在空间环境中获取了预期目标的图像的图像的大规模标记数据集的不切实性，培训和验证的星式载体ML模型非常具有挑战性。迄今为止，诸如航天器姿势估计数据集（速度）的现有数据集主要依赖于培训和验证的合成图像，这很容易批量生产，但不能类似于目标星载图像固有的视觉特征和照明可变性。为了弥合当前实践与未来空间任务中的预期应用之间的差距，介绍了速度+：下一代航天器姿势估计数据集具有特定强调域间隙。除了用于训练的60,000个合成图像外，Speed +还包括从Rendezvous和光学导航（Tron）设施的试验台捕获的航天器模型模型的9,531个硬件映像。 Tron是一种专门的机器人测试用机器，能够以准确和最大多样化的姿势标签和高保真星载照明条件捕获任意数量的目标图像。 Speed +用于由平板和欧洲空间机构的平板和高级概念团队共同主办的第二次国际卫星造型估算挑战，以评估和比较在合成图像上培训的星式载ML模型的稳健性。
translated by 谷歌翻译
本文介绍了基于神经网络的无气体卡尔曼滤波器（UKF），以跟踪已知的，非合作的，翻滚的目标航天飞机的姿势（即位置和方向），以近距离呈现场景。 UKF根据使用卷积神经网络（CNN）从目标航天器的传入单眼图像中提取的姿势信息估计目标相对于服务器的相对轨道和态度状态。为了启用可靠的跟踪，使用自适应状态噪声补偿在线调整UKF的过程噪声协方差矩阵。具体而言，新得出和实现了相对态度动力学的封闭形式的过程噪声模型。为了全面分析提议的CNN驱动UKF的性能和鲁棒性，本文还介绍了卫星硬件在环上的轨迹轨迹（衬衫）数据集，其中包括两个具有代表性的聚会轨迹的标签图像低地球轨道。对于每个轨迹，分别从图形渲染器和机器人测试台创建了两组图像，以允许测试跨域间隙的滤波器的鲁棒性。拟议的UKF在衬衫的两个轨迹领域进行了评估，并被证明在稳态下具有次数级的位置和程度级别的方向误差。
translated by 谷歌翻译
We propose AstroSLAM, a standalone vision-based solution for autonomous online navigation around an unknown target small celestial body. AstroSLAM is predicated on the formulation of the SLAM problem as an incrementally growing factor graph, facilitated by the use of the GTSAM library and the iSAM2 engine. By combining sensor fusion with orbital motion priors, we achieve improved performance over a baseline SLAM solution. We incorporate orbital motion constraints into the factor graph by devising a novel relative dynamics factor, which links the relative pose of the spacecraft to the problem of predicting trajectories stemming from the motion of the spacecraft in the vicinity of the small body. We demonstrate the excellent performance of AstroSLAM using both real legacy mission imagery and trajectory data courtesy of NASA's Planetary Data System, as well as real in-lab imagery data generated on a 3 degree-of-freedom spacecraft simulator test-bed.
translated by 谷歌翻译
在这项工作中，我们分析了两个卫星之间的相对姿势初始化问题：一个追逐者和一个不合作目标。该分析针对两种基于单眼摄像头系统的近距离方法：Sharma-ventura-d'amico（SVD）方法和Silhouette匹配方法。两种方法均基于对目标几何形状的先验知识，但是不需要基准标记或先验范围的测量或状态信息。测试是使用2U立方体模型进行的，该目标是连接到机动旋转阶段的目标，以模拟其相对于追赶者摄像机的相对运动。运动捕获系统用作参考仪器，该工具提供了两个模型之间的基准相对运动，并允许评估所分析的初始化算法的性能。
translated by 谷歌翻译
位置敏感探测器（PSDS）提供了高精度跟踪单个活动标记的两个（或三个）自由（DOF）位置，同时具有高更新频率和低延迟的快速响应时间，所有使用非常简单的信号处理电路。然而，由于缺乏方向测量，有限的跟踪范围和对环境变化的敏感性，它们并不特别适用于6-DOF对象姿势跟踪系统。我们提出了一种新颖的6-DOF姿势跟踪系统，用于需要单个有效标记的刚性物体跟踪。所提出的系统使用立体声的PSD对和多个惯性测量单元（IMU）。这是基于实用的方法来识别和控制红外发光二极管（IR-LED）有源标记的功率，目的是增加跟踪工作空间并降低功耗。我们所提出的跟踪系统用三种不同的工作空间尺寸验证，使用具有三种不同动态运动模式的机器人臂操纵器进行静态和动态位置精度。结果表明，静态位置根均方（RMS）误差为0.6mm。动态位置rms误差为0.7-0.9mm。方向rms误差在不同动态运动时的0.04和0.9度之间。总的来说，我们所提出的跟踪系统能够在工作空间的中间范围和实验室设置下的所有工作空间的子度准确度下跟踪刚性物体姿势。
translated by 谷歌翻译
该制造业目前目前目睹了与工业机器人前所未有的采用的范式转变，机器愿景是一种关键的感知技术，使这些机器人能够在非结构化环境中进行精确的操作。然而，传统视觉传感器对照明条件和高速运动的灵敏度为生产线的可靠性和工作速率设定了限制。神经形态视觉是最近的技术，有可能解决传统视觉的挑战，其具有高颞率，低延迟和宽动态范围。在本文中，我们首次提出了一种新型神经形态视觉的基于峰值的控制器，用于更快，更可靠的加工操作，并具有能够进行具有亚毫米精度的钻井任务的完整机器人系统。我们所提出的系统使用我们专为神经形态摄像机的异步输出开发的两种感知阶段为3D定位了目标工件。第一阶段执行用于初始估计工件的姿势的多视图重建，并且第二阶段使用圆孔检测对工件的局部区域进行这种估计。然后，机器人精确地定位钻孔末端执行器并使用基于组合的位置和基于图像的视觉伺服方法钻取工件上的目标孔。所提出的解决方案是通过实验验证的用于在具有不受控制的照明的非结构环境中任意地放置的工件上的工件上钻出螺母孔。实验结果证明了我们的溶液的有效性小于0.1mm的平均位置误差，并证明了神经形态视觉的使用克服了传统相机的照明和速度限制。
translated by 谷歌翻译
Estimating the 6D pose of objects is one of the major fields in 3D computer vision. Since the promising outcomes from instance-level pose estimation, the research trends are heading towards category-level pose estimation for more practical application scenarios. However, unlike well-established instance-level pose datasets, available category-level datasets lack annotation quality and provided pose quantity. We propose the new category level 6D pose dataset HouseCat6D featuring 1) Multi-modality of Polarimetric RGB+P and Depth, 2) Highly diverse 194 objects of 10 household object categories including 2 photometrically challenging categories, 3) High-quality pose annotation with an error range of only 1.35 mm to 1.74 mm, 4) 41 large scale scenes with extensive viewpoint coverage, 5) Checkerboard-free environment throughout the entire scene. We also provide benchmark results of state-of-the-art category-level pose estimation networks.
translated by 谷歌翻译
Differentiable rendering aims to compute the derivative of the image rendering function with respect to the rendering parameters. This paper presents a novel algorithm for 6-DoF pose estimation through gradient-based optimization using a differentiable rendering pipeline. We emphasize two key contributions: (1) instead of solving the conventional 2D to 3D correspondence problem and computing reprojection errors, images (rendered using the 3D model) are compared only in the 2D feature space via sparse 2D feature correspondences. (2) Instead of an analytical image formation model, we compute an approximate local gradient of the rendering process through online learning. The learning data consists of image features extracted from multi-viewpoint renders at small perturbations in the pose neighborhood. The gradients are propagated through the rendering pipeline for the 6-DoF pose estimation using nonlinear least squares. This gradient-based optimization regresses directly upon the pose parameters by aligning the 3D model to reproduce a reference image shape. Using representative experiments, we demonstrate the application of our approach to pose estimation in proximity operations.
translated by 谷歌翻译
近年来，深度学习（DL）算法的使用改善了基于视觉的空间应用的性能。但是，生成大量的注释数据来培训这些DL算法已被证明具有挑战性。虽然可以使用合成生成的图像，但在实际环境中测试时，经过合成数据训练的DL模型通常容易受到性能降解。在这种情况下，卢森堡大学的安全，可靠性和信任（SNT）跨学科中心开发了“ SNT Zero-G Lab”，用于在模拟现实世界太空环境的条件下培训和验证基于视觉的空间算法。 SNT Zero-G实验室开发的一个重要方面是设备选择。从实验室开发过程中学到的经验教训，本文提出了一种系统的方法，将市场调查和设备选择的实验分析结合在一起。特别是，本文专注于太空实验室中的图像采集设备：背景材料，相机和照明灯。实验分析的结果表明，在太空实验室开发项目中选择有效的设备选择需要通过实验分析来称赞的市场调查。
translated by 谷歌翻译
在本报告中，我们提出了在哥斯达黎加太平洋架子和圣托里尼 - Kolumbo Caldera Complex中，在寻找寿命中的寻找寿命任务中的自主海洋机器人技术协调，操作策略和结果。它作为可能存在于海洋超越地球的环境中的类似物。本报告侧重于ROV操纵器操作的自动化，用于从海底获取有针对性的生物样品收集和返回的。在未来的外星勘查任务到海洋世界的背景下，ROV是一个模拟的行星着陆器，必须能够有能力的高水平自主权。我们的田间试验涉及两个水下车辆，冰（Nui）杂交ROV的两个水下车辆（即，龙眼或自主）任务，都配备了7-DOF液压机械手。我们描述了一种适应性，硬件无关的计算机视觉架构，可实现高级自动化操作。 Vision系统提供了对工作空间的3D理解，以便在复杂的非结构化环境中通知操纵器运动计划。我们展示了视觉系统和控制框架通过越来越具有挑战性的环境中的现场试验的有效性，包括来自活性Undersea火山，Kolumbo内的自动收集和生物样品的回报。根据我们在该领域的经验，我们讨论了我们的系统的表现，并确定了未来研究的有希望的指示。
translated by 谷歌翻译
使用增强现实（AR）用于导航目的，这表明在手术手术过程中协助医生有益。这些应用通常需要知道外科手术工具和患者的姿势，以提供外科医生在任务执行过程中可以使用的视觉信息。现有的医学级跟踪系统使用放置在手术室内的红外摄像头（OR）来识别感兴趣的对象附加并计算其姿势的复古反射标记。一些市售的AR头式显示器（HMD）使用类似的摄像头进行自定位，手动跟踪和估算对象的深度。这项工作提出了一个使用AR HMD的内置摄像机来准确跟踪复古反射标记的框架，例如在手术过程中使用的标记，而无需集成任何其他组件。该框架还能够同时跟踪多个工具。我们的结果表明，横向翻译的准确度为0.09 +-0.06毫米，可以实现标记的跟踪和检测，纵向翻译的0.42 +-0.32 mm，绕垂直轴旋转的0.80 +-0.39 ver。此外，为了展示所提出的框架的相关性，我们在手术程序的背景下评估了系统的性能。该用例旨在在骨科过程中复制K-Wire插入的场景。为了进行评估，为两名外科医生和一名生物医学研究人员提供了视觉导航，每次都进行了21次注射。该用例的结果提供了与基于AR的导航程序报告的相当精度。
translated by 谷歌翻译
安装在微空中车辆（MAV）上的地面穿透雷达是有助于协助人道主义陆地间隙的工具。然而，合成孔径雷达图像的质量取决于雷达天线的准确和精确运动估计以及与MAV产生信息性的观点。本文介绍了一个完整的自动空气缩进的合成孔径雷达（GPSAR）系统。该系统由空间校准和时间上同步的工业级传感器套件组成，使得在地面上方，雷达成像和光学成像。自定义任务规划框架允许在地上控制地上的Stripmap和圆形（GPSAR）轨迹的生成和自动执行，以及空中成像调查飞行。基于因子图基于Dual接收机实时运动（RTK）全局导航卫星系统（GNSS）和惯性测量单元（IMU）的测量值，以获得精确，高速平台位置和方向。地面真理实验表明，传感器时机为0.8美元，正如0.1美元的那样，定位率为1 kHz。与具有不确定标题初始化的单个位置因子相比，双位置因子配方可提高高达40％，批量定位精度高达59％。我们的现场试验验证了本地化准确性和精度，使得能够相干雷达测量和检测在沙子中埋入的雷达目标。这验证了作为鸟瞰着地图检测系统的潜力。
translated by 谷歌翻译
几十年来，机器人和手眼校准都一直是研究的目的。尽管当前方法能够精确，可靠地识别机器人运动模型的参数，但它们仍然依赖于外部设备，例如校准对象，标记和/或外部传感器。本文没有试图将记录的测量结果适合已知对象的模型，而是将机器人校准视为离线大满贯问题，其中扫描姿势通过移动的运动学链将扫描姿势链接到空间中的固定点。因此，提出的框架允许使用任意眼睛深度传感器的机器人校准，从而无需任何外部工具就可以实现完全自主的自主校准。我的新方法是利用迭代最接近点算法的修改版本来运行多个3D记录的捆绑调整，以估计运动模型的最佳参数。对系统的详细评估显示在带有各种附着的3D传感器的真实机器人上。提出的结果表明，该系统以其成本的一小部分达到了与专用外部跟踪系统相当的精度。
translated by 谷歌翻译
本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。
translated by 谷歌翻译
可靠地定量自然和人为气体释放（例如，从海底进入海洋的自然和人为气体释放（例如，Co $ _2 $，甲烷），最终是大气，是一个具有挑战性的任务。虽然船舶的回声探测器允许在水中检测水中的自由气，但是即使从较大的距离中，精确量化需要诸如未获得的升高速度和气泡尺寸分布的参数。光学方法的意义上是互补的，即它们可以提供从近距离的单个气泡或气泡流的高时和空间分辨率。在这一贡献中，我们介绍了一种完整的仪器和评估方法，用于光学气泡流特征。专用仪器采用高速深海立体声摄像机系统，可在部署在渗透网站以进行以后的自动分析时录制泡泡图像的Tbleabytes。对于几分钟的短序列可以获得泡特性，然后将仪器迁移到其他位置，或者以自主间隔模式迁移到几天内，以捕获由于电流和压力变化和潮汐循环引起的变化。除了报告泡沫特征的步骤旁边，我们仔细评估了可达准确性并提出了一种新颖的校准程序，因为由于缺乏点对应，仅使用气泡的剪影。该系统已成功运营，在太平洋高达1000万水深，以评估甲烷通量。除了样品结果外，我们还会报告在开发期间汲取的故障案例和经验教训。
translated by 谷歌翻译
估计六级自由人体姿势的系统已有二十年多了。诸如运动捕获摄像机，高级游戏外围设备以及最近的深度学习技术和虚拟现实系统等技术都显示出令人印象深刻的结果。但是，大多数提供高精度和高精度的系统都是昂贵的，并且不容易操作。最近，已经进行了研究以使用HTC Vive虚拟现实系统估算人体姿势。该系统显示出准确的结果，同时将成本保持在1000美元以下。该系统使用光学方法。通过在接收器硬件上使用照片二极管来跟踪两个发射器设备发射红外脉冲和激光平面。以前开发了使用这些发射器设备与低成本定制接收器硬件结合使用的系统，但需要手动测量发射机设备的位置和方向。这些手动测量可能很耗时，容易出错，并且在特定设置中不可能。我们提出了一种算法，以使用自定义接收器/校准硬件的任何选择的环境中自动校准发射机设备的姿势。结果表明，校准在各种设置中起作用，同时比手动测量所允许的更准确。此外，校准运动和速度对结果的精度没有明显的影响。
translated by 谷歌翻译
小天体的任务在很大程度上依赖于光学特征跟踪，以表征和相对导航。尽管深度学习导致了功能检测和描述方面的巨大进步，但由于大规模，带注释的数据集的可用性有限，因此培训和验证了空间应用程序的数据驱动模型具有挑战性。本文介绍了Astrovision，这是一个大规模数据集，由115,970个密集注释的，真实的图像组成，这些图像是过去和正在进行的任务中捕获的16个不同物体的真实图像。我们利用Astrovision开发一组标准化基准，并对手工和数据驱动的功能检测和描述方法进行详尽的评估。接下来，我们采用Astrovision对最先进的，深刻的功能检测和描述网络进行端到端培训，并在多个基准测试中表现出改善的性能。将公开使用完整的基准管道和数据集，以促进用于空间应用程序的计算机视觉算法的发展。
translated by 谷歌翻译
Traditional approaches to extrinsic calibration use fiducial markers and learning-based approaches rely heavily on simulation data. In this work, we present a learning-based markerless extrinsic calibration system that uses a depth camera and does not rely on simulation data. We learn models for end-effector (EE) segmentation, single-frame rotation prediction and keypoint detection, from automatically generated real-world data. We use a transformation trick to get EE pose estimates from rotation predictions and a matching algorithm to get EE pose estimates from keypoint predictions. We further utilize the iterative closest point algorithm, multiple-frames, filtering and outlier detection to increase calibration robustness. Our evaluations with training data from multiple camera poses and test data from previously unseen poses give sub-centimeter and sub-deciradian average calibration and pose estimation errors. We also show that a carefully selected single training pose gives comparable results.
translated by 谷歌翻译
休眠季节葡萄树修剪需要熟练的季节性工人，这在冬季变得越来越缺乏。随着在短期季节性招聘文化和低工资的短期季节性招聘文化和低工资的时间内，随着工人更少的葡萄藤，葡萄藤往往被修剪不一致地导致葡萄化物不平衡。除此之外，目前现有的机械方法无法选择性地修剪葡萄园和手动后续操作，通常需要进一步提高生产成本。在本文中，我们展示了崎岖，全自治机器人的设计和田间评估，用于休眠季节葡萄园的端到最终修剪。该设计的设计包括新颖的相机系统，运动冗余机械手，地面机器人和在感知系统中的新颖算法。所提出的研究原型机器人系统能够在213秒/葡萄藤中完全从两侧刺激一排藤蔓，总修枝精度为87％。与机械预灌浆试验相比，商业葡萄园中自治系统的初始现场测试显示出休眠季节修剪的显着变化。在手稿中描述了设计方法，系统组件，经验教训，未来增强以及简要的经济分析。
translated by 谷歌翻译