成功的视觉导航取决于捕获包含足够有用信息的图像。在这封信中，我们探索了一种数据驱动的方法来说明环境照明的变化，改善了在视觉探测器（VO）或视觉同时定位和映射（SLAM）中使用的图像质量。我们训练深层卷积神经网络模型，以预测地调整相机增益和曝光时间参数，以便连续图像包含最大数量的可匹配功能。训练过程是完全自我监督的：我们的训练信号来自基础VO或SLAM管道，因此，对模型进行了优化，可以通过该特定管道进行良好的操作。我们通过广泛的现实世界实验证明，我们的网络可以预期并补偿急剧的照明变化（例如，过渡到道路隧道的过渡），比竞争摄像机参数控制算法保持了更高数量的Inlier功能匹配。
translated by 谷歌翻译
长期度量自我定位是自动移动机器人的重要能力，但由于照明，天气或季节性变化引起的外观变化，对于基于视觉的系统仍然具有挑战性。尽管事实证明，基于经验的映射是弥合“外观差距”的有效技术，但在几天或几个月内可靠的度量定位所需的经验数量可能非常大，并且需要减少必要的经验数量的方法这种规模的方法。我们从色彩恒定理论中汲取灵感，我们学习一个非线性RGB到式映射的映射，该映射明确地最大化了在不同照明和天气条件下捕获的图像的Inlier功能匹配的数量，并将其用作传统单个单一的预处理步骤体验本地化管道，以提高其对外观变化的稳健性。我们通过使用深层神经网络近似目标的非差异性定位管道来训练此映射，并发现合并学习的低维环境功能可以进一步改善交叉认可功能匹配。使用合成和现实世界数据集，我们证明了跨夜晚周期的本地化性能的实质性改善，使用单个映射体验在30小时内实现连续的度量定位，并允许基于经验的本地化以巨大的部署来扩展。减少了数据要求。
translated by 谷歌翻译
现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。
translated by 谷歌翻译
The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1
translated by 谷歌翻译
近年来，深度学习（DL）算法的使用改善了基于视觉的空间应用的性能。但是，生成大量的注释数据来培训这些DL算法已被证明具有挑战性。虽然可以使用合成生成的图像，但在实际环境中测试时，经过合成数据训练的DL模型通常容易受到性能降解。在这种情况下，卢森堡大学的安全，可靠性和信任（SNT）跨学科中心开发了“ SNT Zero-G Lab”，用于在模拟现实世界太空环境的条件下培训和验证基于视觉的空间算法。 SNT Zero-G实验室开发的一个重要方面是设备选择。从实验室开发过程中学到的经验教训，本文提出了一种系统的方法，将市场调查和设备选择的实验分析结合在一起。特别是，本文专注于太空实验室中的图像采集设备：背景材料，相机和照明灯。实验分析的结果表明，在太空实验室开发项目中选择有效的设备选择需要通过实验分析来称赞的市场调查。
translated by 谷歌翻译
在极低光线条件下捕获图像会对标准相机管道带来重大挑战。图像变得太黑了，太吵了，这使得传统的增强技术几乎不可能申请。最近，基于学习的方法已经为此任务显示了非常有希望的结果，因为它们具有更大的表现力能力来允许提高质量。这些研究中的激励，在本文中，我们的目标是利用爆破摄影来提高性能，并从极端暗的原始图像获得更加锐利和更准确的RGB图像。我们提出的框架的骨干是一种新颖的粗良好网络架构，逐步产生高质量的输出。粗略网络预测了低分辨率，去噪的原始图像，然后将其馈送到精细网络以恢复微尺的细节和逼真的纹理。为了进一步降低噪声水平并提高颜色精度，我们将该网络扩展到置换不变结构，使得它作为输入突发为低光图像，并在特征级别地合并来自多个图像的信息。我们的实验表明，我们的方法通过生产更详细和相当更高的质量的图像来引起比最先进的方法更令人愉悦的结果。
translated by 谷歌翻译
近年来已经提出了显示屏下的显示器，作为减少移动设备的形状因子的方式，同时最大化屏幕区域。不幸的是，将相机放在屏幕后面导致显着的图像扭曲，包括对比度，模糊，噪音，色移，散射伪像和降低光敏性的损失。在本文中，我们提出了一种图像恢复管道，其是ISP-Annostic，即它可以与任何传统ISP组合，以产生使用相同的ISP与常规相机外观匹配的最终图像。这是通过执行Raw-Raw Image Restoration的深度学习方法来实现的。为了获得具有足够对比度和场景多样性的大量实际展示摄像机培训数据，我们还开发利用HDR监视器的数据捕获方法，以及数据增强方法以产生合适的HDR内容。监视器数据补充有现实世界的数据，该数据具有较少的场景分集，但允许我们实现细节恢复而不受监视器分辨率的限制。在一起，这种方法成功地恢复了颜色和对比度以及图像细节。
translated by 谷歌翻译
低光图像增强（LLIE）旨在提高在环境中捕获的图像的感知或解释性，较差的照明。该领域的最新进展由基于深度学习的解决方案为主，其中许多学习策略，网络结构，丢失功能，培训数据等已被采用。在本文中，我们提供了全面的调查，以涵盖从算法分类到开放问题的各个方面。为了检查现有方法的概括，我们提出了一个低光图像和视频数据集，其中图像和视频是在不同的照明条件下的不同移动电话的相机拍摄的。除此之外，我们首次提供统一的在线平台，涵盖许多流行的LLIE方法，其中结果可以通过用户友好的Web界面生产。除了在公开和我们拟议的数据集上对现有方法的定性和定量评估外，我们还验证了他们在黑暗中的脸部检测中的表现。这项调查与拟议的数据集和在线平台一起作为未来研究的参考来源和促进该研究领域的发展。拟议的平台和数据集以及收集的方法，数据集和评估指标是公开可用的，并将经常更新。
translated by 谷歌翻译
高动态范围（HDR）成像是一种允许广泛的动态曝光范围的技术，这在图像处理，计算机图形和计算机视觉中很重要。近年来，使用深度学习（DL），HDR成像有重大进展。本研究对深层HDR成像方法的最新发展进行了综合和富有洞察力的调查和分析。在分层和结构上，将现有的深层HDR成像方法基于（1）输入曝光的数量/域，（2）学习任务数，（3）新传感器数据，（4）新的学习策略，（5）应用程序。重要的是，我们对关于其潜在和挑战的每个类别提供建设性的讨论。此外，我们审查了深度HDR成像的一些关键方面，例如数据集和评估指标。最后，我们突出了一些打开的问题，并指出了未来的研究方向。
translated by 谷歌翻译
成功培训端到端的深网进行真实运动去缩合，需要尖锐/模糊的图像对数据集，这些数据集现实且多样化，足以实现概括以实现真实的图像。获得此类数据集仍然是一项具有挑战性的任务。在本文中，我们首先回顾了现有的Deblurring基准数据集的局限性，从泛化到野外模糊图像的角度。其次，我们提出了一种有效的程序方法，以基于一个简单而有效的图像形成模型来生成清晰/模糊的图像对。这允许生成几乎无限的现实和多样化的培训对。我们通过在模拟对上训练现有的DeBlurring架构，并在四个真实模糊图像的标准数据集中对其进行评估，从而证明了所提出的数据集的有效性。我们观察到使用建议方法训练时动态场景的真实运动毛线照片的最终任务的出色概括性能。
translated by 谷歌翻译
This paper presents ORB-SLAM, a feature-based monocular SLAM system that operates in real time, in small and large, indoor and outdoor environments. The system is robust to severe motion clutter, allows wide baseline loop closing and relocalization, and includes full automatic initialization. Building on excellent algorithms of recent years, we designed from scratch a novel system that uses the same features for all SLAM tasks: tracking, mapping, relocalization, and loop closing. A survival of the fittest strategy that selects the points and keyframes of the reconstruction leads to excellent robustness and generates a compact and trackable map that only grows if the scene content changes, allowing lifelong operation. We present an exhaustive evaluation in 27 sequences from the most popular datasets. ORB-SLAM achieves unprecedented performance with respect to other state-of-the-art monocular SLAM approaches. For the benefit of the community, we make the source code public.
translated by 谷歌翻译
基于学习的视觉自我运动估计是有希望的，但尚未准备好在现实世界中浏览敏捷的移动机器人。在本文中，我们提出了Cuahn-Vio，这是一款适用于配备了向下式摄像头的微型航空车（MAVS）的强大而有效的单眼视觉惯性镜（VIO）。视觉前端是一个内容和不确定性的同型同构网络（CUAHN），它对非主体摄影图像内容和网络预测的故障案例非常有力。它不仅可以预测截然变换，还可以估计其不确定性。培训是自学的，因此它不需要通常难以获得的地面真理。该网络具有良好的概括，可以在不进行微调的情况下在新环境中部署“插件”。轻巧的扩展卡尔曼过滤器（EKF）用作VIO后端，并利用网络中的平均预测和方差估计进行视觉测量更新。 Cuahn-Vio在高速公共数据集上进行了评估，并显示出与最先进（SOTA）VIO方法的竞争精度。由于运动模糊，低网络推理时间（〜23ms）和稳定的处理延迟（〜26ms），Cuahn-Vio成功运行了NVIDIA JETSON TX2嵌入式处理器，以导航快速自动驾驶MAV。
translated by 谷歌翻译
基于视觉的控制在研究中发现了一个关键位置，以在物理传感限制下控制连续式机器人时解决状态反馈的要求。传统的视觉伺服需要特征提取和跟踪，而成像设备捕获图像，这限制了控制器的效率。我们假设采用深度学习模型和实现直接视觉伺服可以通过消除跟踪要求和控制连续内机器人而无需精确的系统模型来有效地解决问题。在本文中，我们控制了一种利用改进的VGG-16深度学习网络和掌握直接视觉伺服方法的单段肌腱驱动的连续内机器人。所提出的算法首先在搅拌机中使用目标的一个输入图像在搅拌机中开发，然后在真正的机器人上实现。由归一化目标和捕获图像之间的绝对差异和反映的正常，阴影和遮挡场景的收敛性和准确性证明了所提出的控制器的有效性和鲁棒性。
translated by 谷歌翻译
自治车辆和机器人需要越来越多的鲁棒性和可靠性，以满足现代任务的需求。这些要求特别适用于相机，因为它们是获取环境和支持行动的信息的主要传感器。相机必须保持适当的功能，并在必要时采取自动对策。但是，几乎没有作品，审查了相机的一般情况监测方法的实际应用，并在设想的高级别应用程序中设计对策。我们为基于数据和物理接地模型的相机提出了一种通用和可解释的自我保健框架。为此，我们通过比较传统和血液的机器学习的方法，确定一种可靠的两种可靠，实时的估计，用于诸如难以释放的情况（Defocus Blur，运动模糊，不同噪声现象和最常见的噪声现象和最常见的组合）的典型图像效果广泛的实验。此外，我们展示了如何根据实验（非线性和非单调）输入 - 输出性能曲线来调整相机参数（例如，曝光时间和ISO增益）以实现最佳的全系统能力，使用对象检测，运动模糊和传感器噪声作为示例。我们的框架不仅提供了一种实用的即用的解决方案，可以评估和维护摄像机的健康，但也可以作为扩展来解决更复杂的问题的基础，以凭经验组合附加的数据源（例如，传感器或环境参数或环境参数）为了获得完全可靠和强大的机器。
translated by 谷歌翻译
a) Camera output with ISO 8,000 (b) Camera output with ISO 409,600 (c) Our result from the raw data of (a) Figure 1. Extreme low-light imaging with a convolutional network. Dark indoor environment. The illuminance at the camera is < 0.1 lux. The Sony α7S II sensor is exposed for 1/30 second. (a) Image produced by the camera with ISO 8,000. (b) Image produced by the camera with ISO 409,600. The image suffers from noise and color bias. (c) Image produced by our convolutional network applied to the raw sensor data from (a).
translated by 谷歌翻译
快速移动受试者的运动模糊是摄影中的一个长期问题，由于收集效率有限，尤其是在弱光条件下，在手机上非常常见。尽管近年来我们目睹了图像脱毛的巨大进展，但大多数方法都需要显着的计算能力，并且在处理高分辨率照片的情况下具有严重的局部动作。为此，我们根据手机的双摄像头融合技术开发了一种新颖的面部脱毛系统。该系统检测到主题运动以动态启用参考摄像头，例如，最近在高级手机上通常可用的Ultrawide Angle摄像机，并捕获带有更快快门设置的辅助照片。虽然主镜头是低噪音但模糊的，但参考镜头却很锋利，但嘈杂。我们学习ML模型，以对齐和融合这两张镜头，并在没有运动模糊的情况下输出清晰的照片。我们的算法在Google Pixel 6上有效运行，每次拍摄需要463毫秒的开销。我们的实验证明了系统对替代单片，多帧，面部特异性和视频脱张算法以及商业产品的优势和鲁棒性。据我们所知，我们的工作是第一个用于面部运动脱毛的移动解决方案，在各种运动和照明条件下，在数千个图像中可靠地工作。
translated by 谷歌翻译
The quantitative evaluation of optical flow algorithms by Barron et al. (1994) led to significant advances in performance. The challenges for optical flow algorithms today go beyond the datasets and evaluation methods proposed in that paper. Instead, they center on problems associated with complex natural scenes, including nonrigid motion, real sensor noise, and motion discontinuities. We propose a new set of benchmarks and evaluation methods for the next generation of optical flow algorithms. To that end, we contribute four types of data to test different aspects of optical flow algorithms: (1) sequences with nonrigid motion where the ground-truth flow is determined by A preliminary version of this paper appeared in the IEEE International Conference on Computer Vision (Baker et al. 2007).
translated by 谷歌翻译
我们提出了一种新的四管齐下的方法，在文献中首次建立消防员的情境意识。我们构建了一系列深度学习框架，彼此之叠，以提高消防员在紧急首次响应设置中进行的救援任务的安全性，效率和成功完成。首先，我们使用深度卷积神经网络（CNN）系统，以实时地分类和识别来自热图像的感兴趣对象。接下来，我们将此CNN框架扩展了对象检测，跟踪，分割与掩码RCNN框架，以及具有多模级自然语言处理（NLP）框架的场景描述。第三，我们建立了一个深入的Q学习的代理，免受压力引起的迷失方向和焦虑，能够根据现场消防环境中观察和存储的事实来制定明确的导航决策。最后，我们使用了一种低计算无监督的学习技术，称为张量分解，在实时对异常检测进行有意义的特征提取。通过这些临时深度学习结构，我们建立了人工智能系统的骨干，用于消防员的情境意识。要将设计的系统带入消防员的使用，我们设计了一种物理结构，其中处理后的结果被用作创建增强现实的投入，这是一个能够建议他们所在地的消防员和周围的关键特征，这对救援操作至关重要在手头，以及路径规划功能，充当虚拟指南，以帮助迷彩的第一个响应者恢复安全。当组合时，这四种方法呈现了一种新颖的信息理解，转移和综合方法，这可能会大大提高消防员响应和功效，并降低寿命损失。
translated by 谷歌翻译
视频分析系统批判性地依赖于摄像机，捕获高质量的视频帧，以实现高分辨率的精度。虽然现代视频摄像机经常暴露数十个可配置的参数设置，但是可以通过最终用户设置的，但今天监控摄像机的部署通常使用固定的一组参数设置，因为最终用户缺少能够重新配置这些参数的技能或理解。在本文中，我们首先表明，在典型的监视摄像机部署中，环境条件变化可能会显着影响人员检测，面部检测和面部识别等分析单元的准确性，以及如何通过动态调整相机设置来减轻这种不利影响。然后我们提出了Camtuner，这是一个可以轻松应用于现有视频分析管道（VAP）的框架，以实现复杂相机设置的自动和动态调整，以改变环境条件，并自主优化VAP中分析单元（AU）的准确性。 Camtuner基于Sarsa加固学习（RL），它包含两种新型组件：轻量级分析质量估算器和虚拟相机。 Camtuner在一个具有轴监控摄像头的系统中实现，几个VAP（具有各种AUS），在机场入口处加工了日常客户视频。我们的评估表明Camtuner可以快速适应更改环境。我们将Camtuner与使用静态相机设置的两种替代方法进行比较，或者每小时手动更改摄像机设置的草兵方法（基于人类对质量）。我们观察到，对于面部检测和人检测AU，与两种方法中最好的相比，Camtuner分别可以获得高达13.8％和9.2％的更高的准确性（两个AUS的8％的平均提高）。
translated by 谷歌翻译
在自主和移动机器人技术中，主要挑战之一是对环境的坚强感知，通常是未知和动态的，例如自主无人机赛车。在这项工作中，我们提出了一种新型的基于神经网络的感知方法，用于赛车门检测 - 铅笔网 - 依赖于铅笔过滤器顶部的轻质神经网络骨架。这种方法统一了对盖茨的2D位置，距离和方向的预测。我们证明我们的方法对于不需要任何现实世界训练样本的零射击SIM到运行转移学习有效。此外，与最先进的方法相比，在快速飞行下通常看到的照明变化非常强大。一组彻底的实验证明了这种方法在多种挑战的情况下的有效性，在多种挑战性的情况下，无人机在不同的照明条件下完成了各种轨道。
translated by 谷歌翻译