事件相机是新颖的,生物启发的视觉传感器,其像素在局部强度变化时输出异步和独立的时间戳尖峰,称为“事件”。在延迟,高动态范围(HDR)和时间分辨率方面,事件相机提供优于传统基于帧的相机的优势。最近,事件相机仅限于在强度通道中输出事件,然而,最近的进展导致了颜色事件的发展。相机,如Color-DAVIS346。在这项工作中,我们提出并发布第一个彩色事件相机数据集(CED),包含50分钟的彩色帧和事件。 CED具有各种各样的室内和室外场景,我们希望这将有助于推动基于事件的视觉研究。我们还提供了事件相机模拟器ESIM的扩展,可以模拟颜色事件。最后,我们对三种最先进的图像重建方法进行了评估,这些方法可用于将Color-DAVIS346转换为连续时间的HDR彩色摄像机,以便对事件流进行可视化,并用于下游视觉应用。
translated by 谷歌翻译
事件摄像机在大动态范围内提供异步的,数据驱动的局部时间对比度测量,具有极高的时间分辨率。传统相机捕获低频参考强度信息。这两种传感器模式提供了补充信息。我们提出了一种计算效率高的异步滤波器,它可以将图像帧和事件连续地融入单个高时间分辨率,高动态范围的图像状态。在没有传统图像帧的情况下,过滤器只能在事件上运行。我们提出了关于高速,高动态范围序列的实验结果,以及我们生成的新的基础真实数据集,以证明所提出的算法优于现有的最先进的方法。
translated by 谷歌翻译
在这项工作中,我们探讨了常见对象的形状之间的细微差异是如何用语言表达的,基于对象的图像和3D模型。我们首先构建一个大规模,精心控制的人类话语数据集,每个数据集都指的是3D CAD模型的2D渲染,以便将其与一组形状相似的替代方案区分开来。使用这个数据集,我们开发了神经语言理解(听力)和生产(说话)模型,这些模型的基础不同(纯粹的3D形式通过点云,渲染的2D图像),捕获的语用推理程度(例如说明听众的说话者)或不)和神经结构(例如有或没有注意)。我们发现模型能够与合成伙伴和人类合作伙伴一起表现良好,并且能够保持话语和物体。我们还指出,这些模型适用于零射击转移学习到novelobject类(例如从椅子上的培训转移到灯上测试),以及从家具目录中抽取的真实世界图像。病变研究表明,神经聆听者严重依赖于与部分相关的词语,并将这些词语与对象的视觉部分正确关联(没有对象部分进行任何明确的网络训练),并且当已知的部分词语可用时,转移到新的类别是最成功的。这项工作说明了语言基础的实用方法,并提供了对象形状和语言结构之间关系的案例研究。
translated by 谷歌翻译
人工智能(AI)技术的进步使得可以从现有地图或其他视觉中学习风格设计标准,并转移这些风格以制作新的数字地图。在本文中,我们提出了一种新的框架,使用AI进行地图样式转换,适用于多个地图尺度。具体来说,我们通过两个生成性对抗网络(GAN)模型识别并从一组目标视觉示例(包括Google Maps,OpenStreetMap和艺术绘画)将设计元素转移到未经校正的GIS矢量数据。然后,我们基于深度卷积神经网络训练二元分类器,以评估转移风格的地图图像是否保留了原始地图设计特征。我们的实验结果表明,GAN具有很大的多尺度地图样式转移潜力,但仍存在许多挑战,需要进一步研究。
translated by 谷歌翻译
全世界有数百万人缺席他们国家的人口普查。准确,现有和细化的人口指标对于改善政府资源配置,衡量疾病控制,应对自然灾害以及研究这些社区人类生活的任何方面至关重要。卫星图像可以提供足够的信息来建立人口普查地图,而无需政府人口普查的成本和时间。我们提出了两种卷积神经网络(CNN)架构,它可以有效地组合来自多个源的卫星图像输入,以准确地预测一个区域的人口密度。在本文中,我们使用来自印度农村的卫星图像和2011年SECC人口普查的人口标签。我们的最佳模型比以前的纸张以及LandScan(全球人口分布的社区标准)实现了更好的性能。
translated by 谷歌翻译
机器视觉对机器人技术至关重要,因为它依赖于视觉传感器(如自动移动机器人和智能生产系统)的广泛应用。为了创建明天的智能家居和系统,对研究领域当前挑战的概述将用于识别以系统化和可再现的方式创建的进一步可能的方向。在这项工作中,进行了系统的文献回顾,涵盖了过去10年的研究。我们从四个数据库中筛选了172篇论文,并选出了52篇相关论文。虽然稳健性和计算时间得到了很大改善,但遮挡和光照变化仍然是最大的问题。根据最近出版物的数量,我们得出结论,观察领域与研究界具有相关性和关注性。在该领域的许多领域中出现了进一步的挑战。
translated by 谷歌翻译
我们提出了一个大型数据集,OpenEDS:Open Eye Dataset,使用虚拟现实(VR)头戴式显示器捕获的眼睛图像,该显示器安装有两个同步的视觉相机,在200Hz的帧速率下进行受控照明。该数据集是根据从152个个体参与者收集的眼睛区域的视频捕获编译的,并且被分成四个子集:(i)12,759个图像,其具有关键眼睛区域的像素级注释:虹膜,瞳孔巩膜(ii)252,690未标记的眼睛 - 图像,(iii)来自随机选择的持续时间为1.5秒的视频序列的91,200帧和(iv)143个左右点云数据,这些数据来自从子集中收集的眼睛区域的角膜地形图,152个中的143个参与者。在OpenEDS上评估了Abaseline实验,用于瞳孔,虹膜,巩膜和背景的语义分割任务,其平均交叉转换(mIoU)为98.3%。我们预计OpenEDS将为眼动追踪社区和更广泛的机器学习和计算机视觉社区的研究人员创造机会,以推进VR应用的眼跟踪状态。该数据集可通过https://research.fb.com/programs/openeds-challenge进行下载
translated by 谷歌翻译
We present an approach to analyze C 1 (R m) functions that addresses limitations present in the Active Subspaces (AS) method of Constantine et al. (2015; 2014). Under appropriate hypotheses, our Active Manifolds (AM) method identifies a 1-D curve in the domain (the active manifold) on which nearly all values of the unknown function are attained, and which can be exploited for approximation or analysis , especially when m is large (high-dimensional input space). We provide theorems justifying our AM technique and an algorithm permitting functional approximation and sensitivity analysis. Using accessible , low-dimensional functions as initial examples, we show AM reduces approximation error by an order of magnitude compared to AS, at the expense of more computation. Following this, we revisit the sensitivity analysis by Glaws et al. (2017), who apply AS to analyze a magnetohydrodynamic power generator model, and compare the performance of AM on the same data. Our analysis provides detailed information not captured by AS, exhibiting the influence of each parameter individually along an active manifold. Overall, AM represents a novel technique for analyzing functional models with benefits including: reducing m-dimensional analysis to a 1-D analogue, permitting more accurate regression than AS (at more computational expense), enabling more informative sensitivity analysis, and granting accessible visualizations (2-D plots) of parameter sensitivity along the AM.
translated by 谷歌翻译
随着当前数字化浪潮中出现的新机遇,需要通过采用数据驱动的方式重新审视终端规划和管理。业务分析作为从操作数据中提取洞察力的实践,有助于使用预测来减少不确定性,并帮助识别和理解组织内和组织间终端操作中的低效率,中断和异常的原因。尽管集装箱码头内部和周围的数据日益复杂,但可以确定在集装箱码头的背景下缺乏数据驱动的方法。在本章中,介绍了支持终端规划和管理的业务分析的概念。本章特别关注数据挖掘方法,并提供有关容器和相关研究应用的综合概述。因此,我们的目标是建立一个关于终端规划和管理的数据驱动的视角,补充传统的优化视角。
translated by 谷歌翻译
稀缺数据是将机器人学习扩展到真正的互补性的一个主要挑战,因为我们需要在不同的任务框架上概括本地学习的政策。上下文策略搜索通过在参数上下文空间上明确地调整策略来提供数据有效的学习和概括。在本文中,我们进一步构建了上下文策略表示。我们建议将上下文分解为两个组成部分:描述任务目标的目标上下文,例如,投掷目标的目标位置;以及表征环境的环境背景,例如初始位置或球的质量。我们的关键观察是经验可以直接在目标背景下进行推广。我们表明,这可以在上下文策略搜索算法中轻松开发。特别是,我们将基于采样和主动学习设置的贝叶斯优化方法应用于贝叶斯优化方法以进行上下文策略搜索。我们的仿真结果表明在各种机器人领域中学习速度更快,通用性更好。 Seeour补充视频:https://youtu.be/MNTbBAOufDY。
translated by 谷歌翻译