这项工作的目标是通过扫描平台捕获的数据进行3D重建和新颖的观看综合,该平台在城市室外环境中常设世界映射(例如,街景)。给定一系列由摄像机和扫描仪通过室外场景的摄像机和扫描仪进行的序列,我们产生可以从中提取3D表面的模型,并且可以合成新颖的RGB图像。我们的方法扩展了神经辐射字段,已经证明了用于在受控设置中的小型场景中的逼真新颖的图像,用于利用异步捕获的LIDAR数据,用于寻址捕获图像之间的曝光变化,以及利用预测的图像分段来监督密度。在光线指向天空。这三个扩展中的每一个都在街道视图数据上的实验中提供了显着的性能改进。我们的系统产生最先进的3D表面重建,并与传统方法(例如〜Colmap)和最近的神经表示(例如〜MIP-NERF)相比,合成更高质量的新颖视图。
translated by 谷歌翻译
神经辐射字段(NERF)是一种用于高质量新颖观看综合的技术从一系列姿势输入图像。与大多数视图合成方法一样,NERF使用TONEMAPPED的低动态范围(LDR)作为输入;这些图像已经通过流畅的相机管道处理,平滑细节,剪辑突出显示,并扭曲了原始传感器数据的简单噪声分布。我们修改NERF以直接在线性原始图像直接培训,保持场景的完整动态范围。通过从生成的NERF渲染原始输出图像,我们可以执行新颖的高动态范围(HDR)视图综合任务。除了改变相机的观点外,我们还可以在事实之后操纵焦点,曝光和调度率。虽然单个原始图像显然比后处理的原始图像显着更大,但我们表明NERF对原始噪声的零平均分布非常强大。当优化许多嘈杂的原始输入(25-200)时,NERF会产生一个场景表示,如此准确的,即其呈现的新颖视图优于在同一宽基线输入图像上运行的专用单个和多像深生物丹机。因此,我们调用Rawnerf的方法可以从近黑暗中捕获的极其嘈杂的图像中重建场景。
translated by 谷歌翻译
虽然神经辐射场(NERF)已经证明了令人印象深刻的视图合成结果对物体和小型空间区域的结果,但它们在“无界”场景上挣扎,其中相机可以在任何方向上点,并且内容在任何距离处都存在。在此设置中,现有的形式的类似形式模型通常会产生模糊或低分辨率渲染(由于附近和远处物体的不平衡细节和规模),慢慢训练,并且由于任务的固有歧义而可能表现出伪影从一小部分图像重建大场景。我们介绍了MIP-NERF(一个NERF变体,用于解决采样和混叠的NERF变体),其使用非线性场景参数化,在线蒸馏和基于新的失真的常规程序来克服无限性场景所呈现的挑战。我们的模型,我们将“MIP-NERF 360”为瞄准相机围绕一点旋转360度的瞄准场景,与MIP NERF相比将平均平方误差减少54%,并且能够产生逼真的合成视图和用于高度复杂,无限性的现实景区的详细深度图。
translated by 谷歌翻译
综合照片 - 现实图像和视频是计算机图形的核心,并且是几十年的研究焦点。传统上,使用渲染算法(如光栅化或射线跟踪)生成场景的合成图像,其将几何形状和材料属性的表示为输入。统称,这些输入定义了实际场景和呈现的内容,并且被称为场景表示(其中场景由一个或多个对象组成)。示例场景表示是具有附带纹理的三角形网格(例如,由艺术家创建),点云(例如,来自深度传感器),体积网格(例如,来自CT扫描)或隐式曲面函数(例如,截短的符号距离)字段)。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关,并将思想与经典计算机图形和机器学习中的思想相结合,以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来,我们通过数百个出版物显示了这一领域的巨大进展,这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法,通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致,使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外,我们还涵盖了用于建模非刚性变形对象的神经场景表示...
translated by 谷歌翻译
神经记录的进展现在在前所未有的细节中研究神经活动的机会。潜在的变量模型(LVMS)是用于分析各种神经系统和行为的丰富活动的有希望的工具,因为LVM不依赖于活动与外部实验变量之间的已知关系。然而,目前缺乏标准化目前阻碍了对神经元群体活性的LVM进行的进展,导致采用临时方式进行和比较方法。为协调这些建模工作,我们为神经人群活动的潜在变量建模介绍了基准套件。我们从认知,感官和机动领域策划了四种神经尖峰活动的数据集,以促进适用于这些地区各地的各种活动的模型。我们将无监督的评估视为用于评估数据集的模型的共同框架,并应用几个显示基准多样性的基线。我们通过评估释放此基准。 http://neurallatents.github.io.
translated by 谷歌翻译
许多应用程序,例如移动机器人或自动车辆,使用LIDAR传感器获得有关其三维周围环境的详细信息。许多方法使用图像类似的凸起以有效地处理这些激光雷达测量并使用深卷积神经网络来预测扫描中的每个点的语义类。空间固定假设能够使用卷曲。然而,LIDAR扫描在垂直轴上表现出大的差异。因此,我们提出了半本地卷积(SLC),卷积层,沿垂直尺寸减少的重量分配量减少。我们首先要调查这种层独立于任何其他模型变化的层。我们的实验在细分或准确性方面没有显示出传统卷积层的任何改善。
translated by 谷歌翻译
功率曲线捕获风速与特定风力涡轮机的输出功率之间的关系。这种功能的准确回归模型在监控,维护,设计和规划方面证明是有用的。然而,在实践中,测量并不总是对应于理想曲线:电源缩减将显示为(附加)功能组件。这种多值关系不能通过常规回归建模,并且在预处理期间通常去除相关数据。目前的工作表明了一种替代方法,可以在缩减电力数据中推断多值关系。使用基于人群的方法,将概率回归模型的重叠混合应用于从操作风电场内的涡轮机记录的信号。示出了模型,以便在整个人口中提供精确的实际功率数据表示。
translated by 谷歌翻译
在过度参数化的深度神经网络中,可能有许多可能的参数配置,可以完全适合训练数据。然而,这些内插解决方案的性质理解得很差。我们认为,随机梯度血淋于训练的过度参数化神经网络受几何偶数的剃刀;也就是说,通过几何模型复杂性隐式规范这些网络。对于一维回归,几何模型复杂性仅由函数的电弧长度给出。对于高维设置,几何模型复杂性取决于功能的Dirichlet能量。我们探讨了这种几何偶数剃须刀,Dirichlet能量和其他已知形式的隐式正则化的关系。最后,对于在CiFar-10上培训的Resnets,我们观察到Dirichlet Energy测量与这种隐式几何偶数剃刀的动作一致。
translated by 谷歌翻译
本文提出了过渡动作张量,一种数据驱动的框架,它在运动数据集之外创建新颖和物理准确的转换。它使模拟字符能够有效且强大地采用新的运动技能而无需修改现有问题。考虑到几种专门从事不同运动的物理模拟的控制器,张量用作它们之间的过渡的时间指南。通过查询最佳拟合用户定义的偏好的转换的Tensor,我们可以创建一个能够产生新颖的转换和解决可能需要多个动作的复杂任务的统一控制器。我们在Quadrupeds和Biped上应用框架,对转换质量进行定量和定性评估,并在遵循用户控制指令时展示其解决复杂运动计划问题的能力。
translated by 谷歌翻译
机器人感知中的一个基本问题与循环闭合检测,放置识别,对象跟踪和地图融合等应用程序匹配相同的对象或数据。虽然当匹配应该在跨多个多模式数据集合时,问题变得更具挑战性,但在此设置中可以大大提高噪声和异常值在存在的匹配中的鲁棒性和准确性。目前,多式联运技术不利用多道信息,多道技术不包含不同的方式,导致较差的结果。相比之下,我们提出了一个原则的混合整数二次框架来解决这个问题。我们在投影梯度下降算法中使用新的连续放松,以有效地获得整数程序的可行解决方案。我们通过实验证明,从我们的方法获得的对应关系比最先进的技术更稳定。与最佳替代方案相比,我们的算法在Robotics DataSet上进行了测试,导致F1分数增加了35%。
translated by 谷歌翻译