为了帮助代理在其构建块方面的场景的原因，我们希望提取任何给定场景的组成结构（特别是包括场景的对象的配置和特征）。当需要推断出现在代理的位置/观点的同时需要推断场景结构时，这个问题特别困难，因为两个变量共同引起代理人的观察。我们提出了一个无监督的变分方法来解决这个问题。利用不同场景存在的共享结构，我们的模型学会从RGB视频输入推断出两组潜在表示：一组“对象”潜伏，对应于场景的时间不变，对象级内容，如以及一组“帧”潜伏，对应于全局时变元素，例如视点。这种潜水所的分解允许我们的模型Simone，以单独的方式表示对象属性，其不依赖于视点。此外，它允许我们解解对象动态，并将其轨迹总结为时间抽象的，查看 - 不变，每个对象属性。我们在三个程序生成的视频数据集中展示了这些功能，以及在查看合成和实例分段方面的模型的性能。

以对象为中心的表示是通过提供柔性抽象可以在可以建立的灵活性抽象来实现更系统的推广的有希望的途径。最近的简单2D和3D数据集的工作表明，具有对象的归纳偏差的模型可以学习段，并代表单独的数据的统计结构中的有意义对象，而无需任何监督。然而，尽管使用越来越复杂的感应偏差（例如，用于场景的尺寸或3D几何形状），但这种完全无监督的方法仍然无法扩展到不同的现实数据。在本文中，我们采取了弱监督的方法，并专注于如何使用光流的形式的视频数据的时间动态，2）调节在简单的对象位置上的模型可以用于启用分段和跟踪对象在明显更现实的合成数据中。我们介绍了一个顺序扩展，以便引入我们训练的推出，我们训练用于预测现实看的合成场景的光流，并显示调节该模型的初始状态在一小组提示，例如第一帧中的物体的质量中心，是足以显着改善实例分割。这些福利超出了新型对象，新颖背景和更长的视频序列的培训分配。我们还发现，在推论期间可以使用这种初始状态调节作为对特定物体或物体部分的型号查询模型，这可能会为一系列弱监管方法铺平，并允许更有效的互动训练有素的型号。

从物体及其在3D空间中的几何形状方面对世界的组成理解被认为是人类认知的基石。促进神经网络中这种表示形式的学习有望实质上提高标记的数据效率。作为朝着这个方向发展的关键步骤，我们在学习3D一致的复杂场景分解的问题上取得了进展，以无监督的方式将复杂场景分解为单个对象。我们介绍对象场景表示变压器（OSRT），这是一个以3D为中心的模型，其中各个对象表示通过新颖的视图合成自然出现。 OSRT比现有方法更为复杂，具有更大的对象和背景的复杂场景。同时，由于其光场参数化和新型的插槽混合器解码器，它在组成渲染时的多个数量级更快。我们认为，这项工作不仅将加速未来的建筑探索和扩展工作，而且还将成为以对象为中心和神经场景表示社区的有用工具。

视觉世界可以以稀疏相互作用的不同实体来嘲笑。在动态视觉场景中发现这种组合结构已被证明对端到端的计算机视觉方法有挑战，除非提供明确的实例级别的监督。利用运动提示的基于老虎机的模型最近在学习代表，细分和跟踪对象的情况下没有直接监督显示了巨大的希望，但是它们仍然无法扩展到复杂的现实世界多对象视频。为了弥合这一差距，我们从人类发展中汲取灵感，并假设以深度信号形式的场景几何形状的信息可以促进以对象为中心的学习。我们介绍了一种以对象为中心的视频模型SAVI ++，该模型经过训练，可以预测基于插槽的视频表示的深度信号。通过进一步利用模型缩放的最佳实践，我们能够训练SAVI ++以细分使用移动摄像机记录的复杂动态场景，其中包含在自然主义背景上具有不同外观的静态和移动对象，而无需进行分割监督。最后，我们证明，通过使用从LIDAR获得的稀疏深度信号，Savi ++能够从真实World Waymo Open DataSet中的视频中学习新兴对象细分和跟踪。

Human perception is structured around objects which form the basis for our higher-level cognition and impressive systematic generalization abilities. Yet most work on representation learning focuses on feature learning without even considering multiple objects, or treats segmentation as an (often supervised) preprocessing step. Instead, we argue for the importance of learning to segment and represent objects jointly. We demonstrate that, starting from the simple assumption that a scene is composed of multiple entities, it is possible to learn to segment images into interpretable objects with disentangled representations. Our method learns -without supervision -to inpaint occluded parts, and extrapolates to scenes with more objects and to unseen objects with novel feature combinations. We also show that, due to the use of iterative variational inference, our system is able to learn multi-modal posteriors for ambiguous inputs and extends naturally to sequences.

我们提出了一个无监督的中心生成模型，该模型以无监督的方式从RGB-D视频中学习3D对象。受到2D表示学习的先前艺术的启发，Obpose认为是分解的潜在空间，分别编码对象的位置（其中）和外观（什么）信息。尤其是，Obpose利用对象的规范姿势，通过最小体积原理定义为一种新的感应偏见，用于学习其中的分量。为了实现这一目标，我们提出了一种有效的，体素化的近似方法，直接从神经辐射场（NERF）恢复对象形状。结果，无声的场景将场景作为代表各个对象的NERF的组成。当在YCB数据集上评估无监督场景细分时，Obpose的表现优于3D场景推理中最新的最新艺术（痴迷）在视频输入以及多视频静态静态静态静态质量方面的细分质量方面有很大的差距场景。此外，在Obpose编码器中做出的设计选择通过相关消融验证。

以对象表示的学习背后的想法是，自然场景可以更好地建模为对象的组成及其关系，而不是分布式表示形式。可以将这种归纳偏置注入神经网络中，以可能改善具有多个对象的场景中下游任务的系统概括和性能。在本文中，我们在五个常见的多对象数据集上训练最先进的无监督模型，并评估细分指标和下游对象属性预测。此外，我们通过调查单个对象不超出分布的设置（例如，具有看不见的颜色，质地或形状或场景的全局属性）来研究概括和鲁棒性，例如，通过闭塞来改变，裁剪或增加对象的数量。从我们的实验研究中，我们发现以对象为中心的表示对下游任务很有用，并且通常对影响对象的大多数分布转移有用。但是，当分布转移以较低结构化的方式影响输入时，在模型和分布转移的情况下，分割和下游任务性能的鲁棒性可能会有很大差异。

学习以上对象的场景表示对于实现复杂场景的结构理解和抽象至关重要。然而，由于目前为无监督的对象表示学习的方法建立在静止观察者假设或静态场景假设之上，它们通常是：i）遭受单视图空间歧义，或ii）从动态场景中不正确或不准确的对象表示。为了解决此问题，我们提出了动态感知的多目标网络（DYMON），这是一种扩展多视图以对象的表示学习学习到动态场景的方法的方法。我们在多视图 - 动态场景数据上训练Dymon，并显示Dymon学习 - 没有监督 - 从一系列观察序列来构建观察者动作和场景对象动态的纠缠效果，并构建适合渲染的场景对象空间表示在任意次（跨时间查询）和任意视点（查询空间）。我们还显示分解场景表示（W.R.T.对象）支持通过独立和时间通过空间和时间查询单个对象。

Learning object-centric representations of complex scenes is a promising step towards enabling efficient abstract reasoning from low-level perceptual features. Yet, most deep learning approaches learn distributed representations that do not capture the compositional properties of natural scenes. In this paper, we present the Slot Attention module, an architectural component that interfaces with perceptual representations such as the output of a convolutional neural network and produces a set of task-dependent abstract representations which we call slots. These slots are exchangeable and can bind to any object in the input by specializing through a competitive procedure over multiple rounds of attention. We empirically demonstrate that Slot Attention can extract object-centric representations that enable generalization to unseen compositions when trained on unsupervised object discovery and supervised property prediction tasks.

学习以上对象的多对象场景表示是对机器智能的有希望的方法，促进了从视觉感觉数据的高级推理和控制。然而，对无监督以上的对象的场景表示的电流方法无法从场景的多个观察中聚合信息。结果，这些“单视图”方法仅基于单个2D观察（视图）形成其3D场景的表示。当然，这导致了几种不准确性，这些方法将受害者下降到单视空间歧义。为了解决此问题，我们提出了多视图和多目标网络（MULMON） - 一种通过利用多个视图学习准确，对象形式的对象场景的表示方法。为了索取跨视图的多对象多视图方案 - 维护对象对象的主要技术难度 - 云母迭代更新多个视图上的场景的潜在对象表示。为了确保这些迭代更新确实汇总空间信息以形成完整的3D场景理解，因此被要求在训练期间从新的观点来预测场景的外观。通过实验，我们表明云母更好地解决了空间歧义，而不是单视图 - 学习更准确和解散的对象表示 - 并且还实现了预测新颖观点的对象分段的新功能。

不确定性在未来预测中起关键作用。未来是不确定的。这意味着可能有很多可能的未来。未来的预测方法应涵盖坚固的全部可能性。在自动驾驶中，涵盖预测部分中的多种模式对于做出安全至关重要的决策至关重要。尽管近年来计算机视觉系统已大大提高，但如今的未来预测仍然很困难。几个示例是未来的不确定性，全面理解的要求以及嘈杂的输出空间。在本论文中，我们通过以随机方式明确地对运动进行建模并学习潜在空间中的时间动态，从而提出了解决这些挑战的解决方案。

计算机愿景中的经典问题是推断从几个可用于以交互式速率渲染新颖视图的图像的3D场景表示。以前的工作侧重于重建预定定义的3D表示，例如，纹理网格或隐式表示，例如隐式表示。辐射字段，并且通常需要输入图像，具有精确的相机姿势和每个新颖场景的长处理时间。在这项工作中，我们提出了场景表示变换器（SRT），一种方法，该方法处理新的区域的构成或未铺设的RGB图像，Infers Infers“设置 - 潜在场景表示”，并合成新颖的视图，全部在一个前馈中经过。为了计算场景表示，我们提出了视觉变压器的概括到图像组，实现全局信息集成，从而实现3D推理。一个有效的解码器变压器通过参加场景表示来参加光场以呈现新颖的视图。通过最大限度地减少新型视图重建错误，学习是通过最终到底的。我们表明，此方法在PSNR和Synthetic DataSets上的速度方面优于最近的基线，包括为纸张创建的新数据集。此外，我们展示了使用街景图像支持现实世界户外环境的交互式可视化和语义分割。

生成模型已成为许多图像合成和编辑任务的基本构件。该领域的最新进展还使得能够生成具有多视图或时间一致性的高质量3D或视频内容。在我们的工作中，我们探索了学习无条件生成3D感知视频的4D生成对抗网络（GAN）。通过将神经隐式表示与时间感知歧视器相结合，我们开发了一个GAN框架，该框架仅通过单眼视频进行监督的3D视频。我们表明，我们的方法学习了可分解的3D结构和动作的丰富嵌入，这些结构和动作可以使时空渲染的新视觉效果，同时以与现有3D或视频gan相当的质量产生图像。

We present a framework for efficient inference in structured image models that explicitly reason about objects. We achieve this by performing probabilistic inference using a recurrent neural network that attends to scene elements and processes them one at a time. Crucially, the model itself learns to choose the appropriate number of inference steps. We use this scheme to learn to perform inference in partially specified 2D models (variable-sized variational auto-encoders) and fully specified 3D models (probabilistic renderers). We show that such models learn to identify multiple objects -counting, locating and classifying the elements of a scenewithout any supervision, e.g., decomposing 3D images with various numbers of objects in a single forward pass of a neural network at unprecedented speed. We further show that the networks produce accurate inferences when compared to supervised counterparts, and that their structure leads to improved generalization.

We address the problem of synthesizing novel views from a monocular video depicting a complex dynamic scene. State-of-the-art methods based on temporally varying Neural Radiance Fields (aka dynamic NeRFs) have shown impressive results on this task. However, for long videos with complex object motions and uncontrolled camera trajectories, these methods can produce blurry or inaccurate renderings, hampering their use in real-world applications. Instead of encoding the entire dynamic scene within the weights of an MLP, we present a new approach that addresses these limitations by adopting a volumetric image-based rendering framework that synthesizes new viewpoints by aggregating features from nearby views in a scene-motion-aware manner. Our system retains the advantages of prior methods in its ability to model complex scenes and view-dependent effects, but also enables synthesizing photo-realistic novel views from long videos featuring complex scene dynamics with unconstrained camera trajectories. We demonstrate significant improvements over state-of-the-art methods on dynamic scene datasets, and also apply our approach to in-the-wild videos with challenging camera and object motion, where prior methods fail to produce high-quality renderings. Our project webpage is at dynibar.github.io.

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

Figure 1. Given a monocular image sequence, NR-NeRF reconstructs a single canonical neural radiance field to represent geometry and appearance, and a per-time-step deformation field. We can render the scene into a novel spatio-temporal camera trajectory that significantly differs from the input trajectory. NR-NeRF also learns rigidity scores and correspondences without direct supervision on either. We can use the rigidity scores to remove the foreground, we can supersample along the time dimension, and we can exaggerate or dampen motion.

Scene representation-the process of converting visual sensory data into concise descriptions-is a requirement for intelligent behavior. Recent work has shown that neural networks excel at this task when provided with large, labeled datasets. However, removing the reliance on human labeling remains an important open problem. To this end, we introduce the Generative Query Network (GQN), a framework within which machines learn to represent scenes using only their own sensors. The GQN takes as input images of a scene taken from different viewpoints, constructs an internal representation, and uses this representation to predict the appearance of that scene from previously unobserved viewpoints. The GQN demonstrates representation learning without human labels or domain knowledge, paving the way toward machines that autonomously learn to understand the world around them.

我们提出了一种从基于隐式对象编码器，神经辐射字段（NERFS）和图神经网络的图像观测值中学习组成多对象动力学模型的方法。由于其强大的3D先验，NERF已成为代表场景的流行选择。但是，大多数NERF方法都在单个场景上进行了训练，以全球模型代表整个场景，从而对新型场景进行概括，其中包含不同数量的对象，具有挑战性。取而代之的是，我们提出了一个以对象为中心的自动编码器框架，该框架将场景的多个视图映射到一组分别表示每个对象的潜在向量。潜在矢量参数化可以从中重建场景的单个nerf。基于那些潜在向量，我们在潜在空间中训练图形神经网络动力学模型，以实现动力学预测的组成性。我们方法的一个关键特征是，潜在向量被迫通过NERF解码器编码3D信息，这使我们能够在学习动力学模型中纳入结构先验，从而使长期预测与多个基线相比更加稳定。模拟和现实世界的实验表明，我们的方法可以建模和学习构图场景的动态，包括刚性和可变形对象。视频：https：//dannydriess.github.io/compnerfdyn/