在本文中，我们研究了重新参数光场的光谱特性。在先前对光场光谱（特别是提供采样指南）的研究之后，我们着重于光场的两个平面参数化。但是，我们通过允许图像平面倾斜并且不仅平行于图像平面来引入额外的灵活性。首先提出形式的理论分析，这表明更灵活的采样指南（即更宽的相机基线）可以在将图像平面方向适应场景几何形状时采样光场。然后，我们提出模拟和结果，以支持这些理论发现。尽管本文介绍的作品主要是理论上的，但我们认为这些新发现开放了令人兴奋的途径，用于更实际应用光场，例如视图合成或紧凑的表示。

Fast and easy handheld capture with guideline: closest object moves at most D pixels between views Promote sampled views to local light field via layered scene representation Blend neighboring local light fields to render novel views

本文旨在去除从稀疏 - 采样{4d}光场产生的整个焦点堆的锯齿效果，同时保持所有焦层的一致性。我们首先探讨侧侧侧叠层切片的结构特征及其相应的频域表示，即焦堆谱（FSS）。我们观察到，FSS的能量分布总是在不同的角度采样率下驻留在相同的三角形区域内，另外，点扩展功能（PSF）的连续性在FSS中固有地保持。基于这两种观察，我们提出了一种基于学习的FSS重建方法，用于在整个焦点堆叠上移除一次性混叠。此外，提出了一种新的共轭 - 对称损失函数来优化。与以前的作品相比，我们的方法避免了明确的深度估计，并且可以处理具有挑战性的大差异方案。合成和真实光场数据集的实验结果显示了不同场景和各种角度采样率的提出方法的优势。

We explore the problem of view synthesis from a narrow baseline pair of images, and focus on generating highquality view extrapolations with plausible disocclusions. Our method builds upon prior work in predicting a multiplane image (MPI), which represents scene content as a set of RGBα planes within a reference view frustum and renders novel views by projecting this content into the target viewpoints. We present a theoretical analysis showing how the range of views that can be rendered from an MPI increases linearly with the MPI disparity sampling frequency, as well as a novel MPI prediction procedure that theoretically enables view extrapolations of up to 4× the lateral viewpoint movement allowed by prior work. Our method ameliorates two specific issues that limit the range of views renderable by prior methods: 1) We expand the range of novel views that can be rendered without depth discretization artifacts by using a 3D convolutional network architecture along with a randomized-resolution training procedure to allow our model to predict MPIs with increased disparity sampling frequency. 2) We reduce the repeated texture artifacts seen in disocclusions by enforcing a constraint that the appearance of hidden content at any depth must be drawn from visible content at or behind that depth.

在本文中，我们为复杂场景进行了高效且强大的深度学习解决方案。在我们的方法中，3D场景表示为光场，即，一组光线，每组在到达图像平面时具有相应的颜色。对于高效的新颖视图渲染，我们采用了光场的双面参数化，其中每个光线的特征在于4D参数。然后，我们将光场配向作为4D函数，即将4D坐标映射到相应的颜色值。我们训练一个深度完全连接的网络以优化这种隐式功能并记住3D场景。然后，特定于场景的模型用于综合新颖视图。与以前需要密集的视野的方法不同，需要密集的视野采样来可靠地呈现新颖的视图，我们的方法可以通过采样光线来呈现新颖的视图并直接从网络查询每种光线的颜色，从而使高质量的灯场呈现稀疏集合训练图像。网络可以可选地预测每光深度，从而使诸如自动重新焦点的应用。我们的小说视图合成结果与最先进的综合结果相当，甚至在一些具有折射和反射的具有挑战性的场景中优越。我们在保持交互式帧速率和小的内存占地面积的同时实现这一点。

当前的极化3D重建方法，包括具有偏振文献的良好形状的方法，均在正交投影假设下开发。但是，在较大的视野中，此假设不存在，并且可能导致对此假设的方法发生重大的重建错误。为了解决此问题，我们介绍适用于透视摄像机的透视相位角（PPA）模型。与拼字法模型相比，提出的PPA模型准确地描述了在透视投影下极化相位角与表面正常之间的关系。此外，PPA模型使得仅从一个单视相位映射估算表面正态，并且不遭受所谓的{\ pi} - ambiguity问题。实际数据上的实验表明，PPA模型对于具有透视摄像机的表面正常估计比拼字法模型更准确。

神经领域对3D视觉任务的成功现在是无可争议的。遵循这种趋势，已经提出了几种旨在进行视觉定位的方法（例如，大满贯）使用神经场估算距离或密度场。但是，很难仅通过基于密度字段的方法（例如神经辐射场（NERF））实现较高的定位性能，因为它们在大多数空区域中不提供密度梯度。另一方面，基于距离场的方法，例如神经隐式表面（NEU）在物体表面形状中具有局限性。本文提出了神经密度距离场（NEDDF），这是一种新颖的3D表示，可相互约束距离和密度场。我们将距离场公式扩展到没有明确边界表面的形状，例如皮毛或烟雾，从而可以从距离场到密度场进行显式转换。通过显式转换实现的一致距离和密度字段使稳健性可以符合初始值和高质量的注册。此外，字段之间的一致性允许从稀疏点云中快速收敛。实验表明，NEDDF可以实现较高的定位性能，同时在新型视图合成中提供可比的结果。该代码可在https://github.com/ueda0319/neddf上找到。

Lensless cameras are a class of imaging devices that shrink the physical dimensions to the very close vicinity of the image sensor by replacing conventional compound lenses with integrated flat optics and computational algorithms. Here we report a diffractive lensless camera with spatially-coded Voronoi-Fresnel phase to achieve superior image quality. We propose a design principle of maximizing the acquired information in optics to facilitate the computational reconstruction. By introducing an easy-to-optimize Fourier domain metric, Modulation Transfer Function volume (MTFv), which is related to the Strehl ratio, we devise an optimization framework to guide the optimization of the diffractive optical element. The resulting Voronoi-Fresnel phase features an irregular array of quasi-Centroidal Voronoi cells containing a base first-order Fresnel phase function. We demonstrate and verify the imaging performance for photography applications with a prototype Voronoi-Fresnel lensless camera on a 1.6-megapixel image sensor in various illumination conditions. Results show that the proposed design outperforms existing lensless cameras, and could benefit the development of compact imaging systems that work in extreme physical conditions.

The vast majority of Shape-from-Polarization (SfP) methods work under the oversimplified assumption of using orthographic cameras. Indeed, it is still not well understood how to project the Stokes vectors when the incoming rays are not orthogonal to the image plane. We try to answer this question presenting a geometric model describing how a general projective camera captures the light polarization state. Based on the optical properties of a tilted polarizer, our model is implemented as a pre-processing operation acting on raw images, followed by a per-pixel rotation of the reconstructed normal field. In this way, all the existing SfP methods assuming orthographic cameras can behave like they were designed for projective ones. Moreover, our model is consistent with state-of-the-art forward and inverse renderers (like Mitsuba3 and ART), intrinsically enforces physical constraints among the captured channels, and handles demosaicing of DoFP sensors. Experiments on existing and new datasets demonstrate the accuracy of the model when applied to commercially available polarimetric cameras.

机器学习的最近进步已经创造了利用一类基于坐标的神经网络来解决视觉计算问题的兴趣，该基于坐标的神经网络在空间和时间跨空间和时间的场景或对象的物理属性。我们称之为神经领域的这些方法已经看到在3D形状和图像的合成中成功应用，人体的动画，3D重建和姿势估计。然而，由于在短时间内的快速进展，许多论文存在，但尚未出现全面的审查和制定问题。在本报告中，我们通过提供上下文，数学接地和对神经领域的文学进行广泛综述来解决这一限制。本报告涉及两种维度的研究。在第一部分中，我们通过识别神经字段方法的公共组件，包括不同的表示，架构，前向映射和泛化方法来专注于神经字段的技术。在第二部分中，我们专注于神经领域的应用在视觉计算中的不同问题，超越（例如，机器人，音频）。我们的评论显示了历史上和当前化身的视觉计算中已覆盖的主题的广度，展示了神经字段方法所带来的提高的质量，灵活性和能力。最后，我们展示了一个伴随着贡献本综述的生活版本，可以由社区不断更新。

可微分的渲染是现代视觉中的重要操作，允许在现代机器学习框架中使用逆图形方法3D理解。显式形状表示（体素，点云或网格），而相对容易呈现，通常遭受有限的几何保真度或拓扑限制。另一方面，隐式表示（占用，距离或辐射字段）保持更大的保真度，但遭受复杂或低效的渲染过程，限制可扩展性。在这项工作中，我们努力解决具有新颖形状表示的缺点，允许在隐式架构内快速可分辨地渲染。构建隐式距离表示，我们定义了指向距离字段（DDF），将定向点（位置和方向）映射到表面可见性和深度。这种场可以通过网络衍生物能够使差分表面几何提取（例如，表面法线和曲率）能够容易地构成，并且允许提取经典无符号距离场。使用概率DDFS（PDDFS），我们展示了如何模拟底层字段中固有的不连续性。最后，我们将方法应用于拟合单一形状，未配对的3D感知生成图像建模和单像3D重建任务，通过我们表示的多功能性展示具有简单架构组件的强大性能。

本文提出了一种用等值的全向图像重建神经辐射场的方法。带有辐射场的隐式神经场景表示可以在有限的空间区域内连续重建场景的3D形状。但是，培训商用PC硬件的完全隐式表示需要大量时间和计算资源（15 $ \ sim $ 20小时每场景20小时）。因此，我们提出了一种显着加速此过程的方法（每个场景20 $ \ sim $ 40分钟）。我们采用特征体素，而不是使用辐射场重建的光线的完全隐式表示，而是在张量中包含密度和颜色特征的特征体素。考虑全向等值输入和相机布局，我们使用球形素化来表示表示而不是立方表示。我们的体素化方法可以平衡内部场景和外部场景的重建质量。此外，我们在颜色特征上采用了与轴对准的位置编码方法，以提高总图像质量。我们的方法可以在随机摄像头姿势上实现满足合成数据集的经验性能。此外，我们使用包含复杂几何形状并实现最先进性能的真实场景测试我们的方法。我们的代码和完整数据集将与纸质出版物同时发布。

新型视图综合的古典光场渲染可以准确地再现视图依赖性效果，例如反射，折射和半透明，但需要一个致密的视图采样的场景。基于几何重建的方法只需要稀疏的视图，但不能准确地模拟非兰伯语的效果。我们介绍了一个模型，它结合了强度并减轻了这两个方向的局限性。通过在光场的四维表示上操作，我们的模型学会准确表示依赖视图效果。通过在训练和推理期间强制执行几何约束，从稀疏的视图集中毫无屏蔽地学习场景几何。具体地，我们介绍了一种基于两级变压器的模型，首先沿着ePipoll线汇总特征，然后沿参考视图聚合特征以产生目标射线的颜色。我们的模型在多个前进和360 {\ DEG}数据集中优于最先进的，具有较大的差别依赖变化的场景更大的边缘。

由于摄像机外壳引起的水 - 空气界面处的光线非线性折射，恢复水下场景的3D几何是具有挑战性的。我们提出了一种基于光场的方法，从单个观点来利用角度样本的性能进行高质量的水下3D重建。具体地，我们将光场图像重新采样到角贴片。由于水下场景表现出弱视图依赖性镜面，在正确的深度上采样时，角度贴片趋于具有均匀的强度。因此，我们将这种角度均匀施加为深度估计的约束。为了高效角度重采样，我们设计一种基于多变量多项式回归的快速近似算法，以实现近似非线性折射路径。我们进一步开发了一种轻场校准算法，估计水上空气接口几何形状以及相机参数。综合性和真实数据的综合实验表明我们的方法在静态和动态水下场景中产生了最先进的重建。

View-dependent effects such as reflections pose a substantial challenge for image-based and neural rendering algorithms. Above all, curved reflectors are particularly hard, as they lead to highly non-linear reflection flows as the camera moves. We introduce a new point-based representation to compute Neural Point Catacaustics allowing novel-view synthesis of scenes with curved reflectors, from a set of casually-captured input photos. At the core of our method is a neural warp field that models catacaustic trajectories of reflections, so complex specular effects can be rendered using efficient point splatting in conjunction with a neural renderer. One of our key contributions is the explicit representation of reflections with a reflection point cloud which is displaced by the neural warp field, and a primary point cloud which is optimized to represent the rest of the scene. After a short manual annotation step, our approach allows interactive high-quality renderings of novel views with accurate reflection flow. Additionally, the explicit representation of reflection flow supports several forms of scene manipulation in captured scenes, such as reflection editing, cloning of specular objects, reflection tracking across views, and comfortable stereo viewing. We provide the source code and other supplemental material on https://repo-sam.inria.fr/ fungraph/neural_catacaustics/

神经辐射场（NERFS）产生最先进的视图合成结果。然而，它们慢渲染，需要每像素数百个网络评估，以近似卷渲染积分。将nerfs烘烤到明确的数据结构中实现了有效的渲染，但导致内存占地面积的大幅增加，并且在许多情况下，质量降低。在本文中，我们提出了一种新的神经光场表示，相反，相反，紧凑，直接预测沿线的集成光线。我们的方法支持使用每个像素的单个网络评估，用于小基线光场数据集，也可以应用于每个像素的几个评估的较大基线。在我们的方法的核心，是一个光线空间嵌入网络，将4D射线空间歧管映射到中间可间可动子的潜在空间中。我们的方法在诸如斯坦福光场数据集等密集的前置数据集中实现了最先进的质量。此外，对于带有稀疏输入的面对面的场景，我们可以在质量方面实现对基于NERF的方法具有竞争力的结果，同时提供更好的速度/质量/内存权衡，网络评估较少。

where the highest resolution is required, using facial performance capture as a case in point.

我们介绍了一种新的图像取证方法：将物理折射物（我们称为图腾）放入场景中，以保护该场景拍摄的任何照片。图腾弯曲并重定向光线，因此在单个图像中提供了多个（尽管扭曲）的多个（尽管扭曲）。防守者可以使用这些扭曲的图腾像素来检测是否已操纵图像。我们的方法通过估计场景中的位置并使用其已知的几何和材料特性来估算其位置，从而使光线通过图腾的光线不十障。为了验证图腾保护的图像，我们从图腾视点重建的场景与场景的外观从相机的角度来检测到不一致之处。这样的方法使对抗性操纵任务更加困难，因为对手必须以几何一致的方式对图腾和图像像素进行修改，而又不知道图腾的物理特性。与先前的基于学习的方法不同，我们的方法不需要在特定操作的数据集上进行培训，而是使用场景和相机的物理属性来解决取证问题。

使用FASS-MVS，我们提出了一种具有表面感知半全局匹配的快速多视图立体声的方法，其允许从UAV捕获的单眼航空视频数据中快速深度和正常地图估计。反过来，由FASS-MVS估计的数据促进在线3D映射，这意味着在获取或接收到图像数据时立即和递增地生成场景的3D地图。 FASS-MVS由分层处理方案组成，其中深度和正常数据以及相应的置信度分数以粗略的方式估计，允许有效地处理由倾斜图像所固有的大型场景深度低无人机。实际深度估计采用用于致密多图像匹配的平面扫描算法，以产生深度假设，通过表面感知半全局优化来提取实际深度图，从而减少了SGM的正平行偏压。给定估计的深度图，然后通过将深度图映射到点云中并计算狭窄的本地邻域内的普通向量来计算像素 - 方面正常信息。在彻底的定量和消融研究中，我们表明，由FASS-MV计算的3D信息的精度接近离线多视图立体声的最先进方法，误差甚至没有一个幅度而不是科麦。然而，同时，FASS-MVS的平均运行时间估计单个深度和正常地图的距离小于ColMAP的14％，允许在1-中执行全高清图像的在线和增量处理2 Hz。

我们解决了从2D图像的集合中生成新颖图像的问题，显示了折射率和反射性物体。当前溶液在排放模型之后采用不透明或透明的光传输。取而代之的是，我们优化了折射率（IOR）的3D变量指数的领域，并通过它痕迹光线根据eikonal Light Transfers的定律弯曲朝向上述IOR的空间梯度弯曲。