Underwater images are altered by the physical characteristics of the medium through which light rays pass before reaching the optical sensor. Scattering and strong wavelength-dependent absorption significantly modify the captured colors depending on the distance of observed elements to the image plane. In this paper, we aim to recover the original colors of the scene as if the water had no effect on them. We propose two novel methods that rely on different sets of inputs. The first assumes that pixel intensities in the restored image are normally distributed within each color channel, leading to an alternative optimization of the well-known \textit{Sea-thru} method which acts on single images and their distance maps. We additionally introduce SUCRe, a new method that further exploits the scene's 3D Structure for Underwater Color Restoration. By following points in multiple images and tracking their intensities at different distances to the sensor we constrain the optimization of the image formation model parameters. When compared to similar existing approaches, SUCRe provides clear improvements in a variety of scenarios ranging from natural light to deep-sea environments. The code for both approaches is publicly available at https://github.com/clementinboittiaux/sucre .

水下成像是海洋机器人执行的一项关键任务，用于广泛的应用，包括水产养殖，海洋基础设施检查和环境监测。但是，水柱的影响（例如衰减和反向散射）会大大改变捕获的水下图像的颜色和质量。由于水条件的变化和这些影响的范围依赖性，恢复水下图像是一个具有挑战性的问题。这会影响下游感知任务，包括深度估计和3D重建。在本文中，我们推进了神经辐射场（NERFS）的最先进，以实现物理信息密集的深度估计和颜色校正。我们提出的方法Waternerf估计了水下图像形成的基于物理的模型的参数，从而导致混合数据驱动和基于模型的解决方案。在确定了场景结构和辐射场之后，我们可以产生降级和校正的水下图像的新颖观点，以及场景的密集深度。我们对实际水下数据集进行定性和定量评估所提出的方法。

传统上，本征成像或内在图像分解被描述为将图像分解为两层：反射率，材料的反射率;和一个阴影，由光和几何之间的相互作用产生。近年来，深入学习技术已广泛应用，以提高这些分离的准确性。在本调查中，我们概述了那些在知名内在图像数据集和文献中使用的相关度量的结果，讨论了预测所需的内在图像分解的适用性。虽然Lambertian的假设仍然是许多方法的基础，但我们表明，对图像形成过程更复杂的物理原理组件的潜力越来越意识到，这是光学准确的材料模型和几何形状，更完整的逆轻型运输估计。考虑使用的前瞻和模型以及驾驶分解过程的学习架构和方法，我们将这些方法分类为分解的类型。考虑到最近神经，逆和可微分的渲染技术的进步，我们还提供了关于未来研究方向的见解。

在水下活动期间获得的图像遭受了水的环境特性，例如浊度和衰减。这些现象会导致颜色失真，模糊和对比度减少。另外，不规则的环境光分布会导致色道不平衡和具有高强度像素的区域。最近的作品与水下图像增强有关，并基于深度学习方法，解决了缺乏生成合成基地真相的配对数据集。在本文中，我们提出了一种基于深度学习的水下图像增强的自我监督学习方法，不需要配对的数据集。提出的方法估计了水下图像中存在的降解。此外，自动编码器重建此图像，并使用估计的降解信息降解其输出图像。因此，该策略在训练阶段的损失函数中用降级版本代替了输出图像。此过程\ textIt {Misleads}学会补偿其他降解的神经网络。结果，重建的图像是输入图像的增强版本。此外，该算法还提出了一个注意模块，以减少通过颜色通道不平衡和异常区域在增强图像中产生的高强度区域。此外，提出的方法不需要基本真实。此外，仅使用真实的水下图像来训练神经网络，结果表明该方法在颜色保存，颜色铸造降低和对比度改进方面的有效性。

神经辐射字段（NERF）是一种用于高质量新颖观看综合的技术从一系列姿势输入图像。与大多数视图合成方法一样，NERF使用TONEMAPPED的低动态范围（LDR）作为输入;这些图像已经通过流畅的相机管道处理，平滑细节，剪辑突出显示，并扭曲了原始传感器数据的简单噪声分布。我们修改NERF以直接在线性原始图像直接培训，保持场景的完整动态范围。通过从生成的NERF渲染原始输出图像，我们可以执行新颖的高动态范围（HDR）视图综合任务。除了改变相机的观点外，我们还可以在事实之后操纵焦点，曝光和调度率。虽然单个原始图像显然比后处理的原始图像显着更大，但我们表明NERF对原始噪声的零平均分布非常强大。当优化许多嘈杂的原始输入（25-200）时，NERF会产生一个场景表示，如此准确的，即其呈现的新颖视图优于在同一宽基线输入图像上运行的专用单个和多像深生物丹机。因此，我们调用Rawnerf的方法可以从近黑暗中捕获的极其嘈杂的图像中重建场景。

椭圆测量技术允许测量材料的极化信息，需要具有不同灯和传感器配置的光学组件的精确旋转。这会导致繁琐的捕获设备，在实验室条件下仔细校准，并且在很长的获取时间，通常按照每个物体几天的顺序。最近的技术允许捕获偏振偏光的反射率信息，但仅限于单个视图，或涵盖所有视图方向，但仅限于单个均匀材料制成的球形对象。我们提出了稀疏椭圆测量法，这是一种便携式偏光获取方法，同时同时捕获极化SVBRDF和3D形状。我们的手持设备由现成的固定光学组件组成。每个物体的总收购时间在二十分钟之间变化，而不是天数。我们开发了一个完整的极化SVBRDF模型，其中包括分散和镜面成分以及单个散射，并通过生成模型来设计一种新型的极化逆渲染算法，并通过数据增强镜面反射样品的数据增强。我们的结果表明，与现实世界对象捕获的极化BRDF的最新基础数据集有很强的一致性。

Modern mobile burst photography pipelines capture and merge a short sequence of frames to recover an enhanced image, but often disregard the 3D nature of the scene they capture, treating pixel motion between images as a 2D aggregation problem. We show that in a "long-burst", forty-two 12-megapixel RAW frames captured in a two-second sequence, there is enough parallax information from natural hand tremor alone to recover high-quality scene depth. To this end, we devise a test-time optimization approach that fits a neural RGB-D representation to long-burst data and simultaneously estimates scene depth and camera motion. Our plane plus depth model is trained end-to-end, and performs coarse-to-fine refinement by controlling which multi-resolution volume features the network has access to at what time during training. We validate the method experimentally, and demonstrate geometrically accurate depth reconstructions with no additional hardware or separate data pre-processing and pose-estimation steps.

where the highest resolution is required, using facial performance capture as a case in point.

尽管通过自学意识到，基于多层感知的方法在形状和颜色恢复方面取得了令人鼓舞的结果，但在学习深层隐式表面表示方面通常会遭受沉重的计算成本。由于渲染每个像素需要一个向前的网络推断，因此合成整个图像是非常密集的。为了应对这些挑战，我们提出了一种有效的粗到精细方法，以从本文中从多视图中恢复纹理网格。具体而言，采用可区分的泊松求解器来表示对象的形状，该求解器能够产生拓扑 - 敏捷和水密表面。为了说明深度信息，我们通过最小化渲染网格与多视图立体声预测深度之间的差异来优化形状几何形状。与形状和颜色的隐式神经表示相反，我们引入了一种基于物理的逆渲染方案，以共同估计环境照明和对象的反射率，该方案能够实时呈现高分辨率图像。重建的网格的质地是从可学习的密集纹理网格中插值的。我们已经对几个多视图立体数据集进行了广泛的实验，其有希望的结果证明了我们提出的方法的功效。该代码可在https://github.com/l1346792580123/diff上找到。

We propose a method for in-hand 3D scanning of an unknown object from a sequence of color images. We cast the problem as reconstructing the object surface from un-posed multi-view images and rely on a neural implicit surface representation that captures both the geometry and the appearance of the object. By contrast with most NeRF-based methods, we do not assume that the camera-object relative poses are known and instead simultaneously optimize both the object shape and the pose trajectory. As global optimization over all the shape and pose parameters is prone to fail without coarse-level initialization of the poses, we propose an incremental approach which starts by splitting the sequence into carefully selected overlapping segments within which the optimization is likely to succeed. We incrementally reconstruct the object shape and track the object poses independently within each segment, and later merge all the segments by aligning poses estimated at the overlapping frames. Finally, we perform a global optimization over all the aligned segments to achieve full reconstruction. We experimentally show that the proposed method is able to reconstruct the shape and color of both textured and challenging texture-less objects, outperforms classical methods that rely only on appearance features, and its performance is close to recent methods that assume known camera poses.

神经网络可以表示和准确地重建静态3D场景的辐射场（例如，NERF）。有几种作品将这些功能扩展到用单眼视频捕获的动态场景，具有很有希望的性能。然而，已知单眼设置是一个受限制的问题，因此方法依赖于数据驱动的前导者来重建动态内容。我们用飞行时间（TOF）相机的测量来替换这些前沿，并根据连续波TOF相机的图像形成模型引入神经表示。我们而不是使用加工的深度映射，我们模拟了原始的TOF传感器测量，以改善重建质量，避免低反射区域，多路径干扰和传感器的明确深度范围的问题。我们表明，这种方法改善了动态场景重建对错误校准和大型运动的鲁棒性，并讨论了现在可在现代智能手机上提供的RGB + TOF传感器的好处和限制。

A polarization camera has great potential for 3D reconstruction since the angle of polarization (AoP) and the degree of polarization (DoP) of reflected light are related to an object's surface normal. In this paper, we propose a novel 3D reconstruction method called Polarimetric Multi-View Inverse Rendering (Polarimetric MVIR) that effectively exploits geometric, photometric, and polarimetric cues extracted from input multi-view color-polarization images. We first estimate camera poses and an initial 3D model by geometric reconstruction with a standard structure-from-motion and multi-view stereo pipeline. We then refine the initial model by optimizing photometric rendering errors and polarimetric errors using multi-view RGB, AoP, and DoP images, where we propose a novel polarimetric cost function that enables an effective constraint on the estimated surface normal of each vertex, while considering four possible ambiguous azimuth angles revealed from the AoP measurement. The weight for the polarimetric cost is effectively determined based on the DoP measurement, which is regarded as the reliability of polarimetric information. Experimental results using both synthetic and real data demonstrate that our Polarimetric MVIR can reconstruct a detailed 3D shape without assuming a specific surface material and lighting condition.

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

由于摄像机外壳引起的水 - 空气界面处的光线非线性折射，恢复水下场景的3D几何是具有挑战性的。我们提出了一种基于光场的方法，从单个观点来利用角度样本的性能进行高质量的水下3D重建。具体地，我们将光场图像重新采样到角贴片。由于水下场景表现出弱视图依赖性镜面，在正确的深度上采样时，角度贴片趋于具有均匀的强度。因此，我们将这种角度均匀施加为深度估计的约束。为了高效角度重采样，我们设计一种基于多变量多项式回归的快速近似算法，以实现近似非线性折射路径。我们进一步开发了一种轻场校准算法，估计水上空气接口几何形状以及相机参数。综合性和真实数据的综合实验表明我们的方法在静态和动态水下场景中产生了最先进的重建。

We introduce an approach for recovering the 6D pose of multiple known objects in a scene captured by a set of input images with unknown camera viewpoints. First, we present a single-view single-object 6D pose estimation method, which we use to generate 6D object pose hypotheses. Second, we develop a robust method for matching individual 6D object pose hypotheses across different input images in order to jointly estimate camera viewpoints and 6D poses of all objects in a single consistent scene. Our approach explicitly handles object symmetries, does not require depth measurements, is robust to missing or incorrect object hypotheses, and automatically recovers the number of objects in the scene. Third, we develop a method for global scene refinement given multiple object hypotheses and their correspondences across views. This is achieved by solving an object-level bundle adjustment problem that refines the poses of cameras and objects to minimize the reprojection error in all views. We demonstrate that the proposed method, dubbed Cosy-Pose, outperforms current state-of-the-art results for single-view and multi-view 6D object pose estimation by a large margin on two challenging benchmarks: the YCB-Video and T-LESS datasets. Code and pre-trained models are available on the project webpage. 5

当前的极化3D重建方法，包括具有偏振文献的良好形状的方法，均在正交投影假设下开发。但是，在较大的视野中，此假设不存在，并且可能导致对此假设的方法发生重大的重建错误。为了解决此问题，我们介绍适用于透视摄像机的透视相位角（PPA）模型。与拼字法模型相比，提出的PPA模型准确地描述了在透视投影下极化相位角与表面正常之间的关系。此外，PPA模型使得仅从一个单视相位映射估算表面正态，并且不遭受所谓的{\ pi} - ambiguity问题。实际数据上的实验表明，PPA模型对于具有透视摄像机的表面正常估计比拼字法模型更准确。

我们介绍了一种新型的多视图立体声（MVS）方法，该方法不仅可以同时恢复每个像素深度，而且还可以恢复表面正常状态，以及在已知但自然照明下捕获的无纹理，复杂的非斜面表面的反射。我们的关键想法是将MVS作为端到端的可学习网络，我们称为NLMVS-NET，该网络无缝地集成了放射线线索，以利用表面正常状态作为视图的表面特征，以实现学习成本量的构建和过滤。它首先通过新颖的形状从阴影网络估算出每个视图的像素概率密度。然后，这些每个像素表面正常密度和输入多视图图像将输入到一个新颖的成本量滤波网络中，该网络学会恢复每个像素深度和表面正常。通过与几何重建交替进行交替估计反射率。对新建立的合成和现实世界数据集进行了广泛的定量评估表明，NLMVS-NET可以稳健而准确地恢复自然设置中复杂物体的形状和反射率。

给定一组场景的图像，从新颖的观点和照明条件中重新渲染了这个场景是计算机视觉和图形中的一个重要且具有挑战性的问题。一方面，计算机视觉中的大多数现有作品通常对图像形成过程（例如直接照明和预定义的材料，以使场景参数估计可进行。另一方面，成熟的计算机图形工具允许对所有场景参数进行复杂的照片现实光传输的建模。结合了这些方法，我们通过学习神经预先计算的辐射转移功能，提出了一种在新观点下重新考虑的场景方法，该方法使用新颖的环境图隐含地处理全球照明效应。在单个未知的照明条件下，我们的方法可以仅在场景的一组真实图像上进行监督。为了消除训练期间的任务，我们在训练过程中紧密整合了可区分的路径示踪剂，并提出了合成的OLAT和真实图像丢失的组合。结果表明，场景参数的恢复分离在目前的现状，因此，我们的重新渲染结果也更加现实和准确。

We propose a novel method for high-quality facial texture reconstruction from RGB images using a novel capturing routine based on a single smartphone which we equip with an inexpensive polarization foil. Specifically, we turn the flashlight into a polarized light source and add a polarization filter on top of the camera. Leveraging this setup, we capture the face of a subject with cross-polarized and parallel-polarized light. For each subject, we record two short sequences in a dark environment under flash illumination with different light polarization using the modified smartphone. Based on these observations, we reconstruct an explicit surface mesh of the face using structure from motion. We then exploit the camera and light co-location within a differentiable renderer to optimize the facial textures using an analysis-by-synthesis approach. Our method optimizes for high-resolution normal textures, diffuse albedo, and specular albedo using a coarse-to-fine optimization scheme. We show that the optimized textures can be used in a standard rendering pipeline to synthesize high-quality photo-realistic 3D digital humans in novel environments.

我们建议使用以光源方向为条件的神经辐射场（NERF）的扩展来解决多视光度立体声问题。我们神经表示的几何部分预测表面正常方向，使我们能够理解局部表面反射率。我们的神经表示的外观部分被分解为神经双向反射率函数（BRDF），作为拟合过程的一部分学习，阴影预测网络（以光源方向为条件），使我们能够对明显的BRDF进行建模。基于物理图像形成模型的诱导偏差的学到的组件平衡使我们能够远离训练期间观察到的光源和查看器方向。我们证明了我们在多视光学立体基准基准上的方法，并表明可以通过NERF的神经密度表示可以获得竞争性能。