The vast majority of Shape-from-Polarization (SfP) methods work under the oversimplified assumption of using orthographic cameras. Indeed, it is still not well understood how to project the Stokes vectors when the incoming rays are not orthogonal to the image plane. We try to answer this question presenting a geometric model describing how a general projective camera captures the light polarization state. Based on the optical properties of a tilted polarizer, our model is implemented as a pre-processing operation acting on raw images, followed by a per-pixel rotation of the reconstructed normal field. In this way, all the existing SfP methods assuming orthographic cameras can behave like they were designed for projective ones. Moreover, our model is consistent with state-of-the-art forward and inverse renderers (like Mitsuba3 and ART), intrinsically enforces physical constraints among the captured channels, and handles demosaicing of DoFP sensors. Experiments on existing and new datasets demonstrate the accuracy of the model when applied to commercially available polarimetric cameras.

当前的极化3D重建方法，包括具有偏振文献的良好形状的方法，均在正交投影假设下开发。但是，在较大的视野中，此假设不存在，并且可能导致对此假设的方法发生重大的重建错误。为了解决此问题，我们介绍适用于透视摄像机的透视相位角（PPA）模型。与拼字法模型相比，提出的PPA模型准确地描述了在透视投影下极化相位角与表面正常之间的关系。此外，PPA模型使得仅从一个单视相位映射估算表面正态，并且不遭受所谓的{\ pi} - ambiguity问题。实际数据上的实验表明，PPA模型对于具有透视摄像机的表面正常估计比拼字法模型更准确。

极化成像已应用于越来越多的机器人视觉应用中（例如，水下导航，眩光去除，脱落，对象分类和深度估计）。可以在市场RGB极化摄像机上找到可以在单个快照中捕获颜色和偏振状态的摄像头。由于传感器的特性分散和镜头的使用，至关重要的是校准这些类型的相机以获得正确的极化测量。到目前为止开发的校准方法要么不适合这种类型的相机，要么需要在严格的设置中进行复杂的设备和耗时的实验。在本文中，我们提出了一种新方法来克服对复杂的光学系统有效校准这些相机的需求。我们表明，所提出的校准方法具有多个优点，例如任何用户都可以使用统一的线性极化光源轻松校准相机，而无需任何先验地了解其偏振状态，并且收购数量有限。我们将公开提供校准代码。

椭圆测量技术允许测量材料的极化信息，需要具有不同灯和传感器配置的光学组件的精确旋转。这会导致繁琐的捕获设备，在实验室条件下仔细校准，并且在很长的获取时间，通常按照每个物体几天的顺序。最近的技术允许捕获偏振偏光的反射率信息，但仅限于单个视图，或涵盖所有视图方向，但仅限于单个均匀材料制成的球形对象。我们提出了稀疏椭圆测量法，这是一种便携式偏光获取方法，同时同时捕获极化SVBRDF和3D形状。我们的手持设备由现成的固定光学组件组成。每个物体的总收购时间在二十分钟之间变化，而不是天数。我们开发了一个完整的极化SVBRDF模型，其中包括分散和镜面成分以及单个散射，并通过生成模型来设计一种新型的极化逆渲染算法，并通过数据增强镜面反射样品的数据增强。我们的结果表明，与现实世界对象捕获的极化BRDF的最新基础数据集有很强的一致性。

We propose a flexible new technique to easily calibrate a camera. It is well suited for use without specialized knowledge of 3D geometry or computer vision. The technique only requires the camera to observe a planar pattern shown at a few (at least two) different orientations. Either the camera or the planar pattern can be freely moved. The motion need not be known. Radial lens distortion is modeled. The proposed procedure consists of a closed-form solution, followed by a nonlinear refinement based on the maximum likelihood criterion. Both computer simulation and real data have been used to test the proposed technique, and very good results have been obtained. Compared with classical techniques which use expensive equipment such as two or three orthogonal planes, the proposed technique is easy to use and flexible. It advances 3D computer vision one step from laboratory environments to real world use.

本文提出了一种新型电镀摄像机的校准算法，尤其是多焦距配置，其中使用了几种类型的微透镜，仅使用原始图像。电流校准方法依赖于简化投影模型，使用重建图像的功能，或者需要每种类型的微透镜进行分离的校准。在多聚焦配置中，根据微透镜焦距，场景的相同部分将展示不同量的模糊。通常，使用具有最小模糊量的微图像。为了利用所有可用的数据，我们建议在新推出的模糊的模糊（BAP）功能的帮助下，在新的相机模型中明确地模拟Defocus模糊。首先，它用于检索初始相机参数的预校准步骤，而第二步骤，以表达在我们的单个优化过程中最小化的新成本函数。第三，利用它来校准微图像之间的相对模糊。它将几何模糊，即模糊圈链接到物理模糊，即点传播函数。最后，我们使用产生的模糊概况来表征相机的景深。实际数据对受控环境的定量评估展示了我们校准的有效性。

由于摄像机外壳引起的水 - 空气界面处的光线非线性折射，恢复水下场景的3D几何是具有挑战性的。我们提出了一种基于光场的方法，从单个观点来利用角度样本的性能进行高质量的水下3D重建。具体地，我们将光场图像重新采样到角贴片。由于水下场景表现出弱视图依赖性镜面，在正确的深度上采样时，角度贴片趋于具有均匀的强度。因此，我们将这种角度均匀施加为深度估计的约束。为了高效角度重采样，我们设计一种基于多变量多项式回归的快速近似算法，以实现近似非线性折射路径。我们进一步开发了一种轻场校准算法，估计水上空气接口几何形状以及相机参数。综合性和真实数据的综合实验表明我们的方法在静态和动态水下场景中产生了最先进的重建。

我们介绍了一种新的数据驱动方法，具有基于物理的前沿，从单个偏振图像到场景级正常估计。来自偏振（SFP）的现有形状主要专注于估计单个物体的正常，而不是野外的复杂场景。高质量场景级SFP的关键障碍是复杂场景中缺乏现实世界的SFP数据。因此，我们贡献了第一个现实世界场景级SFP数据集，具有配对输入偏振图像和地理正常映射。然后，我们提出了一种基于学习的框架，具有多头自我注意模块和观察编码，该框架被设计为处理由场景级SFP中的复杂材料和非正交投影引起的增加的偏振模糊。由于偏振光和表面法线之间的关系不受距离的影响，我们训练的模型可以广泛地展开到远场户外场景。实验结果表明，我们的方法在两个数据集中显着优于现有的SFP模型。我们的数据集和源代码将公开可用于\ url {https://github.com/chenyanglei/sfp-wild}。

捕获比窄FOV相机的宽视野（FOV）相机，其捕获更大的场景区域，用于许多应用，包括3D重建，自动驾驶和视频监控。然而，广角图像包含违反针孔摄像机模型底层的假设的扭曲，导致对象失真，估计场景距离，面积和方向困难，以及防止在未造成的图像上使用现成的深层模型。下游计算机视觉任务。图像整流，旨在纠正这些扭曲，可以解决这些问题。本文从转换模型到整流方法的广角图像整流的全面调查进展。具体地，我们首先介绍了不同方法中使用的相机模型的详细描述和讨论。然后，我们总结了几种失真模型，包括径向失真和投影失真。接下来，我们审查了传统的基于几何图像整流方法和基于深度学习的方法，其中前者将失真参数估计作为优化问题，并且后者通过利用深神经网络的力量来将其作为回归问题。我们评估在公共数据集上最先进的方法的性能，并显示虽然两种方法都可以实现良好的结果，但这些方法仅适用于特定的相机型号和失真类型。我们还提供了强大的基线模型，并对合成数据集和真实世界广角图像进行了对不同失真模型的实证研究。最后，我们讨论了几个潜在的研究方向，预计将来进一步推进这一领域。

光有许多可以通过视觉传感器被动测量的特性。色带分离波长和强度可以说是单眼6D对象姿态估计的最常用的波长。本文探讨了互补偏振信息的互补信息，即光波振荡的方向，可以影响姿态预测的准确性。一种混合模型，利用数据驱动的学习策略共同利用物理代理，并在具有不同量的光度复杂度的物体上进行设计和仔细测试。我们的设计不仅显着提高了与光度 - 最先进的方法相关的姿态精度，而且还使对象姿势估计用于高反射性和透明的物体。

最近的3D Vision进步已经受到包括几何诱导偏见的专业架构的推动。在本文中，我们使用域名可靠架构来解决3D重建，并将与模型的额外输入直接注入相同类型的电感偏差。这种方法使得可以应用现有的一般模型，例如感知的富域，而无需架构更改，同时保持定制模型的数据效率。特别是我们研究如何将摄像机，投影射线发射和末端几何形式作为模型输入进行编码，并在多个基准上展示竞争性的多视图深度估计性能。

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

可靠地定量自然和人为气体释放（例如，从海底进入海洋的自然和人为气体释放（例如，Co $ _2 $，甲烷），最终是大气，是一个具有挑战性的任务。虽然船舶的回声探测器允许在水中检测水中的自由气，但是即使从较大的距离中，精确量化需要诸如未获得的升高速度和气泡尺寸分布的参数。光学方法的意义上是互补的，即它们可以提供从近距离的单个气泡或气泡流的高时和空间分辨率。在这一贡献中，我们介绍了一种完整的仪器和评估方法，用于光学气泡流特征。专用仪器采用高速深海立体声摄像机系统，可在部署在渗透网站以进行以后的自动分析时录制泡泡图像的Tbleabytes。对于几分钟的短序列可以获得泡特性，然后将仪器迁移到其他位置，或者以自主间隔模式迁移到几天内，以捕获由于电流和压力变化和潮汐循环引起的变化。除了报告泡沫特征的步骤旁边，我们仔细评估了可达准确性并提出了一种新颖的校准程序，因为由于缺乏点对应，仅使用气泡的剪影。该系统已成功运营，在太平洋高达1000万水深，以评估甲烷通量。除了样品结果外，我们还会报告在开发期间汲取的故障案例和经验教训。

Computer vision applications have heavily relied on the linear combination of Lambertian diffuse and microfacet specular reflection models for representing reflected radiance, which turns out to be physically incompatible and limited in applicability. In this paper, we derive a novel analytical reflectance model, which we refer to as Fresnel Microfacet BRDF model, that is physically accurate and generalizes to various real-world surfaces. Our key idea is to model the Fresnel reflection and transmission of the surface microgeometry with a collection of oriented mirror facets, both for body and surface reflections. We carefully derive the Fresnel reflection and transmission for each microfacet as well as the light transport between them in the subsurface. This physically-grounded modeling also allows us to express the polarimetric behavior of reflected light in addition to its radiometric behavior. That is, FMBRDF unifies not only body and surface reflections but also light reflection in radiometry and polarization and represents them in a single model. Experimental results demonstrate its effectiveness in accuracy, expressive power, and image-based estimation.

传统上，本征成像或内在图像分解被描述为将图像分解为两层：反射率，材料的反射率;和一个阴影，由光和几何之间的相互作用产生。近年来，深入学习技术已广泛应用，以提高这些分离的准确性。在本调查中，我们概述了那些在知名内在图像数据集和文献中使用的相关度量的结果，讨论了预测所需的内在图像分解的适用性。虽然Lambertian的假设仍然是许多方法的基础，但我们表明，对图像形成过程更复杂的物理原理组件的潜力越来越意识到，这是光学准确的材料模型和几何形状，更完整的逆轻型运输估计。考虑使用的前瞻和模型以及驾驶分解过程的学习架构和方法，我们将这些方法分类为分解的类型。考虑到最近神经，逆和可微分的渲染技术的进步，我们还提供了关于未来研究方向的见解。

我们介绍了一种新的图像取证方法：将物理折射物（我们称为图腾）放入场景中，以保护该场景拍摄的任何照片。图腾弯曲并重定向光线，因此在单个图像中提供了多个（尽管扭曲）的多个（尽管扭曲）。防守者可以使用这些扭曲的图腾像素来检测是否已操纵图像。我们的方法通过估计场景中的位置并使用其已知的几何和材料特性来估算其位置，从而使光线通过图腾的光线不十障。为了验证图腾保护的图像，我们从图腾视点重建的场景与场景的外观从相机的角度来检测到不一致之处。这样的方法使对抗性操纵任务更加困难，因为对手必须以几何一致的方式对图腾和图像像素进行修改，而又不知道图腾的物理特性。与先前的基于学习的方法不同，我们的方法不需要在特定操作的数据集上进行培训，而是使用场景和相机的物理属性来解决取证问题。

使用FASS-MVS，我们提出了一种具有表面感知半全局匹配的快速多视图立体声的方法，其允许从UAV捕获的单眼航空视频数据中快速深度和正常地图估计。反过来，由FASS-MVS估计的数据促进在线3D映射，这意味着在获取或接收到图像数据时立即和递增地生成场景的3D地图。 FASS-MVS由分层处理方案组成，其中深度和正常数据以及相应的置信度分数以粗略的方式估计，允许有效地处理由倾斜图像所固有的大型场景深度低无人机。实际深度估计采用用于致密多图像匹配的平面扫描算法，以产生深度假设，通过表面感知半全局优化来提取实际深度图，从而减少了SGM的正平行偏压。给定估计的深度图，然后通过将深度图映射到点云中并计算狭窄的本地邻域内的普通向量来计算像素 - 方面正常信息。在彻底的定量和消融研究中，我们表明，由FASS-MV计算的3D信息的精度接近离线多视图立体声的最先进方法，误差甚至没有一个幅度而不是科麦。然而，同时，FASS-MVS的平均运行时间估计单个深度和正常地图的距离小于ColMAP的14％，允许在1-中执行全高清图像的在线和增量处理2 Hz。

在本文中，提议通过优化投影球上的射线对来解决校准全向相机的三角剖分问题。所提出的解决方案归结为找到二次函数的根，因此与以前的方法相比，封闭形式是完全非介绍性和计算便宜的。此外，甚至认为动机显然是解决全向相机的三角剖分问题，也证明了所提出的方法可以应用于非运动，狭窄的视野摄像机。

A polarization camera has great potential for 3D reconstruction since the angle of polarization (AoP) and the degree of polarization (DoP) of reflected light are related to an object's surface normal. In this paper, we propose a novel 3D reconstruction method called Polarimetric Multi-View Inverse Rendering (Polarimetric MVIR) that effectively exploits geometric, photometric, and polarimetric cues extracted from input multi-view color-polarization images. We first estimate camera poses and an initial 3D model by geometric reconstruction with a standard structure-from-motion and multi-view stereo pipeline. We then refine the initial model by optimizing photometric rendering errors and polarimetric errors using multi-view RGB, AoP, and DoP images, where we propose a novel polarimetric cost function that enables an effective constraint on the estimated surface normal of each vertex, while considering four possible ambiguous azimuth angles revealed from the AoP measurement. The weight for the polarimetric cost is effectively determined based on the DoP measurement, which is regarded as the reliability of polarimetric information. Experimental results using both synthetic and real data demonstrate that our Polarimetric MVIR can reconstruct a detailed 3D shape without assuming a specific surface material and lighting condition.

我们提出了使用镜面多声激光雷达返回的方法来检测和映射镜面表面，这些表面可能是依赖直接单刻钟返回的常规LIDAR系统看不见的。我们得出将这些多声音返回的时间和到达的表达式与镜面表面上的散射点相关联，然后使用这些表达式来制定技术以检索镜面几何时，当场景被单光束扫描或照亮时带有多光束闪光灯。我们还考虑了透明的镜面表面的特殊情况，可以将表面反射与散布在表面后面的物体上的光混合在一起。