Camera calibration is a necessity in various tasks including 3D reconstruction, hand-eye coordination for a robotic interaction, autonomous driving, etc. In this work we propose a novel method to predict extrinsic (baseline, pitch, and translation), intrinsic (focal length and principal point offset) parameters using an image pair. Unlike existing methods, instead of designing an end-to-end solution, we proposed a new representation that incorporates camera model equations as a neural network in multi-task learning framework. We estimate the desired parameters via novel camera projection loss (CPL) that uses the camera model neural network to reconstruct the 3D points and uses the reconstruction loss to estimate the camera parameters. To the best of our knowledge, ours is the first method to jointly estimate both the intrinsic and extrinsic parameters via a multi-task learning methodology that combines analytical equations in learning framework for the estimation of camera parameters. We also proposed a novel dataset using CARLA Simulator. Empirically, we demonstrate that our proposed approach achieves better performance with respect to both deep learning-based and traditional methods on 8 out of 10 parameters evaluated using both synthetic and real data. Our code and generated dataset are available at https://github.com/thanif/Camera-Calibration-through-Camera-Projection-Loss.

For a number of tasks, such as 3D reconstruction, robotic interface, autonomous driving, etc., camera calibration is essential. In this study, we present a unique method for predicting intrinsic (principal point offset and focal length) and extrinsic (baseline, pitch, and translation) properties from a pair of images. We suggested a novel method where camera model equations are represented as a neural network in a multi-task learning framework, in contrast to existing methods, which build a comprehensive solution. By reconstructing the 3D points using a camera model neural network and then using the loss in reconstruction to obtain the camera specifications, this innovative camera projection loss (CPL) method allows us that the desired parameters should be estimated. As far as we are aware, our approach is the first one that uses an approach to multi-task learning that includes mathematical formulas in a framework for learning to estimate camera parameters to predict both the extrinsic and intrinsic parameters jointly. Additionally, we provided a new dataset named as CVGL Camera Calibration Dataset [1] which has been collected using the CARLA Simulator [2]. Actually, we show that our suggested strategy out performs both conventional methods and methods based on deep learning on 8 out of 10 parameters that were assessed using both real and synthetic data. Our code and generated dataset are available at https://github.com/thanif/Camera-Calibration-through-Camera-Projection-Loss.

尽管最近的基于学习的校准方法可以从单个图像预测外部和内在的相机参数，但这些方法的准确性在Fisheye图像中劣化。这种劣化是由实际投影和预期投影之间的不匹配引起的。为了解决这个问题，我们提出了一种通用相机模型，具有解决各种类型的失真。我们的通用摄像机模型用于通过相机投影的闭合形式计算基于学习的方法。同时恢复旋转和鱼眼失真，我们提出了一种使用相机模型的基于学习的校准方法。此外，我们提出了一种损失函数，可以减轻四种外在和内在相机参数的误差幅度的偏差。广泛的实验表明，我们所提出的方法在两种大型数据集和由现成的Fisheye相机捕获的图像上表现优于传统方法。此外，我们是第一位分析基于学习的方法的性能的研究人员，使用各种类型的搁板摄像机的投影。

在本文中，我们提出了一种用于多视图360 \级\：图像的密集深度估计流水线。所提出的管道利用了一个球形相机模型，可以在360 \ deption \：图像中补偿径向失真。本文的主要贡献是通过引入翻译缩放方案来扩展球形相机模型以多视图。此外，我们通过设定虚拟深度并最小化光子重新注入误差来提出有效的密集深度估计方法。我们使用自然场景的图像以及合成的数据集来验证所提出的管道的性能，以进行量化评估。实验结果验证了所提出的管道与当前最先进的密集深度估计方法相比提高了估计精度。

Although recent deep learning-based calibration methods can predict extrinsic and intrinsic camera parameters from a single image, their generalization remains limited by the number and distribution of training data samples. The huge computational and space requirement prevents convolutional neural networks (CNNs) from being implemented in resource-constrained environments. This challenge motivated us to learn a CNN gradually, by training new data while maintaining performance on previously learned data. Our approach builds upon a CNN architecture to automatically estimate camera parameters (focal length, pitch, and roll) using different incremental learning strategies to preserve knowledge when updating the network for new data distributions. Precisely, we adapt four common incremental learning, namely: LwF , iCaRL, LU CIR, and BiC by modifying their loss functions to our regression problem. We evaluate on two datasets containing 299008 indoor and outdoor images. Experiment results were significant and indicated which method was better for the camera calibration estimation.

广播视频中的运动场注册通常被解释为同型估算的任务，该任务在平面场和图像的相应可见区域之间提供了映射。与以前的方法相反，我们将任务视为摄像机校准问题。首先，我们引入了一个可区分的目标函数，该功能能够根据已知校准对象的片段，即运动领域的片段，从段对应（例如，线，点云）中学习相机姿势和焦距。 。校准模块迭代地最小化了由估计的摄像机参数引起的段重新投影误差。其次，我们提出了一种从广播足球图像中进行3D运动场注册的新方法。校准模块不需要任何训练数据，并且与典型的解决方案进行了比较，该解决方案随后完善了初始估计，我们的解决方案在一个步骤中进行。评估了所提出的方法在两个数据集上进行运动现场注册，并与两种最先进的方法相比，取得了优越的结果。

在许多计算机视觉域中，输入图像必须与针孔相机型号符合，其中现实世界中的直线被投影为图像中的直线。在实时运动广播上执行计算机愿景任务识别算法要求的挑战要求，其中算法不能依赖于特定的校准模式，必须能够应对未知和未校准的相机，源自复杂电视镜头的径向失真，很少有视觉线索以补偿失真，并通过实时绩效的必要性。我们提出了一种基于深度卷积神经网络的单图像自动镜头失真补偿的新方法，能够使用运动广播域的应用领域的多项式变形模型的两个最高阶系数的实时性能和精度。关键词：深卷积神经网络，径向失真，单幅图像整流

捕获比窄FOV相机的宽视野（FOV）相机，其捕获更大的场景区域，用于许多应用，包括3D重建，自动驾驶和视频监控。然而，广角图像包含违反针孔摄像机模型底层的假设的扭曲，导致对象失真，估计场景距离，面积和方向困难，以及防止在未造成的图像上使用现成的深层模型。下游计算机视觉任务。图像整流，旨在纠正这些扭曲，可以解决这些问题。本文从转换模型到整流方法的广角图像整流的全面调查进展。具体地，我们首先介绍了不同方法中使用的相机模型的详细描述和讨论。然后，我们总结了几种失真模型，包括径向失真和投影失真。接下来，我们审查了传统的基于几何图像整流方法和基于深度学习的方法，其中前者将失真参数估计作为优化问题，并且后者通过利用深神经网络的力量来将其作为回归问题。我们评估在公共数据集上最先进的方法的性能，并显示虽然两种方法都可以实现良好的结果，但这些方法仅适用于特定的相机型号和失真类型。我们还提供了强大的基线模型，并对合成数据集和真实世界广角图像进行了对不同失真模型的实证研究。最后，我们讨论了几个潜在的研究方向，预计将来进一步推进这一领域。

The vast majority of Shape-from-Polarization (SfP) methods work under the oversimplified assumption of using orthographic cameras. Indeed, it is still not well understood how to project the Stokes vectors when the incoming rays are not orthogonal to the image plane. We try to answer this question presenting a geometric model describing how a general projective camera captures the light polarization state. Based on the optical properties of a tilted polarizer, our model is implemented as a pre-processing operation acting on raw images, followed by a per-pixel rotation of the reconstructed normal field. In this way, all the existing SfP methods assuming orthographic cameras can behave like they were designed for projective ones. Moreover, our model is consistent with state-of-the-art forward and inverse renderers (like Mitsuba3 and ART), intrinsically enforces physical constraints among the captured channels, and handles demosaicing of DoFP sensors. Experiments on existing and new datasets demonstrate the accuracy of the model when applied to commercially available polarimetric cameras.

尽管近年来3D人姿势和形状估计方法的性能显着提高，但是现有方法通常在相机或以人为本的坐标系中定义的3D姿势。这使得难以估计使用移动相机捕获的视频的世界坐标系中的人的纯姿势和运动。为了解决这个问题，本文提出了一种用于预测世界坐标系中定义的3D人姿势和网格的相机运动不可知论方法。所提出的方法的核心思想是估计不变选择坐标系的两个相邻的全局姿势（即全局运动）之间的差异，而不是耦合到相机运动的全局姿势。为此，我们提出了一种基于双向门控复发单元（GRUS）的网络，该单元从局部姿势序列预测全局运动序列，由称为全局运动回归（GMR）的关节相对旋转组成。我们使用3DPW和合成数据集，该数据集在移动相机环境中构建，进行评估。我们进行广泛的实验，并经验证明了提出的方法的有效性。代码和数据集可在https://github.com/seonghyunkim1212/gmr获得

在本文中，我们提出了一种先进的方法，用于针对单眼3D车道检测的问题，通过在2D至3D车道重建过程下利用几何结构。受到先前方法的启发，我们首先分析了3D车道与其2D表示之间的几何启发式，并提议根据先验的结构进行明确的监督，这使建立车上和车内的关系可以实现，以促进促进。从本地到全球的3D车道的重建。其次，为了减少2D车道表示中的结构损失，我们直接从前视图图像中提取顶视车道信息，从而极大地缓解了以前方法中遥远的车道特征的混淆。此外，我们通过在管道中综合新的培训数据来分割和重建任务，以应对相机姿势和地面斜率的不平衡数据分布，以改善对看不见的数据的概括，以应对我们的管道中的分割和重建任务，以对抗分割和重建任务，从而提出了一种新颖的任务数据增强方法。我们的工作标志着首次尝试使用几何信息到基于DNN的3D车道检测中的尝试，并使其可用于检测超长距离的车道，从而使原始检测范围增加一倍。提出的方法可以由其他框架平稳地采用，而无需额外的成本。实验结果表明，我们的工作表现优于Apollo 3D合成数据集的最先进方法以82 fps的实时速度在不引入额外参数的情况下实时速度为3.8％。

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

相机校准与机器人和计算机视觉算法是一体的，用于从可视输入流中推断场景的几何属性。在实践中，校准是一种艰苦的程序，需要专门的数据收集和仔细调整。每当相机变化的参数时，必须重复该过程，这可能是移动机器人和自主车辆的频繁发生。相反，自我监督的深度和自我运动估计方法可以通过推断优化视图综合目标的每个帧投影模型来绕过明确的校准。在本文中，我们扩展了这种方法，以明确校准野外Raw视频的各种相机。我们提出了一种学习算法，使用高效的一般相机模型来回归每序列校准参数。我们的程序通过子像素再分注意误差实现自校准结果，优于基于其他学习的方法。我们在各种相机几何形状上验证了我们的方法，包括透视，鱼眼和昏迷。最后，我们表明我们的方法导致深度估计下游任务的改进，在EUROC数据集中实现了最先进的计算效率，而不是当代方法。

我们提出了一种微调方法，可以改善从单个图像重建的3D几何形状的外观。我们利用单眼深度估计的进步来获得差异图，并提出了一种新颖的方法，可以通过求解相关摄像机参数的优化，将2D归一化差异图转换为3D点云，在从差异中创建3D点云后，我们引入了一种方法来引入一种方法将新点云与现有信息结合在一起，形成更忠实，更详细的最终几何形状。我们通过在合成图像和真实图像上进行多个实验证明了方法的功效。

本文介绍了一种新颖的体系结构，用于同时估算高度准确的光流和刚性场景转换，以实现困难的场景，在这种情况下，亮度假设因强烈的阴影变化而违反了亮度假设。如果是旋转物体或移动的光源（例如在黑暗中驾驶汽车遇到的光源），场景的外观通常从一个视图到下一个视图都发生了很大变化。不幸的是，用于计算光学流或姿势的标准方法是基于这样的期望，即场景中特征在视图之间保持恒定。在调查的情况下，这些方法可能经常失败。提出的方法通过组合图像，顶点和正常数据来融合纹理和几何信息，以计算照明不变的光流。通过使用粗到最新的策略，可以学习全球锚定的光流，从而减少了基于伪造的伪相应的影响。基于学习的光学流，提出了第二个体系结构，该体系结构可预测扭曲的顶点和正常地图的稳健刚性变换。特别注意具有强烈旋转的情况，这通常会导致这种阴影变化。因此，提出了一个三步程序，该程序可以利用正态和顶点之间的相关性。该方法已在新创建的数据集上进行了评估，该数据集包含具有强烈旋转和阴影效果的合成数据和真实数据。该数据代表了3D重建中的典型用例，其中该对象通常在部分重建之间以很大的步骤旋转。此外，我们将该方法应用于众所周知的Kitti Odometry数据集。即使由于实现了Brighness的假设，这不是该方法的典型用例，因此，还建立了对标准情况和与其他方法的关系的适用性。

We tackle a new problem of multi-view camera and subject registration in the bird's eye view (BEV) without pre-given camera calibration. This is a very challenging problem since its only input is several RGB images from different first-person views (FPVs) for a multi-person scene, without the BEV image and the calibration of the FPVs, while the output is a unified plane with the localization and orientation of both the subjects and cameras in a BEV. We propose an end-to-end framework solving this problem, whose main idea can be divided into following parts: i) creating a view-transform subject detection module to transform the FPV to a virtual BEV including localization and orientation of each pedestrian, ii) deriving a geometric transformation based method to estimate camera localization and view direction, i.e., the camera registration in a unified BEV, iii) making use of spatial and appearance information to aggregate the subjects into the unified BEV. We collect a new large-scale synthetic dataset with rich annotations for evaluation. The experimental results show the remarkable effectiveness of our proposed method.

Geometric camera calibration is often required for applications that understand the perspective of the image. We propose perspective fields as a representation that models the local perspective properties of an image. Perspective Fields contain per-pixel information about the camera view, parameterized as an up vector and a latitude value. This representation has a number of advantages as it makes minimal assumptions about the camera model and is invariant or equivariant to common image editing operations like cropping, warping, and rotation. It is also more interpretable and aligned with human perception. We train a neural network to predict Perspective Fields and the predicted Perspective Fields can be converted to calibration parameters easily. We demonstrate the robustness of our approach under various scenarios compared with camera calibration-based methods and show example applications in image compositing.

从数字艺术到AR和VR体验，图像编辑和合成已经变得无处不在。为了生产精美的复合材料，需要对相机进行几何校准，这可能很乏味，需要进行物理校准目标。代替传统的多图像校准过程，我们建议使用深层卷积神经网络直接从单个图像中直接从单个图像中推断摄像机校准参数，例如音高，滚动，视场和镜头失真。我们使用大规模全景数据集中自动生成样品训练该网络，从而在标准L2误差方面产生了竞争精度。但是，我们认为将这种标准误差指标最小化可能不是许多应用程序的最佳选择。在这项工作中，我们研究了人类对几何相机校准中不准确性的敏感性。为此，我们进行了一项大规模的人类感知研究，我们要求参与者以正确和有偏见的摄像机校准参数判断3D对象的现实主义。基于这项研究，我们为摄像机校准开发了一种新的感知度量，并证明我们的深校准网络在标准指标以及这一新型感知度量方面都优于先前基于单像的校准方法。最后，我们演示了将校准网络用于多种应用程序，包括虚拟对象插入，图像检索和合成。可以在https://lvsn.github.io/deepcalib上获得我们方法的演示。

来自运动（SFM）的结构和地面相同估计对自动驾驶和其他机器人应用至关重要。最近，使用深神经网络分别用于SFM和同住估计的深度神经网络。然而，直接应用用于地面平面的现有方法可能会失败，因为道路通常是场景的一小部分。此外，深度SFM方法的性能仍然不如传统方法。在本文中，我们提出了一种方法，了解到以端到端的方式解决这两种问题，提高两者的性能。所提出的网络由深度CNN，姿势CNN和地面CNN组成。分别深度CNN和姿势 - CNN估计致密深度图和自我运动，求解SFM，而姿势 - CNN和地下CNN，接着是相同的相同层求解地面估计问题。通过强制SFM和同情侣估计结果之间的一致性，可以使用除了由搁板分段器提供的道路分割之外的光度损耗和单独的损耗来训练整个网络以结束到结束。综合实验是在基蒂基准上进行的，与各种最先进的方法相比，展示了有希望的结果。

相对摄像头姿势估计，即使用在不同位置拍摄的一对图像来估算翻译和旋转向量，是增强现实和机器人技术系统中系统的重要组成部分。在本文中，我们使用独立于摄像机参数的暹罗体系结构提出了端到端的相对摄像头姿势估计网络。使用剑桥地标数据和四个单独的场景数据集和一个结合四个场景的数据集对网络进行培训。为了改善概括，我们提出了一种新颖的两阶段训练，以减轻超参数以平衡翻译和旋转损失量表的需求。将提出的方法与基于CNN的一阶段培训方法（例如RPNET和RCPNET）进行了比较，并证明了所提出的模型在Kings College，Old Hospital和St Marys上提出的翻译量估计提高了16.11％，28.88％和52.27％教堂场景分别。为了证明纹理不变性，我们使用生成的对抗网络研究了提出的方法的概括，将数据集扩展到不同场景样式，作为消融研究。此外，我们对网络预测和地面真相构成的异性线进行定性评估。