坐标测量机（CMM）一直是测量近50年或更长时间以上固体物体的准确性的基准。然而，随着3D扫描技术的出现，产生的点云的准确性和密度已接管。在这个项目中，我们不仅比较可在3D扫描软件中使用的不同算法，而且还比较了从相机和投影仪等现成组件中创建自己的3D扫描仪。我们的目标是：1。为3D扫描仪开发一个原型，以实现在对象的广泛类型上以最佳精度执行的系统。2.使用现成的组件最小化成本。3.到达非常接近CMM的准确性。

许多施工机器人任务（例如自动水泥抛光或机器人石膏喷涂）需要高精度3D表面信息。但是，目前在市场上发现的消费级深度摄像头还不够准确，对于需要毫米（mm）级别准确性的这些任务。本文介绍了SL传感器，SL传感器是一种结构化的光传感溶液，能够通过利用相移初量法（PSP）编码技术来生产5 Hz的高保真点云。将SL传感器与两个商用深度摄像机进行了比较 - Azure Kinect和Realsense L515。实验表明，SL传感器以室内表面重建应用的精度和精度超过了两个设备。此外，为了证明SL传感器成为机器人应用的结构化光传感研究平台的能力，开发了运动补偿策略，该策略允许SL传感器在传统PSP方法仅在传感器静态时工作时在线性运动过程中运行。现场实验表明，SL传感器能够生成喷雾灰泥表面的高度详细的重建。机器人操作系统（ROS）的软件和SL传感器的示例硬件构建是开源的，其目的是使结构化的光传感更容易被施工机器人社区访问。所有文档和代码均可在https://github.com/ethz-asl/sl_sensor/上获得。

培训和测试监督对象检测模型需要大量带有地面真相标签的图像。标签定义图像中的对象类及其位置，形状以及可能的其他信息，例如姿势。即使存在人力，标签过程也非常耗时。我们引入了一个新的标签工具，用于2D图像以及3D三角网格：3D标记工具（3DLT）。这是一个独立的，功能丰富和跨平台软件，不需要安装，并且可以在Windows，MacOS和基于Linux的发行版上运行。我们不再像当前工具那样在每个图像上分别标记相同的对象，而是使用深度信息从上述图像重建三角形网格，并仅在上述网格上标记一次对象。我们使用注册来简化3D标记，离群值检测来改进2D边界框的计算和表面重建，以将标记可能性扩展到大点云。我们的工具经过最先进的方法测试，并且在保持准确性和易用性的同时，它极大地超过了它们。

随着计算机图形和视觉的快速发展，已经提出了几种三维（3D）重建技术并用于以点云模型，网格模型和几何模型的形式获得对象的3D表示。由于这种技术的成熟，3D重建的成本正在下降，但是，市场上的廉价3D重建扫描仪可能无法按预期产生明确的云模型。本研究系统地评估了一些基本类型的3D重建技术，并使用线性激光扫描仪，相机和转盘引入了简单的实现。该实施基于具有激光的单欣，并测试了像Wiki和Mug这样的几个物体。点云结果的准确性和分辨率非常令人满意。事实证明，每个人都可以使用适当的过程构建这样的3D重建系统。

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

由于摄像机外壳引起的水 - 空气界面处的光线非线性折射，恢复水下场景的3D几何是具有挑战性的。我们提出了一种基于光场的方法，从单个观点来利用角度样本的性能进行高质量的水下3D重建。具体地，我们将光场图像重新采样到角贴片。由于水下场景表现出弱视图依赖性镜面，在正确的深度上采样时，角度贴片趋于具有均匀的强度。因此，我们将这种角度均匀施加为深度估计的约束。为了高效角度重采样，我们设计一种基于多变量多项式回归的快速近似算法，以实现近似非线性折射路径。我们进一步开发了一种轻场校准算法，估计水上空气接口几何形状以及相机参数。综合性和真实数据的综合实验表明我们的方法在静态和动态水下场景中产生了最先进的重建。

We propose a flexible new technique to easily calibrate a camera. It is well suited for use without specialized knowledge of 3D geometry or computer vision. The technique only requires the camera to observe a planar pattern shown at a few (at least two) different orientations. Either the camera or the planar pattern can be freely moved. The motion need not be known. Radial lens distortion is modeled. The proposed procedure consists of a closed-form solution, followed by a nonlinear refinement based on the maximum likelihood criterion. Both computer simulation and real data have been used to test the proposed technique, and very good results have been obtained. Compared with classical techniques which use expensive equipment such as two or three orthogonal planes, the proposed technique is easy to use and flexible. It advances 3D computer vision one step from laboratory environments to real world use.

基于传感器的环境感知是自主驾驶系统的关键步骤，多个传感器之间的准确校准起着至关重要的作用。为了校准激光雷达和相机，现有方法通常是先校准相机的固有，然后校准激光雷达和相机的外部。如果在第一阶段无法正确校准摄像机的固有效果，则可以准确地校准激光镜相机外部校准并不容易。由于相机的复杂内部结构以及缺乏对摄像机内在校准的有效定量评估方法，因此在实际校准中，由于摄像机内在参数的微小误差，外部参数校准的准确性通常会降低。为此，我们提出了一种新型的基于目标的关节校准方法，用于摄像机内在和激光摄像机外部参数。首先，我们设计了一个新颖的校准板图案，在棋盘上增加了四个圆形孔，以定位激光姿势。随后，在棋盘板的再投影约束和圆形孔特征下定义的成本函数旨在求解相机的内在参数，失真因子和激光相机外部外部参数。最后，定量和定性实验是在实际和模拟环境中进行的，结果表明该方法可以达到准确性和鲁棒性能。开源代码可在https://github.com/opencalib/jointcalib上获得。

通常，非刚性登记的问题是匹配在两个不同点拍摄的动态对象的两个不同扫描。这些扫描可以进行刚性动作和非刚性变形。由于模型的新部分可能进入视图，而其他部件在两个扫描之间堵塞，则重叠区域是两个扫描的子集。在最常规的设置中，没有给出先前的模板形状，并且没有可用的标记或显式特征点对应关系。因此，这种情况是局部匹配问题，其考虑了随后的扫描在具有大量重叠区域的情况下进行的扫描经历的假设[28]。本文在环境中寻址的问题是同时在环境中映射变形对象和本地化摄像机。

几十年来，机器人和手眼校准都一直是研究的目的。尽管当前方法能够精确，可靠地识别机器人运动模型的参数，但它们仍然依赖于外部设备，例如校准对象，标记和/或外部传感器。本文没有试图将记录的测量结果适合已知对象的模型，而是将机器人校准视为离线大满贯问题，其中扫描姿势通过移动的运动学链将扫描姿势链接到空间中的固定点。因此，提出的框架允许使用任意眼睛深度传感器的机器人校准，从而无需任何外部工具就可以实现完全自主的自主校准。我的新方法是利用迭代最接近点算法的修改版本来运行多个3D记录的捆绑调整，以估计运动模型的最佳参数。对系统的详细评估显示在带有各种附着的3D传感器的真实机器人上。提出的结果表明，该系统以其成本的一小部分达到了与专用外部跟踪系统相当的精度。

多模式传感器的融合在自动驾驶和智能机器人中变得越来越流行，因为它可以比任何单个传感器提供更丰富的信息，从而在复杂的环境中增强可靠性。多传感器外部校准是传感器融合的关键因素之一。但是，由于传感器方式的种类以及对校准目标和人工的需求，这种校准很困难。在本文中，我们通过关注立体相机，热摄像机和激光传感器之间的外部转换，展示了一个新的无目标跨模式校准框架。具体而言，立体声和激光器之间的校准是通过最小化登记误差在3D空间中进行的，而通过优化边缘特征的对齐方式来估计其他两个传感器的热外部传感器。我们的方法不需要专门的目标，并且可以在没有人类相互作用的情况下进行一次镜头进行多传感器校准。实验结果表明，校准框架是准确且适用于一般场景的。

本文提出了一种新型电镀摄像机的校准算法，尤其是多焦距配置，其中使用了几种类型的微透镜，仅使用原始图像。电流校准方法依赖于简化投影模型，使用重建图像的功能，或者需要每种类型的微透镜进行分离的校准。在多聚焦配置中，根据微透镜焦距，场景的相同部分将展示不同量的模糊。通常，使用具有最小模糊量的微图像。为了利用所有可用的数据，我们建议在新推出的模糊的模糊（BAP）功能的帮助下，在新的相机模型中明确地模拟Defocus模糊。首先，它用于检索初始相机参数的预校准步骤，而第二步骤，以表达在我们的单个优化过程中最小化的新成本函数。第三，利用它来校准微图像之间的相对模糊。它将几何模糊，即模糊圈链接到物理模糊，即点传播函数。最后，我们使用产生的模糊概况来表征相机的景深。实际数据对受控环境的定量评估展示了我们校准的有效性。

可靠地定量自然和人为气体释放（例如，从海底进入海洋的自然和人为气体释放（例如，Co $ _2 $，甲烷），最终是大气，是一个具有挑战性的任务。虽然船舶的回声探测器允许在水中检测水中的自由气，但是即使从较大的距离中，精确量化需要诸如未获得的升高速度和气泡尺寸分布的参数。光学方法的意义上是互补的，即它们可以提供从近距离的单个气泡或气泡流的高时和空间分辨率。在这一贡献中，我们介绍了一种完整的仪器和评估方法，用于光学气泡流特征。专用仪器采用高速深海立体声摄像机系统，可在部署在渗透网站以进行以后的自动分析时录制泡泡图像的Tbleabytes。对于几分钟的短序列可以获得泡特性，然后将仪器迁移到其他位置，或者以自主间隔模式迁移到几天内，以捕获由于电流和压力变化和潮汐循环引起的变化。除了报告泡沫特征的步骤旁边，我们仔细评估了可达准确性并提出了一种新颖的校准程序，因为由于缺乏点对应，仅使用气泡的剪影。该系统已成功运营，在太平洋高达1000万水深，以评估甲烷通量。除了样品结果外，我们还会报告在开发期间汲取的故障案例和经验教训。

鲁棒性和准确性是工业检查的两个关键指标。在本文中，我们提出的基准可以评估结构化光方法的性能。我们的评估指标是从工厂中的许多检查任务中学习。我们提出的指标包括四个详细标准，例如平坦，长度，高度和球形。然后，我们可以判断是否可以通过我们的评估指标将结构化的光方法/设备应用于指定的检查任务。在最终实验部分中，通过我们的指标评估了用于打字针针检查性能的结构化轻型设备。

传感器是将物理参数或环境特征（例如温度，距离，速度等）转换为可以通过数字测量和处理以执行特定任务的信号的设备。移动机器人需要传感器来测量其环境的属性，从而允许安全导航，复杂的感知和相应的动作以及与填充环境的其他代理的有效相互作用。移动机器人使用的传感器范围从简单的触觉传感器（例如保险杠）到复杂的基于视觉的传感器，例如结构化灯相机。所有这些都提供了可以由机器人计算机处理的数字输出（例如，字符串，一组值，矩阵等）。通常通过使用传感器中包含的数字转换器（ADC）的类似物来离散一个或多个模拟电信号来获得此类输出。在本章中，我们介绍了移动机器人技术中最常见的传感器，并提供了其分类法，基本特征和规格的介绍。对功能和应用程序类型的描述遵循一种自下而上的方法：在描述现实世界传感器之前，介绍了传感器所基于的基本原理和组件，这些传感器通常基于多种技术和基本设备。

在本文中，提议通过优化投影球上的射线对来解决校准全向相机的三角剖分问题。所提出的解决方案归结为找到二次函数的根，因此与以前的方法相比，封闭形式是完全非介绍性和计算便宜的。此外，甚至认为动机显然是解决全向相机的三角剖分问题，也证明了所提出的方法可以应用于非运动，狭窄的视野摄像机。

Three-dimensional (3D) technologies have been developing rapidly recent years, and have influenced industrial, medical, cultural, and many other fields. In this paper, we introduce an automatic 3D human head scanning-printing system, which provides a complete pipeline to scan, reconstruct, select, and finally print out physical 3D human heads. To enhance the accuracy of our system, we developed a consumer-grade composite sensor (including a gyroscope, an accelerometer, a digital compass, and a Kinect v2 depth sensor) as our sensing device. This sensing device is then mounted on a robot, which automatically rotates around the human subject with approximate 1-meter radius, to capture the full-view information. The data streams are further processed and fused into a 3D model of the subject using a tablet located on the robot. In addition, an automatic selection method, based on our specific system configurations, is proposed to select the head portion. We evaluated the accuracy of the proposed system by comparing our generated 3D head models, from both standard human head model and real human subjects, with the ones reconstructed from FastSCAN and Cyberware commercial laser scanning systems through computing and visualizing Hausdorff distances. Computational cost is also provided to further assess our proposed system.

本文介绍了一种新颖的体系结构，用于同时估算高度准确的光流和刚性场景转换，以实现困难的场景，在这种情况下，亮度假设因强烈的阴影变化而违反了亮度假设。如果是旋转物体或移动的光源（例如在黑暗中驾驶汽车遇到的光源），场景的外观通常从一个视图到下一个视图都发生了很大变化。不幸的是，用于计算光学流或姿势的标准方法是基于这样的期望，即场景中特征在视图之间保持恒定。在调查的情况下，这些方法可能经常失败。提出的方法通过组合图像，顶点和正常数据来融合纹理和几何信息，以计算照明不变的光流。通过使用粗到最新的策略，可以学习全球锚定的光流，从而减少了基于伪造的伪相应的影响。基于学习的光学流，提出了第二个体系结构，该体系结构可预测扭曲的顶点和正常地图的稳健刚性变换。特别注意具有强烈旋转的情况，这通常会导致这种阴影变化。因此，提出了一个三步程序，该程序可以利用正态和顶点之间的相关性。该方法已在新创建的数据集上进行了评估，该数据集包含具有强烈旋转和阴影效果的合成数据和真实数据。该数据代表了3D重建中的典型用例，其中该对象通常在部分重建之间以很大的步骤旋转。此外，我们将该方法应用于众所周知的Kitti Odometry数据集。即使由于实现了Brighness的假设，这不是该方法的典型用例，因此，还建立了对标准情况和与其他方法的关系的适用性。

广播视频中的运动场注册通常被解释为同型估算的任务，该任务在平面场和图像的相应可见区域之间提供了映射。与以前的方法相反，我们将任务视为摄像机校准问题。首先，我们引入了一个可区分的目标函数，该功能能够根据已知校准对象的片段，即运动领域的片段，从段对应（例如，线，点云）中学习相机姿势和焦距。 。校准模块迭代地最小化了由估计的摄像机参数引起的段重新投影误差。其次，我们提出了一种从广播足球图像中进行3D运动场注册的新方法。校准模块不需要任何训练数据，并且与典型的解决方案进行了比较，该解决方案随后完善了初始估计，我们的解决方案在一个步骤中进行。评估了所提出的方法在两个数据集上进行运动现场注册，并与两种最先进的方法相比，取得了优越的结果。

Point Cloud Registration is the problem of aligning the corresponding points of two 3D point clouds referring to the same object. The challenges include dealing with noise and partial match of real-world 3D scans. For non-rigid objects, there is an additional challenge of accounting for deformations in the object shape that happen to the object in between the two 3D scans. In this project, we study the problem of non-rigid point cloud registration for use cases in the Augmented/Mixed Reality domain. We focus our attention on a special class of non-rigid deformations that happen in rigid objects with parts that move relative to one another about joints, for example, robots with hands and machines with hinges. We propose an efficient and robust point-cloud registration workflow for such objects and evaluate it on real-world data collected using Microsoft Hololens 2, a leading Mixed Reality Platform.