干眼症（DED）的患病率为5％至50％，是眼科医生咨询的主要原因之一。 DED的诊断和定量通常依赖于通过缝隙灯 - 检查的眼表面分析。但是，评估是主观的且不可再生的。为了改善诊断，我们建议1）使用考试期间获得的视频记录在3D中跟踪眼表面，以及2）使用注册框架对严重程度进行评分。我们的注册方法使用无监督的图像到深度学习。这些方法从灯光和阴影中学习深度，并根据深度图估算姿势。但是，DED考试经历尚未解决的挑战，包括移动的光源，透明的眼组织等。为了克服这些挑战，我们为这些挑战并估算了自我动机，我们实施了联合CNN体系结构，具有多种损失，包括先前的已知信息，即通过眼睛的形状，即通过语义分割以及球体拟合。所达到的跟踪误差优于最先进的，其平均欧几里得距离低至我们的测试集中图像宽度的0.48％。该注册将DED严重性分类提高了0.20 AUC差异。拟议的方法是第一个通过单眼视频监督来解决DED诊断的方法

Photometric differences are widely used as supervision signals to train neural networks for estimating depth and camera pose from unlabeled monocular videos. However, this approach is detrimental for model optimization because occlusions and moving objects in a scene violate the underlying static scenario assumption. In addition, pixels in textureless regions or less discriminative pixels hinder model training. To solve these problems, in this paper, we deal with moving objects and occlusions utilizing the difference of the flow fields and depth structure generated by affine transformation and view synthesis, respectively. Secondly, we mitigate the effect of textureless regions on model optimization by measuring differences between features with more semantic and contextual information without adding networks. In addition, although the bidirectionality component is used in each sub-objective function, a pair of images are reasoned about only once, which helps reduce overhead. Extensive experiments and visual analysis demonstrate the effectiveness of the proposed method, which outperform existing state-of-the-art self-supervised methods under the same conditions and without introducing additional auxiliary information.

来自运动（SFM）的结构和地面相同估计对自动驾驶和其他机器人应用至关重要。最近，使用深神经网络分别用于SFM和同住估计的深度神经网络。然而，直接应用用于地面平面的现有方法可能会失败，因为道路通常是场景的一小部分。此外，深度SFM方法的性能仍然不如传统方法。在本文中，我们提出了一种方法，了解到以端到端的方式解决这两种问题，提高两者的性能。所提出的网络由深度CNN，姿势CNN和地面CNN组成。分别深度CNN和姿势 - CNN估计致密深度图和自我运动，求解SFM，而姿势 - CNN和地下CNN，接着是相同的相同层求解地面估计问题。通过强制SFM和同情侣估计结果之间的一致性，可以使用除了由搁板分段器提供的道路分割之外的光度损耗和单独的损耗来训练整个网络以结束到结束。综合实验是在基蒂基准上进行的，与各种最先进的方法相比，展示了有希望的结果。

场景流表示3D空间中点的运动，这是代表2D图像中像素运动的光流的对应物。但是，很难在真实场景中获得场景流的基础真理，并且最近的研究基于培训的合成数据。因此，如何基于实际数据训练场景流网络具有无监督的方法表现出至关重要的意义。本文提出了一种针对场景流的新颖无监督学习方法，该方法利用了单眼相机连续的两个帧的图像，而没有场景流的地面真相进行训练。我们的方法实现了一个目标，即训练场景流通过现实世界数据弥合了训练数据和测试数据之间的差距，并扩大了可用数据的范围以进行培训。本文无监督的场景流程学习主要由两个部分组成：（i）深度估计和摄像头姿势估计，以及（ii）基于四个不同损失功能的场景流估计。深度估计和相机姿势估计获得了两个连续帧之间的深度图和摄像头，这为下一个场景流估计提供了更多信息。之后，我们使用了深度一致性损失，动态静态一致性损失，倒角损失和拉普拉斯正规化损失来对场景流网络进行无监督的训练。据我们所知，这是第一篇意识到从单眼摄像机流动的3D场景流程的无监督学习的论文。 Kitti上的实验结果表明，与传统方法迭代最接近点（ICP）和快速全球注册（FGR）相比，我们无监督学习场景学习的方法符合表现出色。源代码可在以下网址获得：https：//github.com/irmvlab/3dunmonoflow。

We present an unsupervised learning framework for the task of monocular depth and camera motion estimation from unstructured video sequences. In common with recent work [10,14,16], we use an end-to-end learning approach with view synthesis as the supervisory signal. In contrast to the previous work, our method is completely unsupervised, requiring only monocular video sequences for training. Our method uses single-view depth and multiview pose networks, with a loss based on warping nearby views to the target using the computed depth and pose. The networks are thus coupled by the loss during training, but can be applied independently at test time. Empirical evaluation on the KITTI dataset demonstrates the effectiveness of our approach: 1) monocular depth performs comparably with supervised methods that use either ground-truth pose or depth for training, and 2) pose estimation performs favorably compared to established SLAM systems under comparable input settings.

We present a novel approach for unsupervised learning of depth and ego-motion from monocular video. Unsupervised learning removes the need for separate supervisory signals (depth or ego-motion ground truth, or multi-view video). Prior work in unsupervised depth learning uses pixel-wise or gradient-based losses, which only consider pixels in small local neighborhoods. Our main contribution is to explicitly consider the inferred 3D geometry of the whole scene, and enforce consistency of the estimated 3D point clouds and ego-motion across consecutive frames. This is a challenging task and is solved by a novel (approximate) backpropagation algorithm for aligning 3D structures.We combine this novel 3D-based loss with 2D losses based on photometric quality of frame reconstructions using estimated depth and ego-motion from adjacent frames. We also incorporate validity masks to avoid penalizing areas in which no useful information exists.We test our algorithm on the KITTI dataset and on a video dataset captured on an uncalibrated mobile phone camera. Our proposed approach consistently improves depth estimates on both datasets, and outperforms the stateof-the-art for both depth and ego-motion. Because we only require a simple video, learning depth and ego-motion on large and varied datasets becomes possible. We demonstrate this by training on the low quality uncalibrated video dataset and evaluating on KITTI, ranking among top performing prior methods which are trained on KITTI itself. 1

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

在接受高质量的地面真相（如LiDAR数据）培训时，监督的学习深度估计方法可以实现良好的性能。但是，LIDAR只能生成稀疏的3D地图，从而导致信息丢失。每个像素获得高质量的地面深度数据很难获取。为了克服这一限制，我们提出了一种新颖的方法，将有前途的平面和视差几何管道与深度信息与U-NET监督学习网络相结合的结构信息结合在一起，与现有的基于流行的学习方法相比，这会导致定量和定性的改进。特别是，该模型在两个大规模且具有挑战性的数据集上进行了评估：Kitti Vision Benchmark和CityScapes数据集，并在相对错误方面取得了最佳性能。与纯深度监督模型相比，我们的模型在薄物体和边缘的深度预测上具有令人印象深刻的性能，并且与结构预测基线相比，我们的模型的性能更加强大。

通过探索跨视图一致性，例如，光度计一致性和3D点云的一致性，在自我监督的单眼深度估计（SS-MDE）中取得了显着进步。但是，它们非常容易受到照明差异，遮挡，无纹理区域以及移动对象的影响，使它们不够强大，无法处理各种场景。为了应对这一挑战，我们在本文中研究了两种强大的跨视图一致性。首先，相邻帧之间的空间偏移场是通过通过可变形对齐来从其邻居重建参考框架来获得的，该比对通过深度特征对齐（DFA）损失来对齐时间深度特征。其次，计算每个参考框架及其附近框架的3D点云并转换为体素空间，在其中计算每个体素中的点密度并通过体素密度比对（VDA）损耗对齐。通过这种方式，我们利用了SS-MDE的深度特征空间和3D体素空间的时间连贯性，将“点对点”对齐范式转移到“区域到区域”。与光度一致性损失以及刚性点云对齐损失相比，由于深度特征的强大代表能力以及对上述挑战的素密度的高公差，提出的DFA和VDA损失更加强大。几个户外基准的实验结果表明，我们的方法的表现优于当前最新技术。广泛的消融研究和分析验证了拟议损失的有效性，尤其是在具有挑战性的场景中。代码和型号可在https://github.com/sunnyhelen/rcvc-depth上找到。

Monocular depth estimation has been actively studied in fields such as robot vision, autonomous driving, and 3D scene understanding. Given a sequence of color images, unsupervised learning methods based on the framework of Structure-From-Motion (SfM) simultaneously predict depth and camera relative pose. However, dynamically moving objects in the scene violate the static world assumption, resulting in inaccurate depths of dynamic objects. In this work, we propose a new method to address such dynamic object movements through monocular 3D object detection. Specifically, we first detect 3D objects in the images and build the per-pixel correspondence of the dynamic pixels with the detected object pose while leaving the static pixels corresponding to the rigid background to be modeled with camera motion. In this way, the depth of every pixel can be learned via a meaningful geometry model. Besides, objects are detected as cuboids with absolute scale, which is used to eliminate the scale ambiguity problem inherent in monocular vision. Experiments on the KITTI depth dataset show that our method achieves State-of-The-Art performance for depth estimation. Furthermore, joint training of depth, camera motion and object pose also improves monocular 3D object detection performance. To the best of our knowledge, this is the first work that allows a monocular 3D object detection network to be fine-tuned in a self-supervised manner.

本文提出了一个自我监督的单眼图像对深度预测框架，该框架经过端到端光度损失的训练，不仅可以处理6-DOF摄像机运动，还可以处理6-DOF移动对象实例。自学是通过使用深度和场景运动（包括对象实例）在视频序列上扭曲图像来执行的。提出方法的一种新颖性是使用变压器网络的多头注意力，该注意与随时间匹配移动对象并建模其相互作用和动力学。这可以为每个对象实例实现准确稳健的姿势估计。大多数图像到深度的谓词框架都可以假设刚性场景，从而在很大程度上降低了它们相对于动态对象的性能。只有少数SOTA论文说明了动态对象。所提出的方法显示出在标准基准上胜过这些方法，而动态运动对这些基准测试的影响也暴露出来。此外，所提出的图像到深度预测框架也被证明与SOTA视频对深度预测框架具有竞争力。

深度和自我运动估计对于自主机器人和自主驾驶的本地化和导航至关重要。最近的研究可以从未标记的单像素视频中学习每个像素深度和自我运动。提出了一种新颖的无监督培训框架，使用显式3D几何进行3D层次细化和增强。在该框架中，深度和姿势估计在分层和相互耦合以通过层改进估计的姿势层。通过用估计的深度和粗姿势翘曲图像中的像素来提出和合成中间视图图像。然后，可以从新视图图像和相邻帧的图像估计残差变换以改进粗糙姿势。迭代细化在本文中以可分散的方式实施，使整个框架均匀优化。同时，提出了一种新的图像增强方法来综合新视图图像来施加姿势估计，这创造性地增强了3D空间中的姿势，而是获得新的增强2D图像。 Kitti的实验表明，我们的深度估计能够实现最先进的性能，甚至超过最近利用其他辅助任务的方法。我们的视觉内径术优于所有最近无监督的单眼学习的方法，并实现了基于几何的方法，ORB-SLAM2的竞争性能，具有后端优化。

We address the problem of depth and ego-motion estimation from image sequences. Recent advances in the domain propose to train a deep learning model for both tasks using image reconstruction in a self-supervised manner. We revise the assumptions and the limitations of the current approaches and propose two improvements to boost the performance of the depth and ego-motion estimation. We first use Lie group properties to enforce the geometric consistency between images in the sequence and their reconstructions. We then propose a mechanism to pay an attention to image regions where the image reconstruction get corrupted. We show how to integrate the attention mechanism in the form of attention gates in the pipeline and use attention coefficients as a mask. We evaluate the new architecture on the KITTI datasets and compare it to the previous techniques. We show that our approach improves the state-of-the-art results for ego-motion estimation and achieve comparable results for depth estimation.

深度估计是在机器人手术和腹腔镜成像系统中进行图像引导干预的关键步骤。由于对于腹腔镜图像数据很难获得人均深度地面真相，因此很少将监督深度估计应用于手术应用。作为替代方案，已经引入了仅使用同步的立体图像对来训练深度估计器。但是，最近的工作集中在2D中的左右一致性上，而忽略了现实世界坐标中对象的宝贵固有3D信息，这意味着左右3D几何结构一致性尚未得到充分利用。为了克服这一限制，我们提出了M3Depth，这是一种自我监督的深度估计器，以利用3D几何结构信息隐藏在立体声对中，同时保持单眼推理。该方法还消除了在至少一个立体声图像中通过掩码看不见的边界区域的影响，以增强重叠区域中的左图和右图像之间的对应关系。密集实验表明，我们的方法在公共数据集和新获取的数据集上的以前的自我监督方法都大大优先，这表明在不同的样品和腹腔镜上都有良好的概括。

从单目视频重建3D网格的关键元素之一是生成每个帧的深度图。然而，在结肠镜检查视频重建的应用中，产生良好质量的深度估计是具有挑战性的。神经网络可以容易地被光度分散注意力欺骗，或者不能捕获结肠表面的复杂形状，预测导致破碎网格的缺陷形状。旨在从根本上提高结肠镜检查3D重建的深度估计质量，在这项工作中，我们设计了一系列培训损失来应对结肠镜检查数据的特殊挑战。为了更好的培训，使用深度和表面正常信息开发了一组几何一致性目标。而且，经典的光度损耗延伸，具有特征匹配以补偿照明噪声。随着足够强大的培训损失，我们的自我监督框架命名为COLLE，与利用先前的深度知识相比，我们的自我监督框架能够产生更好的结肠镜检查数据地图。用于重建，我们的网络能够实时重建高质量的结肠网格，而无需任何后处理，使其成为第一个在临床上适用。

最近，自我监督的学习技术已经应用于计算单眼视频的深度和自我运动，实现了自动驾驶场景中的显着性能。一种广泛采用的深度和自我运动自我监督学习的假设是图像亮度在附近框架内保持恒定。遗憾的是，内窥镜场景不符合这种假设，因为在数据收集期间的照明变化，非灯泡反射和孤立性引起的严重亮度波动，并且这些亮度波动不可避免地恶化深度和自我运动估计精度。在这项工作中，我们介绍了一个新颖的概念，称为外观流动，以解决亮度不一致问题。外观流程考虑了亮度图案中的任何变型，使我们能够开发广义动态图像约束。此外，我们建立一个统一的自我监督框架，以在内窥镜场景中同时估计单眼深度和自我运动，该内窥镜场景包括结构模块，运动模块，外观模块和对应模块，以准确地重建外观并校准图像亮度。广泛的实验是在害怕的数据集和内酷数据集上进行的，拟议的统一框架超过了大幅度的其他自我监控方法。为了验证我们在不同患者和相机上的框架的泛化能力，我们训练我们的模型害怕，但在没有任何微调的情况下测试它在Serv-CT和Hamlyn数据集上，并且卓越的结果揭示了其强大的泛化能力。代码将可用：\ url {https：//github.com/shuweishao/af-sfmlearner}。

在本文中，我们提出了一种新颖的自我监督方法，可以预测未来，未观察到的现实世界中的深度估计。这项工作是第一个探索自我监督的学习，以估计视频未来未观察到的框架的单眼深度。现有作品依靠大量带注释的样本来生成对看不见框架深度的概率预测。但是，由于需要大量注释的视频样本，因此这使它变得不现实。此外，案件的概率性质，其中一个过去可能会有多个未来结果通常会导致深度估计不正确。与以前的方法不同，我们将未观察到的框架的深度估计作为视图合成问题进行建模，该问题将看不见的视频框架的深度估计视为辅助任务，同时使用学识渊博的姿势将视图恢复回去。这种方法不仅具有成本效益 - 我们不使用任何基础真相深度进行培训（因此实用），而且不使用确定性（过去的框架映射到不久的将来）。为了解决此任务，我们首先开发了一个新颖的深度预测网络DEFNET，该深度通过预测潜在特征来估计未观察到的未来的深度。其次，我们开发了基于渠道注意的姿势估计网络，该网络估计未观察到的框架的姿势。使用这个学到的姿势，将估计的深度图重建回图像域，从而形成一个自我监督的解决方案。我们提出的方法在短期和中期预测环境中与最先进的替代方案相比，ABS REL度量的重大改善，在Kitti和CityScapes上标有标准。代码可从https://github.com/sauradip/depthforecasting获得

自我监督的单眼深度估计使机器人能够从原始视频流中学习3D感知。假设世界主要是静态的，这种可扩展的方法利用了投射的几何形状和自我运动来通过视图综合学习。在自主驾驶和人类机器人相互作用中常见的动态场景违反了这一假设。因此，它们需要明确建模动态对象，例如通过估计像素3D运动，即场景流。但是，同时对深度和场景流的自我监督学习是不适合的，因为有许多无限的组合导致相同的3D点。在本文中，我们提出了一种草稿，这是一种通过将合成数据与几何自学意识相结合的新方法，能够共同学习深度，光流和场景流。在木筏架构的基础上，我们将光流作为中间任务，以通过三角剖分来引导深度和场景流量学习。我们的算法还利用任务之间的时间和几何一致性损失来改善多任务学习。我们的草案在标准Kitti基准的自我监督的单眼环境中，同时在所有三个任务中建立了新的最新技术状态。项目页面：https：//sites.google.com/tri.global/draft。

准确估计深度信息的能力对于许多自主应用来识别包围环境并预测重要对象的深度至关重要。最近使用的技术之一是单眼深度估计，其中深度图从单个图像推断出深度图。本文提高了自我监督的深度学习技术，以进行准确的广义单眼深度估计。主要思想是训练深层模型要考虑不同帧的序列，每个帧都是地理标记的位置信息。这使得模型能够增强给定区域语义的深度估计。我们展示了我们模型改善深度估计结果的有效性。该模型在现实环境中受过培训，结果显示在将位置数据添加到模型训练阶段之后的深度图中的改进。

Per-pixel ground-truth depth data is challenging to acquire at scale. To overcome this limitation, self-supervised learning has emerged as a promising alternative for training models to perform monocular depth estimation. In this paper, we propose a set of improvements, which together result in both quantitatively and qualitatively improved depth maps compared to competing self-supervised methods.Research on self-supervised monocular training usually explores increasingly complex architectures, loss functions, and image formation models, all of which have recently helped to close the gap with fully-supervised methods. We show that a surprisingly simple model, and associated design choices, lead to superior predictions. In particular, we propose (i) a minimum reprojection loss, designed to robustly handle occlusions, (ii) a full-resolution multi-scale sampling method that reduces visual artifacts, and (iii) an auto-masking loss to ignore training pixels that violate camera motion assumptions. We demonstrate the effectiveness of each component in isolation, and show high quality, state-of-the-art results on the KITTI benchmark.