同性记估计是计算机视觉应用中的一个重要任务，例如图像拼接，视频稳定和相机校准。传统的同性恋估计方法大量取决于特征对应关系的数量和分布，导致低纹理场景中的稳健性差。相反，学习解决方案尝试学习强大的深度特征，但在具有低重叠率的场景中表现出不满意的性能。在本文中，我们通过设计上下文相关层（CCL）同时解决这两个问题。 CCL可以有效地捕获特征映射内的远程相关性，并且可以灵活地用于学习框架。此外，考虑到单位定位不能用视差将复杂的图像中的复杂空间转换表示，我们建议将多网权特征从全局预测到本地。此外，通过引入新的深度感知形状保存的损失，我们将我们的网络配备了深度感知能力。广泛的实验证明了我们在合成基准数据集和现实世界数据集中的最先进解决方案的方法的优越性。代码和模型将在https://github.com/nie-lang/multi-grid-deep-homography上获得。

并非每个人都可以配备专业的摄影技巧和足够的拍摄时间，并且偶尔会有一些倾斜的图像。在本文中，我们提出了一项名为“旋转校正”的新的实用任务，以自动校正具有较高内容保真度的倾斜度，条件是旋转角度未知。可以轻松地将此任务集成到图像编辑应用程序中，从而使用户无需任何手动操作即可更正旋转的图像。为此，我们利用神经网络来预测可以扭曲倾斜图像的光流，以感知水平。然而，单个图像的像素光流量估计非常不稳定，尤其是在大角度倾斜图像中。为了增强其鲁棒性，我们提出了一种简单但有效的预测策略，以形成强大的弹性经纱。特别是，我们首先回归可以转化为可靠的初始光学流的网格变形。然后，我们估算残留的光流，以促进我们的网络赋予像素变形的灵活性，从而进一步纠正倾斜图像的细节。为了建立评估基准并训练学习框架，在场景和旋转角度上呈现了较大的多样性，呈现了全面的旋转校正数据集。广泛的实验表明，即使在没有角度的情况下，我们的算法也可以超越其他需要此事先的最先进的解决方案。代码和数据集将在https://github.com/nie-lang/rotationCorrection上找到。

Homography estimation is erroneous in the case of large-baseline due to the low image overlay and limited receptive field. To address it, we propose a progressive estimation strategy by converting large-baseline homography into multiple intermediate ones, cumulatively multiplying these intermediate items can reconstruct the initial homography. Meanwhile, a semi-supervised homography identity loss, which consists of two components: a supervised objective and an unsupervised objective, is introduced. The first supervised loss is acting to optimize intermediate homographies, while the second unsupervised one helps to estimate a large-baseline homography without photometric losses. To validate our method, we propose a large-scale dataset that covers regular and challenging scenes. Experiments show that our method achieves state-of-the-art performance in large-baseline scenes while keeping competitive performance in small-baseline scenes. Code and dataset are available at https://github.com/megvii-research/LBHomo.

与平板扫描仪相比，便携式智能手机在物理文档数字化方面更加方便。但是，由于不受控制的物理变形，相机位置和照明变化，这种数字化的文档通常会扭曲。为此，我们提出了DocScanner，这是文档图像纠正的新颖框架。与现有方法不同，DocScanner通过引入渐进的学习机制来解决此问题。具体而言，DOCSCANNER维护了整流图像的单个估计值，该图像通过经常性架构逐步校正。迭代的精炼使DocScanner融合到了强大而卓越的性能，而轻量级的重复体系结构可确保运行效率。此外，在上述整流过程之前，观察先前工作中存在的损坏的整流边界，DocScanner利用文档本地化模块从混乱的背景环境中明确分割前景文档。为了进一步提高纠正质量，基于扭曲图像和整流图像之间的几何先验，在训练过程中引入了几何正则化，以进一步提高性能。在DOC3D数据集和Docunet基准数据集上进行了广泛的实验，定量和定性评估结果验证了DOCSCANNER的有效性，DOCSCANNER的有效性超过了先前的OCR准确性，图像相似性，以及我们建议的失真指标可相当大。此外，我们的DOCSCANNER显示出运行时延迟和型号大小的最高效率。

估计可驱动表面和周围环境的3D结构是辅助和自主驾驶的重要任务。通过使用昂贵的3D传感器（例如LIDAR）或通过深度学习预测点深度来常见的是。而不是遵循现有的方法，我们提出道路平面视差关注网络（RPANET），这是一种基于平面视差的单眼图像序列的新型神经网络，这是驾驶场景中常见的道路平面几何形状的充分优势。 RPANET需要一对图像由道路平面的定址为对齐的图像，作为输入，输出3D重建的$ \ Gamma $地图。除了估计深度或高度之外，$ \ Gamma $ MAP的可能性在两个连续帧之间构造二维变换，同时可以容易地导出深度或高度。通过使用道路平面作为参考的连续帧，可以从平面视差和残余图像位移估计3D结构。此外，为了使网络更好地了解由平面视差引起的位移，我们引入了一种新颖的跨关注模块。我们从Waymo Open DataSet中示机数据并构建与平面视差相关的数据。在采样的数据集上进行综合实验，以展示我们在具有挑战性的情况下的方法的三维重建准确性。

这些年来，展示技术已经发展。开发实用的HDR捕获，处理和显示解决方案以将3D技术提升到一个新的水平至关重要。多曝光立体声图像序列的深度估计是开发成本效益3D HDR视频内容的重要任务。在本文中，我们开发了一种新颖的深度体系结构，以进行多曝光立体声深度估计。拟议的建筑有两个新颖的组成部分。首先，对传统立体声深度估计中使用的立体声匹配技术进行了修改。对于我们体系结构的立体深度估计部分，部署了单一到stereo转移学习方法。拟议的配方规避了成本量构造的要求，该要求由基于重新编码的单码编码器CNN取代，具有不同的重量以进行功能融合。基于有效网络的块用于学习差异。其次，我们使用强大的视差特征融合方法组合了从不同暴露水平上从立体声图像获得的差异图。使用针对不同质量度量计算的重量图合并在不同暴露下获得的差异图。获得的最终预测差异图更强大，并保留保留深度不连续性的最佳功能。提出的CNN具有使用标准动态范围立体声数据或具有多曝光低动态范围立体序列的训练的灵活性。在性能方面，所提出的模型超过了最新的单眼和立体声深度估计方法，无论是定量还是质量地，在具有挑战性的场景流以及暴露的Middlebury立体声数据集上。该体系结构在复杂的自然场景中表现出色，证明了其对不同3D HDR应用的有用性。

高动态范围（HDR）成像是图像处理中的一个基本问题，即使在场景中存在不同的照明的情况下，它旨在产生暴露良好的图像。近年来，多曝光融合方法已取得了显着的结果，该方法合并了多个具有不同暴露的动态范围（LDR）图像，以生成相应的HDR图像。但是，在动态场景中综合HDR图像仍然具有挑战性，并且需求量很高。生产HDR图像有两个挑战：1）。 LDR图像之间的对象运动很容易在生成的结果中引起不良的幽灵伪像。 2）。由于在合并阶段对这些区域的补偿不足，因此下区域和过度曝光的区域通常包含扭曲的图像含量。在本文中，我们提出了一个多尺度采样和聚合网络，用于在动态场景中进行HDR成像。为了有效地减轻小动作和大型动作引起的问题，我们的方法通过以粗到精细的方式对LDR图像进行了暗中对齐LDR图像。此外，我们提出了一个基于离散小波转换的密集连接的网络，以改善性能，该网络将输入分解为几个非重叠频率子带，并在小波域中自适应地执行补偿。实验表明，与其他有希望的HDR成像方法相比，我们提出的方法可以在不同场景下实现最新的性能。此外，由我们的方法生成的HDR图像包含清洁剂和更详细的内容，扭曲较少，从而带来更好的视觉质量。

由于球形摄像机的兴起，单眼360深度估计成为许多应用（例如自主系统）的重要技术。因此，提出了针对单眼360深度估计的最新框架，例如Bifuse中的双预测融合。为了训练这样的框架，需要大量全景以及激光传感器捕获的相应深度地面真相，这极大地增加了数据收集成本。此外，由于这样的数据收集过程是耗时的，因此将这些方法扩展到不同场景的可扩展性成为一个挑战。为此，从360个视频中进行单眼深度估计网络的自我培训是减轻此问题的一种方法。但是，没有现有的框架将双投射融合融合到自我训练方案中，这极大地限制了自我监督的性能，因为Bi-Prodoction Fusion可以利用来自不同投影类型的信息。在本文中，我们建议Bifuse ++探索双投影融合和自我训练场景的组合。具体来说，我们提出了一个新的融合模块和对比度感知的光度损失，以提高Bifuse的性能并提高对现实世界视频的自我训练的稳定性。我们在基准数据集上进行了监督和自我监督的实验，并实现最先进的性能。

This paper explores the problem of reconstructing high-resolution light field (LF) images from hybrid lenses, including a high-resolution camera surrounded by multiple low-resolution cameras. The performance of existing methods is still limited, as they produce either blurry results on plain textured areas or distortions around depth discontinuous boundaries. To tackle this challenge, we propose a novel end-to-end learning-based approach, which can comprehensively utilize the specific characteristics of the input from two complementary and parallel perspectives. Specifically, one module regresses a spatially consistent intermediate estimation by learning a deep multidimensional and cross-domain feature representation, while the other module warps another intermediate estimation, which maintains the high-frequency textures, by propagating the information of the high-resolution view. We finally leverage the advantages of the two intermediate estimations adaptively via the learned attention maps, leading to the final high-resolution LF image with satisfactory results on both plain textured areas and depth discontinuous boundaries. Besides, to promote the effectiveness of our method trained with simulated hybrid data on real hybrid data captured by a hybrid LF imaging system, we carefully design the network architecture and the training strategy. Extensive experiments on both real and simulated hybrid data demonstrate the significant superiority of our approach over state-of-the-art ones. To the best of our knowledge, this is the first end-to-end deep learning method for LF reconstruction from a real hybrid input. We believe our framework could potentially decrease the cost of high-resolution LF data acquisition and benefit LF data storage and transmission.

现有的DERANE方法主要集中于单个输入图像。只有单个输入图像，很难准确检测到雨条，去除雨条并恢复无雨图像。与单个2D图像相比，光场图像（LFI）通过通过元素摄像机记录每个事件射线的方向和位置，嵌入了广泛的3D结构和纹理信息，该镜头已成为计算机中的流行设备视觉和图形研究社区。在本文中，我们提出了一个新颖的网络4D-MGP-SRRNET，以从LFI中删除雨条。我们的方法将大雨LFI的所有子视图作为输入。为了充分利用LFI，我们采用4D卷积层来构建拟议的雨牛排清除网络，以同时处理LFI的所有子视图。在拟议的网络中，提出了带有新颖的多尺度自引导高斯工艺（MSGP）模块的雨水检测模型MGPDNET，以检测输入LFI的所有子视图中的雨条。引入了半监督的学习，以通过对虚拟世界LFI和现实世界中的LFI进行多个尺度上的虚拟世界LFI和现实世界中的LFI来准确检测雨季，这是通过计算现实世界中雨水条纹的伪地面真相。然后，所有减去预测的雨条的子视图都将馈送到4D残差模型中，以估计深度图。最后，所有子视图与相应的雨条和从估计的深度图转换的相应雨条和雾图都馈送到基于对抗性复发性神经网络的雨天LFI恢复模型，以逐步消除雨水条纹并恢复无雨的LFI LFI LFI。 。对合成LFI和现实世界LFI进行的广泛的定量和定性评估证明了我们提出的方法的有效性。

视频框架插值（VFI）旨在通过从双向历史参考文献中扭曲可学习的动作来产生预测帧。大多数现有的作品都利用时空语义信息提取器来实现运动估计和插值建模，考虑到产生的中间运动的实际机械合理性，没有足够的考虑。在本文中，我们将VFI重新制定为多变量的非线性（MNL）回归问题，并提出了联合非线性运动回归（JNMR）策略来模拟框架间的复杂运动。为了建立MNL回归，采用ConvlSTM来构建时间维度的完整运动的分布。目标框架和多个参考帧之间的运动相关性可以通过建模的分布进行回归。此外，功能学习网络旨在为MNL回归建模进行优化。进一步进行了一个粗到精细的合成增强模块，以通过重复回归和插值来学习不同分辨率的视觉动力学。框架插值上的高度竞争性实验结果表明，与最先进的性能相比，有效性和显着提高，以及复杂运动估计的鲁棒性通过MNL运动回归提高。

多视图立体声（MVS）是精确三维重建的重要任务。最近的研究试图通过设计聚合的3D成本卷及其正则化来提高MV中匹配成本体积的性能。本文侧重于学习强大的特征提取网络，以增强匹配成本的性能，在其他步骤中没有重大计算。特别是，我们提出了一种动态刻度特征提取网络，即CDSFNET。它由多个新颖的卷积层组成，每个卷积层可以为由图像表面的法线曲率指导的每个像素选择适当的补丁比例。因此，CDFSNet可以估计最佳补丁尺度，以学习参考和源图像之间准确匹配计算的判别特征。通过将具有适当成本制定策略的强大提取功能组合，我们的MVS架构可以更精确地估计深度映射。广泛的实验表明，该方法在复杂的户外场景中优于其他最先进的方法。它显着提高了重建模型的完整性。结果，该方法可以在比其他MVS方法更快的运行时间和更低的内存中处理更高的分辨率输入。我们的源代码可用于URL {https:/github.com/truongkhang/cds-mvsnet}。

通过探索跨视图一致性，例如，光度计一致性和3D点云的一致性，在自我监督的单眼深度估计（SS-MDE）中取得了显着进步。但是，它们非常容易受到照明差异，遮挡，无纹理区域以及移动对象的影响，使它们不够强大，无法处理各种场景。为了应对这一挑战，我们在本文中研究了两种强大的跨视图一致性。首先，相邻帧之间的空间偏移场是通过通过可变形对齐来从其邻居重建参考框架来获得的，该比对通过深度特征对齐（DFA）损失来对齐时间深度特征。其次，计算每个参考框架及其附近框架的3D点云并转换为体素空间，在其中计算每个体素中的点密度并通过体素密度比对（VDA）损耗对齐。通过这种方式，我们利用了SS-MDE的深度特征空间和3D体素空间的时间连贯性，将“点对点”对齐范式转移到“区域到区域”。与光度一致性损失以及刚性点云对齐损失相比，由于深度特征的强大代表能力以及对上述挑战的素密度的高公差，提出的DFA和VDA损失更加强大。几个户外基准的实验结果表明，我们的方法的表现优于当前最新技术。广泛的消融研究和分析验证了拟议损失的有效性，尤其是在具有挑战性的场景中。代码和型号可在https://github.com/sunnyhelen/rcvc-depth上找到。

We present an end-to-end deep learning architecture for depth map inference from multi-view images. In the network, we first extract deep visual image features, and then build the 3D cost volume upon the reference camera frustum via the differentiable homography warping. Next, we apply 3D convolutions to regularize and regress the initial depth map, which is then refined with the reference image to generate the final output. Our framework flexibly adapts arbitrary N-view inputs using a variance-based cost metric that maps multiple features into one cost feature. The proposed MVSNet is demonstrated on the large-scale indoor DTU dataset. With simple post-processing, our method not only significantly outperforms previous state-of-the-arts, but also is several times faster in runtime. We also evaluate MVSNet on the complex outdoor Tanks and Temples dataset, where our method ranks first before April 18, 2018 without any fine-tuning, showing the strong generalization ability of MVSNet.

作为许多自主驾驶和机器人活动的基本组成部分，如自我运动估计，障碍避免和场景理解，单眼深度估计（MDE）引起了计算机视觉和机器人社区的极大关注。在过去的几十年中，已经开发了大量方法。然而，据我们所知，对MDE没有全面调查。本文旨在通过审查1970年至2021年之间发布的197个相关条款来弥补这一差距。特别是，我们为涵盖各种方法的MDE提供了全面的调查，介绍了流行的绩效评估指标并汇总公开的数据集。我们还总结了一些代表方法的可用开源实现，并比较了他们的表演。此外，我们在一些重要的机器人任务中审查了MDE的应用。最后，我们通过展示一些有希望的未来研究方向来结束本文。预计本调查有助于读者浏览该研究领域。

近年来，尤其是在户外环境中，自我监督的单眼深度估计已取得了重大进展。但是，在大多数现有数据被手持设备捕获的室内场景中，深度预测结果无法满足。与室外环境相比，使用自我监督的方法估算室内环境的单眼视频深度，导致了两个额外的挑战：（i）室内视频序列的深度范围在不同的框架上有很大变化，使深度很难进行。网络以促进培训的一致深度线索； （ii）用手持设备记录的室内序列通常包含更多的旋转运动，这使姿势网络难以预测准确的相对摄像头姿势。在这项工作中，我们通过对这些挑战进行特殊考虑并巩固了一系列良好实践，以提高自我监督的单眼深度估计室内环境的表现，从而提出了一种新颖的框架单声道++。首先，提出了具有基于变压器的比例回归网络的深度分解模块，以明确估算全局深度尺度因子，预测的比例因子可以指示最大深度值。其次，我们不像以前的方法那样使用单阶段的姿势估计策略，而是建议利用残留姿势估计模块来估计相对摄像机在连续迭代的跨帧中构成。第三，为了为我们的残留姿势估计模块纳入广泛的坐标指南，我们建议直接在输入上执行坐标卷积编码，以实现姿势网络。提出的方法在各种基准室内数据集（即Euroc Mav，Nyuv2，扫描仪和7片）上进行了验证，证明了最先进的性能。

使用注意机制的深度卷积神经网络（CNN）在动态场景中取得了巨大的成功。在大多数这些网络中，只能通过注意图精炼的功能传递到下一层，并且不同层的注意力图彼此分开，这并不能充分利用来自CNN中不同层的注意信息。为了解决这个问题，我们引入了一种新的连续跨层注意传播（CCLAT）机制，该机制可以利用所有卷积层的分层注意信息。基于CCLAT机制，我们使用非常简单的注意模块来构建一个新型残留的密集注意融合块（RDAFB）。在RDAFB中，从上述RDAFB的输出中推断出的注意图和每一层直接连接到后续的映射，从而导致CRLAT机制。以RDAFB为基础，我们为动态场景Deblurring设计了一个名为RDAFNET的有效体系结构。基准数据集上的实验表明，所提出的模型的表现优于最先进的脱毛方法，并证明了CCLAT机制的有效性。源代码可在以下网址提供：https：//github.com/xjmz6/rdafnet。

Photometric differences are widely used as supervision signals to train neural networks for estimating depth and camera pose from unlabeled monocular videos. However, this approach is detrimental for model optimization because occlusions and moving objects in a scene violate the underlying static scenario assumption. In addition, pixels in textureless regions or less discriminative pixels hinder model training. To solve these problems, in this paper, we deal with moving objects and occlusions utilizing the difference of the flow fields and depth structure generated by affine transformation and view synthesis, respectively. Secondly, we mitigate the effect of textureless regions on model optimization by measuring differences between features with more semantic and contextual information without adding networks. In addition, although the bidirectionality component is used in each sub-objective function, a pair of images are reasoned about only once, which helps reduce overhead. Extensive experiments and visual analysis demonstrate the effectiveness of the proposed method, which outperform existing state-of-the-art self-supervised methods under the same conditions and without introducing additional auxiliary information.

为了获得更好的摄影，包括智能手机在内的最新商业摄像机要么采用大孔镜来收集更多的光线，要么使用突发模式在短时间内拍摄多个图像。这些有趣的功能使我们检查了焦点/散焦的深度。在这项工作中，我们提出了来自单个焦点堆栈的基于卷积神经网络的深度估计。我们的方法不同于相关的最新方法，具有三个独特的功能。首先，我们的方法允许以端到端方式推断深度图，即使图像对齐方式也是如此。其次，我们提出了一个尖锐的区域检测模块，以减少焦点变化和无纹理的区域中的模糊歧义。第三，我们设计了一个有效的下采样模块，以减轻特征提取中焦点信息的流动。此外，为了概括拟议的网络，我们开发了一个模拟器来实际重现商用摄像机的特征，例如视野的变化，焦点长度和主要点。通过有效合并这三个独特功能，我们的网络在大多数指标上达到了DDFF 12场景基准的最高等级。我们还证明了所提出的方法对与最新方法相比，从各种现成的摄像机拍摄的各种定量评估和现实世界图像的有效性。我们的源代码可在https://github.com/wcy199705/dffinthewild上公开获得。

人类姿势转移旨在将源人的外观转移到目标姿势。利用基于流量的非刚性人类图像的翘曲的现有方法取得了巨大的成功。然而，由于源和目标之间的空间相关性未充分利用，它们未能保留合成图像中的外观细节。为此，我们提出了基于流动的双重关注GaN（FDA-GaN），以应用于更高的发电质量的遮挡和变形感知功能融合。具体而言，可变形的局部注意力和流量相似性关注，构成双重关注机制，可以分别导出负责可变形和遮挡感知融合的输出特征。此外，为了维持传输的姿势和全球位置一致性，我们设计了一种姿势归一化网络，用于从目标姿势到源人员学习自适应标准化。定性和定量结果都表明，我们的方法在公共IPer和Deepfashion数据集中优于最先进的模型。