Most existing image inpainting algorithms are based on a single view, struggling with large holes or the holes containing complicated scenes. Some reference-guided algorithms fill the hole by referring to another viewpoint image and use 2D image alignment. Due to the camera imaging process, simple 2D transformation is difficult to achieve a satisfactory result. In this paper, we propose 3DFill, a simple and efficient method for reference-guided image inpainting. Given a target image with arbitrary hole regions and a reference image from another viewpoint, the 3DFill first aligns the two images by a two-stage method: 3D projection + 2D transformation, which has better results than 2D image alignment. The 3D projection is an overall alignment between images and the 2D transformation is a local alignment focused on the hole region. The entire process of image alignment is self-supervised. We then fill the hole in the target image with the contents of the aligned image. Finally, we use a conditional generation network to refine the filled image to obtain the inpainting result. 3DFill achieves state-of-the-art performance on image inpainting across a variety of wide view shifts and has a faster inference speed than other inpainting models.

本文提出了一种新颖的视频介绍方法。我们做出了三个主要贡献：首先，我们通过引入基于贴片的同型（DEPTH）扩展了以前的变压器，以补丁的对齐方式扩展了贴片对齐，该均值（DEPTH）改善了补丁级的功能对齐，而没有其他有各种变形的监督和受益的挑战场景。其次，我们引入了基于面膜修剪的贴片注意力（MPPA），以通过修剪较少的基本功能和使用显着性图来改善贴合的功能匹配。MPPA用无效的像素增强了扭曲令牌之间的匹配精度。第三，我们引入了空间加权适配器（STA）模块，以在从深度中学到的变形因子的指导下，准确地关注空间代币，尤其是对于具有敏捷运动的视频。实验结果表明，我们的方法在定性和定量上优于最新方法，并实现了新的最新方法。

当面对复杂的语义环境和各种孔模式时，现有的基于学习的图像介绍方法仍在挑战。从大规模培训数据中学到的先前信息仍然不足以解决这些情况。捕获的覆盖相同场景的参考图像与损坏的图像共享相似的纹理和结构先验，该图像为图像授课任务提供了新的前景。受此启发的启发，我们首先构建了一个基准数据集，其中包含10k对的输入和参考图像，以引入引导介绍。然后，我们采用编码器解码器结构来分别推断输入图像的纹理和结构特征，考虑其在indpaining期间的纹理和结构差异。进一步设计特征对齐模块，以通过参考图像的指导来完善输入图像的这些特征。定量和定性评估都证明了我们方法在完成复杂孔方面的优越性。

动态对象对机器人对环境的看法产生了重大影响，这降低了本地化和映射等基本任务的性能。在这项工作中，我们通过在由动态对象封闭的区域中合成合理的颜色，纹理和几何形状来解决这个问题。我们提出了一种新的几何感知Dynafill架构，其遵循粗略拓扑，并将我们所通用的经常性反馈机制结合到自适应地融合来自之前的时间步来的信息。我们使用对抗性培训来优化架构，以综合精细的现实纹理，使其能够以空间和时间相干的方式在线在线遮挡地区的幻觉和深度结构，而不依赖于未来的帧信息。将我们的待遇问题作为图像到图像到图像的翻译任务，我们的模型还纠正了与场景中动态对象的存在相关的区域，例如阴影或反射。我们引入了具有RGB-D图像，语义分段标签，摄像机的大型高估数据集，以及遮挡区域的地面RGB-D信息。广泛的定量和定性评估表明，即使在挑战天气条件下，我们的方法也能实现最先进的性能。此外，我们使用综合图像显示基于检索的视觉本地化的结果，该图像证明了我们方法的效用。

最近的基于学习的初始化算法已经达到了在删除视频中的不期望的对象之后完成缺失区域的令人信服的结果。为了保持帧之间的时间一致性，3D空间和时间操作通常在深网络中使用。但是，这些方法通常遭受内存约束，只能处理低分辨率视频。我们提出了一种用于高分辨率视频侵略的新型空间剩余聚集框架。关键的想法是首先在下采样的低分辨率视频上学习和应用空间和时间内染色网络。然后，我们通过将学习的空间和时间图像残差（细节）聚合到上采样的染色帧来细化低分辨率结果。定量和定性评估都表明，我们可以生产出比确定高分辨率视频的最先进的方法产生更多的时间相干和视觉上吸引力。

视频介绍的关键是使用尽可能多的参考帧中的相关信息。现有基于流的传播方法将视频合成过程分为多个步骤：流程完成 - >像素传播 - >综合。但是，存在一个很大的缺点，即每个步骤中的错误继续在下一步中积累和放大。为此，我们为流提供的视频介绍（ECFVI）提出了一个错误补偿框架，该框架利用基于流的方法并抵消了其弱点。我们通过新设计的流程完成模块和利用错误指南图的错误补偿网络来解决弱点。我们的方法极大地提高了时间的一致性和完整视频的视觉质量。实验结果表明，与最先进的方法相比，我们提出的方法的卓越性能随X6的速度提高了。此外，我们通过补充现有测试数据集的弱点来提出一个新的基准数据集，以评估。

深度和自我运动估计对于自主机器人和自主驾驶的本地化和导航至关重要。最近的研究可以从未标记的单像素视频中学习每个像素深度和自我运动。提出了一种新颖的无监督培训框架，使用显式3D几何进行3D层次细化和增强。在该框架中，深度和姿势估计在分层和相互耦合以通过层改进估计的姿势层。通过用估计的深度和粗姿势翘曲图像中的像素来提出和合成中间视图图像。然后，可以从新视图图像和相邻帧的图像估计残差变换以改进粗糙姿势。迭代细化在本文中以可分散的方式实施，使整个框架均匀优化。同时，提出了一种新的图像增强方法来综合新视图图像来施加姿势估计，这创造性地增强了3D空间中的姿势，而是获得新的增强2D图像。 Kitti的实验表明，我们的深度估计能够实现最先进的性能，甚至超过最近利用其他辅助任务的方法。我们的视觉内径术优于所有最近无监督的单眼学习的方法，并实现了基于几何的方法，ORB-SLAM2的竞争性能，具有后端优化。

图像缝线旨在缝合从不同的观点拍摄的图像到与更广泛的视野的图象。现有方法使用估计的扭曲函数将目标图像翘曲到参考图像，并且同情是最常用的翘曲功能之一。然而，当由于相机的非平面场景和平移运动导致图像具有大的视差时，同性特性不能完全描述两个图像之间的映射。基于全局或​​本地同类估计的现有方法不存在来自此问题的不含问题，并且由于视差而受到不期望的伪影。在本文中，而不是依赖于基于同位的扭曲，我们提出了一种新颖的深度图像拼接框架，利用像素 - 明智的横田来处理大视差问题。所提出的深度图像拼接框架由两个模块组成：像素 - 明智的翘曲模块（PWM）和缝合图像生成模块（SIGMO）。 PWM采用光学流量估计模型来获得整个图像的像素方面的翘曲，并通过所获得的跨场重新恢复目标图像的像素。 SIGMO将翘曲的目标图像和参考图像混合，同时消除了诸如损害缝合结果的合理性的未对准，接缝和孔的不需要的伪影。为了培训和评估所提出的框架，我们构建了一个大规模数据集，包括具有相应像素的图像对的图像对，该图像对进行映像对实际翘曲和样本缝合结果图像。我们表明，所提出的框架的结果与传统方法的结果优于常规方法，特别是当图像具有大视差时。代码和建议的数据集即将公开发布。

Deep learning techniques have made considerable progress in image inpainting, restoration, and reconstruction in the last few years. Image outpainting, also known as image extrapolation, lacks attention and practical approaches to be fulfilled, owing to difficulties caused by large-scale area loss and less legitimate neighboring information. These difficulties have made outpainted images handled by most of the existing models unrealistic to human eyes and spatially inconsistent. When upsampling through deconvolution to generate fake content, the naive generation methods may lead to results lacking high-frequency details and structural authenticity. Therefore, as our novelties to handle image outpainting problems, we introduce structural prior as a condition to optimize the generation quality and a new semantic embedding term to enhance perceptual sanity. we propose a deep learning method based on Generative Adversarial Network (GAN) and condition edges as structural prior in order to assist the generation. We use a multi-phase adversarial training scheme that comprises edge inference training, contents inpainting training, and joint training. The newly added semantic embedding loss is proved effective in practice.

基于3D点云表示的视图合成方法已证明有效性。但是，现有的方法通常仅从单个源视图中综合新视图，并且概括它们以处理多个源视图以追求更高的重建质量是不平凡的。在本文中，我们提出了一种新的基于深度学习的视图综合范式，该范式从不同的源视图中学习了统一的3D点云。具体而言，我们首先通过根据其深度图将源视图投影到3D空间来构建子点云。然后，我们通过在子点云联合定义的本地社区中自适应地融合点来学习统一的3D点云。此外，我们还提出了一个3D几何引导的图像恢复模块，以填充孔并恢复渲染的新型视图的高频细节。三个基准数据集的实验结果表明，我们的方法在数量和视觉上都在很大程度上优于最先进的综合方法。

我们介绍了Fadiv-Syn，一种快速深入的新型观点合成方法。相关方法通常受到它们的深度估计阶段的限制，其中不正确的深度预测可能导致大的投影误差。为避免此问题，我们将输入图像有效地将输入图像呈现为目标帧，以为一系列假定的深度平面。得到的平面扫描量（PSV）直接进入我们的网络，首先以自我监督的方式估计软PSV掩模，然后直接产生新颖的输出视图。因此，我们侧行显式深度估计。这提高了透明，反光，薄，特色场景部件上的效率和性能。 Fadiv-syn可以在大规模Realestate10K数据集上执行插值和外推任务，优于最先进的外推方法。与可比方法相比，它由于其轻量级架构而实现了实时性能。我们彻底评估消融，例如去除软掩蔽网络，从更少的示例中培训以及更高的分辨率和更强深度离散化的概括。

部分闭塞作用是一种现象，即相机附近的模糊物体是半透明的，导致部分外观被遮挡的背景。但是，由于现有的散景渲染方法，由于在全焦点图像中的遮挡区域缺少信息而模拟现实的部分遮挡效果是一项挑战。受到可学习的3D场景表示的启发，我们试图通过引入一种基于MPI的新型高分辨率Bokeh渲染框架来解决部分遮挡，称为MPIB。为此，我们首先介绍了如何将MPI表示形式应用于散布渲染的分析。基于此分析，我们提出了一个MPI表示模块与背景介入模块相结合，以实现高分辨率场景表示。然后，可以将此表示形式重复使用以根据控制参数呈现各种散景效应。为了训练和测试我们的模型，我们还为数据生成设计了基于射线追踪的散景生成器。对合成和现实世界图像的广泛实验验证了该框架的有效性和灵活性。

将带家具的房间图像转换为背景的任务 - 仅是非常具有挑战性，因为它需要在仍然保持整体布局和风格的同时进行大量变化。为了获得照片 - 现实和结构一致的背景，现有的深度学习方法使用图像修复方法或将场景布局的学习作为个人任务，以后在不完全可分辨率的语义区域自适应归一代化模块中利用它。为了解决这些缺点，我们将场景布局生成视为特征线性变换问题，并提出了一个简单但有效的调整后的完全可分辨率的软语义区域 - 自适应归一化模块（SoftSean）块。我们展示了现实和深度估计任务的缩短和深度估计任务中的适用性，在那里我们的方法除了减轻培训复杂性和不可差异性问题的优点，超越了定量和定性的比较方法。我们的SoftSean块可用作现有辨别和生成模型的液位模块。在vcl3d.github.io/panodr/上提供实现。

我们引入了一个可扩展的框架，用于从RGB-D图像中具有很大不完整的场景覆盖率的新型视图合成。尽管生成的神经方法在2D图像上表现出了惊人的结果，但它们尚未达到相似的影像学结果，并结合了场景完成，在这种情况下，空间3D场景的理解是必不可少的。为此，我们提出了一条在基于网格的神经场景表示上执行的生成管道，通过以2.5D-3D-2.5D方式进行场景的分布来完成未观察到的场景部分。我们在3D空间中处理编码的图像特征，并具有几何完整网络和随后的纹理镶嵌网络，以推断缺失区域。最终可以通过与一致性的可区分渲染获得感性图像序列。全面的实验表明，我们方法的图形输出优于最新技术，尤其是在未观察到的场景部分中。

从单个图像中创建新颖的视野已通过高级自回归模型取得了长足的进步。尽管最近的方法产生了高质量的新颖观点，但仅使用一个显式或隐式3D几何形状合成在两个目标之间取消了我们称``seeSaw''问题的权衡：1）保留重新注射的内容和2）完成现实的外部 - 视图区域。此外，自回归模型需要相当大的计算成本。在本文中，我们提出了一个单位图视图合成框架，以减轻SEESAW问题。提出的模型是具有隐式和显式渲染器的有效非自动入学模型。由特征的动机，即明确的方法可以很好地保留重新注射的像素和隐式方法完整的现实视图外区域，我们引入了损失函数以补充两个渲染器。我们的损失功能促进了明确的功能改善隐性功能的重新注射区域，而隐式功能改善了显式特征的视角领域。借助提出的架构和损失功能，我们可以减轻SEESAW问题，超过基于自动回归的最先进方法，并生成图像$ \ $ \ $ 100倍。我们通过对RealEstate10K和Acid数据集的实验来验证方法的效率和有效性。

基于补丁的方法和深度网络已经采用了解决图像染色问题，具有自己的优势和劣势。基于补丁的方法能够通过从未遮盖区域搜索最近的邻居修补程序来恢复具有高质量纹理的缺失区域。但是，这些方法在恢复大缺失区域时会带来问题内容。另一方面，深度网络显示有希望的成果完成大区域。尽管如此，结果往往缺乏类似周围地区的忠诚和尖锐的细节。通过汇集两个范式中，我们提出了一种新的深度染色框架，其中纹理生成是由从未掩蔽区域提取的补丁样本的纹理记忆引导的。该框架具有一种新颖的设计，允许使用深度修复网络训练纹理存储器检索。此外，我们还介绍了贴片分配损失，以鼓励高质量的贴片合成。所提出的方法在三个具有挑战性的图像基准测试中，即地位，Celeba-HQ和巴黎街道视图数据集来说，该方法显示出质量和定量的卓越性能。

我们介绍了与给定单个图像的任意长相机轨迹相对应的长期视图的新面积视图的问题。这是一个具有挑战性的问题，远远超出了当前视图合成方法的能力，这在提出大型摄像机运动时快速退化。用于视频生成的方法也具有有限的生产长序列的能力，并且通常不适用于场景几何形状。我们采用混合方法，它以迭代`\ emph {render}，\ emph {refine}，\ emph {重复}'框架集成了几何和图像合成，允许在数百帧之后覆盖大距离的远程生成。我们的方法可以从一组单目的视频序列训练。我们提出了一个沿海场景的空中镜头数据集，并比较了我们最近的观看综合和有条件的视频生成基线的方法，表明它可以在与现有方法相比，在大型相机轨迹上产生更长的时间范围。项目页面https://infinite-nature.github.io/。

尽管深度学习使图像介绍方面取得了巨大的飞跃，但当前的方法通常无法综合现实的高频细节。在本文中，我们建议将超分辨率应用于粗糙的重建输出，以高分辨率进行精炼，然后将输出降低到原始分辨率。通过将高分辨率图像引入改进网络，我们的框架能够重建更多的细节，这些细节通常由于光谱偏置而被平滑 - 神经网络倾向于比高频更好地重建低频。为了协助培训大型高度孔洞的改进网络，我们提出了一种渐进的学习技术，其中缺失区域的大小随着培训的进行而增加。我们的缩放，完善和缩放策略，结合了高分辨率的监督和渐进学习，构成了一种框架 - 不合时宜的方法，用于增强高频细节，可应用于任何基于CNN的涂层方法。我们提供定性和定量评估以及消融分析，以显示我们方法的有效性。这种看似简单但功能强大的方法优于最先进的介绍方法。我们的代码可在https://github.com/google/zoom-to-inpaint中找到

Neural Radiance Fields (NeRFs) are emerging as a ubiquitous scene representation that allows for novel view synthesis. Increasingly, NeRFs will be shareable with other people. Before sharing a NeRF, though, it might be desirable to remove personal information or unsightly objects. Such removal is not easily achieved with the current NeRF editing frameworks. We propose a framework to remove objects from a NeRF representation created from an RGB-D sequence. Our NeRF inpainting method leverages recent work in 2D image inpainting and is guided by a user-provided mask. Our algorithm is underpinned by a confidence based view selection procedure. It chooses which of the individual 2D inpainted images to use in the creation of the NeRF, so that the resulting inpainted NeRF is 3D consistent. We show that our method for NeRF editing is effective for synthesizing plausible inpaintings in a multi-view coherent manner. We validate our approach using a new and still-challenging dataset for the task of NeRF inpainting.

深度学习方法在图像染色中优于传统方法。为了生成上下文纹理，研究人员仍在努力改进现有方法，并提出可以提取，传播和重建类似于地面真实区域的特征的模型。此外，更深层的缺乏高质量的特征传递机制有助于对所产生的染色区域有助于持久的像差。为了解决这些限制，我们提出了V-Linknet跨空间学习策略网络。为了改善语境化功能的学习，我们设计了一种使用两个编码器的损失模型。此外，我们提出了递归残留过渡层（RSTL）。 RSTL提取高电平语义信息并将其传播为下层。最后，我们将在与不同面具的同一面孔和不同面部面上的相同面上进行了比较的措施。为了提高图像修复再现性，我们提出了一种标准协议来克服各种掩模和图像的偏差。我们使用实验方法调查V-LinkNet组件。当使用标准协议时，在Celeba-HQ上评估时，我们的结果超越了现有技术。此外，我们的模型可以在Paris Street View上评估时概括良好，以及具有标准协议的Parume2数据集。