在光场压缩中，基于图的编码功能强大，可以利用沿着不规则形状的信号冗余并获得良好的能量压实。然而，除了高度复杂性到处理高维图外，它们的图形构造方法对观点之间的差异信息的准确性非常敏感。在计算机软件生成的现实世界光场或合成光场中，由于渐晕效果和两种类型的光场视图之间的视图之间的巨大差异，将视差信息用于超射线投影可能会遭受不准确性。本文介绍了两种新型投影方案，导致差异信息的错误较小，其中一个投影方案还可以显着降低编码器和解码器的时间计算。实验结果表明，与原始投影方案和基于HEVC或基于JPEG PLENO的编码方法相比，使用这些建议可以大大增强超级像素的投影质量，以及率延伸性能。

包含丰富信息的元素图像和视频需要大量的数据存储和高传输成本。虽然对元素图像编码进行了很多研究，但对元素视频编码的研究非常有限。我们通过查看射线空间域中的问题而不是在常规像素域中的问题来研究元素视频编码的运动补偿。在这里，我们在射线空间运动的两个子轴上，即整数射线空间运动和分数射线空间运动，为Lenslet视频开发了一种新颖的运动补偿方案。拟议的新方案设计了光场运动补偿预测，使其可以轻松地集成到众所周知的视频编码技术中，例如HEVC。与现有方法相比，实验结果显示出显着的压缩效率，平均增益为19.63％，峰值增长率为29.1％。

This paper explores the problem of reconstructing high-resolution light field (LF) images from hybrid lenses, including a high-resolution camera surrounded by multiple low-resolution cameras. The performance of existing methods is still limited, as they produce either blurry results on plain textured areas or distortions around depth discontinuous boundaries. To tackle this challenge, we propose a novel end-to-end learning-based approach, which can comprehensively utilize the specific characteristics of the input from two complementary and parallel perspectives. Specifically, one module regresses a spatially consistent intermediate estimation by learning a deep multidimensional and cross-domain feature representation, while the other module warps another intermediate estimation, which maintains the high-frequency textures, by propagating the information of the high-resolution view. We finally leverage the advantages of the two intermediate estimations adaptively via the learned attention maps, leading to the final high-resolution LF image with satisfactory results on both plain textured areas and depth discontinuous boundaries. Besides, to promote the effectiveness of our method trained with simulated hybrid data on real hybrid data captured by a hybrid LF imaging system, we carefully design the network architecture and the training strategy. Extensive experiments on both real and simulated hybrid data demonstrate the significant superiority of our approach over state-of-the-art ones. To the best of our knowledge, this is the first end-to-end deep learning method for LF reconstruction from a real hybrid input. We believe our framework could potentially decrease the cost of high-resolution LF data acquisition and benefit LF data storage and transmission.

使用FASS-MVS，我们提出了一种具有表面感知半全局匹配的快速多视图立体声的方法，其允许从UAV捕获的单眼航空视频数据中快速深度和正常地图估计。反过来，由FASS-MVS估计的数据促进在线3D映射，这意味着在获取或接收到图像数据时立即和递增地生成场景的3D地图。 FASS-MVS由分层处理方案组成，其中深度和正常数据以及相应的置信度分数以粗略的方式估计，允许有效地处理由倾斜图像所固有的大型场景深度低无人机。实际深度估计采用用于致密多图像匹配的平面扫描算法，以产生深度假设，通过表面感知半全局优化来提取实际深度图，从而减少了SGM的正平行偏压。给定估计的深度图，然后通过将深度图映射到点云中并计算狭窄的本地邻域内的普通向量来计算像素 - 方面正常信息。在彻底的定量和消融研究中，我们表明，由FASS-MV计算的3D信息的精度接近离线多视图立体声的最先进方法，误差甚至没有一个幅度而不是科麦。然而，同时，FASS-MVS的平均运行时间估计单个深度和正常地图的距离小于ColMAP的14％，允许在1-中执行全高清图像的在线和增量处理2 Hz。

事件摄像机是由生物启发的传感器，比传统摄像机具有优势。它们不同步，用微秒的分辨率对场景进行采样，并产生亮度变化。这种非常规的输出引发了新型的计算机视觉方法，以释放相机的潜力。我们解决了SLAM的基于事件的立体3D重建问题。大多数基于事件的立体声方法都试图利用相机跨相机的高时间分辨率和事件同时性，以建立匹配和估计深度。相比之下，我们研究了如何通过融合有效的单眼方法来融合差异空间图像（DSIS）来估计深度。我们开发融合理论，并将其应用于设计产生最先进结果的多相机3D重建算法，正如我们通过与四种基线方法进行比较并在各种可用数据集上进行测试的确认。

相互预测是实现现代视频编码标准高压效率的关键技术之一。在编码之前，需要将360度视频映射到2D图像平面，以便使用现有的视频编码标准进行压缩。但是，当将球形数据映射到2D图像平面上时不可避免地发生扭曲，但是，损害了经典的中间预测技术的性能。在本文中，我们为360度视频提出了一种运动平面自适应相互预测技术（MPA），该视频考虑了360度视频的球形特征。基于视频的已知投影格式，MPA允许对3D空间中的不同运动平面执行相互预测，而不必在理论上任意映射 - 2D图像表示。我们进一步推导了运动平面自适应运动矢量预测技术（MPA-MVP），该技术允许在不同的运动平面和运动模型之间转换运动信息。我们建议将MPA与MPA-MVP一起集成到最新的H.266/VVC视频编码标准中，根据PSNR，Bjontegaard Delta速率节省了1.72％，峰值为3.97％，为1.56％，峰值为3.97％。基于WS-PSNR的峰值为3.40％，而VTM-14.2平均水平为基础。

这些年来，展示技术已经发展。开发实用的HDR捕获，处理和显示解决方案以将3D技术提升到一个新的水平至关重要。多曝光立体声图像序列的深度估计是开发成本效益3D HDR视频内容的重要任务。在本文中，我们开发了一种新颖的深度体系结构，以进行多曝光立体声深度估计。拟议的建筑有两个新颖的组成部分。首先，对传统立体声深度估计中使用的立体声匹配技术进行了修改。对于我们体系结构的立体深度估计部分，部署了单一到stereo转移学习方法。拟议的配方规避了成本量构造的要求，该要求由基于重新编码的单码编码器CNN取代，具有不同的重量以进行功能融合。基于有效网络的块用于学习差异。其次，我们使用强大的视差特征融合方法组合了从不同暴露水平上从立体声图像获得的差异图。使用针对不同质量度量计算的重量图合并在不同暴露下获得的差异图。获得的最终预测差异图更强大，并保留保留深度不连续性的最佳功能。提出的CNN具有使用标准动态范围立体声数据或具有多曝光低动态范围立体序列的训练的灵活性。在性能方面，所提出的模型超过了最新的单眼和立体声深度估计方法，无论是定量还是质量地，在具有挑战性的场景流以及暴露的Middlebury立体声数据集上。该体系结构在复杂的自然场景中表现出色，证明了其对不同3D HDR应用的有用性。

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

光场（LF）摄像机记录了光线的强度和方向，并将3D场景编码为4D LF图像。最近，为各种LF图像处理任务提出了许多卷积神经网络（CNN）。但是，CNN有效地处理LF图像是一项挑战，因为空间和角度信息与不同的差异高度缠绕。在本文中，我们提出了一种通用机制，以将这些耦合信息解开以进行LF图像处理。具体而言，我们首先设计了一类特定领域的卷积，以将LFS与不同的维度解开，然后通过设计特定于任务的模块来利用这些分离的功能。我们的解开机制可以在事先之前很好地纳入LF结构，并有效处理4D LF数据。基于提出的机制，我们开发了三个网络（即distgssr，distgasr和Distgdisp），用于空间超分辨率，角度超分辨率和差异估计。实验结果表明，我们的网络在所有这三个任务上都实现了最先进的性能，这表明了我们解散机制的有效性，效率和一般性。项目页面：https：//yingqianwang.github.io/distglf/。

捕获场景的空间和角度信息的光场（LF）成像无疑是有利于许多应用。尽管已经提出了用于LF采集的各种技术，但是在角度和空间上实现的既仍然是技术挑战。本文，提出了一种基于学习的方法，其应用于3D末面图像（EPI）以重建高分辨率LF。通过2级超分辨率框架，所提出的方法有效地解决了各种LF超分辨率（SR）问题，即空间SR，Angular SR和角空间SR。虽然第一阶段向Up-Sample EPI体积提供灵活的选择，但是由新型EPI体积的细化网络（EVRN）组成的第二阶段，基本上提高了高分辨率EPI体积的质量。从7个发布的数据集的90个挑战合成和实际灯田场景的广泛评估表明，所提出的方法优于空间和角度超分辨率问题的大型延伸的最先进的方法，即平均值峰值信号到噪声比为2.0 dB，1.4 dB和3.14 dB的空间SR $ \ Times 2 $，Spatial SR $ \ Times 4 $和Angular SR。重建的4D光场展示了所有透视图像的平衡性能分布，与先前的作品相比，卓越的视觉质量。

Fast and easy handheld capture with guideline: closest object moves at most D pixels between views Promote sampled views to local light field via layered scene representation Blend neighboring local light fields to render novel views

View-dependent effects such as reflections pose a substantial challenge for image-based and neural rendering algorithms. Above all, curved reflectors are particularly hard, as they lead to highly non-linear reflection flows as the camera moves. We introduce a new point-based representation to compute Neural Point Catacaustics allowing novel-view synthesis of scenes with curved reflectors, from a set of casually-captured input photos. At the core of our method is a neural warp field that models catacaustic trajectories of reflections, so complex specular effects can be rendered using efficient point splatting in conjunction with a neural renderer. One of our key contributions is the explicit representation of reflections with a reflection point cloud which is displaced by the neural warp field, and a primary point cloud which is optimized to represent the rest of the scene. After a short manual annotation step, our approach allows interactive high-quality renderings of novel views with accurate reflection flow. Additionally, the explicit representation of reflection flow supports several forms of scene manipulation in captured scenes, such as reflection editing, cloning of specular objects, reflection tracking across views, and comfortable stereo viewing. We provide the source code and other supplemental material on https://repo-sam.inria.fr/ fungraph/neural_catacaustics/

Stereo matching is one of the most active research areas in computer vision. While a large number of algorithms for stereo correspondence have been developed, relatively little work has been done on characterizing their performance. In this paper, we present a taxonomy of dense, two-frame stereo methods. Our taxonomy is designed to assess the different components and design decisions made in individual stereo algorithms. Using this taxonomy, we compare existing stereo methods and present experiments evaluating the performance of many different variants. In order to establish a common software platform and a collection of data sets for easy evaluation, we have designed a stand-alone, flexible C++ implementation that enables the evaluation of individual components and that can easily be extended to include new algorithms. We have also produced several new multi-frame stereo data sets with ground truth and are making both the code and data sets available on the Web. Finally, we include a comparative evaluation of a large set of today's best-performing stereo algorithms.

许多移动制造商最近在其旗舰模型中采用了双像素（DP）传感器，以便更快的自动对焦和美学图像捕获。尽管他们的优势，由于DT在DP图像中的视差缺失的数据集和算法设计，但对3D面部理解的使用研究受到限制。这是因为子孔图像的基线非常窄，并且散焦模糊区域存在视差。在本文中，我们介绍了一种以DP为导向的深度/普通网络，该网络重建3D面部几何。为此目的，我们使用我们的多摄像头结构光系统捕获的101人拥有超过135k张图片的DP面部数据。它包含相应的地面真值3D模型，包括度量刻度的深度图和正常。我们的数据集允许建议的匹配网络广泛化，以便以3D面部深度/正常估计。所提出的网络由两种新颖的模块组成：自适应采样模块和自适应正常模块，专门用于处理DP图像中的散焦模糊。最后，该方法实现了最近基于DP的深度/正常估计方法的最先进的性能。我们还展示了估计深度/正常的适用性面对欺骗和致密。

3D点云通常由一个或多个观点处由传感器获取的深度测量构成。测量值遭受量化和噪声损坏。为了提高质量，以前的作品在将不完美深度数据投射到3D空间之后，将点云\ Textit {a postiriori}代名。相反，在合成3D点云之前，我们在感测图像\ Texit {a先验}上直接增强深度测量。通过增强物理传感过程附近，在后续处理步骤模糊测量误差之前，我们将我们的优化定制到我们的深度形成模型。具体而言，我们将深度形成为信号相关噪声添加和非均匀日志量化的组合过程。使用来自实际深度传感器的收集的经验数据验证设计的模型（配有参数）。为了在深度图像中增强每个像素行，我们首先通过特征图学习将可用行像素之间的视图帧内相似性编码为边缘权重。接下来我们通过观点映射和稀疏线性插值建立与另一个整流的深度图像的视图间相似性。这导致最大的后验（MAP）图滤波物镜，其凸显和可微分。我们使用加速梯度下降（AGD）有效地优化目标，其中最佳步长通过Gershgorin圆定理（GCT）近似。实验表明，我们的方法在两个既定点云质量指标中显着优于最近的近期云去噪方案和最先进的图像去噪方案。

现代光学卫星传感器使高分辨率立体声重建。但是在观察地球从空间推动立体声匹配时挑战成像条件。在实践中，由此产生的数字表面模型（DSM）相当嘈杂，并且通常不会达到3D城市建模等高分辨率应用所需的准确性。可以说，基于低电平图像相似性的立体声对应不足，并且应该互补关于超出基本局部平滑度的预期表面几何的先验知识。为此，我们介绍了Resptepth，这是一个卷积神经网络，其在示例数据之前学习如此表达几何。 Restepth在调节图像上的细化时改进初始原始的立体声DSM。即，它充当了一个智能，学习的后处理过滤器，可以无缝地补充任何立体声匹配管道。在一系列实验中，我们发现所提出的方法始终如一地改善了定量和定性的立体声DSM。我们表明，网络权重中的先前编码捕获了城市设计的有意义的几何特征，这也概括了不同地区，甚至从一个城市到另一个城市。此外，我们证明，通过对各种立体对的训练，RESPTH可以在成像条件和采集几何体中获得足够的不变性。

近年来，Imbersive显示器（例如VR耳机，AR眼镜，多视图显示器，自由点电视）已成为一种新的展示技术，与传统显示相比，提供了更好的视觉体验和观众的参与度。随着3D视频和展示技术的发展，高动态范围（HDR）摄像机和显示器的消费市场迅速增长。缺乏适当的实验数据是3D HDR视频技术领域的主要研究工作的关键障碍。同样，足够的现实世界多曝光实验数据集的不可用是用于HDR成像研究的主要瓶颈，从而限制了观众的体验质量（QOE）。在本文中，我们介绍了在印度理工学院马德拉斯校园内捕获的多元化立体曝光数据集，该数据集是多元化的动植物的所在地。该数据集使用ZED立体相机捕获，并提供户外位置的复杂场景，例如花园，路边景观，节日场地，建筑物和室内地区，例如学术和居住区。提出的数据集可容纳宽深度范围，复杂的深度结构，使物体运动复杂化，照明变化，丰富的色彩动态，纹理差异，除了通过移动摄像机和背景运动引入的显着随机性。拟议的数据集可公开向研究界公开使用。此外，详细描述了捕获，对齐和校准多曝光立体视频和图像的过程。最后，我们讨论了有关HDR成像，深度估计，一致的音调映射和3D HDR编码的进度，挑战，潜在用例和未来研究机会。

虚拟现实（VR）耳机提供了一种身临其境的立体视觉体验，但以阻止用户直接观察其物理环境的代价。传递技术旨在通过利用向外的摄像头来重建否则没有耳机的用户可以看到的图像来解决此限制。这本质上是一个实时视图综合挑战，因为传递摄像机不能与眼睛进行物理共同。现有的通行技术会遭受分散重建工件的注意力，这主要是由于缺乏准确的深度信息（尤其是对于近场和分离的物体），并且表现出有限的图像质量（例如，低分辨率和单色）。在本文中，我们提出了第一种学习的传递方法，并使用包含立体声对RGB摄像机的自定义VR耳机评估其性能。通过模拟和实验，我们证明了我们所学的传递方法与最先进的方法相比提供了卓越的图像质量，同时满足了实时的，透视透视的立体视图综合的严格VR要求，从而在广泛的视野上综合用于桌面连接的耳机。

由于摄像机外壳引起的水 - 空气界面处的光线非线性折射，恢复水下场景的3D几何是具有挑战性的。我们提出了一种基于光场的方法，从单个观点来利用角度样本的性能进行高质量的水下3D重建。具体地，我们将光场图像重新采样到角贴片。由于水下场景表现出弱视图依赖性镜面，在正确的深度上采样时，角度贴片趋于具有均匀的强度。因此，我们将这种角度均匀施加为深度估计的约束。为了高效角度重采样，我们设计一种基于多变量多项式回归的快速近似算法，以实现近似非线性折射路径。我们进一步开发了一种轻场校准算法，估计水上空气接口几何形状以及相机参数。综合性和真实数据的综合实验表明我们的方法在静态和动态水下场景中产生了最先进的重建。

在本文中，我们提出了一种基于量化的蒸馏式低级神经辐射场（QDLR-NERF）表示的新型光场压缩方法。当现有的压缩方法编码光场子孔径图像集时，我们提出的方法以神经辐射场（NERF）的形式学习了隐式场景表示，这也可以使视图合成。为了降低其大小，该模型首先是在低级（LR）约束下使用张量列（TT）分解以交替的乘数（ADMM）优化框架进行的。为了进一步降低模型尺寸，需要量化张量列车分解的组件。但是，通过同时考虑低等级约束并考虑到速率受限的权重量化来实现NERF模型的优化是具有挑战性的。为了解决这个困难，我们引入了一个网络蒸馏操作，该操作将低级近似值和网络训练中的权重量化分开。根据LR-NERF的TT分解，将初始LR约束NERF（LR-NERF）的信息提炼为较小尺寸（DLR-NERF）的模型。然后，学会了优化的全局代码簿来量化所有TT组件，从而产生最终的QDLRNERF。实验结果表明，与最先进的方法相比，我们所提出的方法具有更好的压缩效率，并且还具有允许允许具有高质量的任何光场视图的合成。