由智能手机和中端相机捕获的照片的空间分辨率和动态范围有限，在饱和区域中未充满刺激的区域和颜色人工制品中的嘈杂响应。本文介绍了第一种方法（据我们所知），以重建高分辨率，高动态范围的颜色图像，这些颜色来自带有曝光括号的手持相机捕获的原始照相爆发。该方法使用图像形成的物理精确模型来结合迭代优化算法，用于求解相应的逆问题和学习的图像表示，以进行健壮的比对，并以前的自然图像。所提出的算法很快，与基于最新的学习图像恢复方法相比，内存需求较低，并且从合成但逼真的数据终止学习的特征。广泛的实验证明了其出色的性能，具有最多$ \ times 4 $的超分辨率因子在野外拍摄的带有手持相机的真实照片，以及对低光条件，噪音，摄像机摇动和中等物体运动的高度鲁棒性。

高动态范围（HDR）成像是一种允许广泛的动态曝光范围的技术，这在图像处理，计算机图形和计算机视觉中很重要。近年来，使用深度学习（DL），HDR成像有重大进展。本研究对深层HDR成像方法的最新发展进行了综合和富有洞察力的调查和分析。在分层和结构上，将现有的深层HDR成像方法基于（1）输入曝光的数量/域，（2）学习任务数，（3）新传感器数据，（4）新的学习策略，（5）应用程序。重要的是，我们对关于其潜在和挑战的每个类别提供建设性的讨论。此外，我们审查了深度HDR成像的一些关键方面，例如数据集和评估指标。最后，我们突出了一些打开的问题，并指出了未来的研究方向。

使用致动万向节的机械图像稳定使得能够捕获长曝光镜头而不会因相机运动而遭受模糊。然而，这些装置通常是物理上繁琐和昂贵的，限制了他们广泛的使用。在这项工作中，我们建议通过输入快速未稳定的相机的输入来数字化地模拟机械稳定的系统。在短曝光的长曝光和低SNR处开发运动模糊之间的折衷，我们通过聚集由未知运动相关的嘈杂短曝光框架来培训估计尖锐的高SNR图像的CNN。我们进一步建议以端到端的方式学习突发的曝光时间，从而平衡噪声和模糊穿过框架。我们展示了这种方法，通过传统的去掩盖单个图像或在合成和实际数据上去除固定曝光突发的传统方法的优势。

神经辐射字段（NERF）是一种用于高质量新颖观看综合的技术从一系列姿势输入图像。与大多数视图合成方法一样，NERF使用TONEMAPPED的低动态范围（LDR）作为输入;这些图像已经通过流畅的相机管道处理，平滑细节，剪辑突出显示，并扭曲了原始传感器数据的简单噪声分布。我们修改NERF以直接在线性原始图像直接培训，保持场景的完整动态范围。通过从生成的NERF渲染原始输出图像，我们可以执行新颖的高动态范围（HDR）视图综合任务。除了改变相机的观点外，我们还可以在事实之后操纵焦点，曝光和调度率。虽然单个原始图像显然比后处理的原始图像显着更大，但我们表明NERF对原始噪声的零平均分布非常强大。当优化许多嘈杂的原始输入（25-200）时，NERF会产生一个场景表示，如此准确的，即其呈现的新颖视图优于在同一宽基线输入图像上运行的专用单个和多像深生物丹机。因此，我们调用Rawnerf的方法可以从近黑暗中捕获的极其嘈杂的图像中重建场景。

快速移动受试者的运动模糊是摄影中的一个长期问题，由于收集效率有限，尤其是在弱光条件下，在手机上非常常见。尽管近年来我们目睹了图像脱毛的巨大进展，但大多数方法都需要显着的计算能力，并且在处理高分辨率照片的情况下具有严重的局部动作。为此，我们根据手机的双摄像头融合技术开发了一种新颖的面部脱毛系统。该系统检测到主题运动以动态启用参考摄像头，例如，最近在高级手机上通常可用的Ultrawide Angle摄像机，并捕获带有更快快门设置的辅助照片。虽然主镜头是低噪音但模糊的，但参考镜头却很锋利，但嘈杂。我们学习ML模型，以对齐和融合这两张镜头，并在没有运动模糊的情况下输出清晰的照片。我们的算法在Google Pixel 6上有效运行，每次拍摄需要463毫秒的开销。我们的实验证明了系统对替代单片，多帧，面部特异性和视频脱张算法以及商业产品的优势和鲁棒性。据我们所知，我们的工作是第一个用于面部运动脱毛的移动解决方案，在各种运动和照明条件下，在数千个图像中可靠地工作。

现代数码相机和智能手机主要依赖于图像信号处理（ISP）管道，从而产生逼真的彩色RGB图像。然而，与DSLR相机相比，由于其物理限制，在许多便携式移动设备中通常可以在许多便携式移动设备中获得低质量的图像。低质量的图像具有多种降级，即，由于相机滤色器阵列，由于相机滤色器阵列，由于较小的摄像机传感器而导致的低分辨率，磁割模式，并且其余信息因噪声损坏而导致的镶嵌图案。这种降级限制了从单个低分辨率（LR）图像中恢复高分辨率（HR）图像细节的电流单图像超分辨率（SISR）方法的性能。在这项工作中，我们提出了一种原始的突发超分辨率迭代卷积神经网络（RBSricnn），其作为前向（物理）模型的整体沿着突发拍摄管道。与现有的黑盒数据驱动方法相比，所提出的突发SR方案解决了经典图像正则化，凸优化和深度学习技术的问题。所提出的网络通过中间SR估计的迭代细化产生最终输出。我们展示了我们提出的方法在定量和定性实验中的有效性，这些实验概括为具有可用于培训的ONL合成突发数据的真实LR突发输入。

本文介绍了在混合高斯 - 突破噪声条件下重建高分辨率（HR）LF图像的GPU加速计算框架。主要重点是考虑处理速度和重建质量的高性能方法。从统计的角度来看，我们得出了一个联合$ \ ell^1 $ - $ \ ell^2 $数据保真度，用于惩罚人力资源重建错误，考虑到混合噪声情况。对于正则化，我们采用了加权非本地总变异方法，这使我们能够通过适当的加权方案有效地实现LF图像。我们表明，乘数算法（ADMM）的交替方向方法可用于简化计算复杂性，并在GPU平台上导致高性能并行计算。对合成4D LF数据集和自然图像数据集进行了广泛的实验，以验证提出的SR模型的鲁棒性并评估加速优化器的性能。实验结果表明，与最先进的方法相比，我们的方法在严重的混合噪声条件下实现了更好的重建质量。此外，提议的方法克服了处理大规模SR任务的先前工作的局限性。虽然适合单个现成的GPU，但建议的加速器提供的平均加速度为2.46 $ \ times $和1.57 $ \ times $，分别为$ \ times 2 $和$ \ times 3 $ SR任务。此外，与CPU执行相比，达到$ 77 \ times $的加速。

对于真实世界形象超分辨率的深度学习方法，最关键的问题是对训练的配对低和高分辨率图像是否准确反映了真实相机的采样过程。由现有的退化模型（例如，双臂下采样）合成的低分辨率（LR $ \ SIM $ HR）图像对偏离现实中的模型;因此，当应用于真实图像时，由这些合成的LR $ \ SIM $ HR图像对训练的超分辨率CNN不会表现良好。为了解决问题，我们提出了一种新的数据采集过程，使用真实相机拍摄一大集的LR $ \ SIM $ HR图像对。图像显示在超高质量屏幕上并以不同的分辨率捕获。由此产生的LR $ \ SIM $ HR图像对可以通过新颖的空间频率二元域注册方法与非常高的子像素精度对齐，因此它们为超级分辨率的学习任务提供了高质量的培训数据。此外，捕获的HR图像和原始数字图像提供了双引用来提高学习性能。实验结果表明，我们的LR $ \ SIM $ HR DataSet培训超分辨率CNN，而不是文献中的其他数据集培训更高的图像质量。

高动态范围（HDR）成像在现代数字摄影管道中具有根本重要性，并且尽管在图像上变化照明，但仍用于生产具有良好暴露区域的高质量照片。这通常通过在不同曝光时拍摄多个低动态范围（LDR）图像来实现。然而，由于补偿不良的运动导致人工制品如重影，过度暴露的地区和未对准误差。在本文中，我们提出了一种新的HDR成像技术，可以专门模拟对准和曝光不确定性以产生高质量的HDR结果。我们介绍了一种使用HDR感知的HDR感知的不确定性驱动的注意力映射来联合对齐和评估对齐和曝光可靠性的策略，该注意力映像鲁棒地将帧合并为单个高质量的HDR图像。此外，我们介绍了一种渐进式多级图像融合方法，可以以置换不变的方式灵活地合并任何数量的LDR图像。实验结果表明，我们的方法可以为最先进的高达0.8dB的PSNR改进，以及更好的细节，颜色和更少人工制品的主观改进。

突发超级分辨率（SR）提供了从低质量图像恢复丰富细节的可能性。然而，由于实际应用中的低分辨率（LR）图像具有多种复杂和未知的降级，所以现有的非盲（例如，双臂）设计的网络通常导致恢复高分辨率（HR）图像的严重性能下降。此外，处理多重未对准的嘈杂的原始输入也是具有挑战性的。在本文中，我们解决了从现代手持设备获取的原始突发序列重建HR图像的问题。中央观点是一个内核引导策略，可以用两个步骤解决突发SR：内核建模和HR恢复。前者估计来自原始输入的突发内核，而后者基于估计的内核预测超分辨图像。此外，我们引入了内核感知可变形对准模块，其可以通过考虑模糊的前沿而有效地对准原始图像。对综合和现实世界数据集的广泛实验表明，所提出的方法可以在爆发SR问题中对最先进的性能进行。

任何相机的光学元件都会降低照片的清晰度，这是关键的视觉质量标准。该降解的特征是点传播函数（PSF），该函数取决于光的波长，并且在整个成像场中都是可变的。在本文中，我们提出了一个两步方案，以纠正单个RAW或JPEG图像中的光学畸变，即没有相机或镜头上任何事先信息。首先，我们估计当地的高斯模糊内核，以重叠斑块，并通过非盲脱毛技术锐化它们。基于数十个透镜的PSF的测量值，这些模糊内核被建模为由七个参数定义的RGB高斯人。其次，我们使用卷积神经网络去除其余的侧向色差（第一步中未考虑），该网络被训练，可将红色/绿色和蓝色/绿色残留图像最小化。关于合成图像和真实图像的实验表明，这两个阶段的组合产生了一种快速的最新盲目畸变补偿技术，该技术与商业非盲算法竞争。

在极低光线条件下捕获图像会对标准相机管道带来重大挑战。图像变得太黑了，太吵了，这使得传统的增强技术几乎不可能申请。最近，基于学习的方法已经为此任务显示了非常有希望的结果，因为它们具有更大的表现力能力来允许提高质量。这些研究中的激励，在本文中，我们的目标是利用爆破摄影来提高性能，并从极端暗的原始图像获得更加锐利和更准确的RGB图像。我们提出的框架的骨干是一种新颖的粗良好网络架构，逐步产生高质量的输出。粗略网络预测了低分辨率，去噪的原始图像，然后将其馈送到精细网络以恢复微尺的细节和逼真的纹理。为了进一步降低噪声水平并提高颜色精度，我们将该网络扩展到置换不变结构，使得它作为输入突发为低光图像，并在特征级别地合并来自多个图像的信息。我们的实验表明，我们的方法通过生产更详细和相当更高的质量的图像来引起比最先进的方法更令人愉悦的结果。

在高光中，幽灵伪像，运动模糊和低忠诚度是来自多个低动态范围（LDR）图像的高动态范围（HDR）成像的主要挑战。这些问题来自使用中等暴露图像作为先前方法中的参考框架。为了应对它们，我们建议使用暴露不足的图像作为避免这些问题的参考。但是，暴露不足图像的黑暗区域中的沉重噪音成为一个新问题。因此，我们提出了一个关节HDR和Denoising管道，其中包含两个子网络：（i）通过利用暴露先验来适应性的denoise输入LDR； （ii）金字塔级联融合网络（PCFNET），以多尺度的方式引入了注意机制和级联结构。为了进一步利用这两个范式，我们提出了一个选择性和联合HDR和DeNoising（SJ-HD $^2 $ R）成像框架，利用特定方案的先验来进行路径选择，准确性超过93.3 $ \％$ $ 。我们创建了第一个关节HDR和Denoising基准数据集，该数据集包含各种具有挑战性的HDR和DeNoising场景，并支持参考图像的切换。广泛的实验结果表明，我们的方法实现了与以前的方法相比的卓越性能。

我们提出了一个可训练的图像信号处理（ISP）框架，该框架生成智能手机捕获的原始图像的数码单反相关图像。为了解决训练图对之间的颜色错位，我们采用了颜色条件的ISP网络，并优化了每个输入原始和参考DSLR图像之间的新型参数颜色映射。在推断期间，我们通过设计具有有效的全局上下文变压器模块的颜色预测网络来预测目标颜色图像。后者有效利用全球信息来学习一致的颜色和音调映射。我们进一步提出了一个强大的掩盖对齐损失，以识别和丢弃训练期间运动估计不准确的区域。最后，我们在野外（ISPW）数据集中介绍ISP，由弱配对的RAW和DSLR SRGB图像组成。我们广泛评估我们的方法，在两个数据集上设置新的最新技术。

超级分辨率（SR）旨在增加图像的分辨率。应用程序包括安全性，医学成像和对象识别。我们提出了一种基于深度学习的SR系统，其将六角采样的低分辨率图像作为输入，并产生矩形采样的SR图像作为输出。为了进行培训和测试，我们使用一种现实观察模型，包括从衍射和传感器劣化的光学劣化，从检测器集成。我们的SR方法首先使用非均匀插值来部分地上置观察到的六边形图像并将其转换为矩形网格。然后，我们利用了设计用于SR的最先进的卷积神经网络（CNN）架构，该架构被称为残留通道注意网络（RCAN）。特别是，我们使用RCAN进一步上表并恢复图像以产生最终的SR图像估计。我们证明该系统优于将RCAN直接施加到具有等效样本密度的矩形采样的LR图像。六边形取样的理论优势是众所周知的。然而，据我们所知，六角形取样的实际好处，即RCAN SR等现代加工技术是迄今为止未经测试的。我们的SR系统演示了六角形样式在采用修改的RCAN进行六边形SR时的显着优势。

This paper explores the problem of reconstructing high-resolution light field (LF) images from hybrid lenses, including a high-resolution camera surrounded by multiple low-resolution cameras. The performance of existing methods is still limited, as they produce either blurry results on plain textured areas or distortions around depth discontinuous boundaries. To tackle this challenge, we propose a novel end-to-end learning-based approach, which can comprehensively utilize the specific characteristics of the input from two complementary and parallel perspectives. Specifically, one module regresses a spatially consistent intermediate estimation by learning a deep multidimensional and cross-domain feature representation, while the other module warps another intermediate estimation, which maintains the high-frequency textures, by propagating the information of the high-resolution view. We finally leverage the advantages of the two intermediate estimations adaptively via the learned attention maps, leading to the final high-resolution LF image with satisfactory results on both plain textured areas and depth discontinuous boundaries. Besides, to promote the effectiveness of our method trained with simulated hybrid data on real hybrid data captured by a hybrid LF imaging system, we carefully design the network architecture and the training strategy. Extensive experiments on both real and simulated hybrid data demonstrate the significant superiority of our approach over state-of-the-art ones. To the best of our knowledge, this is the first end-to-end deep learning method for LF reconstruction from a real hybrid input. We believe our framework could potentially decrease the cost of high-resolution LF data acquisition and benefit LF data storage and transmission.

在本文中，我们研究了实用的时空视频超分辨率（STVSR）问题，该问题旨在从低型低分辨率的低分辨率模糊视频中生成高富含高分辨率的夏普视频。当使用低填充和低分辨率摄像头记录快速动态事件时，通常会发生这种问题，而被捕获的视频将遭受三个典型问题：i）运动模糊发生是由于曝光时间内的对象/摄像机运动而发生的； ii）当事件时间频率超过时间采样的奈奎斯特极限时，运动异叠是不可避免的； iii）由于空间采样率低，因此丢失了高频细节。这些问题可以通过三个单独的子任务的级联来缓解，包括视频脱张，框架插值和超分辨率，但是，这些问题将无法捕获视频序列之间的空间和时间相关性。为了解决这个问题，我们通过利用基于模型的方法和基于学习的方法来提出一个可解释的STVSR框架。具体而言，我们将STVSR作为联合视频脱张，框架插值和超分辨率问题，并以另一种方式将其作为两个子问题解决。对于第一个子问题，我们得出了可解释的分析解决方案，并将其用作傅立叶数据变换层。然后，我们为第二个子问题提出了一个反复的视频增强层，以进一步恢复高频细节。广泛的实验证明了我们方法在定量指标和视觉质量方面的优势。

传统摄像机测量图像强度。相比之下，事件相机以异步测量每像素的时间强度变化。恢复事件的强度是一个流行的研究主题，因为重建的图像继承了高动态范围（HDR）和事件的高速属性;因此，它们可以在许多机器人视觉应用中使用并生成慢动作HDR视频。然而，最先进的方法通过训练映射到图像经常性神经网络（RNN）来解决这个问题，这缺乏可解释性并且难以调整。在这项工作中，我们首次展示运动和强度估计的联合问题导致我们以模拟基于事件的图像重建作为可以解决的线性逆问题，而无需训练图像重建RNN。相反，基于古典和学习的图像前导者可以用于解决问题并从重建的图像中删除伪影。实验表明，尽管仅使用来自短时间间隔（即，没有复发连接），但是，尽管只使用来自短时间间隔的数据，所提出的方法会产生视觉质量的图像。我们的方法还可用于提高首先估计图像Laplacian的方法重建的图像的质量;在这里，我们的方法可以被解释为由图像前提引导的泊松重建。

捕获场景的空间和角度信息的光场（LF）成像无疑是有利于许多应用。尽管已经提出了用于LF采集的各种技术，但是在角度和空间上实现的既仍然是技术挑战。本文，提出了一种基于学习的方法，其应用于3D末面图像（EPI）以重建高分辨率LF。通过2级超分辨率框架，所提出的方法有效地解决了各种LF超分辨率（SR）问题，即空间SR，Angular SR和角空间SR。虽然第一阶段向Up-Sample EPI体积提供灵活的选择，但是由新型EPI体积的细化网络（EVRN）组成的第二阶段，基本上提高了高分辨率EPI体积的质量。从7个发布的数据集的90个挑战合成和实际灯田场景的广泛评估表明，所提出的方法优于空间和角度超分辨率问题的大型延伸的最先进的方法，即平均值峰值信号到噪声比为2.0 dB，1.4 dB和3.14 dB的空间SR $ \ Times 2 $，Spatial SR $ \ Times 4 $和Angular SR。重建的4D光场展示了所有透视图像的平衡性能分布，与先前的作品相比，卓越的视觉质量。

Many video enhancement algorithms rely on optical flow to register frames in a video sequence. Precise flow estimation is however intractable; and optical flow itself is often a sub-optimal representation for particular video processing tasks. In this paper, we propose task-oriented flow (TOFlow), a motion representation learned in a selfsupervised, task-specific manner. We design a neural network with a trainable motion estimation component and a video processing component, and train them jointly to learn the task-oriented flow. For evaluation, we build Vimeo-90K, a large-scale, high-quality video dataset for low-level video processing. TOFlow outperforms traditional optical flow on standard benchmarks as well as our Vimeo-90K dataset in three video processing tasks: frame interpolation, video denoising/deblocking, and video super-resolution. IntroductionMotion estimation is a key component in video processing tasks such as temporal frame interpolation, video denoising,