本文介绍了一种来自单个离焦图像的边缘散焦模糊估计方法。我们首先将位于深度不连续（称为深度边缘的边缘）的边缘区分从近似恒定的深度区域（称为模糊估计的被称为模糊估计的图案边缘）的边缘中的深度不连续性（含义模糊估计是模糊的）。然后，我们仅估计图案边缘的散焦模糊量，并探索基于引导滤波器的内插方案，该导向滤波器防止检测到的深度边缘的数据传播，以获得具有明确定义的对象边界的密集模糊图。两个任务（边缘分类和模糊估计）由深度卷积神经网络（CNNS）执行，该网络（CNN）共享权重以从边缘位置为中心的多尺度补丁学习有意义的本地特征。在自然散焦的图像上的实验表明，该方法提出了优异的最先进（SOTA）方法的定性和定量结果，在运行时间和准确度之间具有良好的折衷。

Defocus Blur是大多数相机中使用的光学传感器的物理后果。尽管它可以用作摄影风格，但通常被视为图像降解，以形成模型的尖锐图像，并具有空间变化的模糊内核。在过去几年的模糊估计方法的推动下，我们提出了一种非盲方法来处理图像脱毛的方法，可以处理空间变化的核。我们介绍了两个编码器子网络网络，它们分别用模糊图像和估计的模糊图，并作为输出作为输出（Deconvolved）图像的输出。每个子网络都会呈现几个跳过连接，这些连接允许分开分开的数据传播，还可以通过划线跳过连接，以简化模块之间的通信。该网络经过合成的模糊内核训练，这些核被增强以模拟现有模糊估计方法产生的模糊图，我们的实验结果表明，当与多种模糊估计方法结合使用时，我们的方法很好地工作。

深度信息在许多图像处理应用程序中是有用的。然而，由于拍摄图像是在2D成像传感器上投射3D场景的过程，因此深度信息嵌入图像中。从图像中提取深度信息是一个具有挑战性的任务。引导原理是由于散焦引起的蓝色水平与物体和焦平面之间的距离有关。基于该原理和广泛使用的假设，即高斯模糊是散焦模糊的良好模型，我们制定了作为高斯模糊分类问题的空间变化散焦模糊的问题。我们通过培训深度神经网络来解决图像补丁中的20级蓝色蓝色之一来解决问题。我们创建了一个超过500000美元的尺寸为32 \ times32 $的数据集，用于培训和测试几种知名网络模型。我们发现MobileNetv2由于其较低的内存要求和高精度而适用于此应用。训练模型用于确定通过施加迭代加权引导滤波器来改进的贴剂模糊。结果是散焦图，其携带每个像素的模糊度的信息。我们将提出的方法与最先进的技术进行比较，我们展示了其在自适应图像增强，散焦倍率和多聚焦图像融合中的成功应用。

在本文中，我们考虑了Defocus图像去缩合中的问题。以前的经典方法遵循两步方法，即首次散焦映射估计，然后是非盲目脱毛。在深度学习时代，一些研究人员试图解决CNN的这两个问题。但是，代表模糊级别的Defocus图的简单串联导致了次优性能。考虑到Defocus Blur的空间变体特性和Defocus Map中指示的模糊级别，我们采用Defocus Map作为条件指导来调整输入模糊图像而不是简单串联的特征。然后，我们提出了一个基于Defocus图的空间调制的简单但有效的网络。为了实现这一目标，我们设计了一个由三个子网络组成的网络，包括DeFocus Map估计网络，该网络将DeFocus Map编码为条件特征的条件网络以及根据条件功能执行空间动态调制的DeFocus Deblurring网络。此外，空间动态调制基于仿射变换函数，以调整输入模糊图像的特征。实验结果表明，与常用的公共测试数据集中的现有最新方法相比，我们的方法可以实现更好的定量和定性评估性能。

Fully convolutional neural networks (FCNs) have shown their advantages in the salient object detection task. However, most existing FCNs-based methods still suffer from coarse object boundaries. In this paper, to solve this problem, we focus on the complementarity between salient edge information and salient object information. Accordingly, we present an edge guidance network (EGNet) for salient object detection with three steps to simultaneously model these two kinds of complementary information in a single network. In the first step, we extract the salient object features by a progressive fusion way. In the second step, we integrate the local edge information and global location information to obtain the salient edge features. Finally, to sufficiently leverage these complementary features, we couple the same salient edge features with salient object features at various resolutions. Benefiting from the rich edge information and location information in salient edge features, the fused features can help locate salient objects, especially their boundaries more accurately. Experimental results demonstrate that the proposed method performs favorably against the state-of-the-art methods on six widely used datasets without any pre-processing and post-processing. The source code is available at http: //mmcheng.net/egnet/.

Non-uniform blind deblurring for general dynamic scenes is a challenging computer vision problem as blurs arise not only from multiple object motions but also from camera shake, scene depth variation. To remove these complicated motion blurs, conventional energy optimization based methods rely on simple assumptions such that blur kernel is partially uniform or locally linear. Moreover, recent machine learning based methods also depend on synthetic blur datasets generated under these assumptions. This makes conventional deblurring methods fail to remove blurs where blur kernel is difficult to approximate or parameterize (e.g. object motion boundaries). In this work, we propose a multi-scale convolutional neural network that restores sharp images in an end-to-end manner where blur is caused by various sources. Together, we present multiscale loss function that mimics conventional coarse-to-fine approaches. Furthermore, we propose a new large-scale dataset that provides pairs of realistic blurry image and the corresponding ground truth sharp image that are obtained by a high-speed camera. With the proposed model trained on this dataset, we demonstrate empirically that our method achieves the state-of-the-art performance in dynamic scene deblurring not only qualitatively, but also quantitatively.

在弱光环境下，手持式摄影在长时间的曝光设置下遭受了严重的相机震动。尽管现有的Deblurry算法在暴露良好的模糊图像上表现出了令人鼓舞的性能，但它们仍然无法应对低光快照。在实用的低光脱毛中，复杂的噪声和饱和区是两个主导挑战。在这项工作中，我们提出了一种称为图像的新型非盲脱毛方法，并具有特征空间Wiener Deonervolution网络（Infwide），以系统地解决这些问题。在算法设计方面，Infwide提出了一个两分支的架构，该体系结构明确消除了噪声并幻觉，使图像空间中的饱和区域抑制了特征空间中的响起文物，并将两个互补输出与一个微妙的多尺度融合网络集成在一起高质量的夜间照片浮雕。为了进行有效的网络培训，我们设计了一组损失功能，集成了前向成像模型和向后重建，以形成近环的正则化，以确保深神经网络的良好收敛性。此外，为了优化Infwide在实际弱光条件下的适用性，采用基于物理过程的低光噪声模型来合成现实的嘈杂夜间照片进行模型训练。利用传统的Wiener Deonervolution算法的身体驱动的特征并引起了深层神经网络的表示能力，Infwide可以恢复细节，同时抑制在脱毛期间的不愉快的人工制品。关于合成数据和实际数据的广泛实验证明了所提出的方法的出色性能。

在计算机视觉和邻近字段中，已广泛研究了盲图片脱毛（BID）。投标的现代方法可以分为两类：使用统计推断和数值优化处理单个实例的单个实体方法，以及数据驱动的方法，这些方法可以直接训练深度学习模型来直接删除未来实例。数据驱动的方法可以摆脱得出准确的模型模型的困难，但从根本上受到培训数据的多样性和质量的限制 - 收集足够表达和现实的培训数据是一个坚定的挑战。在本文中，我们专注于保持竞争力和必不可少的单一稳定方法。但是，大多数此类方法没有规定如何处理未知内核大小和实质性噪音，从而排除了实际部署。实际上，我们表明，当核大小被明确指定时，几种最新的（SOTA）单位方法是不稳定的，并且/或噪声水平很高。从积极的一面来看，我们提出了一种实用的出价方法，该方法对这两者都是稳定的，这是同类的。我们的方法建立在最新的思想，即通过整合物理模型和结构深度神经网络而没有额外的培训数据来解决反问题。我们引入了几种关键修改以实现所需的稳定性。与SOTA单位结构以及数据驱动的方法相比，对标准合成数据集以及现实世界中的NTIRE2020和REALBLUR数据集进行了广泛的经验测试。我们方法的代码可在：\ url {https://github.com/sun-unm/blind-image-deblurring}中获得。

在极低光线条件下捕获图像会对标准相机管道带来重大挑战。图像变得太黑了，太吵了，这使得传统的增强技术几乎不可能申请。最近，基于学习的方法已经为此任务显示了非常有希望的结果，因为它们具有更大的表现力能力来允许提高质量。这些研究中的激励，在本文中，我们的目标是利用爆破摄影来提高性能，并从极端暗的原始图像获得更加锐利和更准确的RGB图像。我们提出的框架的骨干是一种新颖的粗良好网络架构，逐步产生高质量的输出。粗略网络预测了低分辨率，去噪的原始图像，然后将其馈送到精细网络以恢复微尺的细节和逼真的纹理。为了进一步降低噪声水平并提高颜色精度，我们将该网络扩展到置换不变结构，使得它作为输入突发为低光图像，并在特征级别地合并来自多个图像的信息。我们的实验表明，我们的方法通过生产更详细和相当更高的质量的图像来引起比最先进的方法更令人愉悦的结果。

深度完成旨在预测从深度传感器（例如Lidars）中捕获的极稀疏图的密集像素深度。它在各种应用中起着至关重要的作用，例如自动驾驶，3D重建，增强现实和机器人导航。基于深度学习的解决方案已经证明了这项任务的最新成功。在本文中，我们首次提供了全面的文献综述，可帮助读者更好地掌握研究趋势并清楚地了解当前的进步。我们通过通过对现有方法进行分类的新型分类法提出建议，研究网络体系结构，损失功能，基准数据集和学习策略的设计方面的相关研究。此外，我们在包括室内和室外数据集（包括室内和室外数据集）上进行了三个广泛使用基准测试的模型性能进行定量比较。最后，我们讨论了先前作品的挑战，并为读者提供一些有关未来研究方向的见解。

深度焦点（DFF）是一种使用相机的焦点变化的深度的技术。在这项工作中，我们提出了一种卷积神经网络（CNN），以在焦点堆叠中找到最佳聚焦的像素，并从焦点估计推断深度。网络的关键创新是新颖的深差分焦卷（DFV）。通过使用不同焦距的堆叠特征计算一阶导数，DFV能够捕获对焦分析的焦点和上下文信息。此外，我们还引入了焦点估计的概率回归机制，以处理稀疏采样的焦点堆栈，并为最终预测提供不确定性估计。综合实验表明，所提出的模型在多个数据集上实现了最先进的性能，具有良好的相互性和快速。

自治车辆和机器人需要越来越多的鲁棒性和可靠性，以满足现代任务的需求。这些要求特别适用于相机，因为它们是获取环境和支持行动的信息的主要传感器。相机必须保持适当的功能，并在必要时采取自动对策。但是，几乎没有作品，审查了相机的一般情况监测方法的实际应用，并在设想的高级别应用程序中设计对策。我们为基于数据和物理接地模型的相机提出了一种通用和可解释的自我保健框架。为此，我们通过比较传统和血液的机器学习的方法，确定一种可靠的两种可靠，实时的估计，用于诸如难以释放的情况（Defocus Blur，运动模糊，不同噪声现象和最常见的噪声现象和最常见的组合）的典型图像效果广泛的实验。此外，我们展示了如何根据实验（非线性和非单调）输入 - 输出性能曲线来调整相机参数（例如，曝光时间和ISO增益）以实现最佳的全系统能力，使用对象检测，运动模糊和传感器噪声作为示例。我们的框架不仅提供了一种实用的即用的解决方案，可以评估和维护摄像机的健康，但也可以作为扩展来解决更复杂的问题的基础，以凭经验组合附加的数据源（例如，传感器或环境参数或环境参数）为了获得完全可靠和强大的机器。

Recent progress on salient object detection is substantial, benefiting mostly from the explosive development of Convolutional Neural Networks (CNNs). Semantic segmentation and salient object detection algorithms developed lately have been mostly based on Fully Convolutional Neural Networks (FCNs). There is still a large room for improvement over the generic FCN models that do not explicitly deal with the scale-space problem. Holistically-Nested Edge Detector (HED) provides a skip-layer structure with deep supervision for edge and boundary detection, but the performance gain of HED on saliency detection is not obvious. In this paper, we propose a new salient object detection method by introducing short connections to the skip-layer structures within the HED architecture. Our framework takes full advantage of multi-level and multi-scale features extracted from FCNs, providing more advanced representations at each layer, a property that is critically needed to perform segment detection. Our method produces state-of-theart results on 5 widely tested salient object detection benchmarks, with advantages in terms of efficiency (0.08 seconds per image), effectiveness, and simplicity over the existing algorithms. Beyond that, we conduct an exhaustive analysis on the role of training data on performance. Our experimental results provide a more reasonable and powerful training set for future research and fair comparisons.

任何相机的光学元件都会降低照片的清晰度，这是关键的视觉质量标准。该降解的特征是点传播函数（PSF），该函数取决于光的波长，并且在整个成像场中都是可变的。在本文中，我们提出了一个两步方案，以纠正单个RAW或JPEG图像中的光学畸变，即没有相机或镜头上任何事先信息。首先，我们估计当地的高斯模糊内核，以重叠斑块，并通过非盲脱毛技术锐化它们。基于数十个透镜的PSF的测量值，这些模糊内核被建模为由七个参数定义的RGB高斯人。其次，我们使用卷积神经网络去除其余的侧向色差（第一步中未考虑），该网络被训练，可将红色/绿色和蓝色/绿色残留图像最小化。关于合成图像和真实图像的实验表明，这两个阶段的组合产生了一种快速的最新盲目畸变补偿技术，该技术与商业非盲算法竞争。

成像传感器在10-12位的动态范围内将传入场景光数字化（即1024--4096色调值）。然后将传感器图像加工在相机上，最后量化为仅8位（即256个音调值），以符合普遍的编码标准。有许多重要的应用程序，例如高位深度显示和照片编辑，有利于恢复丢失的位深度。深度神经网络在该位深度重建任务中是有效的。给定量化的低位深度图像作为输入，现有的深度学习方法采用单次方法，该方法尝试直接估计高位深度图像，或（2）直接估计高的剩余物 - 和低位深度图像。相比之下，我们提出了一种培训和推理策略，可以恢复剩余图像位平平面。我们的BitPlane-Wise学习框架具有允许在训练期间进行多级监督的优势，并且能够使用简单的网络架构获得最先进的结果。我们在多个图像数据集上广泛地测试了我们提出的方法，并在以前的方法上证明了0.5db至2.3db psnr的改进，这取决于量化水平。

现有的DERANE方法主要集中于单个输入图像。只有单个输入图像，很难准确检测到雨条，去除雨条并恢复无雨图像。与单个2D图像相比，光场图像（LFI）通过通过元素摄像机记录每个事件射线的方向和位置，嵌入了广泛的3D结构和纹理信息，该镜头已成为计算机中的流行设备视觉和图形研究社区。在本文中，我们提出了一个新颖的网络4D-MGP-SRRNET，以从LFI中删除雨条。我们的方法将大雨LFI的所有子视图作为输入。为了充分利用LFI，我们采用4D卷积层来构建拟议的雨牛排清除网络，以同时处理LFI的所有子视图。在拟议的网络中，提出了带有新颖的多尺度自引导高斯工艺（MSGP）模块的雨水检测模型MGPDNET，以检测输入LFI的所有子视图中的雨条。引入了半监督的学习，以通过对虚拟世界LFI和现实世界中的LFI进行多个尺度上的虚拟世界LFI和现实世界中的LFI来准确检测雨季，这是通过计算现实世界中雨水条纹的伪地面真相。然后，所有减去预测的雨条的子视图都将馈送到4D残差模型中，以估计深度图。最后，所有子视图与相应的雨条和从估计的深度图转换的相应雨条和雾图都馈送到基于对抗性复发性神经网络的雨天LFI恢复模型，以逐步消除雨水条纹并恢复无雨的LFI LFI LFI。 。对合成LFI和现实世界LFI进行的广泛的定量和定性评估证明了我们提出的方法的有效性。

成功培训端到端的深网进行真实运动去缩合，需要尖锐/模糊的图像对数据集，这些数据集现实且多样化，足以实现概括以实现真实的图像。获得此类数据集仍然是一项具有挑战性的任务。在本文中，我们首先回顾了现有的Deblurring基准数据集的局限性，从泛化到野外模糊图像的角度。其次，我们提出了一种有效的程序方法，以基于一个简单而有效的图像形成模型来生成清晰/模糊的图像对。这允许生成几乎无限的现实和多样化的培训对。我们通过在模拟对上训练现有的DeBlurring架构，并在四个真实模糊图像的标准数据集中对其进行评估，从而证明了所提出的数据集的有效性。我们观察到使用建议方法训练时动态场景的真实运动毛线照片的最终任务的出色概括性能。

显着对象检测（SOD）在图像分析中具有若干应用。基于深度学习的SOD方法是最有效的，但它们可能会错过具有相似颜色的前景部分。为了规避问题，我们介绍了一个后处理方法，名为\ Texit {SuperPixel Materionity}（Sess）的后期处理方法，其交替地执行两个操作，以便显着完成：基于对象的SuperPixel分段和基于SuperPixel的显着性估算。 Sess使用输入显着图来估算超像素描绘的种子，并在前景和背景中定义超顶盒查询。新的显着性图是由查询和超像素之间的颜色相似性产生的。对于给定数量的迭代的过程重复，使得所有产生的显着性图通过蜂窝自动机组合成单个。最后，使用其平均值合并后处理和初始映射。我们展示SES可以始终如一地，并在五个图像数据集上一致而大大提高三种基于深度学习的SOD方法的结果。

Images with haze of different varieties often pose a significant challenge to dehazing. Therefore, guidance by estimates of haze parameters related to the variety would be beneficial and their progressive update jointly with haze reduction will allow effective dehazing. To this end, we propose a multi-network dehazing framework containing novel interdependent dehazing and haze parameter updater networks that operate in a progressive manner. The haze parameters, transmission map and atmospheric light, are first estimated using specific convolutional networks allowing color-cast handling. The estimated parameters are then used to guide our dehazing module, where the estimates are progressively updated by novel convolutional networks. The updating takes place jointly with progressive dehazing by a convolutional network that invokes inter-step dependencies. The joint progressive updating and dehazing gradually modify the haze parameter estimates toward achieving effective dehazing. Through different studies, our dehazing framework is shown to be more effective than image-to-image mapping or predefined haze formation model based dehazing. Our dehazing framework is qualitatively and quantitatively found to outperform the state-of-the-art on synthetic and real-world hazy images of several datasets with varied haze conditions.

Deep Convolutional Neural Networks have been adopted for salient object detection and achieved the state-of-the-art performance. Most of the previous works however focus on region accuracy but not on the boundary quality. In this paper, we propose a predict-refine architecture, BASNet, and a new hybrid loss for Boundary-Aware Salient object detection. Specifically, the architecture is composed of a densely supervised Encoder-Decoder network and a residual refinement module, which are respectively in charge of saliency prediction and saliency map refinement. The hybrid loss guides the network to learn the transformation between the input image and the ground truth in a three-level hierarchy -pixel-, patch-and map-level -by fusing Binary Cross Entropy (BCE), Structural SIMilarity (SSIM) and Intersectionover-Union (IoU) losses. Equipped with the hybrid loss, the proposed predict-refine architecture is able to effectively segment the salient object regions and accurately predict the fine structures with clear boundaries. Experimental results on six public datasets show that our method outperforms the state-of-the-art methods both in terms of regional and boundary evaluation measures. Our method runs at over 25 fps on a single GPU. The code is available at: https://github.com/NathanUA/BASNet.