图像超分辨率是计算机视觉中的重要研究领域,它具有多种应用,包括监视,医学成像等。实际信号图像超分辨率由于其实时应用而变得非常流行。。在充满挑战的天气情况下,仍然有很多范围可以改善现实世界中的单像超分辨率。在本文中,我们提出了一种新算法,以在雨季中执行现实世界中的单像超分辨率。我们提出的方法可以减轻图像超分辨率期间的雨季条件的影响。我们的实验结果表明,我们提出的算法可以执行图像超分辨率,从而减少雨水的负面影响。
translated by 谷歌翻译
在实际应用中,识别网络的性能通常在应用于超分辨率图像时减少。在本文中,我们提出了一种基于特征的识别网络与GaN(FGAN)相结合。我们的网络通过提取从SR图像中识别的更多功能来提高识别准确性。在实验中,我们使用三种不同的超分辨率算法构建三个数据集,我们的网络将识别精度增加超过6%,与Reanet50和DenSenet121相比比较。
translated by 谷歌翻译
Single image super-resolution (SISR) methods can enhance the resolution and quality of underwater images. Enhancing the resolution of underwater images leads to better performance of autonomous underwater vehicles. In this work, we fine-tune the Real-Enhanced Super-Resolution Generative Adversarial Network (Real-ESRGAN) model to increase the resolution of underwater images. In our proposed approach, the pre-trained generator and discriminator networks of the Real-ESRGAN model are fine-tuned using underwater image datasets. We used the USR-248 and UFO-120 datasets to fine-tune the Real-ESRGAN model. Our fine-tuned model produces images with better resolution and quality compared to the original model.
translated by 谷歌翻译
In medical image analysis, low-resolution images negatively affect the performance of medical image interpretation and may cause misdiagnosis. Single image super-resolution (SISR) methods can improve the resolution and quality of medical images. Currently, Generative Adversarial Networks (GAN) based super-resolution models have shown very good performance. Real-Enhanced Super-Resolution Generative Adversarial Network (Real-ESRGAN) is one of the practical GAN-based models which is widely used in the field of general image super-resolution. One of the challenges in medical image super-resolution is that, unlike natural images, medical images do not have high spatial resolution. To solve this problem, we can use transfer learning technique and fine-tune the model that has been trained on external datasets (often natural datasets). In our proposed approach, the pre-trained generator and discriminator networks of the Real-ESRGAN model are fine-tuned using medical image datasets. In this paper, we worked on chest X-ray and retinal images and used the STARE dataset of retinal images and Tuberculosis Chest X-rays (Shenzhen) dataset for fine-tuning. The proposed model produces more accurate and natural textures, and its outputs have better detail and resolution compared to the original Real-ESRGAN outputs.
translated by 谷歌翻译
Because of the necessity to obtain high-quality images with minimal radiation doses, such as in low-field magnetic resonance imaging, super-resolution reconstruction in medical imaging has become more popular (MRI). However, due to the complexity and high aesthetic requirements of medical imaging, image super-resolution reconstruction remains a difficult challenge. In this paper, we offer a deep learning-based strategy for reconstructing medical images from low resolutions utilizing Transformer and Generative Adversarial Networks (T-GAN). The integrated system can extract more precise texture information and focus more on important locations through global image matching after successfully inserting Transformer into the generative adversarial network for picture reconstruction. Furthermore, we weighted the combination of content loss, adversarial loss, and adversarial feature loss as the final multi-task loss function during the training of our proposed model T-GAN. In comparison to established measures like PSNR and SSIM, our suggested T-GAN achieves optimal performance and recovers more texture features in super-resolution reconstruction of MRI scanned images of the knees and belly.
translated by 谷歌翻译
盲目图像超分辨率(SR)是CV的长期任务,旨在恢复患有未知和复杂扭曲的低分辨率图像。最近的工作主要集中在采用更复杂的退化模型来模拟真实世界的降级。由此产生的模型在感知损失和产量感知令人信服的结果取得了突破性。然而,电流生成的对抗性网络结构所带来的限制仍然是显着的:处理像素同样地导致图像的结构特征的无知,并且导致性能缺点,例如扭曲线和背景过度锐化或模糊。在本文中,我们提出了A-ESRAN,用于盲人SR任务的GAN模型,其特色是基于U-NET的U-NET的多尺度鉴别器,可以与其他发电机无缝集成。据我们所知,这是第一项介绍U-Net结构作为GaN解决盲人问题的鉴别者的工作。本文还给出了对模型的多规模注意力突破的机制的解释。通过对现有作品的比较实验,我们的模型在非参考自然图像质量评估员度量上提出了最先进的水平性能。我们的消融研究表明,利用我们的鉴别器,基于RRDB的发电机可以利用多种尺度中图像的结构特征,因此与先前作品相比,更加感知地产生了感知的高分辨率图像。
translated by 谷歌翻译
Deep Convolutional Neural Networks (DCNNs) have exhibited impressive performance on image super-resolution tasks. However, these deep learning-based super-resolution methods perform poorly in real-world super-resolution tasks, where the paired high-resolution and low-resolution images are unavailable and the low-resolution images are degraded by complicated and unknown kernels. To break these limitations, we propose the Unsupervised Bi-directional Cycle Domain Transfer Learning-based Generative Adversarial Network (UBCDTL-GAN), which consists of an Unsupervised Bi-directional Cycle Domain Transfer Network (UBCDTN) and the Semantic Encoder guided Super Resolution Network (SESRN). First, the UBCDTN is able to produce an approximated real-like LR image through transferring the LR image from an artificially degraded domain to the real-world LR image domain. Second, the SESRN has the ability to super-resolve the approximated real-like LR image to a photo-realistic HR image. Extensive experiments on unpaired real-world image benchmark datasets demonstrate that the proposed method achieves superior performance compared to state-of-the-art methods.
translated by 谷歌翻译
当前的深层图像超分辨率(SR)方法试图从下采样的图像或假设简单高斯内核和添加噪声中降解来恢复高分辨率图像。但是,这种简单的图像处理技术代表了降低图像分辨率的现实世界过程的粗略近似。在本文中,我们提出了一个更现实的过程,通过引入新的内核对抗学习超分辨率(KASR)框架来处理现实世界图像SR问题,以降低图像分辨率。在提议的框架中,降解内核和噪声是自适应建模的,而不是明确指定的。此外,我们还提出了一个迭代监督过程和高频选择性目标,以进一步提高模型SR重建精度。广泛的实验验证了对现实数据集中提出的框架的有效性。
translated by 谷歌翻译
在过去的几年中,基于学习的技术(例如生成对抗网络(GAN))具有显着改进的解决方案,以形象超分辨率和图像对图像翻译问题。在本文中,我们提出了解决图像超分辨率和多模式图像到图像翻译的联合问题的解决方案。该问题可以说为在替代方式中对同一图像的低分辨率观察,在模态中恢复了高分辨率图像。我们的论文提供了两个模型来解决此问题,并将在同一场景的低分辨率夜间图像中对高分辨率日图像的恢复进行评估。每个模型都会提出有希望的定性和定量结果。
translated by 谷歌翻译
尽管基准数据集的成功,但大多数先进的面部超分辨率模型在真实情况下表现不佳,因为真实图像与合成训练对之间的显着域间隙。为了解决这个问题,我们提出了一种用于野外面部超分辨率的新型域 - 自适应降级网络。该降级网络预测流场以及中间低分辨率图像。然后,通过翘曲中间图像来生成降级的对应物。利用捕获运动模糊的偏好,这种模型在保护原始图像和劣化之间保持身份一致性更好地执行。我们进一步提出了超分辨率网络的自我调节块。该块将输入图像作为条件术语,以有效地利用面部结构信息,从而消除了对显式前沿的依赖性,例如,面部地标或边界。我们的模型在Celeba和真实世界的面部数据集上实现了最先进的性能。前者展示了我们所提出的建筑的强大生成能力,而后者展示了现实世界中的良好的身份一致性和感知品质。
translated by 谷歌翻译
单个图像超分辨率(SISR)是一个非常活跃的研究领域。本文通过使用带有双鉴别器的GaN的方法来解决SISR,并将其与注意机制合并。实验结果表明,与其他传统方法相比,GDCA可以产生更尖锐和高令人愉悦的图像。
translated by 谷歌翻译
盲目图像超分辨率(SR)的典型方法通过直接估算或学习潜在空间中的降解表示来处理未知的降解。这些方法的一个潜在局限性是,他们假设可以通过整合各种手工降解(例如,比科比克下采样)来模拟未知的降解,这不一定是正确的。现实世界中的降解可能超出了手工降解的模拟范围,这被称为新型降解。在这项工作中,我们建议学习一个潜在的降解空间,可以将其从手工制作的(基本)降解中推广到新的降解。然后将其在此潜在空间中获得的新型降解的表示形式被利用,以生成与新型降解一致的降级图像,以构成SR模型的配对训练数据。此外,我们执行各种推断,以使潜在表示空间中的降解后降解与先前的分布(例如高斯分布)相匹配。因此,我们能够采样更多的高质量表示以进行新的降级,以增加SR模型的训练数据。我们对合成数据集和现实数据集进行了广泛的实验,以验证我们在新型降解中盲目超分辨率的有效性和优势。
translated by 谷歌翻译
近年来,使用基于深入学习的架构的状态,在图像超分辨率的任务中有几个进步。先前发布的许多基于超分辨率的技术,需要高端和顶部的图形处理单元(GPU)来执行图像超分辨率。随着深度学习方法的进步越来越大,神经网络已经变得越来越多地计算饥饿。我们返回了一步,并专注于创建实时有效的解决方案。我们提出了一种在其内存足迹方面更快更小的架构。所提出的架构使用深度明智的可分离卷积来提取特征,并且它与其他超分辨率的GAN(生成对抗网络)进行接受,同时保持实时推断和低存储器占用。即使在带宽条件不佳,实时超分辨率也能够流式传输高分辨率介质内容。在维持准确性和延迟之间的有效权衡之间,我们能够生产可比较的性能模型,该性能模型是超分辨率GAN的大小的一个 - 八(1/8),并且计算的速度比超分辨率的GAN快74倍。
translated by 谷歌翻译
磁共振成像(MRI)在临床中很重要,可以产生高分辨率图像进行诊断,但其获取时间很长,对于高分辨率图像。基于深度学习的MRI超级分辨率方法可以减少扫描时间而无需复杂的序列编程,但由于训练数据和测试数据之间的差异,可能会产生其他伪像。数据一致性层可以改善深度学习结果,但需要原始的K空间数据。在这项工作中,我们提出了基于幅度图像的数据一致性深度学习MRI超级分辨率方法,以提高超级分辨率图像的质量,而无需原始K空间数据。我们的实验表明,与没有数据一致性模块的同一卷积神经网络(CNN)块相比,提出的方法可以改善超级分辨率图像的NRMSE和SSIM。
translated by 谷歌翻译
图像超分辨率(SR)是重要的图像处理方法之一,可改善计算机视野领域的图像分辨率。在过去的二十年中,在超级分辨率领域取得了重大进展,尤其是通过使用深度学习方法。这项调查是为了在深度学习的角度进行详细的调查,对单像超分辨率的最新进展进行详细的调查,同时还将告知图像超分辨率的初始经典方法。该调查将图像SR方法分类为四个类别,即经典方法,基于学习的方法,无监督学习的方法和特定领域的SR方法。我们还介绍了SR的问题,以提供有关图像质量指标,可用参考数据集和SR挑战的直觉。使用参考数据集评估基于深度学习的方法。一些审查的最先进的图像SR方法包括增强的深SR网络(EDSR),周期循环gan(Cincgan),多尺度残留网络(MSRN),Meta残留密度网络(META-RDN) ,反复反射网络(RBPN),二阶注意网络(SAN),SR反馈网络(SRFBN)和基于小波的残留注意网络(WRAN)。最后,这项调查以研究人员将解决SR的未来方向和趋势和开放问题的未来方向和趋势。
translated by 谷歌翻译
可以使用超分辨率方法改善医学图像的空间分辨率。实际增强的超级分辨率生成对抗网络(Real-Esrgan)是最近用于产生较高分辨率图像的最新有效方法之一,给定较低分辨率的输入图像。在本文中,我们应用这种方法来增强2D MR图像的空间分辨率。在我们提出的方法中,我们稍微修改了从脑肿瘤分割挑战(BRATS)2018数据集中训练2D磁共振图像(MRI)的结构。通过计算SSIM(结构相似性指数量度),NRMSE(归一化根平方误),MAE(平均绝对误差)和VIF(视觉信息保真度)值,通过计算SSIM(结构相似性指数量度)进行定性和定量验证。
translated by 谷歌翻译
对于真实世界形象超分辨率的深度学习方法,最关键的问题是对训练的配对低和高分辨率图像是否准确反映了真实相机的采样过程。由现有的退化模型(例如,双臂下采样)合成的低分辨率(LR $ \ SIM $ HR)图像对偏离现实中的模型;因此,当应用于真实图像时,由这些合成的LR $ \ SIM $ HR图像对训练的超分辨率CNN不会表现良好。为了解决问题,我们提出了一种新的数据采集过程,使用真实相机拍摄一大集的LR $ \ SIM $ HR图像对。图像显示在超高质量屏幕上并以不同的分辨率捕获。由此产生的LR $ \ SIM $ HR图像对可以通过新颖的空间频率二元域注册方法与非常高的子像素精度对齐,因此它们为超级分辨率的学习任务提供了高质量的培训数据。此外,捕获的HR图像和原始数字图像提供了双引用来提高学习性能。实验结果表明,我们的LR $ \ SIM $ HR DataSet培训超分辨率CNN,而不是文献中的其他数据集培训更高的图像质量。
translated by 谷歌翻译
基于深度学习的单图像超分辨率(SISR)方法引起了人们的关注,并在现代高级GPU上取得了巨大的成功。但是,大多数最先进的方法都需要大量参数,记忆和计算资源,这些参数通常会显示在当前移动设备CPU/NPU上时显示出较低的推理时间。在本文中,我们提出了一个简单的普通卷积网络,该网络具有快速最近的卷积模块(NCNET),该模块对NPU友好,可以实时执行可靠的超级分辨率。提出的最近的卷积具有与最近的UP采样相同的性能,但更快,更适合Android NNAPI。我们的模型可以很容易地在具有8位量化的移动设备上部署,并且与所有主要的移动AI加速器完全兼容。此外,我们对移动设备上的不同张量操作进行了全面的实验,以说明网络体系结构的效率。我们的NCNET在DIV2K 3X数据集上进行了训练和验证,并且与其他有效的SR方法的比较表明,NCNET可以实现高保真SR结果,同时使用更少的推理时间。我们的代码和预估计的模型可在\ url {https://github.com/algolzw/ncnet}上公开获得。
translated by 谷歌翻译
X射线微型计算机断层扫描(Micro-CT)已被广泛利用,以在地下多孔岩石中表征孔隙尺度几何形状。使用深度学习的超分辨率(SR)方法的最新进程允许在大型空间尺度上进行数字增强低分辨率(LR)图像,从而创建与高分辨率(HR)地理真理相当的SR图像。这避免了传统的解决方案和视野折衷。出色的问题是使用配对(已注册的)LR和HR数据,这些数据通常需要在此类方法的训练步骤中,但难以获得。在这项工作中,我们严格比较两种不同的最先进的SR深度学习技术,使用两者和未配对数据,具有类似于类似的地面真理数据。第一方法需要配对的图像来训练卷积神经网络(CNN),而第二种方法使用未配对的图像来训练生成的对抗网络(GaN)。使用具有复杂的微孔纹理的微型CT碳酸盐岩样品进行比较两种方法。我们实现了基于图像的各种图像和数值验证和实验验证,以定量评估两种方法的物理精度和敏感性。我们的定量结果表明,未配对GaN方法可以将超分辨率图像重建为精确,如配对的CNN方法,具有可比的训练时间和数据集要求。这将使用未配对的深度学习方法解除微型CT图像增强的新应用;数据处理阶段不再需要图像注册。来自数据存储平台的解耦图像可以更有效地利用用于培训SR数字岩体应用的网络。这为异构多孔介质中的多尺度流模拟各种应用开辟了新的途径。
translated by 谷歌翻译
FREDSR is a GAN variant that aims to outperform traditional GAN models in specific tasks such as Single Image Super Resolution with extreme parameter efficiency at the cost of per-dataset generalizeability. FREDSR integrates fast Fourier transformation, residual prediction, diffusive discriminators, etc to achieve strong performance in comparisons to other models on the UHDSR4K dataset for Single Image 3x Super Resolution from 360p and 720p with only 37000 parameters. The model follows the characteristics of the given dataset, resulting in lower generalizeability but higher performance on tasks such as real time up-scaling.
translated by 谷歌翻译