像指纹一样的生物识别验证已成为用户身份验证和验证现代技术不可或缺的一部分。它在我们大多数人所意识到的更多方面普遍存在。但是,如果手指脏,湿,受伤或传感器故障时,这些指纹图像的质量会恶化。因此,通过去除噪声并将其重组以重组图像对于其身份验证至关重要,从而解除原始指纹。因此,本文提出了一种深入学习方法,以使用生成(GAN)和细分模型来解决这些问题。在Pix2Pixgan和Cyclean(生成模型)以及U-NET(分割模型)之间进行了定性和定量比较。为了训练该模型,我们创建了自己的数据集NFD-精心设计的嘈杂的指纹数据集,具有不同的背景以及某些图像中的划痕,以使其更现实和强大。在我们的研究中,U-NET模型的性能比GAN网络更好
translated by 谷歌翻译
缺乏有效的目标区域使得在低强度光(包括行人识别和图像到图像翻译)中执行多个视觉功能变得困难。在这种情况下,通过使用红外和可见图像的联合使用来积累高质量的信息,即使在弱光下也可以检测行人。在这项研究中,我们将在LLVIP数据集上使用先进的深度学习模型,例如Pix2Pixgan和Yolov7,其中包含可见的信号图像对,用于低光视觉。该数据集包含33672张图像,大多数图像都是在黑暗场景中捕获的,与时间和位置紧密同步。
translated by 谷歌翻译
指纹证据在识别个人的刑事调查中起着重要作用。尽管已经提出了各种指纹分类和特征提取的技术,但指纹的自动指纹识别仍处于最早的阶段。传统\ textIt {自动指纹识别系统}(AFIS)的性能取决于有效的小小的点,并且仍然需要人类的专家协助在功能提取和识别阶段。基于这种动机,我们提出了一种基于生成对抗网络和一声学习技术(FIGO)的指纹识别方法。我们的解决方案包含两个组件:指纹增强层和指纹识别层。首先,我们提出了一个PIX2PIX模型,将低质量的指纹图像转换为直接在指纹增强层中的Pixel的高水平的指纹图像像素。通过提出的增强算法,指纹识别模型的性能得到了显着提高。此外,我们通过观察指纹设备的识别精度来开发基于Gabor过滤器的另一种现有解决方案,作为与建议模型进行比较的基准。实验结果表明,我们提出的PIX2PIX模型比指纹识别的基线方法具有更好的支持。其次,我们使用单次学习方法在指纹识别过程中构建一个完全自动化的指纹特征提取模型。两个具有共享权重和参数的双卷积神经网络(CNN)用于在此过程中获得特征向量。使用提出的方法,我们证明只能以高精度从一个培训样本中学习必要的信息。
translated by 谷歌翻译
在智能制造中,机器翻译工程图的质量将直接影响其制造精度。目前,大多数工作都是手动翻译的,大大降低了生产效率。本文提出了一种基于环状生成对抗网络(Cyclegan)的焊接结构工程图的自动翻译方法。不成对转移学习的Cyclegan网络模型用于学习真实焊接工程图的功能映射,以实现工程图的自动翻译。 U-NET和PatchGAN分别是生成器和鉴别器的主要网络。基于删除身份映射函数,提出了一个高维稀疏网络,以取代传统的密集网络以改善噪声稳健性。增加残留块隐藏层以增加生成图的分辨率。改进和微调的网络模型经过实验验证,计算实际数据和生成数据之间的差距。它符合焊接工程精度标准,并解决了焊接制造过程中低绘图识别效率的主要问题。结果显示。在我们的模型训练之后,焊接工程图的PSNR,SSIM和MSE分别达到44.89%,99.58%和2.11,它们在训练速度和准确性方面都优于传统网络。
translated by 谷歌翻译
生成的对抗网络(GANS)已经促进了解决图像到图像转换问题的新方向。不同的GANS在目标函数中使用具有不同损耗的发电机和鉴别器网络。仍然存在差距来填补所生成的图像的质量并靠近地面真理图像。在这项工作中,我们介绍了一个名为循环辨别生成的对抗网络(CDGAN)的新的图像到图像转换网络,填补了上述空白。除了加速本的原始架构之外,所提出的CDGAN通过结合循环图像的附加鉴别器网络来产生高质量和更现实的图像。所提出的CDGAN在三个图像到图像转换数据集上进行测试。分析了定量和定性结果,并与最先进的方法进行了比较。在三个基线图像到图像转换数据集中,所提出的CDGAN方法优于最先进的方法。该代码可在https://github.com/kishankancharagunta/cdgan获得。
translated by 谷歌翻译
Deep learning techniques have made considerable progress in image inpainting, restoration, and reconstruction in the last few years. Image outpainting, also known as image extrapolation, lacks attention and practical approaches to be fulfilled, owing to difficulties caused by large-scale area loss and less legitimate neighboring information. These difficulties have made outpainted images handled by most of the existing models unrealistic to human eyes and spatially inconsistent. When upsampling through deconvolution to generate fake content, the naive generation methods may lead to results lacking high-frequency details and structural authenticity. Therefore, as our novelties to handle image outpainting problems, we introduce structural prior as a condition to optimize the generation quality and a new semantic embedding term to enhance perceptual sanity. we propose a deep learning method based on Generative Adversarial Network (GAN) and condition edges as structural prior in order to assist the generation. We use a multi-phase adversarial training scheme that comprises edge inference training, contents inpainting training, and joint training. The newly added semantic embedding loss is proved effective in practice.
translated by 谷歌翻译
随着脑成像技术和机器学习工具的出现,很多努力都致力于构建计算模型来捕获人脑中的视觉信息的编码。最具挑战性的大脑解码任务之一是通过功能磁共振成像(FMRI)测量的脑活动的感知自然图像的精确重建。在这项工作中,我们调查了来自FMRI的自然图像重建的最新学习方法。我们在架构设计,基准数据集和评估指标方面检查这些方法,并在标准化评估指标上呈现公平的性能评估。最后,我们讨论了现有研究的优势和局限,并提出了潜在的未来方向。
translated by 谷歌翻译
图像超分辨率(SR)是重要的图像处理方法之一,可改善计算机视野领域的图像分辨率。在过去的二十年中,在超级分辨率领域取得了重大进展,尤其是通过使用深度学习方法。这项调查是为了在深度学习的角度进行详细的调查,对单像超分辨率的最新进展进行详细的调查,同时还将告知图像超分辨率的初始经典方法。该调查将图像SR方法分类为四个类别,即经典方法,基于学习的方法,无监督学习的方法和特定领域的SR方法。我们还介绍了SR的问题,以提供有关图像质量指标,可用参考数据集和SR挑战的直觉。使用参考数据集评估基于深度学习的方法。一些审查的最先进的图像SR方法包括增强的深SR网络(EDSR),周期循环gan(Cincgan),多尺度残留网络(MSRN),Meta残留密度网络(META-RDN) ,反复反射网络(RBPN),二阶注意网络(SAN),SR反馈网络(SRFBN)和基于小波的残留注意网络(WRAN)。最后,这项调查以研究人员将解决SR的未来方向和趋势和开放问题的未来方向和趋势。
translated by 谷歌翻译
For satellite images, the presence of clouds presents a problem as clouds obscure more than half to two-thirds of the ground information. This problem causes many issues for reliability in a noise-free environment to communicate data and other applications that need seamless monitoring. Removing the clouds from the images while keeping the background pixels intact can help address the mentioned issues. Recently, deep learning methods have become popular for researching cloud removal by demonstrating promising results, among which Generative Adversarial Networks (GAN) have shown considerably better performance. In this project, we aim to address cloud removal from satellite images using AttentionGAN and then compare our results by reproducing the results obtained using traditional GANs and auto-encoders. We use RICE dataset. The outcome of this project can be used to develop applications that require cloud-free satellite images. Moreover, our results could be helpful for making further research improvements.
translated by 谷歌翻译
基于深度学习的低光图像增强方法通常需要巨大的配对训练数据,这对于在现实世界的场景中捕获是不切实际的。最近,已经探索了无监督的方法来消除对成对训练数据的依赖。然而,由于没有前衣,它们在不同的现实情景中表现得不稳定。为了解决这个问题,我们提出了一种基于先前(HEP)的有效预期直方图均衡的无监督的低光图像增强方法。我们的作品受到了有趣的观察,即直方图均衡增强图像的特征图和地面真理是相似的。具体而言,我们制定了HEP,提供了丰富的纹理和亮度信息。嵌入一​​个亮度模块(LUM),它有助于将低光图像分解为照明和反射率图,并且反射率图可以被视为恢复的图像。然而,基于Retinex理论的推导揭示了反射率图被噪声污染。我们介绍了一个噪声解剖学模块(NDM),以解除反射率图中的噪声和内容,具有不配对清洁图像的可靠帮助。通过直方图均衡的先前和噪声解剖,我们的方法可以恢复更精细的细节,更有能力抑制现实世界低光场景中的噪声。广泛的实验表明,我们的方法对最先进的无监督的低光增强算法有利地表现出甚至与最先进的监督算法匹配。
translated by 谷歌翻译
作为混合成像技术,光声显微镜(PAM)成像由于激光强度的最大允许暴露,组织中超声波的衰减以及换能器的固有噪声而受到噪声。去噪是降低噪声的后处理方法,并且可以恢复PAM图像质量。然而,之前的去噪技术通常严重依赖于数学前导者以及手动选择的参数,导致对不同噪声图像的不令人满意和慢的去噪能,这极大地阻碍了实用和临床应用。在这项工作中,我们提出了一种基于深度学习的方法,可以从PAM图像中除去复杂的噪声,没有数学前导者,并手动选择不同输入图像的设置。注意增强的生成对抗性网络用于提取图像特征并去除各种噪声。在合成和实际数据集上证明了所提出的方法,包括幻影(叶静脉)和体内(小鼠耳血管和斑马鱼颜料)实验。结果表明,与先前的PAM去噪方法相比,我们的方法在定性和定量上恢复图像时表现出良好的性能。此外,为256次\ times256 $像素的图像实现了0.016 s的去噪速度。我们的方法对于PAM图像的去噪有效和实用。
translated by 谷歌翻译
由于CT相关的X射线辐射对患者的潜在健康风险,LDCT在医学成像领域引起了重大关注。然而,减少辐射剂量会降低重建图像的质量,从而损害了诊断性能。已经引入了各种深度学习技术来通过去噪提高LDCT图像的图像质量。基于GANS的去噪方法通常利用额外的分类网络,即鉴别者,学习被去噪和正常剂量图像之间最辨别的差异,因此相应地规范脱景模型;它通常侧重于全球结构或本地细节。为了更好地规范LDCT去噪模式,本文提出了一种新的方法,被称为Du-GaN,该方法利用GANS框架中的U-Net基于鉴别者来学习两种图像中的去噪和正常剂量图像之间的全局和局部差异渐变域。这种基于U-Net的鉴别器的优点是它不仅可以通过U-Net的输出向去噪网络提供每个像素反馈,而且还通过中间层专注于语义层中的全局结构U-net。除了图像域中的对抗性训练之外,我们还应用于图像梯度域中的另一个基于U-Net的鉴别器,以减轻由光子饥饿引起的伪像并增强去噪CT图像的边缘。此外,Cutmix技术使基于U-Net的鉴别器的每个像素输出能够提供具有置信度图的放射科学家以可视化去噪结果的不确定性,促进基于LDCT的筛选和诊断。关于模拟和现实世界数据集的广泛实验在定性和定量上展示了最近发表的方法的优越性。
translated by 谷歌翻译
原始出版物使用周期一致的对抗网络不成对图像到图像的翻译,这是该实施项目的灵感。研究人员开发了一种新的方法,用于使用原始研究中的未配对数据集进行图像到图像翻译。尽管PIX2PIX模型发现很好,但匹配的数据集经常不可用。因此,在没有配对数据的情况下,Cyclegan可以通过将图像转换为图像来解决此问题。为了减少图像之间的差异,他们实施了周期一致性损失。我用三个不同的数据集评估了Cyclegan,本文简要讨论了发现和结论。
translated by 谷歌翻译
内窥镜检查是空心器官内最广泛使用的癌症和息肉检测的医疗技术。但是,由于启蒙源方向,内窥镜获得的图像经常受到照明人工制品的影响。当内窥镜的光源姿势突然变化时,存在两个主要问题:产生过度曝光和不受欢迎的组织区域。这两种情况可能导致因影响区域缺乏信息而导致误诊,或者在非侵入性检查过程中使用了各种计算机视觉方法的性能(例如,大满贯,运动结构,光流,光流)。这项工作的目的是两倍:i)引入一种由生成对抗技术生成的新合成生成的数据集和ii),并探索在过度暴露和未渗透的照明中探索基于浅层和深度学习的基于浅的基于学习的图像增强方法条件。除了在7.6 fps左右的运行时间外,还通过基于深网的LMSPEC方法获得了最佳定量结果(即基于公制的结果)
translated by 谷歌翻译
鉴于完整的指纹图像(滚动或拍打),我们介绍了Cyclegan模型,以生成与完整印刷相同身份的多个潜在印象。我们的模型可以控制生成的潜在打印图像中的失真,噪声,模糊和遮挡程度,以获得NIST SD27潜在数据库中介绍的好,坏和丑陋的潜在图像类别。我们的工作的贡献是双重的:(i)证明合成生成的潜在指纹图像与NIST SD27和MSP数据库中的犯罪现场潜伏期的相似性,并由NIST NIST NFIQ 2质量度量和由SOTA指纹匹配器和ROC曲线评估。 (ii)使用合成潜伏期在公共领域增强小型的潜在训练数据库,以提高Deepprint的性能,Deepprint是一种SOTA指纹匹配器,设计用于在三个潜在数据库上滚动的指纹匹配(NIST SD27,NIST SD302和IIITD,以及IIITD,以及IIITD,以及IIITD,以及-slf)。例如,随着合成潜在数据的增强,在具有挑战性的NIST SD27潜在数据库中,Deepprint的排名1检索性能从15.50%提高到29.07%。我们生成合成潜在指纹的方法可用于改善任何潜在匹配器及其单个组件的识别性能(例如增强,分割和特征提取)。
translated by 谷歌翻译
在离岸部门以及科学界在水下行动方面的迅速发展,水下车辆变得更加复杂。值得注意的是,许多水下任务,包括对海底基础设施的评估,都是在自动水下车辆(AUV)的帮助下进行的。最近在人工智能(AI)方面取得了突破,尤其是深度学习(DL)模型和应用,这些模型和应用在各种领域都广泛使用,包括空中无人驾驶汽车,自动驾驶汽车导航和其他应用。但是,由于难以获得特定应用的水下数据集,它们在水下应用中并不普遍。从这个意义上讲,当前的研究利用DL领域的最新进步来构建从实验室环境中捕获的物品照片产生的定制数据集。通过将收集到的图像与包含水下环境的照片相结合,将生成的对抗网络(GAN)用于将实验室对象数据集转化为水下域。这些发现证明了创建这样的数据集的可行性,因为与现实世界的水下船体船体图像相比,所得图像与真实的水下环境非常相似。因此,水下环境的人工数据集可以克服因对实际水下图像的有限访问而引起的困难,并用于通过水下对象图像分类和检测来增强水下操作。
translated by 谷歌翻译
基于传感器的相机识别(SCI)方法的性能严重依赖于估计光响应非均匀性(PRNU)的去噪滤波器。鉴于各种对提高提取的PRNU质量的尝试,它仍然存在于低分辨率图像和高计算需求中的不令人满意的性能。利用PRNU估计和图像去噪的相似性,利用了基于PRNU提取的卷积神经网络(CNN)的最新成就。本文在公共“德累斯顿图像数据库”上对SCI性能进行了对比较评估。我们的研究结果是两倍。从一个方面,来自图像内容的PRNU提取和图像去噪分开噪声。因此,如果仔细培训,SCI可以从最近的CNN Denoisers受益。从另一方面,PRNU提取和图像去噪的目标和场景是不同的,因为一个优化噪声质量和另一个优化图像质量。当CNN Denoisers用于PRNU估计时,需要精心定制的培训。理论上和实际评估培训数据准备和损失功能设计的替代策略。我们指出,用图像 - PRNU对喂养CNN,并以基于相关的损耗函数训练它们导致最好的PRNU估计性能。为了便于对SCI的进一步研究,我们还提出了一种最小损失相机指纹量化方案,我们使用该量化方案将指纹保存为PNG格式的图像文件。此外,我们从“德累斯顿图像数据库”公开可用的相机的量化指纹。
translated by 谷歌翻译
Optical coherence tomography (OCT) captures cross-sectional data and is used for the screening, monitoring, and treatment planning of retinal diseases. Technological developments to increase the speed of acquisition often results in systems with a narrower spectral bandwidth, and hence a lower axial resolution. Traditionally, image-processing-based techniques have been utilized to reconstruct subsampled OCT data and more recently, deep-learning-based methods have been explored. In this study, we simulate reduced axial scan (A-scan) resolution by Gaussian windowing in the spectral domain and investigate the use of a learning-based approach for image feature reconstruction. In anticipation of the reduced resolution that accompanies wide-field OCT systems, we build upon super-resolution techniques to explore methods to better aid clinicians in their decision-making to improve patient outcomes, by reconstructing lost features using a pixel-to-pixel approach with an altered super-resolution generative adversarial network (SRGAN) architecture.
translated by 谷歌翻译
Music discovery services let users identify songs from short mobile recordings. These solutions are often based on Audio Fingerprinting, and rely more specifically on the extraction of spectral peaks in order to be robust to a number of distortions. Few works have been done to study the robustness of these algorithms to background noise captured in real environments. In particular, AFP systems still struggle when the signal to noise ratio is low, i.e when the background noise is strong. In this project, we tackle this problematic with Deep Learning. We test a new hybrid strategy which consists of inserting a denoising DL model in front of a peak-based AFP algorithm. We simulate noisy music recordings using a realistic data augmentation pipeline, and train a DL model to denoise them. The denoising model limits the impact of background noise on the AFP system's extracted peaks, improving its robustness to noise. We further propose a novel loss function to adapt the DL model to the considered AFP system, increasing its precision in terms of retrieved spectral peaks. To the best of our knowledge, this hybrid strategy has not been tested before.
translated by 谷歌翻译
糖尿病足溃疡(DFUS)对于糖尿病患者来说是严重的并发症。为了实现现有溃疡的早期诊断,预防溃疡和并发症管理,可以通过自我管理来大大改善DFU患者的护理。在本文中,我们研究了两类图像到图像翻译技术(ITITT),这些技术将支持糖尿病足溃疡的决策和监测:降噪和超分辨率。在前一种情况下,我们调查了消除噪声的功能,用于卷积神经网络堆叠的AutoCoders(CNN-SAE)。在用高斯噪声诱导的RGB图像上测试了CNN-SAE。后一种情况涉及部署四个深度学习超分辨率模型。对于两种情况,所有模型的性能均以执行时间和感知质量进行评估。结果表明,应用技术组成了可行且易于实现的替代方案,该替代方案应由设计用于DFU监视的任何系统使用。
translated by 谷歌翻译