在这项研究中，已经开发了一种方法来改善组织学人胎盘图像的分辨率。为此，已经收集了一系列成对的高分辨率图像，以训练深层神经网络模型，该模型可以预测改善输入图像分辨率所需的图像残差。U-NET神经网络模型的修改版本已量身定制，以找到低分辨率和残留图像之间的关系。在1000张图像的增强数据集上训练了900个时期后，用于预测320张测试图像的相对平均平方误差为0.003。所提出的方法不仅改善了细胞边缘处低分辨率图像的对比度，而且添加了模仿胎盘绒毛空间的高分辨率图像的关键细节和纹理。
translated by 谷歌翻译
迄今为止，纳米级的活细胞成像仍然具有挑战性。尽管超分辨率显微镜方法使得能够在光学分辨率下方的亚细胞结构的可视化，但空间分辨率仍然足够远，对于体内生物分子的结构重建仍然足够远（即24nm厚度的微管纤维）。在这项研究中，我们提出了一种A-Net网络，并显示通过基于劣化模型的DWDC算法组合A-Net DeeD学习网络，可以显着改善由共聚焦显微镜捕获的细胞骨架图像的分辨率。利用DWDC算法构建新数据集并利用A-Net神经网络的特征（即，层数较少），我们成功地消除了噪声和絮凝结构，最初干扰了原始图像中的蜂窝结构，并改善了空间分辨率使用相对较小的数据集10次。因此，我们得出结论，将A-Net神经网络与DWDC方法结合的所提出的算法是一种合适的和普遍的方法，用于从低分辨率图像中严格的生物分子，细胞和器官的结构细节。
translated by 谷歌翻译
Accurate segmentation of live cell images has broad applications in clinical and research contexts. Deep learning methods have been able to perform cell segmentations with high accuracy; however developing machine learning models to do this requires access to high fidelity images of live cells. This is often not available due to resource constraints like limited accessibility to high performance microscopes or due to the nature of the studied organisms. Segmentation on low resolution images of live cells is a difficult task. This paper proposes a method to perform live cell segmentation with low resolution images by performing super-resolution as a pre-processing step in the segmentation pipeline.
translated by 谷歌翻译
四分之一采样和四分之三抽样是新型传感器概念，可实现高分辨率图像而无需增加像素的数量。这是通过非规范覆盖低分辨率传感器的每个像素的一部分来实现的，使每个像素的传感器区域的一个象限或三个象限对光敏感。与使用低分辨率传感器和随后的更新采样相比，结合了正确设计的面膜和高质量的重建算法，可以实现更高的图像质量。对于后一种情况，可以使用超级分辨率网络（VDSR）等超级分辨率算法进一步增强图像质量。在本文中，我们提出了一个新型的端到端神经网络，以从非规范采样的传感器数据中重建高分辨率图像。该网络是本地完全连接的重建网络（LFCR）和标准VDSR网络的串联。总的来说，使用我们的新型神经网络布局，使用四分之三的采样传感器，与最先进的方法相比，URBAN100数据集的PSNR图像质量可以增加2.96 dB。与使用VDSR的低分辨率传感器相比，获得1.11 dB的增益。
translated by 谷歌翻译
We present a highly accurate single-image superresolution (SR) method. Our method uses a very deep convolutional network inspired by VGG-net used for ImageNet classification [19]. We find increasing our network depth shows a significant improvement in accuracy. Our final model uses 20 weight layers. By cascading small filters many times in a deep network structure, contextual information over large image regions is exploited in an efficient way. With very deep networks, however, convergence speed becomes a critical issue during training. We propose a simple yet effective training procedure. We learn residuals only and use extremely high learning rates (10 4 times higher than SRCNN [6]) enabled by adjustable gradient clipping. Our proposed method performs better than existing methods in accuracy and visual improvements in our results are easily noticeable.
translated by 谷歌翻译
捕获场景的空间和角度信息的光场（LF）成像无疑是有利于许多应用。尽管已经提出了用于LF采集的各种技术，但是在角度和空间上实现的既仍然是技术挑战。本文，提出了一种基于学习的方法，其应用于3D末面图像（EPI）以重建高分辨率LF。通过2级超分辨率框架，所提出的方法有效地解决了各种LF超分辨率（SR）问题，即空间SR，Angular SR和角空间SR。虽然第一阶段向Up-Sample EPI体积提供灵活的选择，但是由新型EPI体积的细化网络（EVRN）组成的第二阶段，基本上提高了高分辨率EPI体积的质量。从7个发布的数据集的90个挑战合成和实际灯田场景的广泛评估表明，所提出的方法优于空间和角度超分辨率问题的大型延伸的最先进的方法，即平均值峰值信号到噪声比为2.0 dB，1.4 dB和3.14 dB的空间SR $ \ Times 2 $，Spatial SR $ \ Times 4 $和Angular SR。重建的4D光场展示了所有透视图像的平衡性能分布，与先前的作品相比，卓越的视觉质量。
translated by 谷歌翻译
由于图像的复杂性和活细胞的时间变化，来自明亮场光显微镜图像的活细胞分割具有挑战性。最近开发的基于深度学习（DL）的方法由于其成功和有希望的结果而在医学和显微镜图像分割任务中变得流行。本文的主要目的是开发一种基于U-NET的深度学习方法，以在明亮场传输光学显微镜中分割HeLa系的活细胞。为了找到适合我们数据集的最合适的体系结构，提出了剩余的注意U-net，并将其与注意力和简单的U-NET体系结构进行了比较。注意机制突出了显着的特征，并抑制了无关图像区域中的激活。残余机制克服了消失的梯度问题。对于简单，注意力和剩余的关注U-NET，我们数据集的平均值得分分别达到0.9505、0.9524和0.9530。通过将残留和注意机制应用在一起，在平均值和骰子指标中实现了最准确的语义分割结果。应用的分水岭方法适用于这种最佳的（残留的关注）语义分割结果，使每个单元格的特定信息进行了分割。
translated by 谷歌翻译
Optical coherence tomography (OCT) captures cross-sectional data and is used for the screening, monitoring, and treatment planning of retinal diseases. Technological developments to increase the speed of acquisition often results in systems with a narrower spectral bandwidth, and hence a lower axial resolution. Traditionally, image-processing-based techniques have been utilized to reconstruct subsampled OCT data and more recently, deep-learning-based methods have been explored. In this study, we simulate reduced axial scan (A-scan) resolution by Gaussian windowing in the spectral domain and investigate the use of a learning-based approach for image feature reconstruction. In anticipation of the reduced resolution that accompanies wide-field OCT systems, we build upon super-resolution techniques to explore methods to better aid clinicians in their decision-making to improve patient outcomes, by reconstructing lost features using a pixel-to-pixel approach with an altered super-resolution generative adversarial network (SRGAN) architecture.
translated by 谷歌翻译
如今，由于高级数字成像技术和对公众的互联网访问，产生的数字图像的数量急剧增加。因此，对自动图像增强技术的需求非常明显。近年来，深入学习已经有效地使用。在这里，在介绍一些最近开发的图像增强工作之后，提出了一种基于卷积神经网络的图像增强系统。我们的目标是有效地利用两种可用的方法，卷积神经网络和双边网格。在我们的方法中，我们增加培训数据和模型尺寸，并在培训过程中提出可变速率。通过我们所提出的方法产生的增强结果，同时包含5个不同的专家，与其他可用方法相比，显示定量和定性的改进。
translated by 谷歌翻译
人表皮生长因子受体2（HER2）生物标志物的免疫组织化学（IHC）染色在乳腺组织分析，临床前研究和诊断决策中广泛实践，指导癌症治疗和发病机制调查。 HER2染色需要由组织医学表演表演的艰苦组织处理和化学处理，这通常需要一天，以便在实验室中准备，增加分析时间和相关成本。在这里，我们描述了一种基于深度学习的虚拟HER2 IHC染色方法，其使用条件生成的对抗网络培训，训练以便将未标记/标记的乳房组织部分的自发荧光显微镜图像快速转化为明亮场当量的显微镜图像，匹配标准HER2 IHC染色在相同的组织部分上进行化学进行。通过定量分析证明了这一虚拟HER2染色框架的功效，其中三个董事会认证的乳房病理学家盲目地评级了HER2的几乎染色和免疫化化学染色的HER2整个幻灯片图像（WSIS），揭示了通过检查虚拟来确定的HER2分数IHC图像与其免疫组织化学染色的同类一样准确。通过相同的诊断师进行的第二种定量盲化研究进一步揭示了几乎染色的HER2图像在核细节，膜清晰度和染色伪像相对于其免疫组织化学染色的对应物的染色伪影等级具有相当的染色质量。这种虚拟HER2染色框架在实验室中绕过了昂贵，费力，耗时耗时的IHC染色程序，并且可以扩展到其他类型的生物标志物，以加速生命科学和生物医学工作流程的IHC组织染色。
translated by 谷歌翻译
单光子光检测和测距（LIDAR）已广泛应用于挑战性方案的3D成像。然而，在收集的数据中有限的信号光子计数和高噪声对预测深度图像精确地构成了巨大的挑战。在本文中，我们提出了一种用于从高噪声数据的光子有效成像的像素 - 方面的剩余收缩网络，其自适应地产生每个像素的最佳阈值，并通过软阈值处理来剥夺中间特征。此外，重新定义优化目标作为像素明智的分类，提供了与现有研究相比产生自信和准确的深度估计的急剧优势。在模拟和现实世界数据集中进行的综合实验表明，所提出的模型优于现有技术，并在不同的信噪比下保持鲁棒成像性能，包括1：100的极端情况。
translated by 谷歌翻译
在没有人为干预的图像自动色彩上是在机器学习界的兴趣中的一个短暂的时间。分配颜色到图像是一个非常令人虐待的问题，因为它具有非常高的自由度的先天性;给定图像，通常没有单一的颜色组合是正确的。除了着色之外，图像重建中的另一个问题是单图像超分辨率，其旨在将低分辨率图像转换为更高的分辨率。该研究旨在通过专注于图像的非常特定的图像，即天文图像，并使用生成的对抗网络（GAN）来提供自动化方法。我们探索两种不同颜色空间，RGB和L * A *中各种型号的使用。我们使用传输学习，由于小数据集，使用预先训练的Reset-18作为骨干，即U-Net的编码器，进一步微调。该模型产生视觉上有吸引力的图像，其在原始图像中不存在的这些结果中呈现的高分辨率高分辨率，着色数据。我们通过使用所有通道的每个颜色空间中的距离度量（例如L1距离和L2距离）评估GAN来提供我们的结果，以提供比较分析。我们使用Frechet Inception距离（FID）将生成的图像的分布与实际图像的分布进行比较，以评估模型的性能。
translated by 谷歌翻译
对于现代高分辨率成像传感器，像素箱在低光条件下进行，在需要高帧速率时。为了恢复原始空间分辨率，可以应用单图像超分辨率技术来升高。为了在升级后达到更高的图像质量，我们提出了一种使用Tetromino形像素的新颖融合概念。在这样做时，我们首次在文献中使用四极像素来研究重建质量。不是在文献中提出的传感器布局所提出的不同类型的四聚体，我们表明，使用仅由四个T-四胞蛋白酶组成的小重复单元就足够了。为了重建，我们使用局部完全连接的重建（LFCR）网络以及来自压缩传感领域的两个经典重建方法。使用LFCR网络与所提出的Tetromino布局组合，我们在PSNR，SSSIM方面实现了优越的图像质量，并且使用非常深的超分辨率（VDSR）网络与传统的单图像超分辨率相比。对于PSNR，实现了高达+1.92 dB的增益。
translated by 谷歌翻译
X射线微型计算机断层扫描（Micro-CT）已被广泛利用，以在地下多孔岩石中表征孔隙尺度几何形状。使用深度学习的超分辨率（SR）方法的最新进程允许在大型空间尺度上进行数字增强低分辨率（LR）图像，从而创建与高分辨率（HR）地理真理相当的SR图像。这避免了传统的解决方案和视野折衷。出色的问题是使用配对（已注册的）LR和HR数据，这些数据通常需要在此类方法的训练步骤中，但难以获得。在这项工作中，我们严格比较两种不同的最先进的SR深度学习技术，使用两者和未配对数据，具有类似于类似的地面真理数据。第一方法需要配对的图像来训练卷积神经网络（CNN），而第二种方法使用未配对的图像来训练生成的对抗网络（GaN）。使用具有复杂的微孔纹理的微型CT碳酸盐岩样品进行比较两种方法。我们实现了基于图像的各种图像和数值验证和实验验证，以定量评估两种方法的物理精度和敏感性。我们的定量结果表明，未配对GaN方法可以将超分辨率图像重建为精确，如配对的CNN方法，具有可比的训练时间和数据集要求。这将使用未配对的深度学习方法解除微型CT图像增强的新应用;数据处理阶段不再需要图像注册。来自数据存储平台的解耦图像可以更有效地利用用于培训SR数字岩体应用的网络。这为异构多孔介质中的多尺度流模拟各种应用开辟了新的途径。
translated by 谷歌翻译
光学成像通常用于行业和学术界的科学和技术应用。在图像传感中，通过数字化图像的计算分析来执行一个测量，例如对象的位置。新兴的图像感应范例通过设计光学组件来执行不进行成像而是编码，从而打破了数据收集和分析之间的描述。通过将图像光学地编码为适合有效分析后的压缩，低维的潜在空间，这些图像传感器可以以更少的像素和更少的光子来工作，从而可以允许更高的直通量，较低的延迟操作。光学神经网络（ONNS）提供了一个平台，用于处理模拟，光学域中的数据。然而，基于ONN的传感器仅限于线性处理，但是非线性是深度的先决条件，而多层NNS在许多任务上的表现都大大优于浅色。在这里，我们使用商业图像增强器作为平行光电子，光学到光学非线性激活函数，实现用于图像传感的多层预处理器。我们证明，非线性ONN前处理器可以达到高达800：1的压缩率，同时仍然可以在几个代表性的计算机视觉任务中高精度，包括机器视觉基准测试，流程度图像分类以及对对象中对象的识别，场景。在所有情况下，我们都会发现ONN的非线性和深度使其能够胜过纯线性ONN编码器。尽管我们的实验专门用于ONN传感器的光线图像，但替代ONN平台应促进一系列ONN传感器。这些ONN传感器可能通过在空间，时间和/或光谱尺寸中预处处理的光学信息来超越常规传感器，并可能具有相干和量子质量，所有这些都在光学域中。
translated by 谷歌翻译
Because of the necessity to obtain high-quality images with minimal radiation doses, such as in low-field magnetic resonance imaging, super-resolution reconstruction in medical imaging has become more popular (MRI). However, due to the complexity and high aesthetic requirements of medical imaging, image super-resolution reconstruction remains a difficult challenge. In this paper, we offer a deep learning-based strategy for reconstructing medical images from low resolutions utilizing Transformer and Generative Adversarial Networks (T-GAN). The integrated system can extract more precise texture information and focus more on important locations through global image matching after successfully inserting Transformer into the generative adversarial network for picture reconstruction. Furthermore, we weighted the combination of content loss, adversarial loss, and adversarial feature loss as the final multi-task loss function during the training of our proposed model T-GAN. In comparison to established measures like PSNR and SSIM, our suggested T-GAN achieves optimal performance and recovers more texture features in super-resolution reconstruction of MRI scanned images of the knees and belly.
translated by 谷歌翻译
最新的2D图像压缩方案依赖于卷积神经网络（CNN）的力量。尽管CNN为2D图像压缩提供了有希望的观点，但将此类模型扩展到全向图像并不简单。首先，全向图像具有特定的空间和统计特性，这些特性无法通过当前CNN模型完全捕获。其次，在球体上，基本的数学操作组成了CNN体系结构，例如翻译和采样。在本文中，我们研究了全向图像的表示模型的学习，并建议使用球体的HealPix均匀采样的属性来重新定义用于全向图像的深度学习模型中使用的数学工具。特别是，我们：i）提出了在球体上进行新的卷积操作的定义，以保持经典2D卷积的高表现力和低复杂性； ii）适应标准的CNN技术，例如步幅，迭代聚集和像素改组到球形结构域；然后iii）将我们的新框架应用于全向图像压缩的任务。我们的实验表明，与应用于等应角图像的类似学习模型相比，我们提出的球形溶液可带来更好的压缩增益，可以节省比特率的13.7％。同样，与基于图形卷积网络的学习模型相比，我们的解决方案支持更具表现力的过滤器，这些过滤器可以保留高频并提供压缩图像的更好的感知质量。这样的结果证明了拟议框架的效率，该框架为其他全向视觉任务任务打开了新的研究场所，以在球体歧管上有效实施。
translated by 谷歌翻译
本文描述了一种使用来自2D地震深度图的数据重建通常在3D地震调查后获得的详细分辨率深度结构图的方法。该方法使用基于生成对流神经网络体系结构的两种算法。第一种算法stylegan2 -ADA在神经网络的隐藏空间中积累了山地地形的语义图像，然后在理想情况下，在转移学习的帮助下 - 地层层层的结构几何形状。第二种算法，Pixel2style2像素编码器，使用第一个算法的概括性的语义水平，学会了从其退化副本（超分辨率技术）中重建原始的高分辨率图像。有一种方法论方法可以将地层范围的结构形式转移到从研究良好的区域转移到未置换的区域的结构形式。使用Pixel2Style2像素编码器的多模式合成，提议创建一个概率的深度空间，其中项目区域的每个点都由概率深度分布的密度表示同样可能的结构图像的地质地质形式。对重建质量的评估进行了两个块。使用这种方法，可以从2D地震图获得可靠的详细深度重建与3D地震图的质量相当的。
translated by 谷歌翻译
近年来，使用基于深入学习的架构的状态，在图像超分辨率的任务中有几个进步。先前发布的许多基于超分辨率的技术，需要高端和顶部的图形处理单元（GPU）来执行图像超分辨率。随着深度学习方法的进步越来越大，神经网络已经变得越来越多地计算饥饿。我们返回了一步，并专注于创建实时有效的解决方案。我们提出了一种在其内存足迹方面更快更小的架构。所提出的架构使用深度明智的可分离卷积来提取特征，并且它与其他超分辨率的GAN（生成对抗网络）进行接受，同时保持实时推断和低存储器占用。即使在带宽条件不佳，实时超分辨率也能够流式传输高分辨率介质内容。在维持准确性和延迟之间的有效权衡之间，我们能够生产可比较的性能模型，该性能模型是超分辨率GAN的大小的一个 - 八（1/8），并且计算的速度比超分辨率的GAN快74倍。
translated by 谷歌翻译
We propose a deep learning method for single image superresolution (SR). Our method directly learns an end-to-end mapping between the low/high-resolution images. The mapping is represented as a deep convolutional neural network (CNN) [15] that takes the lowresolution image as the input and outputs the high-resolution one. We further show that traditional sparse-coding-based SR methods can also be viewed as a deep convolutional network. But unlike traditional methods that handle each component separately, our method jointly optimizes all layers. Our deep CNN has a lightweight structure, yet demonstrates state-of-the-art restoration quality, and achieves fast speed for practical on-line usage.
translated by 谷歌翻译