三维荧光显微镜通常遭受各向异性的影响,沿轴向方向的分辨率低于侧面成像平面内的分辨率。我们通过提出双周期来解决此问题,这是双环荧光图像的关节反卷积和融合的新框架。受到最近的神经清性方法的启发,双周期被设计为一种循环一致的生成网络,通过结合双视发电机和先前引导的退化模型,以自我监督的方式训练。我们在合成数据和真实数据上验证双周期,显示其最先进的性能,而无需任何外部培训数据。
translated by 谷歌翻译
用于医学图像重建的深度神经网络传统上使用高质量的地基图像作为训练目标训练。最近关于噪声的工作(N2N)已经示出了使用与具有地面真理的多个噪声测量的潜力。然而,现有的基于N2N的方法不适合于从经历非身份变形的物体的测量来学习。本文通过补偿对象变形来提出用于训练深层重建网络的变形补偿学习(DecoLearn)方法来解决此问题。DecoLearn的一个关键组件是一个深度登记模块,它与深度重建网络共同培训,没有任何地理监督。我们在模拟和实验收集的磁共振成像(MRI)数据上验证了甲板,并表明它显着提高了成像质量。
translated by 谷歌翻译
强度衍射断层扫描(IDT)是指用于从一组仅2D强度测量的样品成像样品的3D折射率(RI)分布的一类光学显微镜技术。由于相位信息的丢失和缺失的锥体问题,无伪影RI地图的重建是IDT的一个基本挑战。神经领域(NF)最近成为一种新的深度学习方法(DL),用于学习物理领域的连续表示。 NF使用基于坐标的神经网络来表示该场,通过将空间坐标映射到相应的物理量,在我们的情况下,复杂价值的折射率值。我们将DEPAF作为第一种基于NF的IDT方法,可以从仅强度和有限角度的测量值中学习RI体积的高质量连续表示。 DECAF中的表示形式是通过使用IDT向前模型直接从测试样品的测量值中学到的,而无需任何地面真相图。我们对模拟和实验生物学样品进行定性和定量评估DECAF。我们的结果表明,DECAF可以生成高对比度和无伪影RI图,并导致MSE超过现有方法的2.1倍。
translated by 谷歌翻译
计算机断层扫描(CT)使用从身体周围的传感器取出的X射线测量以产生人体的断层图像。如果X射线数据充分采样和高质量,则可以使用传统的重建算法;然而,诸如将剂量减少给患者的问题,或数据采集的几何限制可能导致低质量或不完整的数据。由于噪声和其他伪像,使用传统方法从这些数据重建的图像具有差的质量。本研究的目的是训练单个神经网络,从嘈杂或不完全CT扫描数据重建高质量CT图像,包括低剂量,稀疏视图和有限的角度场景。为了完成这项任务,我们将生成的对冲网络(GaN)作为信号训练,以与CT数据的迭代同步代数重建技术(SART)结合使用。网络包括自我关注块,以模拟数据中的远程依赖性。我们将我们的自我关注GaN进行CT图像重建,包括几种最先进的方法,包括去噪循环GaN,Circle GaN和总变化的校长算法。我们的方法被证明是可以相当的整体性能来圈出GaN,同时优于其他两种方法。
translated by 谷歌翻译
在几乎不可预测且通常严重的主题运动的情况下获得的多个MR Slices的胎儿大脑的体积重建是一项具有挑战性的任务,对切片转换的初始化非常敏感。我们建议使用经过合成转换数据训练的变压器提出了一种新型的切片到体积的注册方法,该数据将MR Slices的多个堆栈模拟为序列。通过注意机制,我们的模型会自动检测切片之间的相关性,并使用来自其他切片的信息预测一个切片的转换。我们还估计了基础3D卷,以帮助切片到体积的注册,并交替更新音量和转换以提高准确性。合成数据的结果表明,与现有的最新方法相比,我们的方法可实现较低的注册误差和更好的重建质量。还进行了使用现实世界中MRI数据的实验,以证明该模型在严重的胎儿运动下提高3D重建质量的能力。
translated by 谷歌翻译
捕获场景的空间和角度信息的光场(LF)成像无疑是有利于许多应用。尽管已经提出了用于LF采集的各种技术,但是在角度和空间上实现的既仍然是技术挑战。本文,提出了一种基于学习的方法,其应用于3D末面图像(EPI)以重建高分辨率LF。通过2级超分辨率框架,所提出的方法有效地解决了各种LF超分辨率(SR)问题,即空间SR,Angular SR和角空间SR。虽然第一阶段向Up-Sample EPI体积提供灵活的选择,但是由新型EPI体积的细化网络(EVRN)组成的第二阶段,基本上提高了高分辨率EPI体积的质量。从7个发布的数据集的90个挑战合成和实际灯田场景的广泛评估表明,所提出的方法优于空间和角度超分辨率问题的大型延伸的最先进的方法,即平均值峰值信号到噪声比为2.0 dB,1.4 dB和3.14 dB的空间SR $ \ Times 2 $,Spatial SR $ \ Times 4 $和Angular SR。重建的4D光场展示了所有透视图像的平衡性能分布,与先前的作品相比,卓越的视觉质量。
translated by 谷歌翻译
最近,由于高性能,深度学习方法已成为生物学图像重建和增强问题的主要研究前沿,以及其超快速推理时间。但是,由于获得监督学习的匹配参考数据的难度,对不需要配对的参考数据的无监督学习方法越来越兴趣。特别是,已成功用于各种生物成像应用的自我监督的学习和生成模型。在本文中,我们概述了在古典逆问题的背景下的连贯性观点,并讨论其对生物成像的应用,包括电子,荧光和去卷积显微镜,光学衍射断层扫描和功能性神经影像。
translated by 谷歌翻译
Dynamic magnetic resonance image reconstruction from incomplete k-space data has generated great research interest due to its capability to reduce scan time. Never-theless, the reconstruction problem is still challenging due to its ill-posed nature. Recently, diffusion models espe-cially score-based generative models have exhibited great potential in algorithm robustness and usage flexi-bility. Moreover, the unified framework through the variance exploding stochastic differential equation (VE-SDE) is proposed to enable new sampling methods and further extend the capabilities of score-based gener-ative models. Therefore, by taking advantage of the uni-fied framework, we proposed a k-space and image Du-al-Domain collaborative Universal Generative Model (DD-UGM) which combines the score-based prior with low-rank regularization penalty to reconstruct highly under-sampled measurements. More precisely, we extract prior components from both image and k-space domains via a universal generative model and adaptively handle these prior components for faster processing while maintaining good generation quality. Experimental comparisons demonstrated the noise reduction and detail preservation abilities of the proposed method. Much more than that, DD-UGM can reconstruct data of differ-ent frames by only training a single frame image, which reflects the flexibility of the proposed model.
translated by 谷歌翻译
Cone beam computed tomography (CBCT) has been widely used in clinical practice, especially in dental clinics, while the radiation dose of X-rays when capturing has been a long concern in CBCT imaging. Several research works have been proposed to reconstruct high-quality CBCT images from sparse-view 2D projections, but the current state-of-the-arts suffer from artifacts and the lack of fine details. In this paper, we propose SNAF for sparse-view CBCT reconstruction by learning the neural attenuation fields, where we have invented a novel view augmentation strategy to overcome the challenges introduced by insufficient data from sparse input views. Our approach achieves superior performance in terms of high reconstruction quality (30+ PSNR) with only 20 input views (25 times fewer than clinical collections), which outperforms the state-of-the-arts. We have further conducted comprehensive experiments and ablation analysis to validate the effectiveness of our approach.
translated by 谷歌翻译
We propose a deep learning method for three-dimensional reconstruction in low-dose helical cone-beam computed tomography. We reconstruct the volume directly, i.e., not from 2D slices, guaranteeing consistency along all axes. In a crucial step beyond prior work, we train our model in a self-supervised manner in the projection domain using noisy 2D projection data, without relying on 3D reference data or the output of a reference reconstruction method. This means the fidelity of our results is not limited by the quality and availability of such data. We evaluate our method on real helical cone-beam projections and simulated phantoms. Our reconstructions are sharper and less noisy than those of previous methods, and several decibels better in quantitative PSNR measurements. When applied to full-dose data, our method produces high-quality results orders of magnitude faster than iterative techniques.
translated by 谷歌翻译
Neural volumetric representations have become a widely adopted model for radiance fields in 3D scenes. These representations are fully implicit or hybrid function approximators of the instantaneous volumetric radiance in a scene, which are typically learned from multi-view captures of the scene. We investigate the new task of neural volume super-resolution - rendering high-resolution views corresponding to a scene captured at low resolution. To this end, we propose a neural super-resolution network that operates directly on the volumetric representation of the scene. This approach allows us to exploit an advantage of operating in the volumetric domain, namely the ability to guarantee consistent super-resolution across different viewing directions. To realize our method, we devise a novel 3D representation that hinges on multiple 2D feature planes. This allows us to super-resolve the 3D scene representation by applying 2D convolutional networks on the 2D feature planes. We validate the proposed method's capability of super-resolving multi-view consistent views both quantitatively and qualitatively on a diverse set of unseen 3D scenes, demonstrating a significant advantage over existing approaches.
translated by 谷歌翻译
在本文中,我们考虑了基于参考的超分辨率(REFSR)中的两个具有挑战性的问题,(i)如何选择适当的参考图像,以及(ii)如何以一种自我监督的方式学习真实世界RefSR。特别是,我们从双摄像头Zooms(SelfDZSR)观察到现实世界图像SR的新颖的自我监督学习方法。考虑到多台相机在现代智能手机中的普及,可以自然利用越来越多的缩放(远摄)图像作为指导较小的变焦(短对焦)图像的SR。此外,SelfDZSR学习了一个深层网络,以获得短对焦图像的SR结果,以具有与远摄图像相同的分辨率。为此,我们将远摄图像而不是其他高分辨率图像作为监督信息,然后从中选择中心贴片作为对相应的短对焦图像补丁的引用。为了减轻短对焦低分辨率(LR)图像和远摄地面真相(GT)图像之间未对准的影响,我们设计了辅助LR发电机,并将GT映射到辅助LR,同时保持空间位置不变。 。然后,可以利用辅助-LR通过建议的自适应空间变压器网络(ADASTN)将LR特征变形,并将REF特征与GT匹配。在测试过程中,可以直接部署SelfDZSR,以使用远摄映像的引用来超级解决整个短对焦图像。实验表明,我们的方法可以针对最先进的方法实现更好的定量和定性性能。代码可在https://github.com/cszhilu1998/selfdzsr上找到。
translated by 谷歌翻译
目前基于学习的单图像超分辨率(SISR)算法由于假定的Daradada-Tion过程中的偏差而导致的实际数据up到实际数据。常规的劣化过程考虑在高分辨率(HR)图像上应用模糊,噪声和下采样(通常是较大的采样)以合成低分辨率(LR)对应物。然而,很少有用于退化建模的作品已经采取了光学成像系统的物理方面。在本文中,我们光学分析了成像系统,并探索了空间频域的实际LR-HR对的特征。通过考虑optiopticsandsordegration,我们制定真实的物理启发的退化模型;成像系统的物理劣化被建模为低通滤波器,其截止频率由物体距离,焦距的更焦距和图像传感器的像素尺寸。特别是,我们建议使用卷积神经网络(CNN)来学习现实世界劣化过程的截止频率。然后应用学习的网络从未配对的HR图像合成LR图像。稍后使用合成的HR-LR图像对培训SISR网络。我们评估所提出的不同成像系统捕获的现实世界图像中提出的退化模型的有效性和泛化能力。实验结果展示了通过使用传统的退化模型使用我们的合成数据训练的SISR网络通过传统的降级模型对网络进行了有利的。此外,我们的结果与通过使用现实世界LR-HR对训练的相同网络获得的结果相当,这是在真实场景中获得的具有挑战性。
translated by 谷歌翻译
图像去噪是许多领域下游任务的先决条件。低剂量和光子计数计算断层扫描(CT)去噪可以在最小化辐射剂量下优化诊断性能。监督深层去噪方法是流行的,但需要成对的清洁或嘈杂的样本通常在实践中不可用。受独立噪声假设的限制,电流无监督的去噪方法不能处理与CT图像中的相关噪声。在这里,我们提出了一种基于类似的类似性的无人监督的无监督的深度去噪方法,称为Coxing2Sim,以非局部和非线性方式起作用,不仅抑制独立而且还具有相关的噪音。从理论上讲,噪声2SIM在温和条件下渐近相当于监督学习方法。通过实验,Nosie2SIM从嘈杂的低剂量CT和光子计数CT图像中的内在特征,从视觉上,定量和统计上有效地或甚至优于实际数据集的监督学习方法。 Coke2Sim是一般无监督的去噪方法,在不同的应用中具有很大的潜力。
translated by 谷歌翻译
缩短采集时间和减少动作伪影是磁共振成像中最重要的两个问题。作为一个有前途的解决方案,已经研究了基于深度学习的高质量MR图像恢复,以产生从缩短采集时间获取的较低分辨率图像的更高分辨率和自由运动伪影图像,而不降低额外的获取时间或修改脉冲序列。然而,仍有许多问题仍然存在,以防止深度学习方法在临床环境中变得实用。具体而言,大多数先前的作品专注于网络模型,但忽略了各种下采样策略对采集时间的影响。此外,长推理时间和高GPU消耗也是瓶颈,以便在诊所部署大部分产品。此外,先验研究采用回顾性运动伪像产生随机运动,导致运动伪影的无法控制的严重程度。更重要的是,医生不确定生成的MR图像是否值得信赖,使诊断困难。为了克服所有这些问题,我们雇用了一个统一的2D深度学习神经网络,用于3D MRI超级分辨率和运动伪影,展示这种框架可以在3D MRI恢复任务中实现更好的性能与最艺术方法的其他状态,并且仍然存在GPU消耗和推理时间明显低,从而更易于部署。我们还基于加速度分析了几种下式采样策略,包括在平面内和穿过平面下采样的多种组合,并开发了一种可控和可量化的运动伪影生成方法。最后,计算并用于估计生成图像的准确性的像素 - 明智的不确定性,提供可靠诊断的附加信息。
translated by 谷歌翻译
在呼吸运动下重建肺部锥体束计算机断层扫描(CBCT)是一个长期的挑战。这项工作更进一步,以解决一个具有挑战性的设置,以重建仅来自单个} 3D CBCT采集的多相肺图像。为此,我们介绍了对观点或Regas的概述综合。 Regas提出了一种自我监督的方法,以合成不足的层析成像视图并减轻重建图像中的混叠伪像。该方法可以更好地估计相间变形矢量场(DVF),这些矢量场(DVF)用于增强无合成的直接观察结果的重建质量。为了解决高分辨率4D数据上深神经网络的庞大记忆成本,Regas引入了一种新颖的射线路径变换(RPT),该射线路径转换(RPT)允许分布式,可区分的远期投影。 REGA不需要其他量度尺寸,例如先前的扫描,空气流量或呼吸速度。我们的广泛实验表明,REGA在定量指标和视觉质量方面的表现明显优于可比的方法。
translated by 谷歌翻译
荧光显微镜是一直是观察胚胎(体内)生长的长期成像随时间的重要工具。然而,累积暴露是对如此敏感的实时样本的光毒性。虽然像光片荧光显微镜(LSFM)这样的技术允许减少曝光,但它不太适用于深度成像模型。其他计算技术是计算昂贵的并且通常缺乏恢复质量。为了解决这一挑战,可以使用各种低剂量成像技术来实现使用轴向(Z轴)的少量切片实现3D体积重建;但是,它们通常缺乏恢复质量。而且,在轴向上获取致密图像(具有小步骤)是计算昂贵的。为了解决这一挑战,我们介绍了一种基于压缩的感测(CS)方法来完全重建具有相同信噪比(SNR)的3D卷,其具有小于励磁剂量的一半。我们展示了该理论并通过实验验证了这种方法。为了证明我们的技术,我们在斑马鱼胚脊髓(30um厚度)中捕获RFP标记神经元的3D体积,使用共聚焦显微镜轴向采样0.1um。从结果中,我们观察到基于CS的方法从整个堆叠光学部分的小于20%的高于20%实现精确的3D体积重建。在该工作中的开发的基于CS的方法可以容易地应用于其他深度成像模态,例如双光子和光板显微镜,其中还原样品毒性是一个关键挑战。
translated by 谷歌翻译
由于其显着的合成质量,最近,神经辐射场(NERF)最近对3D场景重建和新颖的视图合成进行了相当大的关注。然而,由散焦或运动引起的图像模糊,这通常发生在野外的场景中,显着降低了其重建质量。为了解决这个问题,我们提出了DeBlur-nerf,这是一种可以从模糊输入恢复尖锐的nerf的第一种方法。我们采用逐合成方法来通过模拟模糊过程来重建模糊的视图,从而使NERF对模糊输入的鲁棒。该仿真的核心是一种新型可变形稀疏内核(DSK)模块,其通过在每个空间位置变形规范稀疏内核来模拟空间变形模糊内核。每个内核点的射线起源是共同优化的,受到物理模糊过程的启发。该模块作为MLP参数化,具有能够概括为各种模糊类型。联合优化NERF和DSK模块允许我们恢复尖锐的NERF。我们证明我们的方法可用于相机运动模糊和散焦模糊:真实场景中的两个最常见的模糊。合成和现实世界数据的评估结果表明,我们的方法优于几个基线。合成和真实数据集以及源代码将公开可用于促进未来的研究。
translated by 谷歌翻译
扩散加权图像(DWIS)中的噪声降低了扩散张量磁共振成像(DTI)导出的微结构参数的准确性和精度,并导致延长的采集时间来实现改进的信噪比(SNR)。基于深度学习的图像去噪使用卷积神经网络(CNNS)具有卓越的性能,但通常需要额外的高SNR数据来监督CNN的培训,这降低了实际可行性。我们开发了一个自我监督的深度学习的方法,标题为“SDNDTI”,用于去噪DTI数据,这不需要额外的高SNR数据进行培训。具体地,SDNDTI将多向DTI数据划分为许多子集,每个子​​集中沿着沿着最佳选择的扩散编码方向组成的六个DWI卷,该编码方向是对张力配件的稳健,然后沿着拟合的扩散张量沿所有获取的方向合成DWI体积使用数据的每个子集作为CNN的输入数据。另一方面,SDNDTI沿着使用所有获取的数据作为训练目标的扩散张量,沿着获取的扩散编码方向合成DWI卷。 SDNDTI使用深3维CNN从合成的DWI卷中的每个子集中消除噪声,以匹配清洁器目标DWI卷的质量,通过平均所有去噪数据的所有子集实现更高的SNR。 SDNDTI的去噪功效在于人类连接项目(HCP)提供的两种数据集和衰老中的寿命HCP。 SDNDTI结果保留了图像清晰度和纹理细节,并大大改善了原始数据的影响。 SDNDTI的结果与来自最先进的传统去噪算法包括BM4D,AONLM和MPPCA的常规去噪算法的结果相当。
translated by 谷歌翻译
由于在扫描和量化过程中引入了不可避免的噪声,因此通过RGB-D传感器进行的3D重建在几何和纹理中遇到了错误,导致了诸如摄像机漂移,网格失真,纹理幽灵和模糊之类的伪像。考虑到不完美的重建3D模型,大多数以前的方法都集中在几何,纹理或摄像头姿势的完善上。或在以前的关节优化方法中使用了不同的优化方案和优化每个组件的目标,形成了复杂的系统。在本文中,我们提出了一种基于可区分渲染的新型优化方法,该方法通过在渲染结果与相应的RGB-D输入之间执行一致性,将相机姿势,几何形状和纹理的优化整合到统一框架中。基于统一的框架,我们引入了一种联合优化方法,以完全利用几何,纹理和摄像头之间的相互关系,并描述一种自适应交织策略,以提高优化稳定性和效率。使用可区分的渲染,应用图像级的对抗损失用于进一步改善3D模型,从而使其更加逼真。使用定量和定性评估进行合成和真实数据的实验证明了我们在恢复高尺度几何形状和高保真质地方面的优越性。
translated by 谷歌翻译