具有多核光纤(MCF)无透镜微观镜片的定制光的产生广泛用于生物医学。然而,用于这种应用的计算机生成的全息图(CGHS)通常由迭代算法产生,这需要高计算工作,限制在体内光源刺激和光纤细胞操纵中的高级应用。纤维芯的随机和离散分布对CGHS引起了强烈的空间偏大,因此,非常需要一种能够快速生成MCF的量身定制的CGHS的方法。我们展示了一种新型阶段编码器深神经网络(Coreenet),它可以在近视频速率下为MCF产生精确定制的CGHS。模拟表明,与传统的CGH技术相比,CoreNet可以将计算时间加速两个大小,并增加产生的光场的保真度。首次,实时生成的定制CGHS在飞行中加载到仅相位的SLM,用于通过MCF微内窥镜在实验中产生动态光场。这铺设了实时细胞旋转的途径和几种需要在生物医学中实时高保真光传递的几种进一步的应用。
translated by 谷歌翻译
计算机生成的全息图(CGHS)用于全息三维(3D)显示器和全息投影。使用阶段的CGHS的重建图像的质量降低,因为重建图像的幅度难以控制。迭代优化方法,例如Gerchberg-Saxton(GS)算法是提高图像质量的一个选项。它们以迭代方式优化CGHS以获得更高的图像质量。然而,这种迭代计算是耗时的,并且图像质量的改善通常是停滞的。最近,已经提出了基于深度学习的全息图计算。深神经网络直接从输入图像数据推断出CGHS。然而,它仅限于重建与全息图相同的图像。在这项研究中,我们使用深度学习来优化使用缩放衍射计算和随机相位的方法生成的阶段CGHS。通过将随机相移方法与缩放的衍射计算组合,可以处理大于全息图的缩放重建图像。与GS算法相比,所提出的方法优化高质量和速度。
translated by 谷歌翻译
作为一种引起巨大关注的新兴技术,通过分析继电器表面上的漫反射来重建隐藏物体的非视线(NLOS)成像,具有广泛的应用前景,在自主驾驶,医学成像和医学成像领域防御。尽管信噪比低(SNR)和高不良效率的挑战,但近年来,NLOS成像已迅速发展。大多数当前的NLOS成像技术使用传统的物理模型,通过主动或被动照明构建成像模型,并使用重建算法来恢复隐藏场景。此外,NLOS成像的深度学习算法最近也得到了很多关注。本文介绍了常规和深度学习的NLOS成像技术的全面概述。此外,我们还调查了新的拟议的NLOS场景,并讨论了现有技术的挑战和前景。这样的调查可以帮助读者概述不同类型的NLOS成像,从而加速了在角落周围看到的发展。
translated by 谷歌翻译
具有最小延迟的人工神经网络的决策对于诸如导航,跟踪和实时机器动作系统之类的许多应用来说是至关重要的。这要求机器学习硬件以高吞吐量处理多维数据。不幸的是,处理卷积操作是数据分类任务的主要计算工具,遵循有挑战性的运行时间复杂性缩放法。然而,在傅立叶光学显示器 - 光处理器中同心地实现卷积定理,使得不迭代的O(1)运行时复杂度以超过1,000×1,000大矩阵的数据输入。在此方法之后,这里我们展示了具有傅里叶卷积神经网络(FCNN)加速器的数据流多核图像批处理。我们将大规模矩阵的图像批量处理显示为傅立叶域中的数字光处理模块执行的被动的2000万点产品乘法。另外,我们通过利用多种时空衍射令并进一步并行化该光学FCNN系统,从而实现了最先进的FCNN加速器的98倍的产量改进。综合讨论与系统能力边缘工作相关的实际挑战突出了傅立叶域和决议缩放法律的串扰问题。通过利用展示技术中的大规模平行性加速卷积带来了基于VAN Neuman的机器学习加速度。
translated by 谷歌翻译
基于掩模的无透镜相机可以是平坦的,薄型和轻质的,这使得它们适用于具有大表面积和任意形状的计算成像系统的新颖设计。尽管最近在无晶体相机的进展中,由于底层测量系统的不良状态,从透镜相机恢复的图像质量往往差。在本文中,我们建议使用编码照明来提高用无透镜相机重建的图像的质量。在我们的成像模型中,场景/物体被多种编码照明模式照亮,因为无透镜摄像机记录传感器测量。我们设计并测试了许多照明模式,并观察到变速点(和相关的正交)模式提供了最佳的整体性能。我们提出了一种快速和低复杂性的恢复算法,可利用我们系统中的可分离性和块对角线结构。我们提出了仿真结果和硬件实验结果,以证明我们的提出方法可以显着提高重建质量。
translated by 谷歌翻译
作为混合成像技术,光声显微镜(PAM)成像由于激光强度的最大允许暴露,组织中超声波的衰减以及换能器的固有噪声而受到噪声。去噪是降低噪声的后处理方法,并且可以恢复PAM图像质量。然而,之前的去噪技术通常严重依赖于数学前导者以及手动选择的参数,导致对不同噪声图像的不令人满意和慢的去噪能,这极大地阻碍了实用和临床应用。在这项工作中,我们提出了一种基于深度学习的方法,可以从PAM图像中除去复杂的噪声,没有数学前导者,并手动选择不同输入图像的设置。注意增强的生成对抗性网络用于提取图像特征并去除各种噪声。在合成和实际数据集上证明了所提出的方法,包括幻影(叶静脉)和体内(小鼠耳血管和斑马鱼颜料)实验。结果表明,与先前的PAM去噪方法相比,我们的方法在定性和定量上恢复图像时表现出良好的性能。此外,为256次\ times256 $像素的图像实现了0.016 s的去噪速度。我们的方法对于PAM图像的去噪有效和实用。
translated by 谷歌翻译
在这里,从动态大数据产生实验的深度学习分析,我们报告动态断裂韧性以及双连续纳米结构共聚物,聚脲的粘性参数。我们首先发明了一种新型动态线图像剪切干涉干涉仪(DL-ISI),其可以在单板冲击实验中沿着样品后表面的一条线产生位移梯度时间曲线,这些裂缝覆盖单板冲击实验中的裂缝启动和生长过程。然后,我们提出了一种基于卷积神经网络(CNN)的深度学习框架,可以反向确定来自DL-ISI条纹图像的准确凝聚参数。已经进行了具有中间平面裂缝的聚脲样品上的板冲击实验,并且产生的DL-ISI边缘图像已被条件生成的对抗网络(CGAN)染色。首当,通过具有计算数据集的预先训练的CNN架构成功地获得了Polyurea的动态粘性参数,这与相关方法和线性裂缝力学估计一致。在多脲中发现表观动态增韧,其中粘性强度被发现比具有相同冲击速度的对称冲击下的泡出强度高几乎三倍。这些实验结果填补了在裂纹尖端附近的极端局部装载条件下对共聚物的合作失效强度的目前了解的差距。该实验还展示了大数据发电实验的优点,它与最先进的机器学习算法相结合的创新的高通量实验技术。
translated by 谷歌翻译
机器学习的最近进步已经创造了利用一类基于坐标的神经网络来解决视觉计算问题的兴趣,该基于坐标的神经网络在空间和时间跨空间和时间的场景或对象的物理属性。我们称之为神经领域的这些方法已经看到在3D形状和图像的合成中成功应用,人体的动画,3D重建和姿势估计。然而,由于在短时间内的快速进展,许多论文存在,但尚未出现全面的审查和制定问题。在本报告中,我们通过提供上下文,数学接地和对神经领域的文学进行广泛综述来解决这一限制。本报告涉及两种维度的研究。在第一部分中,我们通过识别神经字段方法的公共组件,包括不同的表示,架构,前向映射和泛化方法来专注于神经字段的技术。在第二部分中,我们专注于神经领域的应用在视觉计算中的不同问题,超越(例如,机器人,音频)。我们的评论显示了历史上和当前化身的视觉计算中已覆盖的主题的广度,展示了神经字段方法所带来的提高的质量,灵活性和能力。最后,我们展示了一个伴随着贡献本综述的生活版本,可以由社区不断更新。
translated by 谷歌翻译
磁共振成像(MRI)主要受到长扫描时间和易受人体组织动作伪影的限制,3D临床情景。因此,k空间欠采样用于加速MRI的获取,同时导致视觉较差的MR图像。最近,一些研究1)使用有效的欠采样模式,或2)设计深神经网络以提高所得图像的质量。但是,它们被认为是两个单独的优化策略。在本文中,我们在有限的采样率下以追溯数据驱动的方式提出用于MR图像重建的跨域网络。我们的方法可以通过使用端到端学习策略来同时获得定制到培训数据类型的最佳欠采样模式(在k空间中)和重建模型。我们提出了一种概率概率的欠采样层,以通过可分辨率的方式获得最佳的下采样模式及其概率分布。我们提出了一个1D逆傅里叶变换层,其在转发通行证期间连接傅立叶域和图像域。另外,通过培训3D全采样的K空间数据和具有传统欧几里德丢失的MR图像,我们发现最佳欠采样模式的概率分布与其相应的采样率之间的普遍关系。实验表明,我们的1D概率欠采样模式恢复的MR图像的定量和定性结果明显优于几种现有的采样策略。
translated by 谷歌翻译
在部署非视线(NLOS)成像系统中,越来越兴趣,以恢复障碍物背后的物体。现有解决方案通常在扫描隐藏对象之前预先校准系统。在封堵器,对象和扫描模式的现场调整需要重新校准。我们提出了一种在线校准技术,直接将所获取的瞬态扫描到LOS和隐藏组件中的所获取的瞬态耦合。我们使用前者直接(RE)在场景/障碍配置,扫描区域和扫描模式的变化时校准系统,而后者通过空间,频率或基于学习的技术恢复后者。我们的技术避免使用辅助校准设备,例如镜子或棋盘,并支持实验室验证和现实世界部署。
translated by 谷歌翻译
在弱照明条件下捕获的图像可能会严重降低图像质量。求解一系列低光图像的降解可以有效地提高图像的视觉质量和高级视觉任务的性能。在本研究中,提出了一种新的基于RETINEX的实际网络(R2RNET),用于低光图像增强,其包括三个子网:DECOM-NET,DENOISE-NET和RELIGHT-NET。这三个子网分别用于分解,去噪,对比增强和细节保存。我们的R2RNET不仅使用图像的空间信息来提高对比度,还使用频率信息来保留细节。因此,我们的模型对所有退化的图像进行了更强大的结果。与在合成图像上培训的最先前的方法不同,我们收集了第一个大型现实世界配对的低/普通灯图像数据集(LSRW数据集),以满足培训要求,使我们的模型具有更好的现实世界中的泛化性能场景。对公共数据集的广泛实验表明,我们的方法在定量和视觉上以现有的最先进方法优于现有的现有方法。此外,我们的结果表明,通过使用我们在低光条件下的方法获得的增强的结果,可以有效地改善高级视觉任务(即面部检测)的性能。我们的代码和LSRW数据集可用于:https://github.com/abcdef2000/r2rnet。
translated by 谷歌翻译
眼底图像对于鉴定各种眼科疾病非常有用。然而,由于伪影存在,视网膜的可见性受到严重影响。这可能导致可能导致更复杂的问题的疾病误诊。由于深度学习是一种强大的工具,可以在没有人为干预的情况下从数据中提取模式,它们可以应用于图像到图像图像到图像的翻译问题。本文已经尝试了,以自动纠正眼底图像中存在的伪像。我们使用基于Cnercangan的模型,该模型由残余块组成,以减少图像中的伪影。与现有技术相比,可以看到显着的改进。
translated by 谷歌翻译
迄今为止,纳米级的活细胞成像仍然具有挑战性。尽管超分辨率显微镜方法使得能够在光学分辨率下方的亚细胞结构的可视化,但空间分辨率仍然足够远,对于体内生物分子的结构重建仍然足够远(即24nm厚度的微管纤维)。在这项研究中,我们提出了一种A-Net网络,并显示通过基于劣化模型的DWDC算法组合A-Net DeeD学习网络,可以显着改善由共聚焦显微镜捕获的细胞骨架图像的分辨率。利用DWDC算法构建新数据集并利用A-Net神经网络的特征(即,层数较少),我们成功地消除了噪声和絮凝结构,最初干扰了原始图像中的蜂窝结构,并改善了空间分辨率使用相对较小的数据集10次。因此,我们得出结论,将A-Net神经网络与DWDC方法结合的所提出的算法是一种合适的和普遍的方法,用于从低分辨率图像中严格的生物分子,细胞和器官的结构细节。
translated by 谷歌翻译
对于沉浸式应用,匹配视觉同行的双耳发电是对虚拟环境中的人们带来有意义的体验至关重要。最近的作品已经显示了使用神经网络来使用2D视觉信息作为指导来使用Mono音频来合成双耳音频。通过使用3D视觉信息引导音频并在波形域中操作来扩展该方法可以允许虚拟音频场景的更准确的Auratization。在本文中,我们提供了一个多模态深入学习模型的点,它使用3D点云场景从单声道音频生成双耳版本。具体地,Point2Sound由具有3D稀疏卷积的视觉网络组成,其从点云场景中提取视觉特征来调节操作在波形域中的音频网络,以合成双耳网络。实验结果表明,3D视觉信息可以成功引导双模深度学习模型的双耳合成任务。此外,我们还调查了不同的丢失函数和3D点云属性,显示直接预测完整的双耳信号并使用RGB深度特征增加了我们所提出的模型的性能。
translated by 谷歌翻译
在许多计算机视觉应用程序中,对高动态范围(HDR)场景的能力至关重要。然而,传统传感器的动态范围基本上受其井容量的限制,导致明亮场景部件的饱和度。为了克服这种限制,新兴传感器提供了用于编码入射辐照度的像素处理能力。在最有前途的编码方案中,模数包装,其导致计算机拍摄场景由来自包裹的低动态(LDR)传感器图像的辐照法展开算法计算的计算摄影问题。在这里,我们设计了一种基于神经网络的算法,优于先前的辐照度展示方法,更重要的是,我们设计了一种感知的激发灵感的“螳螂”编码方案,从而更有效地将HDR场景包装到LDR传感器中。结合我们的重建框架,Mantissacam在模型快照HDR成像方法中实现了最先进的结果。我们展示了我们在模拟中的效果,并显示了用可编程传感器实现的原型尾涂的初步结果。
translated by 谷歌翻译
最初在具有基于图像的图像的机器人和自主驾驶等领域开发的领域,基于图像的单图像深度估计(侧面)发现了对更广泛的图像分析界的兴趣。遥感也不例外,因为在地形重建的背景下估计来自单个空中或卫星图像的高度地图的可能性很大。少数开创性的调查已经证明了从光学遥感图像的单个图像高度预测的一般可行性,并激发了这种方向的进一步研究。借鉴了本文,我们介绍了对遥感中的其他重要传感器模式的基于深度学习的单图像高度预测的第一次演示:合成孔径雷达(SAR)数据。除了用于SAR强度图像的卷积神经网络(CNN)架构的适应外,我们还为不同SAR成像模式和测试站点提供了用于生成训练数据的工作流程,以及广泛的实验结果。由于我们特别强调可转换性,我们能够确认基于深度的学习的单图像高度估计不仅可能,而且也是不可能的,而且也转移到未经看的数据,即使通过不同的成像模式和成像参数获取。
translated by 谷歌翻译
由于深度学习在许多人工智能应用中显示了革命性的性能,其升级的计算需求需要用于巨大并行性的硬件加速器和改进的吞吐量。光学神经网络(ONN)是下一代神经关键组成的有希望的候选者,由于其高并行,低延迟和低能量消耗。在这里,我们设计了一个硬件高效的光子子空间神经网络(PSNN)架构,其针对具有比具有可比任务性能的前一个ONN架构的光学元件使用,区域成本和能量消耗。此外,提供了一种硬件感知培训框架,以最小化所需的设备编程精度,减少芯片区域,并提高噪声鲁棒性。我们在实验上展示了我们的PSNN在蝴蝶式可编程硅光子集成电路上,并在实用的图像识别任务中显示其实用性。
translated by 谷歌翻译
由于多路径干扰(MPI),飞行时间(TOF)摄像机受高水平的噪声和扭曲。虽然最近的研究表明,2D神经网络能够以先前的传统最先进的(SOTA)方法胜过去噪,但已经完成了基于学习的方法的研究,以便直接使用存在的3D信息在深度图像中。在本文中,我们提出了一种在3D空间中运行的迭代去噪方法,该方法旨在通过启用3D点卷积来校正视图方向校正点的位置来学习2.5D数据。由于标记的现实世界数据稀缺了这项任务,我们进一步培训我们的网络,并在未标记的真实世界数据上培训我们的网络,以解释现实世界统计数据。我们展示我们的方法能够在多个数据集中倾斜SOTA方法,包括两个现实世界数据集和本文介绍的新的大规模合成数据集。
translated by 谷歌翻译
飞行时间(TOF)传感器提供了一种成像模型加油,包括自主驾驶,机器人和增强现实的激光雷达。传统的TOF成像方法通过将光的脉冲发送到场景中并测量直接从场景表面反射的第一到达光子的TOF而没有任何时间延迟来估计深度。因此,在该第一响应之后的所有光子通常被认为是不需要的噪声。在本文中,我们通过使用第一到达光子的原理来涉及全光子TOF成像方法来结合第一和​​后退光子的时间 - 极化分析,这具有关于其几何和材料的丰富现场信息。为此,我们提出了一种新的时间 - 偏振反射模型,一种有效的捕获方法和重建方法,其利用由表面和子表面反射反射的光的时间 - 极性变化。所提出的全光子偏振子TOF成像方法允许通过利用系统捕获的所有光子来获取场景的深度,表面法线和材料参数,而传统的TOF成像仅从第一到达光子获得粗糙的深度。我们使用原型验证我们的模拟方法和实验。
translated by 谷歌翻译
在本文中,我们在短PCCC中呈现点云颜色恒定,这是利用点云的照明色度估计算法。我们利用飞行时间(TOF)传感器捕获的深度信息与RGB传感器刚性安装,并形成一个6D云,其中每个点包含坐标和RGB强度,指出为(x,y,z,r,g,b)。PCCC将注意力架构应用于色彩恒定问题,导出照明矢量点明智,然后制定关于全局照明色度的全局决定。在两个流行的RGB-D数据集上,我们使用照明信息以及新颖的基准延伸,PCCC比最先进的算法获得更低的错误。我们的方法简单且快速,仅需要16 * 16尺寸的输入和超过500 FPS的速度,包括建立点云和净推理的成本。
translated by 谷歌翻译