波前调节器的限制空间散宽产品（SBP）阻碍了大型视野（FOV）上图像的高分辨率合成/投影。我们报告了一种深度学习的衍射显示设计，该设计基于一对训练的电子编码器和衍射光学解码器，用于合成/项目超级分辨图像，使用低分辨率波形调节器。由训练有素的卷积神经网络（CNN）组成的数字编码器迅速预处理了感兴趣的高分辨率图像，因此它们的空间信息被编码为低分辨率（LR）调制模式，该模式通过低SBP Wavefront调制器投影。衍射解码器使用薄的传播层处理该LR编码的信息，这些层是使用深度学习构成的，以在其输出FOV处进行全面合成和项目超级分辨图像。我们的结果表明，这种衍射图像显示可以达到〜4的超分辨率因子，表明SBP增加了约16倍。我们还使用3D打印的衍射解码器在THZ光谱上进行实验验证了这种衍射超分辨率显示器的成功。该衍射图像解码器可以缩放以在可见的波长下运行，并激发紧凑，低功率和计算效率的大型FOV和高分辨率显示器的设计。

Multispectral imaging has been used for numerous applications in e.g., environmental monitoring, aerospace, defense, and biomedicine. Here, we present a diffractive optical network-based multispectral imaging system trained using deep learning to create a virtual spectral filter array at the output image field-of-view. This diffractive multispectral imager performs spatially-coherent imaging over a large spectrum, and at the same time, routes a pre-determined set of spectral channels onto an array of pixels at the output plane, converting a monochrome focal plane array or image sensor into a multispectral imaging device without any spectral filters or image recovery algorithms. Furthermore, the spectral responsivity of this diffractive multispectral imager is not sensitive to input polarization states. Through numerical simulations, we present different diffractive network designs that achieve snapshot multispectral imaging with 4, 9 and 16 unique spectral bands within the visible spectrum, based on passive spatially-structured diffractive surfaces, with a compact design that axially spans ~72 times the mean wavelength of the spectral band of interest. Moreover, we experimentally demonstrate a diffractive multispectral imager based on a 3D-printed diffractive network that creates at its output image plane a spatially-repeating virtual spectral filter array with 2x2=4 unique bands at terahertz spectrum. Due to their compact form factor and computation-free, power-efficient and polarization-insensitive forward operation, diffractive multispectral imagers can be transformative for various imaging and sensing applications and be used at different parts of the electromagnetic spectrum where high-density and wide-area multispectral pixel arrays are not widely available.

置换矩阵构成了一个重要的计算构建块，这些构建块在各个领域中经常使用，例如通信，信息安全和数据处理。具有相对较大数量的基于功率，快速和紧凑型平台的输入输出互连的置换运算符的光学实现是非常可取的。在这里，我们提出了通过深度学习设计的衍射光学网络，以全面执行置换操作，可以使用被动的传播层在输入和视场之间扩展到数十万个互连，这些互连是在波长规模上单独构造的。 。我们的发现表明，衍射光网络在近似给定置换操作中的容量与系统中衍射层和可训练的传输元件的数量成正比。这种更深的衍射网络设计可以在系统的物理对齐和输出衍射效率方面构成实际挑战。我们通过设计不对对准的衍射设计来解决这些挑战，这些设计可以全面执行任意选择的置换操作，并首次在实验中证明了在频谱的THZ部分运行的衍射排列网络。衍射排列网络可能会在例如安全性，图像加密和数据处理以及电信中找到各种应用程序；尤其是在无线通信中的载波频率接近THZ波段的情况下，提出的衍射置换网络可以潜在地充当无线网络中的通道路由和互连面板。

A unidirectional imager would only permit image formation along one direction, from an input field-of-view (FOV) A to an output FOV B, and in the reverse path, the image formation would be blocked. Here, we report the first demonstration of unidirectional imagers, presenting polarization-insensitive and broadband unidirectional imaging based on successive diffractive layers that are linear and isotropic. These diffractive layers are optimized using deep learning and consist of hundreds of thousands of diffractive phase features, which collectively modulate the incoming fields and project an intensity image of the input onto an output FOV, while blocking the image formation in the reverse direction. After their deep learning-based training, the resulting diffractive layers are fabricated to form a unidirectional imager. As a reciprocal device, the diffractive unidirectional imager has asymmetric mode processing capabilities in the forward and backward directions, where the optical modes from B to A are selectively guided/scattered to miss the output FOV, whereas for the forward direction such modal losses are minimized, yielding an ideal imaging system between the input and output FOVs. Although trained using monochromatic illumination, the diffractive unidirectional imager maintains its functionality over a large spectral band and works under broadband illumination. We experimentally validated this unidirectional imager using terahertz radiation, very well matching our numerical results. Using the same deep learning-based design strategy, we also created a wavelength-selective unidirectional imager, where two unidirectional imaging operations, in reverse directions, are multiplexed through different illumination wavelengths. Diffractive unidirectional imaging using structured materials will have numerous applications in e.g., security, defense, telecommunications and privacy protection.

随机且未知的散射介质背后的对象的分类为计算成像和机器视野字段的具有挑战性的任务。最新的基于深度学习的方法证明了使用图像传感器收集的扩散器延伸模式对对象进行分类。这些方法需要使用在数字计算机上运行的深神经网络进行相对大规模的计算。在这里，我们提出了一个全光处理器，使用单个像素检测到的宽带照明通过未知的随机相扩散器直接对未知对象进行分类。使用深度学习进行了优化的一组传播衍射层，形成了一个物理网络，该物理网络全面地绘制了随机扩散器后面输入对象的空间信息，以进入通过单个像素在输出平面上检测到的输出光的功率谱，衍射网络。我们在数值上使用宽带辐射通过随机新扩散器对未知手写数字进行分类，在训练阶段从未使用过，并实现了88.53％的盲目测试准确性。这种通过随机扩散器的单像素全光对象分类系统基于被动衍射层，该层可以通过简单地缩放与波长范围的衍射范围来缩放衍射特征，从而在电磁光谱的任何部分中运行，并且可以在电磁光谱的任何部分工作。这些结果在例如生物医学成像，安全性，机器人技术和自动驾驶中具有各种潜在的应用。

计算光学成像（COI）系统利用其设置中的光学编码元素（CE）在单个或多个快照中编码高维场景，并使用计算算法对其进行解码。 COI系统的性能很大程度上取决于其主要组件的设计：CE模式和用于执行给定任务的计算方法。常规方法依赖于随机模式或分析设计来设置CE的分布。但是，深神经网络（DNNS）的可用数据和算法功能已在CE数据驱动的设计中开辟了新的地平线，该设计共同考虑了光学编码器和计算解码器。具体而言，通过通过完全可区分的图像形成模型对COI测量进行建模，该模型考虑了基于物理的光及其与CES的相互作用，可以在端到端优化定义CE和计算解码器的参数和计算解码器（e2e）方式。此外，通过在同一框架中仅优化CE，可以从纯光学器件中执行推理任务。这项工作调查了CE数据驱动设计的最新进展，并提供了有关如何参数化不同光学元素以将其包括在E2E框架中的指南。由于E2E框架可以通过更改损耗功能和DNN来处理不同的推理应用程序，因此我们提出低级任务，例如光谱成像重建或高级任务，例如使用基于任务的光学光学体系结构来增强隐私的姿势估计，以维护姿势估算。最后，我们说明了使用全镜DNN以光速执行的分类和3D对象识别应用程序。

光学成像通常用于行业和学术界的科学和技术应用。在图像传感中，通过数字化图像的计算分析来执行一个测量，例如对象的位置。新兴的图像感应范例通过设计光学组件来执行不进行成像而是编码，从而打破了数据收集和分析之间的描述。通过将图像光学地编码为适合有效分析后的压缩，低维的潜在空间，这些图像传感器可以以更少的像素和更少的光子来工作，从而可以允许更高的直通量，较低的延迟操作。光学神经网络（ONNS）提供了一个平台，用于处理模拟，光学域中的数据。然而，基于ONN的传感器仅限于线性处理，但是非线性是深度的先决条件，而多层NNS在许多任务上的表现都大大优于浅色。在这里，我们使用商业图像增强器作为平行光电子，光学到光学非线性激活函数，实现用于图像传感的多层预处理器。我们证明，非线性ONN前处理器可以达到高达800：1的压缩率，同时仍然可以在几个代表性的计算机视觉任务中高精度，包括机器视觉基准测试，流程度图像分类以及对对象中对象的识别，场景。在所有情况下，我们都会发现ONN的非线性和深度使其能够胜过纯线性ONN编码器。尽管我们的实验专门用于ONN传感器的光线图像，但替代ONN平台应促进一系列ONN传感器。这些ONN传感器可能通过在空间，时间和/或光谱尺寸中预处处理的光学信息来超越常规传感器，并可能具有相干和量子质量，所有这些都在光学域中。

Diffractive optical networks provide rich opportunities for visual computing tasks since the spatial information of a scene can be directly accessed by a diffractive processor without requiring any digital pre-processing steps. Here we present data class-specific transformations all-optically performed between the input and output fields-of-view (FOVs) of a diffractive network. The visual information of the objects is encoded into the amplitude (A), phase (P), or intensity (I) of the optical field at the input, which is all-optically processed by a data class-specific diffractive network. At the output, an image sensor-array directly measures the transformed patterns, all-optically encrypted using the transformation matrices pre-assigned to different data classes, i.e., a separate matrix for each data class. The original input images can be recovered by applying the correct decryption key (the inverse transformation) corresponding to the matching data class, while applying any other key will lead to loss of information. The class-specificity of these all-optical diffractive transformations creates opportunities where different keys can be distributed to different users; each user can only decode the acquired images of only one data class, serving multiple users in an all-optically encrypted manner. We numerically demonstrated all-optical class-specific transformations covering A-->A, I-->I, and P-->I transformations using various image datasets. We also experimentally validated the feasibility of this framework by fabricating a class-specific I-->I transformation diffractive network using two-photon polymerization and successfully tested it at 1550 nm wavelength. Data class-specific all-optical transformations provide a fast and energy-efficient method for image and data encryption, enhancing data security and privacy.

Spatially varying spectral modulation can be implemented using a liquid crystal spatial light modulator (SLM) since it provides an array of liquid crystal cells, each of which can be purposed to act as a programmable spectral filter array. However, such an optical setup suffers from strong optical aberrations due to the unintended phase modulation, precluding spectral modulation at high spatial resolutions. In this work, we propose a novel computational approach for the practical implementation of phase SLMs for implementing spatially varying spectral filters. We provide a careful and systematic analysis of the aberrations arising out of phase SLMs for the purposes of spatially varying spectral modulation. The analysis naturally leads us to a set of "good patterns" that minimize the optical aberrations. We then train a deep network that overcomes any residual aberrations, thereby achieving ideal spectral modulation at high spatial resolution. We show a number of unique operating points with our prototype including dynamic spectral filtering, material classification, and single- and multi-image hyperspectral imaging.

具有最小延迟的人工神经网络的决策对于诸如导航，跟踪和实时机器动作系统之类的许多应用来说是至关重要的。这要求机器学习硬件以高吞吐量处理多维数据。不幸的是，处理卷积操作是数据分类任务的主要计算工具，遵循有挑战性的运行时间复杂性缩放法。然而，在傅立叶光学显示器 - 光处理器中同心地实现卷积定理，使得不迭代的O（1）运行时复杂度以超过1,000×1,000大矩阵的数据输入。在此方法之后，这里我们展示了具有傅里叶卷积神经网络（FCNN）加速器的数据流多核图像批处理。我们将大规模矩阵的图像批量处理显示为傅立叶域中的数字光处理模块执行的被动的2000万点产品乘法。另外，我们通过利用多种时空衍射令并进一步并行化该光学FCNN系统，从而实现了最先进的FCNN加速器的98倍的产量改进。综合讨论与系统能力边缘工作相关的实际挑战突出了傅立叶域和决议缩放法律的串扰问题。通过利用展示技术中的大规模平行性加速卷积带来了基于VAN Neuman的机器学习加速度。

捕获场景的空间和角度信息的光场（LF）成像无疑是有利于许多应用。尽管已经提出了用于LF采集的各种技术，但是在角度和空间上实现的既仍然是技术挑战。本文，提出了一种基于学习的方法，其应用于3D末面图像（EPI）以重建高分辨率LF。通过2级超分辨率框架，所提出的方法有效地解决了各种LF超分辨率（SR）问题，即空间SR，Angular SR和角空间SR。虽然第一阶段向Up-Sample EPI体积提供灵活的选择，但是由新型EPI体积的细化网络（EVRN）组成的第二阶段，基本上提高了高分辨率EPI体积的质量。从7个发布的数据集的90个挑战合成和实际灯田场景的广泛评估表明，所提出的方法优于空间和角度超分辨率问题的大型延伸的最先进的方法，即平均值峰值信号到噪声比为2.0 dB，1.4 dB和3.14 dB的空间SR $ \ Times 2 $，Spatial SR $ \ Times 4 $和Angular SR。重建的4D光场展示了所有透视图像的平衡性能分布，与先前的作品相比，卓越的视觉质量。

超级分辨率（SR）旨在增加图像的分辨率。应用程序包括安全性，医学成像和对象识别。我们提出了一种基于深度学习的SR系统，其将六角采样的低分辨率图像作为输入，并产生矩形采样的SR图像作为输出。为了进行培训和测试，我们使用一种现实观察模型，包括从衍射和传感器劣化的光学劣化，从检测器集成。我们的SR方法首先使用非均匀插值来部分地上置观察到的六边形图像并将其转换为矩形网格。然后，我们利用了设计用于SR的最先进的卷积神经网络（CNN）架构，该架构被称为残留通道注意网络（RCAN）。特别是，我们使用RCAN进一步上表并恢复图像以产生最终的SR图像估计。我们证明该系统优于将RCAN直接施加到具有等效样本密度的矩形采样的LR图像。六边形取样的理论优势是众所周知的。然而，据我们所知，六角形取样的实际好处，即RCAN SR等现代加工技术是迄今为止未经测试的。我们的SR系统演示了六角形样式在采用修改的RCAN进行六边形SR时的显着优势。

光学系统的可区分模拟可以与基于深度学习的重建网络结合使用，以通过端到端（E2E）优化光学编码器和深度解码器来实现高性能计算成像。这使成像应用程序（例如3D定位显微镜，深度估计和无透镜摄影）通过优化局部光学编码器。更具挑战性的计算成像应用，例如将3D卷压入单个2D图像的3D快照显微镜，需要高度非本地光学编码器。我们表明，现有的深网解码器具有局部性偏差，可防止这种高度非本地光学编码器的优化。我们使用全球内核傅里叶卷积神经网络（Fouriernets）基于浅神经网络体系结构的解码器来解决此问题。我们表明，在高度非本地分散镜头光学编码器捕获的照片中，傅立叶网络超过了现有的基于网络的解码器。此外，我们表明傅里叶可以对3D快照显微镜的高度非本地光学编码器进行E2E优化。通过将傅立叶网和大规模多GPU可区分的光学模拟相结合，我们能够优化非本地光学编码器170 $ \ times $ \ times $ tos 7372 $ \ times $ \ times $ \ times $比以前的最新状态，并证明了ROI的潜力-type特定的光学编码使用可编程显微镜。

Ever since the first microscope by Zacharias Janssen in the late 16th century, scientists have been inventing new types of microscopes for various tasks. Inventing a novel architecture demands years, if not decades, worth of scientific experience and creativity. In this work, we introduce Differentiable Microscopy ($\partial\mu$), a deep learning-based design paradigm, to aid scientists design new interpretable microscope architectures. Differentiable microscopy first models a common physics-based optical system however with trainable optical elements at key locations on the optical path. Using pre-acquired data, we then train the model end-to-end for a task of interest. The learnt design proposal can then be simplified by interpreting the learnt optical elements. As a first demonstration, based on the optical 4-$f$ system, we present an all-optical quantitative phase microscope (QPM) design that requires no computational post-reconstruction. A follow-up literature survey suggested that the learnt architecture is similar to the generalized phase contrast method developed two decades ago. Our extensive experiments on multiple datasets that include biological samples show that our learnt all-optical QPM designs consistently outperform existing methods. We experimentally verify the functionality of the optical 4-$f$ system based QPM design using a spatial light modulator. Furthermore, we also demonstrate that similar results can be achieved by an uninterpretable learning based method, namely diffractive deep neural networks (D2NN). The proposed differentiable microscopy framework supplements the creative process of designing new optical systems and would perhaps lead to unconventional but better optical designs.

衍射深神经网络（D2NNS）定义了一个由空间工程的被动表面组成的全光计算框架，该框架通过调节传播光的幅度和/或相位来共同处理光学输入信息。衍射光学网络通过薄衍射量以光的速度来完成其计算任务，而无需任何外部计算能力，同时利用了光学的巨大并行性。证明了衍射网络以实现对象的全光分类并执行通用线性变换。在这里，我们首次证明了使用衍射网络的“延时”图像分类方案，通过使用输入对象的横向运动和/或衍射网络，可以显着提高其在复杂输入对象上的分类准确性和概括性性能。 ，相对于彼此。在不同的上下文中，通常将对象和/或相机的相对运动用于图像超分辨率应用程序；受其成功的启发，我们设计了一个延时衍射网络，以受益于由受控或随机横向移动创建的互补信息内容。我们从数值探索了延时衍射网络的设计空间和性能限制，从CIFAR-10数据集的对象进行光学分类中揭示了62.03％的盲测精度。这构成了迄今使用CIFAR-10数据集上的单个衍射网络达到的最高推理精度。延时衍射网络将对使用全光处理器的输入信号的时空分析广泛有用。

目前基于学习的单图像超分辨率（SISR）算法由于假定的Daradada-Tion过程中的偏差而导致的实际数据up到实际数据。常规的劣化过程考虑在高分辨率（HR）图像上应用模糊，噪声和下采样（通常是较大的采样）以合成低分辨率（LR）对应物。然而，很少有用于退化建模的作品已经采取了光学成像系统的物理方面。在本文中，我们光学分析了成像系统，并探索了空间频域的实际LR-HR对的特征。通过考虑optiopticsandsordegration，我们制定真实的物理启发的退化模型;成像系统的物理劣化被建模为低通滤波器，其截止频率由物体距离，焦距的更焦距和图像传感器的像素尺寸。特别是，我们建议使用卷积神经网络（CNN）来学习现实世界劣化过程的截止频率。然后应用学习的网络从未配对的HR图像合成LR图像。稍后使用合成的HR-LR图像对培训SISR网络。我们评估所提出的不同成像系统捕获的现实世界图像中提出的退化模型的有效性和泛化能力。实验结果展示了通过使用传统的退化模型使用我们的合成数据训练的SISR网络通过传统的降级模型对网络进行了有利的。此外，我们的结果与通过使用现实世界LR-HR对训练的相同网络获得的结果相当，这是在真实场景中获得的具有挑战性。

Lensless cameras are a class of imaging devices that shrink the physical dimensions to the very close vicinity of the image sensor by replacing conventional compound lenses with integrated flat optics and computational algorithms. Here we report a diffractive lensless camera with spatially-coded Voronoi-Fresnel phase to achieve superior image quality. We propose a design principle of maximizing the acquired information in optics to facilitate the computational reconstruction. By introducing an easy-to-optimize Fourier domain metric, Modulation Transfer Function volume (MTFv), which is related to the Strehl ratio, we devise an optimization framework to guide the optimization of the diffractive optical element. The resulting Voronoi-Fresnel phase features an irregular array of quasi-Centroidal Voronoi cells containing a base first-order Fresnel phase function. We demonstrate and verify the imaging performance for photography applications with a prototype Voronoi-Fresnel lensless camera on a 1.6-megapixel image sensor in various illumination conditions. Results show that the proposed design outperforms existing lensless cameras, and could benefit the development of compact imaging systems that work in extreme physical conditions.

由于其潜在的优势，如可扩展性，低延迟和功率效率，光学计算在过去几十年中已经看到了快速进步。潜在的全光处理器的核心单元将是NAND门，其可以级联以执行任意逻辑操作。在这里，我们使用衍射神经网络呈现可级可级联的全光NAND门的设计和分析。我们使用两个空间分离的孔的相对光功率在衍射NAND门的输入和输出平面上进行了编码的逻辑值。基于该架构，我们使用光的衍射来了数值优化了由4个无源层组成的衍射神经网络的设计，并通过光的衍射来实现这些衍射NAND操作，通过连续地馈送输出来级联这些衍射NAND门来执行复杂的逻辑功能一个衍射NAND门进入另一个。我们通过使用相同的衍射设计来显示我们的衍射NAND门的级联性，以及全光学执行和或操作以及半加法器。由空间工程化无源衍射层组成的可级可抵级光学NAND门可以用作各种光学计算平台的核心组件。

在许多图像处理任务中，深度学习方法的成功，最近还将深度学习方法引入了阶段检索问题。这些方法与传统的迭代优化方法不同，因为它们通常只需要一个强度测量，并且可以实时重建相位图像。但是，由于巨大的领域差异，这些方法给出的重建图像的质量仍然有很大的改进空间来满足一般应用要求。在本文中，我们设计了一种新型的深神经网络结构，名为Sisprnet，以基于单个傅立叶强度测量值进行相检索。为了有效利用测量的光谱信息，我们建议使用多层感知器（MLP）作为前端提出一个新的特征提取单元。它允许将输入强度图像的所有像素一起考虑，以探索其全局表示。 MLP的大小经过精心设计，以促进代表性特征的提取，同时减少噪音和异常值。辍学层还可以减轻训练MLP的过度拟合问题。为了促进重建图像中的全局相关性，将自我注意力的机制引入了提议的Sisprnet的上采样和重建（UR）块。这些UR块被插入残留的学习结构中，以防止由于其复杂的层结构而导致的较弱的信息流和消失的梯度问题。使用线性相关幅度和相位的仅相位图像和图像的不同测试数据集对所提出的模型进行了广泛的评估。在光学实验平台上进行了实验，以了解在实用环境中工作时不同深度学习方法的性能。

具有多核光纤（MCF）无透镜微观镜片的定制光的产生广泛用于生物医学。然而，用于这种应用的计算机生成的全息图（CGHS）通常由迭代算法产生，这需要高计算工作，限制在体内光源刺激和光纤细胞操纵中的高级应用。纤维芯的随机和离散分布对CGHS引起了强烈的空间偏大，因此，非常需要一种能够快速生成MCF的量身定制的CGHS的方法。我们展示了一种新型阶段编码器深神经网络（Coreenet），它可以在近视频速率下为MCF产生精确定制的CGHS。模拟表明，与传统的CGH技术相比，CoreNet可以将计算时间加速两个大小，并增加产生的光场的保真度。首次，实时生成的定制CGHS在飞行中加载到仅相位的SLM，用于通过MCF微内窥镜在实验中产生动态光场。这铺设了实时细胞旋转的途径和几种需要在生物医学中实时高保真光传递的几种进一步的应用。