我们报告了张力层造影差异相位对比度显微镜（T2DPC），这是一种用于同时测量相和各向异性的无定量标签层析成像方法。T2DPC扩展了差异相位对比显微镜（一种定量相成像技术），以突出光的矢量性质。该方法求解了从配备有LED矩阵，圆极偏振器和偏振敏感摄像机的标准显微镜获得的强度测量的各向异性样品的介电常数张量。我们证明了各种验证样品的折射率，双折射和方向的准确体积重建，并证明生物标本的重建极化结构是病理学的预测。

强度衍射断层扫描（IDT）是指用于从一组仅2D强度测量的样品成像样品的3D折射率（RI）分布的一类光学显微镜技术。由于相位信息的丢失和缺失的锥体问题，无伪影RI地图的重建是IDT的一个基本挑战。神经领域（NF）最近成为一种新的深度学习方法（DL），用于学习物理领域的连续表示。 NF使用基于坐标的神经网络来表示该场，通过将空间坐标映射到相应的物理量，在我们的情况下，复杂价值的折射率值。我们将DEPAF作为第一种基于NF的IDT方法，可以从仅强度和有限角度的测量值中学习RI体积的高质量连续表示。 DECAF中的表示形式是通过使用IDT向前模型直接从测试样品的测量值中学到的，而无需任何地面真相图。我们对模拟和实验生物学样品进行定性和定量评估DECAF。我们的结果表明，DECAF可以生成高对比度和无伪影RI图，并导致MSE超过现有方法的2.1倍。

通过动态散射介质进行非侵入性光学成像具有许多重要的生物医学应用，但仍然是一项艰巨的任务。尽管标准弥漫成像方法测量光吸收或荧光发射，但也良好的是，散射的相干光的时间相关性通过组织像光强度一样扩散。然而，迄今为止，很少有作品旨在通过实验测量和处理这种时间相关数据，以证明去相关动力学的深度组织视频重建。在这项工作中，我们利用单光子雪崩二极管（SPAD）阵列摄像机同时监视单photon水平的斑点波动的时间动力学，从12种不同的幻影组织通过定制的纤维束阵列传递的位置。然后，我们应用深度神经网络将所获得的单光子测量值转换为迅速去摩擦组织幻像下散射动力学的视频。我们证明了重建瞬态（0.1-0.4s）动态事件的图像的能力，该动态事件发生在非相关的组织幻影下，并以毫米级分辨率进行重构，并突出显示我们的模型如何灵活地扩展到埋藏的phantom船只内的流速。

我们提出了一种依赖工程点扩散功能（PSF）的紧凑型快照单眼估计技术。微观超分辨率成像中使用的传统方法，例如双螺旋PSF（DHPSF），不适合比稀疏的一组点光源更复杂的场景。我们使用cram \'er-rao下限（CRLB）显示，将DHPSF的两个叶分开，从而捕获两个单独的图像导致深度精度的急剧增加。用于生成DHPSF的相掩码的独特属性是，将相掩码分为两个半部分，导致两个裂片的空间分离。我们利用该属性建立一个基于紧凑的极化光学设置，在该设置中，我们将两个正交线性极化器放在DHPSF相位掩码的每一半上，然后使用极化敏感的摄像机捕获所得图像。模拟和实验室原型的结果表明，与包括DHPSF和Tetrapod PSF在内的最新设计相比，我们的技术达到了高达50美元的深度误差，而空间分辨率几乎没有损失。

Spatially varying spectral modulation can be implemented using a liquid crystal spatial light modulator (SLM) since it provides an array of liquid crystal cells, each of which can be purposed to act as a programmable spectral filter array. However, such an optical setup suffers from strong optical aberrations due to the unintended phase modulation, precluding spectral modulation at high spatial resolutions. In this work, we propose a novel computational approach for the practical implementation of phase SLMs for implementing spatially varying spectral filters. We provide a careful and systematic analysis of the aberrations arising out of phase SLMs for the purposes of spatially varying spectral modulation. The analysis naturally leads us to a set of "good patterns" that minimize the optical aberrations. We then train a deep network that overcomes any residual aberrations, thereby achieving ideal spectral modulation at high spatial resolution. We show a number of unique operating points with our prototype including dynamic spectral filtering, material classification, and single- and multi-image hyperspectral imaging.

椭圆测量技术允许测量材料的极化信息，需要具有不同灯和传感器配置的光学组件的精确旋转。这会导致繁琐的捕获设备，在实验室条件下仔细校准，并且在很长的获取时间，通常按照每个物体几天的顺序。最近的技术允许捕获偏振偏光的反射率信息，但仅限于单个视图，或涵盖所有视图方向，但仅限于单个均匀材料制成的球形对象。我们提出了稀疏椭圆测量法，这是一种便携式偏光获取方法，同时同时捕获极化SVBRDF和3D形状。我们的手持设备由现成的固定光学组件组成。每个物体的总收购时间在二十分钟之间变化，而不是天数。我们开发了一个完整的极化SVBRDF模型，其中包括分散和镜面成分以及单个散射，并通过生成模型来设计一种新型的极化逆渲染算法，并通过数据增强镜面反射样品的数据增强。我们的结果表明，与现实世界对象捕获的极化BRDF的最新基础数据集有很强的一致性。

Lensless cameras are a class of imaging devices that shrink the physical dimensions to the very close vicinity of the image sensor by replacing conventional compound lenses with integrated flat optics and computational algorithms. Here we report a diffractive lensless camera with spatially-coded Voronoi-Fresnel phase to achieve superior image quality. We propose a design principle of maximizing the acquired information in optics to facilitate the computational reconstruction. By introducing an easy-to-optimize Fourier domain metric, Modulation Transfer Function volume (MTFv), which is related to the Strehl ratio, we devise an optimization framework to guide the optimization of the diffractive optical element. The resulting Voronoi-Fresnel phase features an irregular array of quasi-Centroidal Voronoi cells containing a base first-order Fresnel phase function. We demonstrate and verify the imaging performance for photography applications with a prototype Voronoi-Fresnel lensless camera on a 1.6-megapixel image sensor in various illumination conditions. Results show that the proposed design outperforms existing lensless cameras, and could benefit the development of compact imaging systems that work in extreme physical conditions.

Ever since the first microscope by Zacharias Janssen in the late 16th century, scientists have been inventing new types of microscopes for various tasks. Inventing a novel architecture demands years, if not decades, worth of scientific experience and creativity. In this work, we introduce Differentiable Microscopy ($\partial\mu$), a deep learning-based design paradigm, to aid scientists design new interpretable microscope architectures. Differentiable microscopy first models a common physics-based optical system however with trainable optical elements at key locations on the optical path. Using pre-acquired data, we then train the model end-to-end for a task of interest. The learnt design proposal can then be simplified by interpreting the learnt optical elements. As a first demonstration, based on the optical 4-$f$ system, we present an all-optical quantitative phase microscope (QPM) design that requires no computational post-reconstruction. A follow-up literature survey suggested that the learnt architecture is similar to the generalized phase contrast method developed two decades ago. Our extensive experiments on multiple datasets that include biological samples show that our learnt all-optical QPM designs consistently outperform existing methods. We experimentally verify the functionality of the optical 4-$f$ system based QPM design using a spatial light modulator. Furthermore, we also demonstrate that similar results can be achieved by an uninterpretable learning based method, namely diffractive deep neural networks (D2NN). The proposed differentiable microscopy framework supplements the creative process of designing new optical systems and would perhaps lead to unconventional but better optical designs.

Control of light through a microscope objective with a high numerical aperture is a common requirement in applications such as optogenetics, adaptive optics, or laser processing. Light propagation, including polarization effects, can be described under these conditions using the Debye-Wolf diffraction integral. Here, we take advantage of differentiable optimization and machine learning for efficiently optimizing the Debye-Wolf integral for such applications. For light shaping we show that this optimization approach is suitable for engineering arbitrary three-dimensional point spread functions in a two-photon microscope. For differentiable model-based adaptive optics (DAO), the developed method can find aberration corrections with intrinsic image features, for example neurons labeled with genetically encoded calcium indicators, without requiring guide stars. Using computational modeling we further discuss the range of spatial frequencies and magnitudes of aberrations which can be corrected with this approach.

We present a novel single-shot interferometric ToF camera targeted for precise 3D measurements of dynamic objects. The camera concept is based on Synthetic Wavelength Interferometry, a technique that allows retrieval of depth maps of objects with optically rough surfaces at submillimeter depth precision. In contrast to conventional ToF cameras, our device uses only off-the-shelf CCD/CMOS detectors and works at their native chip resolution (as of today, theoretically up to 20 Mp and beyond). Moreover, we can obtain a full 3D model of the object in single-shot, meaning that no temporal sequence of exposures or temporal illumination modulation (such as amplitude or frequency modulation) is necessary, which makes our camera robust against object motion. In this paper, we introduce the novel camera concept and show first measurements that demonstrate the capabilities of our system. We present 3D measurements of small (cm-sized) objects with > 2 Mp point cloud resolution (the resolution of our used detector) and up to sub-mm depth precision. We also report a "single-shot 3D video" acquisition and a first single-shot "Non-Line-of-Sight" measurement. Our technique has great potential for high-precision applications with dynamic object movement, e.g., in AR/VR, industrial inspection, medical imaging, and imaging through scattering media like fog or human tissue.

极化成像已应用于越来越多的机器人视觉应用中（例如，水下导航，眩光去除，脱落，对象分类和深度估计）。可以在市场RGB极化摄像机上找到可以在单个快照中捕获颜色和偏振状态的摄像头。由于传感器的特性分散和镜头的使用，至关重要的是校准这些类型的相机以获得正确的极化测量。到目前为止开发的校准方法要么不适合这种类型的相机，要么需要在严格的设置中进行复杂的设备和耗时的实验。在本文中，我们提出了一种新方法来克服对复杂的光学系统有效校准这些相机的需求。我们表明，所提出的校准方法具有多个优点，例如任何用户都可以使用统一的线性极化光源轻松校准相机，而无需任何先验地了解其偏振状态，并且收购数量有限。我们将公开提供校准代码。

本书章节介绍了如何利用散射光场中的光谱相关性来进行高精度的飞行时间感测。本章应作为温和的介绍，旨在用于计算成像科学家和新手合成波长成像主题的学生。技术细节（例如检测器或光源规格）将在很大程度上省略。取而代之的是，不同方法之间的相似性将被强调“绘制更大的图景”。

作为一种引起巨大关注的新兴技术，通过分析继电器表面上的漫反射来重建隐藏物体的非视线（NLOS）成像，具有广泛的应用前景，在自主驾驶，医学成像和医学成像领域防御。尽管信噪比低（SNR）和高不良效率的挑战，但近年来，NLOS成像已迅速发展。大多数当前的NLOS成像技术使用传统的物理模型，通过主动或被动照明构建成像模型，并使用重建算法来恢复隐藏场景。此外，NLOS成像的深度学习算法最近也得到了很多关注。本文介绍了常规和深度学习的NLOS成像技术的全面概述。此外，我们还调查了新的拟议的NLOS场景，并讨论了现有技术的挑战和前景。这样的调查可以帮助读者概述不同类型的NLOS成像，从而加速了在角落周围看到的发展。

光学衍射断层扫描（ODT）是一种新兴的3D成像技术，用于半透明样品的折射率（RI）的3D重建。已经提出了各种逆模型，以基于对不同样品（例如BORN和RYTOV近似）的全息检测来重建3D RI。但是，这种近似通常会遭受所谓的缺失键问题，从而导致沿光轴的最终重建伸长。已经提出了不同的迭代方案，以解决依靠物理前向模型和旨在填充K空间的错误函数的丢失锥问题，从而消除缺失的问题问题并达到更好的重建精度。在本文中，我们提出了一种使用3D神经网络（NN）的不同方法。 NN经过基于光波传播物理的物理模型得出的成本函数训练。 3D NN以3D RI重建（即出生或Rytov）的初始猜测开始，并旨在根据错误函数重建更好的3D重建。通过这种技术，可以对NN进行训练，而无需任何示例，即不适当的重建（出生或Rytov）与地面真相（真实形状）之间的关系。

傅立叶Ptychographic显微镜（FPM）是一种成像过程，它通过计算平均值克服了传统的传统显微镜空间带宽产品（SBP）的限制。它利用使用低数值孔径（NA）物镜捕获的多个图像，并通过频域缝线实现高分辨率相成像。现有的FPM重建方法可以广泛地分为两种方法：基于迭代优化的方法，这些方法基于正向成像模型的物理学以及通常采用馈送深度学习框架的数据驱动方法。我们提出了一个混合模型驱动的残留网络，该网络将远期成像系统的知识与深度数据驱动的网络相结合。我们提出的架构LWGNET将传统的电线流优化算法展开为一种新型的神经网络设计，该设计通过复杂的卷积块增强了梯度图像。与其他传统的展开技术不同，LWGNET在PAR上执行时使用的阶段较少，甚至比现有的传统和深度学习技术更好，尤其是对于低成本和低动态范围CMOS传感器。低位深度和低成本传感器的性能提高有可能显着降低FPM成像设置的成本。最后，我们在收集到的实际数据上显示出始终提高的性能。

基于掩模的无透镜相机可以是平坦的，薄型和轻质的，这使得它们适用于具有大表面积和任意形状的计算成像系统的新颖设计。尽管最近在无晶体相机的进展中，由于底层测量系统的不良状态，从透镜相机恢复的图像质量往往差。在本文中，我们建议使用编码照明来提高用无透镜相机重建的图像的质量。在我们的成像模型中，场景/物体被多种编码照明模式照亮，因为无透镜摄像机记录传感器测量。我们设计并测试了许多照明模式，并观察到变速点（和相关的正交）模式提供了最佳的整体性能。我们提出了一种快速和低复杂性的恢复算法，可利用我们系统中的可分离性和块对角线结构。我们提出了仿真结果和硬件实验结果，以证明我们的提出方法可以显着提高重建质量。

敏感性张量成像（STI）是一种新兴的磁共振成像技术，它以二阶张量模型来表征各向异性组织磁敏感性。 STI有可能为白质纤维途径的重建以及在MM分辨率下的大脑中的髓磷脂变化的检测提供信息，这对于理解健康和患病大脑的大脑结构和功能具有很大的价值。但是，STI在体内的应用受到了繁琐且耗时的采集要求，以测量易感性引起的MR相变为多个（通常超过六个）的头部方向。由于头圈的物理限制，头部旋转角的限制增强了这种复杂性。结果，STI尚未广泛应用于体内研究。在这项工作中，我们通过为STI的图像重建算法提出利用数据驱动的先验来解决这些问题。我们的方法称为DEEPSTI，通过深层神经网络隐式地了解了数据，该网络近似于STI的正常器函数的近端操作员。然后，使用学习的近端网络对偶极反转问题进行迭代解决。使用模拟和体内人类数据的实验结果表明，根据重建张量图，主要特征向量图和拖拉术结果，对最先进的算法的改进很大六个不同的方向。值得注意的是，我们的方法仅在人体内的一个方向上实现了有希望的重建结果，我们证明了该技术在估计多发性硬化症患者中估计病变易感性各向异性的潜在应用。

光学系统的可区分模拟可以与基于深度学习的重建网络结合使用，以通过端到端（E2E）优化光学编码器和深度解码器来实现高性能计算成像。这使成像应用程序（例如3D定位显微镜，深度估计和无透镜摄影）通过优化局部光学编码器。更具挑战性的计算成像应用，例如将3D卷压入单个2D图像的3D快照显微镜，需要高度非本地光学编码器。我们表明，现有的深网解码器具有局部性偏差，可防止这种高度非本地光学编码器的优化。我们使用全球内核傅里叶卷积神经网络（Fouriernets）基于浅神经网络体系结构的解码器来解决此问题。我们表明，在高度非本地分散镜头光学编码器捕获的照片中，傅立叶网络超过了现有的基于网络的解码器。此外，我们表明傅里叶可以对3D快照显微镜的高度非本地光学编码器进行E2E优化。通过将傅立叶网和大规模多GPU可区分的光学模拟相结合，我们能够优化非本地光学编码器170 $ \ times $ \ times $ tos 7372 $ \ times $ \ times $ \ times $比以前的最新状态，并证明了ROI的潜力-type特定的光学编码使用可编程显微镜。

可以使用X射线自由电子激光器的强脉冲和短脉冲直接通过单次相干衍射成像直接观察到自由飞行中孤立的纳米样品的结构和动力学。广角散射图像甚至编码样品的三维形态信息，但是该信息的检索仍然是一个挑战。到目前为止，只有通过与高度约束模型拟合，需要对单镜头实现有效的三维形态重建，这需要有关可能的几何形状的先验知识。在这里，我们提出了一种更通用的成像方法。依赖于允许凸多面体描述的任何样品形态的模型，我们从单个银纳米颗粒中重建广角衍射模式。除了具有高对称性的已知结构动机外，我们还检索了以前无法访问的不完美形状和聚集物。我们的结果为单个纳米颗粒的真实3D结构确定以及最终的超快纳米级动力学的3D电影开辟了新的途径。

Multispectral imaging has been used for numerous applications in e.g., environmental monitoring, aerospace, defense, and biomedicine. Here, we present a diffractive optical network-based multispectral imaging system trained using deep learning to create a virtual spectral filter array at the output image field-of-view. This diffractive multispectral imager performs spatially-coherent imaging over a large spectrum, and at the same time, routes a pre-determined set of spectral channels onto an array of pixels at the output plane, converting a monochrome focal plane array or image sensor into a multispectral imaging device without any spectral filters or image recovery algorithms. Furthermore, the spectral responsivity of this diffractive multispectral imager is not sensitive to input polarization states. Through numerical simulations, we present different diffractive network designs that achieve snapshot multispectral imaging with 4, 9 and 16 unique spectral bands within the visible spectrum, based on passive spatially-structured diffractive surfaces, with a compact design that axially spans ~72 times the mean wavelength of the spectral band of interest. Moreover, we experimentally demonstrate a diffractive multispectral imager based on a 3D-printed diffractive network that creates at its output image plane a spatially-repeating virtual spectral filter array with 2x2=4 unique bands at terahertz spectrum. Due to their compact form factor and computation-free, power-efficient and polarization-insensitive forward operation, diffractive multispectral imagers can be transformative for various imaging and sensing applications and be used at different parts of the electromagnetic spectrum where high-density and wide-area multispectral pixel arrays are not widely available.