可以使用X射线自由电子激光器的强脉冲和短脉冲直接通过单次相干衍射成像直接观察到自由飞行中孤立的纳米样品的结构和动力学。广角散射图像甚至编码样品的三维形态信息，但是该信息的检索仍然是一个挑战。到目前为止，只有通过与高度约束模型拟合，需要对单镜头实现有效的三维形态重建，这需要有关可能的几何形状的先验知识。在这里，我们提出了一种更通用的成像方法。依赖于允许凸多面体描述的任何样品形态的模型，我们从单个银纳米颗粒中重建广角衍射模式。除了具有高对称性的已知结构动机外，我们还检索了以前无法访问的不完美形状和聚集物。我们的结果为单个纳米颗粒的真实3D结构确定以及最终的超快纳米级动力学的3D电影开辟了新的途径。

本书章节介绍了如何利用散射光场中的光谱相关性来进行高精度的飞行时间感测。本章应作为温和的介绍，旨在用于计算成像科学家和新手合成波长成像主题的学生。技术细节（例如检测器或光源规格）将在很大程度上省略。取而代之的是，不同方法之间的相似性将被强调“绘制更大的图景”。

在X射线游离电子激光器（XFELS）处的单粒子成像（SPI）特别适合于确定其本地环境中颗粒的3D结构。对于成功的重建，必须从大量获取的图案中分离出来的衍射模式。我们建议将此任务作为图像分类问题制定，并使用卷积神经网络（CNN）架构来解决它。开发了两个CNN配置：一个最大化F1分数的CNN配置和强调高召回的一个配置。我们还将CNN与期望最大化（EM）选择以及尺寸过滤结合起来。我们观察到，我们的CNN选择在我们之前的工作中使用的电子选择的功率谱密度函数的对比度较低。但是，基于CNN的选择的重建提供了类似的结果。将CNN引入SPI实验允许简化重建管道，使研究人员能够在飞行中对模式进行分类，并且因此，它们使他们能够严格控制其实验的持续时间。我们认为，在描述的SPI分析工作流程中提出基于非标准的人工智能（AI）解决方案可能对SPI实验的未来发展有益。

Control of light through a microscope objective with a high numerical aperture is a common requirement in applications such as optogenetics, adaptive optics, or laser processing. Light propagation, including polarization effects, can be described under these conditions using the Debye-Wolf diffraction integral. Here, we take advantage of differentiable optimization and machine learning for efficiently optimizing the Debye-Wolf integral for such applications. For light shaping we show that this optimization approach is suitable for engineering arbitrary three-dimensional point spread functions in a two-photon microscope. For differentiable model-based adaptive optics (DAO), the developed method can find aberration corrections with intrinsic image features, for example neurons labeled with genetically encoded calcium indicators, without requiring guide stars. Using computational modeling we further discuss the range of spatial frequencies and magnitudes of aberrations which can be corrected with this approach.

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

Lensless cameras are a class of imaging devices that shrink the physical dimensions to the very close vicinity of the image sensor by replacing conventional compound lenses with integrated flat optics and computational algorithms. Here we report a diffractive lensless camera with spatially-coded Voronoi-Fresnel phase to achieve superior image quality. We propose a design principle of maximizing the acquired information in optics to facilitate the computational reconstruction. By introducing an easy-to-optimize Fourier domain metric, Modulation Transfer Function volume (MTFv), which is related to the Strehl ratio, we devise an optimization framework to guide the optimization of the diffractive optical element. The resulting Voronoi-Fresnel phase features an irregular array of quasi-Centroidal Voronoi cells containing a base first-order Fresnel phase function. We demonstrate and verify the imaging performance for photography applications with a prototype Voronoi-Fresnel lensless camera on a 1.6-megapixel image sensor in various illumination conditions. Results show that the proposed design outperforms existing lensless cameras, and could benefit the development of compact imaging systems that work in extreme physical conditions.

我们提出了一种依赖工程点扩散功能（PSF）的紧凑型快照单眼估计技术。微观超分辨率成像中使用的传统方法，例如双螺旋PSF（DHPSF），不适合比稀疏的一组点光源更复杂的场景。我们使用cram \'er-rao下限（CRLB）显示，将DHPSF的两个叶分开，从而捕获两个单独的图像导致深度精度的急剧增加。用于生成DHPSF的相掩码的独特属性是，将相掩码分为两个半部分，导致两个裂片的空间分离。我们利用该属性建立一个基于紧凑的极化光学设置，在该设置中，我们将两个正交线性极化器放在DHPSF相位掩码的每一半上，然后使用极化敏感的摄像机捕获所得图像。模拟和实验室原型的结果表明，与包括DHPSF和Tetrapod PSF在内的最新设计相比，我们的技术达到了高达50美元的深度误差，而空间分辨率几乎没有损失。

放射造影通常用于探测动态系统中的复杂，不断发展的密度字段，以便在潜在的物理学中实现进入洞察力。该技术已用于许多领域，包括材料科学，休克物理，惯性监禁融合和其他国家安全应用。然而，在许多这些应用中，噪声，散射，复杂光束动力学等的并发症防止了密度的重建足以足以识别具有足够置信度的底层物理。因此，来自静态/动态射线照相的密度重建通常限于在许多这些应用中识别诸如裂缝和空隙的不连续特征。在这项工作中，我们提出了一种从基本上重建密度的基本上新的射线照片序列的密度。仅使用射线照相识别的稳健特征，我们将它们与使用机器学习方法的底层流体动力方程组合，即条件生成对冲网络（CGAN），以从射线照片的动态序列确定密度字段。接下来，我们寻求通过参数估计和投影的过程进一步提高ML的密度重建的流体动力学一致性，并进入流体动力歧管。在这种情况下，我们注意到，训练数据给出的流体动力歧管在被认为的参数空间中给出的测试数据是用于预测的稳定性的诊断，并用于增强培训数据库，期望后者将进一步降低未来的密度重建错误。最后，我们展示了这种方法优于传统的射线照相重建在捕获允许的流体动力学路径中的能力，即使存在相对少量的散射。

在部署非视线（NLOS）成像系统中，越来越兴趣，以恢复障碍物背后的物体。现有解决方案通常在扫描隐藏对象之前预先校准系统。在封堵器，对象和扫描模式的现场调整需要重新校准。我们提出了一种在线校准技术，直接将所获取的瞬态扫描到LOS和隐藏组件中的所获取的瞬态耦合。我们使用前者直接（RE）在场景/障碍配置，扫描区域和扫描模式的变化时校准系统，而后者通过空间，频率或基于学习的技术恢复后者。我们的技术避免使用辅助校准设备，例如镜子或棋盘，并支持实验室验证和现实世界部署。

机器学习方法的最新进展以及扫描探针显微镜（SPMS）的可编程接口的新兴可用性使自动化和自动显微镜在科学界的关注方面推向了最前沿。但是，启用自动显微镜需要开发特定于任务的机器学习方法，了解物理发现与机器学习之间的相互作用以及完全定义的发现工作流程。反过来，这需要平衡领域科学家的身体直觉和先验知识与定义实验目标和机器学习算法的奖励，这些算法可以将它们转化为特定的实验协议。在这里，我们讨论了贝叶斯活跃学习的基本原理，并说明了其对SPM的应用。我们从高斯过程作为一种简单的数据驱动方法和对物理模型的贝叶斯推断作为基于物理功能的扩展的贝叶斯推断，再到更复杂的深内核学习方法，结构化的高斯过程和假设学习。这些框架允许使用先验数据，在光谱数据中编码的特定功能以及在实验过程中表现出的物理定律的探索。讨论的框架可以普遍应用于结合成像和光谱，SPM方法，纳米识别，电子显微镜和光谱法以及化学成像方法的所有技术，并且对破坏性或不可逆测量的影响特别影响。

快速生产具有纳米分辨率的大面积模式对于已建立的半导体行业和实现下一代量子设备的工业规模生产至关重要。具有二进制全息掩模的亚稳定原子光刻被认为是当前最新水平的较高分辨率/低成本替代方法：极端紫外线（EUV）光刻。然而，最近表明，亚稳定原子与掩模材料（SIN）的相互作用导致波前的强烈扰动，而不是基于经典标量波。这意味着即使在1D中也无法在分析上解决逆问题（基于所需模式创建掩码）。在这里，我们提出了一种机器学习方法，以掩盖产生的目标是亚稳定性原子。我们的算法结合了遗传优化和深度学习来获得面具。一种新型的深神经结构经过训练，可以产生面膜的初始近似。然后，该近似值用于生成可以收敛到任意精度的遗传优化算法的初始种群。我们证明了Fraunhofer近似极限内系统维度的任意1D模式的产生。

视觉的触觉传感器由于经济实惠的高分辨率摄像机和成功的计算机视觉技术而被出现为机器人触摸的有希望的方法。但是，它们的物理设计和他们提供的信息尚不符合真实应用的要求。我们提供了一种名为Insight的强大，柔软，低成本，视觉拇指大小的3D触觉传感器：它不断在其整个圆锥形感测表面上提供定向力分布图。围绕内部单眼相机构造，传感器仅在刚性框架上仅成型一层弹性体，以保证灵敏度，鲁棒性和软接触。此外，Insight是第一个使用准直器将光度立体声和结构光混合的系统来检测其易于更换柔性外壳的3D变形。通过将图像映射到3D接触力的空间分布（正常和剪切）的深神经网络推断力信息。洞察力在0.4毫米的总空间分辨率，力量幅度精度约为0.03 n，并且对于具有不同接触面积的多个不同触点，在0.03-2 n的范围内的5度大约5度的力方向精度。呈现的硬件和软件设计概念可以转移到各种机器人部件。

我们报告了张力层造影差异相位对比度显微镜（T2DPC），这是一种用于同时测量相和各向异性的无定量标签层析成像方法。T2DPC扩展了差异相位对比显微镜（一种定量相成像技术），以突出光的矢量性质。该方法求解了从配备有LED矩阵，圆极偏振器和偏振敏感摄像机的标准显微镜获得的强度测量的各向异性样品的介电常数张量。我们证明了各种验证样品的折射率，双折射和方向的准确体积重建，并证明生物标本的重建极化结构是病理学的预测。

信号处理是几乎任何传感器系统的基本组件，具有不同科学学科的广泛应用。时间序列数据，图像和视频序列包括可以增强和分析信息提取和量化的代表性形式的信号。人工智能和机器学习的最近进步正在转向智能，数据驱动，信号处理的研究。该路线图呈现了最先进的方法和应用程序的关键概述，旨在突出未来的挑战和对下一代测量系统的研究机会。它涵盖了广泛的主题，从基础到工业研究，以简明的主题部分组织，反映了每个研究领域的当前和未来发展的趋势和影响。此外，它为研究人员和资助机构提供了识别新前景的指导。

We present a novel single-shot interferometric ToF camera targeted for precise 3D measurements of dynamic objects. The camera concept is based on Synthetic Wavelength Interferometry, a technique that allows retrieval of depth maps of objects with optically rough surfaces at submillimeter depth precision. In contrast to conventional ToF cameras, our device uses only off-the-shelf CCD/CMOS detectors and works at their native chip resolution (as of today, theoretically up to 20 Mp and beyond). Moreover, we can obtain a full 3D model of the object in single-shot, meaning that no temporal sequence of exposures or temporal illumination modulation (such as amplitude or frequency modulation) is necessary, which makes our camera robust against object motion. In this paper, we introduce the novel camera concept and show first measurements that demonstrate the capabilities of our system. We present 3D measurements of small (cm-sized) objects with > 2 Mp point cloud resolution (the resolution of our used detector) and up to sub-mm depth precision. We also report a "single-shot 3D video" acquisition and a first single-shot "Non-Line-of-Sight" measurement. Our technique has great potential for high-precision applications with dynamic object movement, e.g., in AR/VR, industrial inspection, medical imaging, and imaging through scattering media like fog or human tissue.

用冷冻电子显微镜（Cryo-EM）溶液中生物分子高分辨率成像的近期突破已经解锁了用于重建分子体积的新门，从而有望在其他人之间进一步进一步进展。尽管有很大的入脚，但Cryo-EM数据分析中的巨大挑战仍然是军团和错综复杂的自然间学科，需要物理学家，结构生物学家，计算机科学家，统计学家和应用数学家的见解。同时，最近的下一代卷重建算法与端到端无监督的深度学习技术相结合的生成建模已经显示了对模拟数据的有希望的结果，但在应用于实验Cryo-EM图像时仍然面临相当大的障碍。鉴于此类方法的增殖并鉴于任务的跨学科性质，我们提出了对高分辨率低分辨率建模领域的最近进步的批判性审查。目前的审查旨在（i）比较和对比这些新方法，而（ii）将它们从透视和使用科学家熟悉的术语呈现出来，在任何五个上述领域中没有Cryo-Em中没有具体的背景。审查始于引言介绍低温 - EM批量重建的深度生成模型的数学和计算挑战，同时概述了这类算法中共享的基线方法。通过这些不同的模型建立了常见的线程编织，我们提供了这些最先进的算法的实际比较，突出了它们的相对优势和劣势以及它们依赖的假设。这使我们能够识别当前方法和途径的瓶颈，以便将来的研究。

我们提出了使用镜面多声激光雷达返回的方法来检测和映射镜面表面，这些表面可能是依赖直接单刻钟返回的常规LIDAR系统看不见的。我们得出将这些多声音返回的时间和到达的表达式与镜面表面上的散射点相关联，然后使用这些表达式来制定技术以检索镜面几何时，当场景被单光束扫描或照亮时带有多光束闪光灯。我们还考虑了透明的镜面表面的特殊情况，可以将表面反射与散布在表面后面的物体上的光混合在一起。

在本文中，我们考虑使用Palentir在两个和三个维度中对分段常数对象的恢复和重建，这是相对于当前最新ART的显着增强的参数级别集（PALS）模型。本文的主要贡献是一种新的PALS公式，它仅需要一个单个级别的函数来恢复具有具有多个未知对比度的分段常数对象的场景。我们的模型比当前的多对抗性，多对象问题提供了明显的优势，所有这些问题都需要多个级别集并明确估计对比度大小。给定对比度上的上限和下限，我们的方法能够以任何对比度分布恢复对象，并消除需要知道给定场景中的对比度或其值的需求。我们提供了一个迭代过程，以找到这些空间变化的对比度限制。相对于使用径向基函数（RBF）的大多数PAL方法，我们的模型利用了非异型基函数，从而扩展了给定复杂性的PAL模型可以近似的形状类别。最后，Palentir改善了作为参数识别过程一部分所需的Jacobian矩阵的条件，因此通过控制PALS扩展系数的幅度来加速优化方法，固定基本函数的中心，以及参数映射到图像映射的唯一性，由新参数化提供。我们使用X射线计算机断层扫描，弥漫性光学断层扫描（DOT），Denoising，DeonConvolution问题的2D和3D变体证明了新方法的性能。应用于实验性稀疏CT数据和具有不同类型噪声的模拟数据，以进一步验证所提出的方法。

通过动态散射介质进行非侵入性光学成像具有许多重要的生物医学应用，但仍然是一项艰巨的任务。尽管标准弥漫成像方法测量光吸收或荧光发射，但也良好的是，散射的相干光的时间相关性通过组织像光强度一样扩散。然而，迄今为止，很少有作品旨在通过实验测量和处理这种时间相关数据，以证明去相关动力学的深度组织视频重建。在这项工作中，我们利用单光子雪崩二极管（SPAD）阵列摄像机同时监视单photon水平的斑点波动的时间动力学，从12种不同的幻影组织通过定制的纤维束阵列传递的位置。然后，我们应用深度神经网络将所获得的单光子测量值转换为迅速去摩擦组织幻像下散射动力学的视频。我们证明了重建瞬态（0.1-0.4s）动态事件的图像的能力，该动态事件发生在非相关的组织幻影下，并以毫米级分辨率进行重构，并突出显示我们的模型如何灵活地扩展到埋藏的phantom船只内的流速。

激光诱导的击穿光谱是用于在环境压力下快速和直接的样品的快速和直接多元素映射的优选技术，而没有对靶元素的任何限制。然而，Libs映射数据具有两个特殊性：由于单次测量而导致的内在低信噪比，并且由于获得用于成像的高频频谱而导致的高维度。这使得所有变速器都变高：在这种情况下，消融光斑直径减小，以及烧结质量和发射信号，而给定表面的光谱数量增加。因此，从嘈杂和大型数据集中有效地提取物理化学信息是一个主要问题。几位作者引入多变量方法作为应对这些数据的手段，特别是主要成分分析。然而，已知PCA为数据集的一致重建呈现了理论限制，因此有利于Libs映射数据的有效解释的限制。在本文中，我们使用离散小波变换和基于内核的稀疏PCA来引入HyperPCA，用于高光谱图像的新分析工具，用于使用基于内核的稀疏PCA来降低噪声对数据的影响，并始终重建光谱信号，特别强调libs数据。首先使用模拟Libs映射数据集来说明该方法，以强调其具有高噪声和/或高度干扰的光谱的性能。提供了标准PCA和传统的单变量数据分析的比较。最后，它用于在两种情况下处理实际数据，清楚地说明所提出的算法的潜力。我们表明该方法在回收的信息的数量和质量上具有优势，从而提高了分析表面的物理化学表征。