Noninvasive X-ray imaging of nanoscale three-dimensional objects, e.g. integrated circuits (ICs), generally requires two types of scanning: ptychographic, which is translational and returns estimates of complex electromagnetic field through ICs; and tomographic scanning, which collects complex field projections from multiple angles. Here, we present Attentional Ptycho-Tomography (APT), an approach trained to provide accurate reconstructions of ICs despite incomplete measurements, using a dramatically reduced amount of angular scanning. Training process includes regularizing priors based on typical IC patterns and the physics of X-ray propagation. We demonstrate that APT with 12-time reduced angles achieves fidelity comparable to the gold standard with the original set of angles. With the same set of reduced angles, APT also outperforms baseline reconstruction methods. In our experiments, APT achieves 108-time aggregate reduction in data acquisition and computation without compromising quality. We expect our physics-assisted machine learning framework could also be applied to other branches of nanoscale imaging.

有限的角度X射线断层扫描重建是一个不良反问题一般。特别是当投影角度有限并且在光子限制条件下进行测量时，来自经典算法的重建，例如过滤的反光，可能导致由于缺失的问题而获取伪影。为了获得令人满意的重建结果，通常在重建算法中结合在重建算法中的令人满意的重建结果，例如总变化最小化和非局部图像相似度。在这项工作中，我们介绍了深度神经网络，以确定并应用重建过程的先前分配。我们的神经网络直接从合成训练样本中学习。因此，神经网络获得了对我们对重建感兴趣的对象类的特定的先前分配。特别是，我们使用了具有3D卷积层和3D注意图层的深生成的模型，这些层在来自DubBed电路库的3D合成集成电路（IC）数据上培训。我们证明，当投影角度和光子预算受到限制时，来自我们深度生成模型的前沿可以显着提高合成数据的IC重建质量，而与最大似然估计相比。使用电路库的合成IC数据训练深度生成模型说明了从机器学习之前学到的学习功能。我们预计，如果使用实验数据再现过程，机器学习的优势将持续存在。机器学习在有限角X射线断层扫描的优点可以进一步能够在低光子纳米级成像中实现应用。

We propose a deep learning method for three-dimensional reconstruction in low-dose helical cone-beam computed tomography. We reconstruct the volume directly, i.e., not from 2D slices, guaranteeing consistency along all axes. In a crucial step beyond prior work, we train our model in a self-supervised manner in the projection domain using noisy 2D projection data, without relying on 3D reference data or the output of a reference reconstruction method. This means the fidelity of our results is not limited by the quality and availability of such data. We evaluate our method on real helical cone-beam projections and simulated phantoms. Our reconstructions are sharper and less noisy than those of previous methods, and several decibels better in quantitative PSNR measurements. When applied to full-dose data, our method produces high-quality results orders of magnitude faster than iterative techniques.

PtyChography是一种经过良好研究的相成像方法，可在纳米尺度上进行非侵入性成像。它已发展为主流技术，在材料科学或国防工业等各个领域具有各种应用。 PtyChography的一个主要缺点是由于相邻照明区域之间的高重叠要求以实现合理的重建，因此数据采集时间很长。扫描区域之间重叠的传统方法导致与文物的重建。在本文中，我们提出了从深层生成网络采样的数据中稀疏获得或不足采样的数据，以满足Ptychography的过采样要求。由于深度生成网络是预先训练的，并且可以在收集数据时计算其输出，因此可以减少实验数据和获取数据的时间。我们通过提出重建质量与先前提出的和传统方法相比，通过提出重建质量来验证该方法，并评论提出的方法的优势和缺点。

基于深度学习的解决方案正在为各种应用程序成功实施。最值得注意的是，临床用例已增加了兴趣，并且是过去几年提出的一些尖端数据驱动算法背后的主要驱动力。对于诸如稀疏视图重建等应用，其中测量数据的量很少，以使获取时间短而且辐射剂量较低，降低了串联的伪像，促使数据驱动的DeNoINEDENO算法的开发，其主要目标是获得获得的主要目标。只有一个全扫描数据的子集诊断可行的图像。我们提出了WNET，这是一个数据驱动的双域denoising模型，其中包含用于稀疏视图deNoising的可训练的重建层。两个编码器 - 模型网络同时在正式和重建域中执行deno，而实现过滤后的反向投影算法的第三层则夹在前两种之间，并照顾重建操作。我们研究了该网络在稀疏视图胸部CT扫描上的性能，并突出显示了比更传统的固定层具有可训练的重建层的额外好处。我们在两个临床相关的数据集上训练和测试我们的网络，并将获得的结果与三种不同类型的稀疏视图CT CT DeNoisis和重建算法进行了比较。

本文提出了一种新颖而快速的自我监督解决方案，用于稀疏视图CBCT重建（锥束计算机断层扫描），不需要外部训练数据。具体而言，所需的衰减系数表示为3D空间坐标的连续函数，该功能由完全连接的深神经网络参数化。我们可以离散地综合预测并通过最大程度地减少真实和合成预测之间的误差来培训网络。采用基于学习的编码器需要哈希编码来帮助网络捕获高频细节。该编码器在具有更高的性能和效率方面优于常用的频域编码器，因为它利用了人体器官的平稳性和稀疏性。已经在人体器官和幻影数据集上进行了实验。所提出的方法可实现最先进的准确性，并花费相当短的计算时间。

强度衍射断层扫描（IDT）是指用于从一组仅2D强度测量的样品成像样品的3D折射率（RI）分布的一类光学显微镜技术。由于相位信息的丢失和缺失的锥体问题，无伪影RI地图的重建是IDT的一个基本挑战。神经领域（NF）最近成为一种新的深度学习方法（DL），用于学习物理领域的连续表示。 NF使用基于坐标的神经网络来表示该场，通过将空间坐标映射到相应的物理量，在我们的情况下，复杂价值的折射率值。我们将DEPAF作为第一种基于NF的IDT方法，可以从仅强度和有限角度的测量值中学习RI体积的高质量连续表示。 DECAF中的表示形式是通过使用IDT向前模型直接从测试样品的测量值中学到的，而无需任何地面真相图。我们对模拟和实验生物学样品进行定性和定量评估DECAF。我们的结果表明，DECAF可以生成高对比度和无伪影RI图，并导致MSE超过现有方法的2.1倍。

CT和MRI是两种广泛使用的临床成像方式，用于非侵入性诊断。然而，这两种方式都有一定的问题。 CT使用有害电离辐射，MRI患有缓慢的采集速度。欠采样可以解决这两个问题，例如稀疏抽样。然而，这种向下采样的数据导致降低分辨率并引入人工制品。已经提出了几种技术，包括基于深度的学习方法，以重建此类数据。然而，这两个方式的欠采样重建问题总是被认为是两个不同的问题，并通过不同的研究工作分开解决。本文通过在径向MRI上应用傅立叶变换的预处理来实现稀疏CT和缺口MRI重建的统一解决方案，然后使用SCOMAGE ups采样与滤波后投影结合使用SCOMAGE Cups采样来实现的基于傅里叶变换的预处理。原始网络是一种基于深度学习的方法，用于重建稀疏采样的CT数据。本文介绍了原始 - 双工UNET，从精度和重建速度方面提高了原始双网络。所提出的方法导致平均SSSIM为0.932，同时对风扇束几何进行稀疏CT重建，其稀疏水平为16，实现了对先前模型的统计上显着的改进，这导致0.919。此外，所提出的模型导致0.903和0.957平均SSIM，同时重建具有16-统计上显着改善的加速因子，在原始模型上重建了缺乏采样的脑和腹部MRI数据，这导致0.867和0.949。最后，本文表明，所提出的网络不仅提高了整体图像质量，而且还提高了兴趣区域的图像质量;以及在针的存在下更好地推广。

Physically based rendering of complex scenes can be prohibitively costly with a potentially unbounded and uneven distribution of complexity across the rendered image. The goal of an ideal level of detail (LoD) method is to make rendering costs independent of the 3D scene complexity, while preserving the appearance of the scene. However, current prefiltering LoD methods are limited in the appearances they can support due to their reliance of approximate models and other heuristics. We propose the first comprehensive multi-scale LoD framework for prefiltering 3D environments with complex geometry and materials (e.g., the Disney BRDF), while maintaining the appearance with respect to the ray-traced reference. Using a multi-scale hierarchy of the scene, we perform a data-driven prefiltering step to obtain an appearance phase function and directional coverage mask at each scale. At the heart of our approach is a novel neural representation that encodes this information into a compact latent form that is easy to decode inside a physically based renderer. Once a scene is baked out, our method requires no original geometry, materials, or textures at render time. We demonstrate that our approach compares favorably to state-of-the-art prefiltering methods and achieves considerable savings in memory for complex scenes.

光学系统的可区分模拟可以与基于深度学习的重建网络结合使用，以通过端到端（E2E）优化光学编码器和深度解码器来实现高性能计算成像。这使成像应用程序（例如3D定位显微镜，深度估计和无透镜摄影）通过优化局部光学编码器。更具挑战性的计算成像应用，例如将3D卷压入单个2D图像的3D快照显微镜，需要高度非本地光学编码器。我们表明，现有的深网解码器具有局部性偏差，可防止这种高度非本地光学编码器的优化。我们使用全球内核傅里叶卷积神经网络（Fouriernets）基于浅神经网络体系结构的解码器来解决此问题。我们表明，在高度非本地分散镜头光学编码器捕获的照片中，傅立叶网络超过了现有的基于网络的解码器。此外，我们表明傅里叶可以对3D快照显微镜的高度非本地光学编码器进行E2E优化。通过将傅立叶网和大规模多GPU可区分的光学模拟相结合，我们能够优化非本地光学编码器170 $ \ times $ \ times $ tos 7372 $ \ times $ \ times $ \ times $比以前的最新状态，并证明了ROI的潜力-type特定的光学编码使用可编程显微镜。

Ever since the first microscope by Zacharias Janssen in the late 16th century, scientists have been inventing new types of microscopes for various tasks. Inventing a novel architecture demands years, if not decades, worth of scientific experience and creativity. In this work, we introduce Differentiable Microscopy ($\partial\mu$), a deep learning-based design paradigm, to aid scientists design new interpretable microscope architectures. Differentiable microscopy first models a common physics-based optical system however with trainable optical elements at key locations on the optical path. Using pre-acquired data, we then train the model end-to-end for a task of interest. The learnt design proposal can then be simplified by interpreting the learnt optical elements. As a first demonstration, based on the optical 4-$f$ system, we present an all-optical quantitative phase microscope (QPM) design that requires no computational post-reconstruction. A follow-up literature survey suggested that the learnt architecture is similar to the generalized phase contrast method developed two decades ago. Our extensive experiments on multiple datasets that include biological samples show that our learnt all-optical QPM designs consistently outperform existing methods. We experimentally verify the functionality of the optical 4-$f$ system based QPM design using a spatial light modulator. Furthermore, we also demonstrate that similar results can be achieved by an uninterpretable learning based method, namely diffractive deep neural networks (D2NN). The proposed differentiable microscopy framework supplements the creative process of designing new optical systems and would perhaps lead to unconventional but better optical designs.

在呼吸运动下重建肺部锥体束计算机断层扫描（CBCT）是一个长期的挑战。这项工作更进一步，以解决一个具有挑战性的设置，以重建仅来自单个} 3D CBCT采集的多相肺图像。为此，我们介绍了对观点或Regas的概述综合。 Regas提出了一种自我监督的方法，以合成不足的层析成像视图并减轻重建图像中的混叠伪像。该方法可以更好地估计相间变形矢量场（DVF），这些矢量场（DVF）用于增强无合成的直接观察结果的重建质量。为了解决高分辨率4D数据上深神经网络的庞大记忆成本，Regas引入了一种新颖的射线路径变换（RPT），该射线路径转换（RPT）允许分布式，可区分的远期投影。 REGA不需要其他量度尺寸，例如先前的扫描，空气流量或呼吸速度。我们的广泛实验表明，REGA在定量指标和视觉质量方面的表现明显优于可比的方法。

金属伪影校正是锥形束计算机断层扫描（CBCT）扫描中的一个具有挑战性的问题。插入解剖结构的金属植入物在重建图像中导致严重的伪影。广泛使用的基于介入的金属伪像减少（MAR）方法需要对投影中的金属痕迹进行分割，这是一项艰巨的任务。一种方法是使用深度学习方法来细分投影中的金属。但是，深度学习方法的成功受到现实培训数据的可用性的限制。由于植入物边界和大量预测，获得可靠的地面真相注释是充满挑战和耗时的。我们建议使用X射线模拟从临床CBCT扫描中生成合成金属分割训练数据集。我们比较具有不同数量的光子的仿真效果，还比较了几种培训策略以增加可用数据。我们将模型在真实临床扫描中的性能与常规阈值MAR和最近的深度学习方法进行比较。我们表明，具有相对较少光子的模拟适用于金属分割任务，并且用全尺寸和裁剪的投影训练深度学习模型共同提高了模型的鲁棒性。我们显示出受严重运动，体素尺寸下采样和落水量金属影响的图像质量的显着改善。我们的方法可以轻松地在现有的基于投影的MAR管道中实现，以提高图像质量。该方法可以为准确分割CBCT投影中的金属提供新的范式。

相干显微镜技术提供了跨科学和技术领域的材料的无与伦比的多尺度视图，从结构材料到量子设备，从综合电路到生物细胞。在构造更明亮的来源和高速探测器的驱动下，连贯的X射线显微镜方法（如Ptychography）有望彻底改变纳米级材料的特征。但是，相关的数据和计算需求显着增加意味着，常规方法不再足以从高速相干成像实验实时恢复样品图像。在这里，我们演示了一个工作流程，该工作流利用边缘的人工智能和高性能计算，以实现直接从检测器直接从检测器流出的X射线ptychography数据实时反演。拟议的AI支持的工作流程消除了传统的Ptychography施加的采样约束，从而使用比传统方法所需的数据较少的数据级允许低剂量成像。

在目前的工作中，我们提出了一个自制的坐标投影网络（范围），以通过解决逆断层扫描成像问题来从单个SV正弦图中重建无伪像的CT图像。与使用隐式神经代表网络（INR）解决类似问题的最新相关工作相比，我们的基本贡献是一种有效而简单的重新注射策略，可以将层析成像图像重建质量推向监督的深度学习CT重建工作。提出的策略是受线性代数与反问题之间的简单关系的启发。为了求解未确定的线性方程式系统，我们首先引入INR以通过图像连续性之前限制解决方案空间并实现粗糙解决方案。其次，我们建议生成一个密集的视图正式图，以改善线性方程系统的等级并产生更稳定的CT图像解决方案空间。我们的实验结果表明，重新投影策略显着提高了图像重建质量（至少为PSNR的+3 dB）。此外，我们将最近的哈希编码集成到我们的范围模型中，这极大地加速了模型培训。最后，我们评估并联和风扇X射线梁SVCT重建任务的范围。实验结果表明，所提出的范围模型优于两种基于INR的方法和两种受欢迎的监督DL方法。

通过动态散射介质进行非侵入性光学成像具有许多重要的生物医学应用，但仍然是一项艰巨的任务。尽管标准弥漫成像方法测量光吸收或荧光发射，但也良好的是，散射的相干光的时间相关性通过组织像光强度一样扩散。然而，迄今为止，很少有作品旨在通过实验测量和处理这种时间相关数据，以证明去相关动力学的深度组织视频重建。在这项工作中，我们利用单光子雪崩二极管（SPAD）阵列摄像机同时监视单photon水平的斑点波动的时间动力学，从12种不同的幻影组织通过定制的纤维束阵列传递的位置。然后，我们应用深度神经网络将所获得的单光子测量值转换为迅速去摩擦组织幻像下散射动力学的视频。我们证明了重建瞬态（0.1-0.4s）动态事件的图像的能力，该动态事件发生在非相关的组织幻影下，并以毫米级分辨率进行重构，并突出显示我们的模型如何灵活地扩展到埋藏的phantom船只内的流速。

由于成像硬件和重建算法的重大进展，计算成像拐角处或非视线（NLOS）成像的方法正在成为现实。 NAM等人的最新发展NLOS成像。展示了一个高速非焦距成像系统，其运行速度为5Hz，比以前的ART快100倍。然而，这种巨大的采集率增长需要在光传输中进行大量近似，打破了许多现有的NLOS重建方法，这些方法采用了理想化的图像形成模型。为了弥合差距，我们提出了一个新颖的深层模型，该模型结合了波传播和体积渲染的互补物理学先验，以进行高质量和强大的NLOS重建。该精心策划的设计通过放松图像形成模型来规范解决方案空间，从而产生了一个深层模型，尽管在合成数据上只接受了专门的培训，但在真实捕获上却很好地概括了。此外，我们设计了一个统一的学习框架，使我们的模型能够使用各种监督信号（包括目标强度图像甚至RAW NLOS瞬态测量）灵活训练我们的模型。一旦受过训练，我们的模型就会在一次前传球中的推理时间呈现强度和深度图像，能够在高端GPU上处理超过5个以上的捕获。通过广泛的定性和定量实验，我们表明我们的方法的表现优于先前的物理和基于学习的方法，同时基于合成和实际测量。我们预计，我们的方法以及快速捕获系统将加速NLOS成像的未来开发，用于需要高速成像的现实世界应用。

Cone beam computed tomography (CBCT) has been widely used in clinical practice, especially in dental clinics, while the radiation dose of X-rays when capturing has been a long concern in CBCT imaging. Several research works have been proposed to reconstruct high-quality CBCT images from sparse-view 2D projections, but the current state-of-the-arts suffer from artifacts and the lack of fine details. In this paper, we propose SNAF for sparse-view CBCT reconstruction by learning the neural attenuation fields, where we have invented a novel view augmentation strategy to overcome the challenges introduced by insufficient data from sparse input views. Our approach achieves superior performance in terms of high reconstruction quality (30+ PSNR) with only 20 input views (25 times fewer than clinical collections), which outperforms the state-of-the-arts. We have further conducted comprehensive experiments and ablation analysis to validate the effectiveness of our approach.

我们提出了一个具有物理信息的神经网络，作为生物样品层析成像重建的正向模型。我们证明，通过用Helmholtz方程训练该网络作为物理损失，我们可以准确预测散射场。可以证明，可以对不同的样本进行微调的验证网络，并用于与其他数值解决方案更快地解决散射问题。我们通过数值和实验结果评估我们的方法。我们的物理知识神经网络可以推广到任何前进和反向散射问题。

最近，由于高性能，深度学习方法已成为生物学图像重建和增强问题的主要研究前沿，以及其超快速推理时间。但是，由于获得监督学习的匹配参考数据的难度，对不需要配对的参考数据的无监督学习方法越来越兴趣。特别是，已成功用于各种生物成像应用的自我监督的学习和生成模型。在本文中，我们概述了在古典逆问题的背景下的连贯性观点，并讨论其对生物成像的应用，包括电子，荧光和去卷积显微镜，光学衍射断层扫描和功能性神经影像。