A large portion of today's world population suffer from vision impairments and wear prescription eyeglasses. However, eyeglasses causes additional bulk and discomfort when used with augmented and virtual reality headsets, thereby negatively impacting the viewer's visual experience. In this work, we remedy the usage of prescription eyeglasses in Virtual Reality (VR) headsets by shifting the optical complexity completely into software and propose a prescription-aware rendering approach for providing sharper and immersive VR imagery. To this end, we develop a differentiable display and visual perception model encapsulating display-specific parameters, color and visual acuity of human visual system and the user-specific refractive errors. Using this differentiable visual perception model, we optimize the rendered imagery in the display using stochastic gradient-descent solvers. This way, we provide prescription glasses-free sharper images for a person with vision impairments. We evaluate our approach on various displays, including desktops and VR headsets, and show significant quality and contrast improvements for users with vision impairments.

Spatially varying spectral modulation can be implemented using a liquid crystal spatial light modulator (SLM) since it provides an array of liquid crystal cells, each of which can be purposed to act as a programmable spectral filter array. However, such an optical setup suffers from strong optical aberrations due to the unintended phase modulation, precluding spectral modulation at high spatial resolutions. In this work, we propose a novel computational approach for the practical implementation of phase SLMs for implementing spatially varying spectral filters. We provide a careful and systematic analysis of the aberrations arising out of phase SLMs for the purposes of spatially varying spectral modulation. The analysis naturally leads us to a set of "good patterns" that minimize the optical aberrations. We then train a deep network that overcomes any residual aberrations, thereby achieving ideal spectral modulation at high spatial resolution. We show a number of unique operating points with our prototype including dynamic spectral filtering, material classification, and single- and multi-image hyperspectral imaging.

计算机生成的全息图（CGH）算法在匹配模拟与物理全息显示的结果中通常不足。我们的工作通过学习全息图显示中的全息光传输来解决这一不匹配。使用摄像头和全息显示器，我们捕获了依靠理想模拟生成数据集的优化全息图的图像重建。受理想模拟的启发，我们学习了一个复杂的价值卷积内核，该内核可以传播给定的全息图，以在我们的数据集中捕获的照片。我们的方法可以显着提高全息图显示中的模拟精度和图像质量，同时为身体知情的学习方法铺平道路。

在许多重要的科学和工程应用中发现了卷数据。渲染此数据以高质量和交互速率为苛刻的应用程序（例如虚拟现实）的可视化化，即使使用专业级硬件也无法实现。我们介绍了Fovolnet - 一种可显着提高数量数据可视化的性能的方法。我们开发了一种具有成本效益的渲染管道，该管道稀疏地对焦点进行了量度，并使用深层神经网络重建了全帧。 FOVEATED渲染是一种优先考虑用户焦点渲染计算的技术。这种方法利用人类视觉系统的属性，从而在用户视野的外围呈现数据时节省了计算资源。我们的重建网络结合了直接和内核预测方法，以产生快速，稳定和感知令人信服的输出。凭借纤细的设计和量化的使用，我们的方法在端到端框架时间和视觉质量中都优于最先进的神经重建技术。我们对系统的渲染性能，推理速度和感知属性进行了广泛的评估，并提供了与竞争神经图像重建技术的比较。我们的测试结果表明，Fovolnet始终在保持感知质量的同时，在传统渲染上节省了大量时间。

近年来已经提出了显示屏下的显示器，作为减少移动设备的形状因子的方式，同时最大化屏幕区域。不幸的是，将相机放在屏幕后面导致显着的图像扭曲，包括对比度，模糊，噪音，色移，散射伪像和降低光敏性的损失。在本文中，我们提出了一种图像恢复管道，其是ISP-Annostic，即它可以与任何传统ISP组合，以产生使用相同的ISP与常规相机外观匹配的最终图像。这是通过执行Raw-Raw Image Restoration的深度学习方法来实现的。为了获得具有足够对比度和场景多样性的大量实际展示摄像机培训数据，我们还开发利用HDR监视器的数据捕获方法，以及数据增强方法以产生合适的HDR内容。监视器数据补充有现实世界的数据，该数据具有较少的场景分集，但允许我们实现细节恢复而不受监视器分辨率的限制。在一起，这种方法成功地恢复了颜色和对比度以及图像细节。

Fast and easy handheld capture with guideline: closest object moves at most D pixels between views Promote sampled views to local light field via layered scene representation Blend neighboring local light fields to render novel views

光学系统的可区分模拟可以与基于深度学习的重建网络结合使用，以通过端到端（E2E）优化光学编码器和深度解码器来实现高性能计算成像。这使成像应用程序（例如3D定位显微镜，深度估计和无透镜摄影）通过优化局部光学编码器。更具挑战性的计算成像应用，例如将3D卷压入单个2D图像的3D快照显微镜，需要高度非本地光学编码器。我们表明，现有的深网解码器具有局部性偏差，可防止这种高度非本地光学编码器的优化。我们使用全球内核傅里叶卷积神经网络（Fouriernets）基于浅神经网络体系结构的解码器来解决此问题。我们表明，在高度非本地分散镜头光学编码器捕获的照片中，傅立叶网络超过了现有的基于网络的解码器。此外，我们表明傅里叶可以对3D快照显微镜的高度非本地光学编码器进行E2E优化。通过将傅立叶网和大规模多GPU可区分的光学模拟相结合，我们能够优化非本地光学编码器170 $ \ times $ \ times $ tos 7372 $ \ times $ \ times $ \ times $比以前的最新状态，并证明了ROI的潜力-type特定的光学编码使用可编程显微镜。

虚拟现实（VR）耳机提供了一种身临其境的立体视觉体验，但以阻止用户直接观察其物理环境的代价。传递技术旨在通过利用向外的摄像头来重建否则没有耳机的用户可以看到的图像来解决此限制。这本质上是一个实时视图综合挑战，因为传递摄像机不能与眼睛进行物理共同。现有的通行技术会遭受分散重建工件的注意力，这主要是由于缺乏准确的深度信息（尤其是对于近场和分离的物体），并且表现出有限的图像质量（例如，低分辨率和单色）。在本文中，我们提出了第一种学习的传递方法，并使用包含立体声对RGB摄像机的自定义VR耳机评估其性能。通过模拟和实验，我们证明了我们所学的传递方法与最先进的方法相比提供了卓越的图像质量，同时满足了实时的，透视透视的立体视图综合的严格VR要求，从而在广泛的视野上综合用于桌面连接的耳机。

随着消费者显示和商业VR平台的兴起，虚拟现实（VR）变得无处不在。这样的显示器需要低潜伏期和高质量的合成成像，并减少了计算开销。神经渲染的最新进展显示出通过虚拟或物理环境的基于图像的表示，可以在3D计算机图形中解锁新的可能性。具体而言，神经辐射场（NERF）表明，可以实现光真逼真的质量和连续的3D场景变化，而不会丧失依赖观点的效果。尽管NERF可以显着利益VR应用程序的渲染，但它面临着高度视野，高分辨率和立体/中心观看的独特挑战，通常会导致渲染图像的低质量和高潜伏期。在VR中，这不仅会损害互动经历，还可能引起疾病。为了解决VR中的六级自由主义者和立体声的问题，我们介绍了第一个注视 - 矛盾的3D神经表示和视图合成方法。我们将视觉和立体声音的人类心理物理学融入了3D风景的以自我为中心的神经表示中。然后，我们共同优化了延迟/性能和视觉质量，同时相互弥合人类的感知和神经场景合成以实现感知高质量的沉浸式相互作用。我们进行了客观分析和主观研究，以评估方法的有效性。我们发现，我们的方法显着降低了潜伏期（与NERF相比，时间降低了99％），而不会损失高保真渲染（感知上与完整的地面真相相同）。提出的方法可以作为迈向未来VR/AR系统的第一步，该系统可实时捕获，传送和可视化远程环境。

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

波前调节器的限制空间散宽产品（SBP）阻碍了大型视野（FOV）上图像的高分辨率合成/投影。我们报告了一种深度学习的衍射显示设计，该设计基于一对训练的电子编码器和衍射光学解码器，用于合成/项目超级分辨图像，使用低分辨率波形调节器。由训练有素的卷积神经网络（CNN）组成的数字编码器迅速预处理了感兴趣的高分辨率图像，因此它们的空间信息被编码为低分辨率（LR）调制模式，该模式通过低SBP Wavefront调制器投影。衍射解码器使用薄的传播层处理该LR编码的信息，这些层是使用深度学习构成的，以在其输出FOV处进行全面合成和项目超级分辨图像。我们的结果表明，这种衍射图像显示可以达到〜4的超分辨率因子，表明SBP增加了约16倍。我们还使用3D打印的衍射解码器在THZ光谱上进行实验验证了这种衍射超分辨率显示器的成功。该衍射图像解码器可以缩放以在可见的波长下运行，并激发紧凑，低功率和计算效率的大型FOV和高分辨率显示器的设计。

数码相机通过图像信号处理器（ISP）将传感器原始读数转换为RGB图像。诸如图像去噪和颜色恒定的计算摄影任务通常在原始域中进行，部分原因是由于固有的硬件设计，而且由于引起了由直接传感器读数导致的噪声统计的吸引力的吸引力。尽管如此，与可用RGB数据的丰富和多样性相比，原始图像的可用性有限。最近的方法已经尝试通过估计RGB对原始映射来弥合这个差距：可手工制作的基于模型的方法，这些方法通常需要手动参数微调，而端到端的学习神经网络需要大量的培训数据，有时与复杂的训练程序，并且通常缺乏解释性和参数控制。为了解决这些现有的限制，我们提出了一种基于混合模型的基于混合模型和数据驱动的ISP，其构建在规范ISP运营中，并且是学习和可解释的。我们所提出的可逆模型，能够在原始和RGB域之间双向映射，采用丰富的参数表示的端到端学习，即词典，即没有直接参数监督，另外启用简单且合理的数据增强。我们证明我们的数据生成过程的价值在原始图像重建和原始图像去噪任务下，在两者中获得最先进的性能。此外，我们表明我们的ISP可以从少数数据样本中学习有意义的映射，并且尽管只有少数或零地面标签，但基于大字典的数据增强训练的那种培训的培训模型是有竞争力的。

Lensless cameras are a class of imaging devices that shrink the physical dimensions to the very close vicinity of the image sensor by replacing conventional compound lenses with integrated flat optics and computational algorithms. Here we report a diffractive lensless camera with spatially-coded Voronoi-Fresnel phase to achieve superior image quality. We propose a design principle of maximizing the acquired information in optics to facilitate the computational reconstruction. By introducing an easy-to-optimize Fourier domain metric, Modulation Transfer Function volume (MTFv), which is related to the Strehl ratio, we devise an optimization framework to guide the optimization of the diffractive optical element. The resulting Voronoi-Fresnel phase features an irregular array of quasi-Centroidal Voronoi cells containing a base first-order Fresnel phase function. We demonstrate and verify the imaging performance for photography applications with a prototype Voronoi-Fresnel lensless camera on a 1.6-megapixel image sensor in various illumination conditions. Results show that the proposed design outperforms existing lensless cameras, and could benefit the development of compact imaging systems that work in extreme physical conditions.

高光谱图像（HSI）没有额外辅助图像的超分辨率仍然是由于其高维光谱图案的恒定挑战，其中学习有效的空间和光谱表示是基本问题。最近，隐式的神经表示（INR）正在进行进步，作为新颖且有效的代表，特别是在重建任务中。因此，在这项工作中，我们提出了一种基于INR的新颖的HSI重建模型，其通过将空间坐标映射到其对应的光谱辐射值值的连续函数来表示HSI。特别地，作为INR的特定实现，参数模型的参数是通过使用卷积网络在特征提取的超通知来预测的。它使连续功能以内容感知方式将空间坐标映射到像素值。此外，周期性空间编码与重建过程深度集成，这使得我们的模型能够恢复更高的频率细节。为了验证我们模型的功效，我们在三个HSI数据集（洞穴，NUS和NTIRE2018）上进行实验。实验结果表明，与最先进的方法相比，该建议的模型可以实现竞争重建性能。此外，我们提供了对我们模型各个组件的效果的消融研究。我们希望本文可以服务器作为未来研究的效率参考。

One of the main challenges in deep learning-based underwater image enhancement is the limited availability of high-quality training data. Underwater images are difficult to capture and are often of poor quality due to the distortion and loss of colour and contrast in water. This makes it difficult to train supervised deep learning models on large and diverse datasets, which can limit the model's performance. In this paper, we explore an alternative approach to supervised underwater image enhancement. Specifically, we propose a novel unsupervised underwater image enhancement framework that employs a conditional variational autoencoder (cVAE) to train a deep learning model with probabilistic adaptive instance normalization (PAdaIN) and statistically guided multi-colour space stretch that produces realistic underwater images. The resulting framework is composed of a U-Net as a feature extractor and a PAdaIN to encode the uncertainty, which we call UDnet. To improve the visual quality of the images generated by UDnet, we use a statistically guided multi-colour space stretch module that ensures visual consistency with the input image and provides an alternative to training using a ground truth image. The proposed model does not need manual human annotation and can learn with a limited amount of data and achieves state-of-the-art results on underwater images. We evaluated our proposed framework on eight publicly-available datasets. The results show that our proposed framework yields competitive performance compared to other state-of-the-art approaches in quantitative as well as qualitative metrics. Code available at https://github.com/alzayats/UDnet .

where the highest resolution is required, using facial performance capture as a case in point.

随着高动态范围（HDR）摄影的日益普及和可访问性，用于动态范围压缩和中等呈现的音调映射操作员（TMO）实际上是要求的。在本文中，我们开发了一种基于生物学的，计算效率和感知优化的两阶段神经网络图像TMO。在第一阶段，由人类视觉系统（HVS）早期阶段的生理学动机，我们首先将HDR图像分解为标准化的Laplacian金字塔。然后，我们使用两个轻巧的深神经网络（DNN），将这种归一化表示作为输入并估计相应LDR图像的拉普拉斯金字塔。我们通过最小化标准化的拉普拉斯金字塔距离（NLPD）来优化音调映射网络，这是一种对人类对音调映射图像质量判断的校准的感知度量。在第二阶段中，我们通过输入HDR图像``校准''，生成具有不同颜色饱和度和细节可见性的伪型曝光图像堆栈。然后，我们通过最大化MEF-SSIM的变体，这是另一个具有感知校准的度量以进行图像融合，将另一个轻巧的DNN训练将LDR图像堆叠融合到所需的LDR图像中。通过这样做，提出的TMO是完全自动的，以映射未校准的HDR图像。在一组独立的HDR图像中，我们发现我们的方法生成具有更好的视觉质量的图像，并且是本地最快的TMO之一。

来自单个运动模糊图像的视频重建是一个具有挑战性的问题，可以增强现有的相机的能力。最近，几种作品使用传统的成像和深度学习解决了这项任务。然而，由于方向模糊和噪声灵敏度，这种纯粹 - 数字方法本质上是有限的。一些作品提出使用非传统图像传感器解决这些限制，然而，这种传感器非常罕见和昂贵。为了使这些限制具有更简单的方法，我们提出了一种用于视频重建的混合光学 - 数字方法，其仅需要对现有光学系统的简单修改。在图像采集期间，在镜头孔径中使用学习的动态相位编码以对运动轨迹进行编码，该运动轨迹用作视频重建过程的先前信息。使用图像到视频卷积神经网络，所提出的计算相机以各种编码运动模糊图像的各种帧速率产生锐帧帧突发。与现有方法相比，我们使用模拟和现实世界的相机原型表现了优势和改进的性能。

由少量镜头组成的全景环形镜头（PAL）在全景周围具有巨大潜力，该镜头围绕着移动和可穿戴设备的传感任务，因为其尺寸很小，并且视野很大（FOV）。然而，由于缺乏畸变校正的镜头，小体积PAL的图像质量仅限于光学极限。在本文中，我们提出了一个环形计算成像（ACI）框架，以打破轻质PAL设计的光学限制。为了促进基于学习的图像恢复，我们引入了基于波浪的模拟管道，用于全景成像，并通过多个数据分布来应对合成间隙。提出的管道可以轻松地适应具有设计参数的任何PAL，并且适用于宽松的设计。此外，我们考虑了全景成像和物理知识学习的物理先验，我们设计了物理知情的图像恢复网络（PI2RNET）。在数据集级别，我们创建了Divpano数据集，其广泛的实验表明，我们提出的网络在空间变化的降级下在全景图像恢复中设置了新的最新技术。此外，对只有3个球形镜头的简单PAL上提议的ACI的评估揭示了高质量全景成像与紧凑设计之间的微妙平衡。据我们所知，我们是第一个探索PAL中计算成像（CI）的人。代码和数据集将在https://github.com/zju-jiangqi/aci-pi2rnet上公开提供。