基于深度学习的潜在表示已被广泛用于众多科学可视化应用，例如等法相似性分析，音量渲染，流场合成和数据减少，仅举几例。但是，现有的潜在表示主要以无监督的方式从原始数据生成，这使得很难合并域兴趣以控制潜在表示的大小和重建数据的质量。在本文中，我们提出了一种新颖的重要性驱动的潜在表示，以促进领域利益引导的科学数据可视化和分析。我们利用空间重要性图来代表各种科学利益，并将它们作为特征转化网络的输入来指导潜在的生成。我们通过与自动编码器一起训练的无损熵编码算法，进一步降低了潜在尺寸，从而提高了存储和存储效率。我们通过多个科学可视化应用程序的数据进行定性和定量评估我们方法产生的潜图的有效性和效率。

我们提出了VDL-Surogate，这是一种基于视图的神经网络贴属替代模型，用于集合模拟的参数空间探索，该模拟允许高分辨率可视化和用户指定的视觉映射。支持替代物的参数空间探索允许域科学家预览模拟结果，而无需运行大量计算成本的模拟。但是，受计算资源的限制，现有的替代模型可能无法产生以可视化和分析的足够分辨率的预览。为了提高计算资源的有效利用并支持高分辨率探索，我们从不同的角度进行射线铸造以收集样品并产生紧凑的潜在表示。这种潜在的编码过程降低了替代模型培训的成本，同时保持产出质量。在模型训练阶段，我们选择观点以覆盖整个观看球体，并为所选观点提供相应的VDL-Surrogate模型。在模型推理阶段，我们在先前选择的观点上预测潜在表示，并将潜在表示形式解码为数据空间。对于任何给定的观点，我们在选定的观点上对解码数据进行插值，并使用用户指定的视觉映射生成可视化。我们展示了VDL-Surogate在宇宙学和海洋模拟中的有效性和效率，并具有定量和定性评估。源代码可在\ url {https://github.com/trainsn/vdl-surrogate}上公开获得。

科学数据中的关系，例如单变量数据中特征的数值和空间分布关系，多元数据中的标量值组合的关系以及时间变化和整体数据中的体积的关联，是复杂且复杂的。本文介绍了一种新型的无监督表示学习模型Voxel2Vec，该模型用于在低维矢量空间中学习标量值/标量值组合的分布式表示。它的基本假设是，如果两个标量值/标量值组合具有相似的上下文，则它们通常在特征方面具有很高的相似性。通过将标量值/标量值组合表示为符号，voxel2vec在空间分布的背景下了解它们之间的相似性，然后允许我们通过传输预测来探索卷之间的整体关联。我们通过将其与单变量数据的等速度相似性图进行比较，并将学习的分布式表示形式与多变量数据分类以及用于时间变化和集合数据的关联分析来证明voxel2vec的有用性和有效性。

遇到错误的损耗压缩正成为必不可少的技术，即当今科学项目的成功，并在模拟或仪器数据获取过程中产生了大量数据。它不仅可以显着减少数据大小，而且还可以基于用户指定的错误界限控制压缩错误。自动编码器（AE）模型已被广泛用于图像压缩中，但是很少有基于AE的压缩方法支持遇到错误的功能，这是科学应用所要求的。为了解决这个问题，我们使用卷积自动编码器探索以改善科学数据的错误损失压缩，并提供以下三个关键贡献。 （1）我们对各种自动编码器模型的特性进行了深入的研究，并根据SZ模型开发了基于错误的自动编码器的框架。 （2）我们在设计的基于AE的错误压缩框架中优化了主要阶段的压缩质量，并微调块大小和潜在尺寸，并优化了潜在向量的压缩效率。 （3）我们使用五个现实世界的科学数据集评估了我们提出的解决方案，并将其与其他六项相关作品进行了比较。实验表明，我们的解决方案在测试中的所有压缩机中表现出非常具有竞争性的压缩质量。从绝对的角度来看，与SZ2.1和ZFP相比，在高压比的情况下，它可以获得更好的压缩质量（压缩率和相同数据失真的100％〜800％提高）。

where the highest resolution is required, using facial performance capture as a case in point.

尽管神经场景表示的潜力能够在高重建质量下有效压缩3D标量场，但使用场景表示网络的训练和数据重建步骤的计算复杂性限制了它们在实际应用中的使用。在本文中，我们分析了是否可以修改场景表示网络以减少这些限制以及这些架构是否也可以用于时间重建任务。我们提出了一种使用GPU Tensor核心的场景表示网络设计，将重建无缝化为片上芯片的横梁内核。此外，我们调查使用图像引导网络培训作为典型数据驱动方法的替代方案，我们探索了这种替代品质量和速度的潜在优势和缺点。作为时变字段的空间超分辨率方法的替代方案，我们提出了一种在潜在空间插值上建立的解决方案，以使任意粒度的随机访问重建。我们以评估科学可视化任务和概述未来研究方向的现场代表网络的优势和局限性的形式总结了我们的调查结果。

Physically based rendering of complex scenes can be prohibitively costly with a potentially unbounded and uneven distribution of complexity across the rendered image. The goal of an ideal level of detail (LoD) method is to make rendering costs independent of the 3D scene complexity, while preserving the appearance of the scene. However, current prefiltering LoD methods are limited in the appearances they can support due to their reliance of approximate models and other heuristics. We propose the first comprehensive multi-scale LoD framework for prefiltering 3D environments with complex geometry and materials (e.g., the Disney BRDF), while maintaining the appearance with respect to the ray-traced reference. Using a multi-scale hierarchy of the scene, we perform a data-driven prefiltering step to obtain an appearance phase function and directional coverage mask at each scale. At the heart of our approach is a novel neural representation that encodes this information into a compact latent form that is easy to decode inside a physically based renderer. Once a scene is baked out, our method requires no original geometry, materials, or textures at render time. We demonstrate that our approach compares favorably to state-of-the-art prefiltering methods and achieves considerable savings in memory for complex scenes.

In recent years, neural image compression (NIC) algorithms have shown powerful coding performance. However, most of them are not adaptive to the image content. Although several content adaptive methods have been proposed by updating the encoder-side components, the adaptability of both latents and the decoder is not well exploited. In this work, we propose a new NIC framework that improves the content adaptability on both latents and the decoder. Specifically, to remove redundancy in the latents, our content adaptive channel dropping (CACD) method automatically selects the optimal quality levels for the latents spatially and drops the redundant channels. Additionally, we propose the content adaptive feature transformation (CAFT) method to improve decoder-side content adaptability by extracting the characteristic information of the image content, which is then used to transform the features in the decoder side. Experimental results demonstrate that our proposed methods with the encoder-side updating algorithm achieve the state-of-the-art performance.

神经网络在压缩体积数据以进行科学可视化方面表现出巨大的潜力。但是，由于训练和推断的高成本，此类体积神经表示仅应用于离线数据处理和非交互式渲染。在本文中，我们证明，通过同时利用现代的GPU张量核心，本地CUDA神经网络框架以及在线培训，我们可以使用体积神经表示来实现高性能和高效率交互式射线追踪。此外，我们的方法是完全概括的，可以适应时变的数据集。我们提出了三种用于在线培训的策略，每种策略都利用GPU，CPU和核心流程技术的不同组合。我们还开发了三个渲染实现，允许交互式射线跟踪与实时卷解码，示例流和幕后神经网络推断相结合。我们证明，我们的体积神经表示可以扩展到Terascale，以进行常规网格体积可视化，并可以轻松地支持不规则的数据结构，例如OpenVDB，非结构化，AMR和粒子体积数据。

我们介绍了NeuralVDB，它通过利用机器学习的最新进步来提高现有的行业标准，以有效地存储稀疏体积数据，表示VDB。我们的新型混合数据结构可以通过数量级来减少VDB体积的内存足迹，同时保持其灵活性，并且只会产生一个小（用户控制的）压缩误差。具体而言，NeuralVDB用多个层次神经网络替换了浅和宽VDB树结构的下节点，这些神经网络分别通过神经分类器和回归器分别编码拓扑和价值信息。这种方法已证明可以最大化压缩比，同时保持高级VDB数据结构提供的空间适应性。对于稀疏的签名距离字段和密度量，我们已经观察到从已经压缩的VDB输入中的$ 10 \ times $ $ $ \ $ 100 \ $ 100 \ $ 100 \ $ 100 \ $ 100的压缩比，几乎没有可视化伪像。我们还展示了其在动画稀疏体积上的应用如何加速训练并产生时间连贯的神经网络。

在近期深度图像压缩神经网络中，熵模型在估计深度图像编码的先前分配时起着重要作用。现有方法将HydupRior与熵估计功能中的本地上下文组合。由于没有全球愿景，这大大限制了他们的表现。在这项工作中，我们提出了一种新的全局参考模型，用于图像压缩，以有效地利用本地和全局上下文信息，导致增强的压缩率。所提出的方法扫描解码的潜伏，然后找到最相关的潜伏，以帮助分布估计当前潜伏。这项工作的副产品是一种平均转换GDN模块的创新，进一步提高了性能。实验结果表明，所提出的模型优于行业中大多数最先进方法的速率变形性能。

最近，基于深度学习的图像压缩已取得了显着的进步，并且在主观度量和更具挑战性的客观指标中，与最新的传统方法H.266/vvc相比，取得了更好的评分（R-D）性能。但是，一个主要问题是，许多领先的学识渊博的方案无法保持绩效和复杂性之间的良好权衡。在本文中，我们提出了一个效率和有效的图像编码框架，该框架的复杂性比最高的状态具有相似的R-D性能。首先，我们开发了改进的多尺度残差块（MSRB），该块可以扩展容纳长石，并且更容易获得全球信息。它可以进一步捕获和减少潜在表示的空间相关性。其次，引入了更高级的重要性图网络，以自适应地分配位置到图像的不同区域。第三，我们应用2D定量后flter（PQF）来减少视频编码中样本自适应偏移量（SAO）flter的动机。此外，我们认为编码器和解码器的复杂性对图像压缩性能有不同的影响。基于这一观察结果，我们设计了一个不对称范式，其中编码器采用三个阶段的MSRB来提高学习能力，而解码器只需要一个srb的一个阶段就可以产生令人满意的重建，从而在不牺牲性能的情况下降低了解码的复杂性。实验结果表明，与最先进的方法相比，所提出方法的编码和解码时间速度约为17倍，而R-D性能仅在Kodak和Tecnick数据集中降低了1％，而R-D性能仅少于1％。它仍然比H.266/VVC（4：4：4）和其他基于学习的方法更好。我们的源代码可在https://github.com/fengyurenpingsheng上公开获得。

Data compression is becoming critical for storing scientific data because many scientific applications need to store large amounts of data and post process this data for scientific discovery. Unlike image and video compression algorithms that limit errors to primary data, scientists require compression techniques that accurately preserve derived quantities of interest (QoIs). This paper presents a physics-informed compression technique implemented as an end-to-end, scalable, GPU-based pipeline for data compression that addresses this requirement. Our hybrid compression technique combines machine learning techniques and standard compression methods. Specifically, we combine an autoencoder, an error-bounded lossy compressor to provide guarantees on raw data error, and a constraint satisfaction post-processing step to preserve the QoIs within a minimal error (generally less than floating point error). The effectiveness of the data compression pipeline is demonstrated by compressing nuclear fusion simulation data generated by a large-scale fusion code, XGC, which produces hundreds of terabytes of data in a single day. Our approach works within the ADIOS framework and results in compression by a factor of more than 150 while requiring only a few percent of the computational resources necessary for generating the data, making the overall approach highly effective for practical scenarios.

标量和矢量场的神经近似（例如签名距离函数和辐射场）已成为准确的高质量表示。最先进的结果是通过从可训练的特征网格中进行查找的调节来获得的，这些近似是按照学习任务的一部分，并允许较小，更有效的神经网络。不幸的是，与独立的神经网络模型相比，这些特征网格通常以明显增加的记忆消耗成本。我们提出了一种词典方法，用于压缩此类特征网格，将其内存消耗降低至100倍，并允许多分辨率表示，这对于核心外流很有用。我们将词典优化作为矢量定量的自动码头问题提出，使我们能够在没有直接监督以及具有动态拓扑和结构的空间中学习端到端离散的神经表示。我们的源代码将在https://github.com/nv-tlabs/vqad上找到。

基于学习的方法有效地促进了图像压缩社区。同时，基于变异的自动编码器（VAE）的可变速率方法最近引起了很多关注，以避免使用一组不同的网络来用于各种压缩率。尽管已经取得了显着的性能，但一旦执行了多个压缩/减压操作，这些方法将很容易损坏，从而导致图像质量将被大幅下降并且会出现强大的伪像。因此，我们试图解决高保真的细度可变速率图像压缩的问题，并提出可逆激活变换（IAT）模块。我们以单个速率可逆神经网络（INN）模型（Qlevel）以数学可逆的方式实施IAT，并将质量级别（QLevel）送入IAT，以产生缩放和偏置张量。 IAT和QLEVEL一起为图像压缩模型提供了罚款可变速率控制的能力，同时更好地保持图像保真度。广泛的实验表明，配备了我们IAT模块的单率图像压缩模型具有实现可变速率控制而无需任何妥协的能力。并且我们的IAT包裹模型通过最新的基于学习的图像压缩方法获得了可比的利率延伸性能。此外，我们的方法的表现优于最新的可变速率图像压缩方法，尤其是在多次重新编码之后。

对于许多技术领域的专业用户，例如医学，遥感，精密工程和科学研究，无损和近乎无情的图像压缩至关重要。但是，尽管在基于学习的图像压缩方面的研究兴趣迅速增长，但没有发表的方法提供无损和近乎无情的模式。在本文中，我们提出了一个统一而强大的深层损失加上残留（DLPR）编码框架，以实现无损和近乎无情的图像压缩。在无损模式下，DLPR编码系统首先执行有损压缩，然后执行残差的无损编码。我们在VAE的方法中解决了关节损失和残留压缩问题，并添加残差的自回归上下文模型以增强无损压缩性能。在近乎荒谬的模式下，我们量化了原始残差以满足给定的$ \ ell_ \ infty $错误绑定，并提出了可扩展的近乎无情的压缩方案，该方案适用于可变$ \ ell_ \ infty $ bunds而不是训练多个网络。为了加快DLPR编码，我们通过新颖的编码环境设计提高了算法并行化的程度，并以自适应残留间隔加速熵编码。实验结果表明，DLPR编码系统以竞争性的编码速度实现了最先进的无损和近乎无效的图像压缩性能。

Image compression is a fundamental research field and many well-known compression standards have been developed for many decades. Recently, learned compression methods exhibit a fast development trend with promising results. However, there is still a performance gap between learned compression algorithms and reigning compression standards, especially in terms of widely used PSNR metric. In this paper, we explore the remaining redundancy of recent learned compression algorithms. We have found accurate entropy models for rate estimation largely affect the optimization of network parameters and thus affect the rate-distortion performance. Therefore, in this paper, we propose to use discretized Gaussian Mixture Likelihoods to parameterize the distributions of latent codes, which can achieve a more accurate and flexible entropy model. Besides, we take advantage of recent attention modules and incorporate them into network architecture to enhance the performance. Experimental results demonstrate our proposed method achieves a state-of-the-art performance compared to existing learned compression methods on both Kodak and high-resolution datasets. To our knowledge our approach is the first work to achieve comparable performance with latest compression standard Versatile Video Coding (VVC) regarding PSNR. More importantly, our approach generates more visually pleasant results when optimized by MS-SSIM. The project page is at https://github.com/ZhengxueCheng/ Learned-Image-Compression-with-GMM-and-Attention.

学习的视频压缩最近成为开发高级视频压缩技术的重要研究主题，其中运动补偿被认为是最具挑战性的问题之一。在本文中，我们通过异质变形补偿策略（HDCVC）提出了一个学识渊博的视频压缩框架，以解决由单尺度可变形的特征域中单尺可变形核引起的不稳定压缩性能的问题。更具体地说，所提出的算法提取物从两个相邻框架中提取的算法提取物特征来估算估计内容自适应的异质变形（Hetdeform）内核偏移量，而不是利用光流或单尺内核变形对齐。然后，我们将参考特征转换为HetDeform卷积以完成运动补偿。此外，我们设计了一个空间 - 邻化的分裂归一化（SNCDN），以实现更有效的数据高斯化结合了广义分裂的归一化。此外，我们提出了一个多框架增强的重建模块，用于利用上下文和时间信息以提高质量。实验结果表明，HDCVC比最近最新学习的视频压缩方法取得了优越的性能。

捕捉片是由飞机发动机从发射颗粒产生的凝结径，这会扰乱地球的辐射预算。仿真建模用于解释关节尾部的形成和开发。这些模拟在计算密集型上，依赖于高性能计算解决方案，并且关节尾结构的定义不当。我们提出了一个视觉计算系统，以协助定义围栏及其特征，以及计算机生成的飞机发动机仿真参数的分析。我们系统的后端利用了一种缩小构造标准和聚类方法来检测概括的形状和进化，并确定相似的模拟运行。前端系统有助于分析跨多个模拟运行的节尾及其参数。与领域专家的评估表明，这种方法成功地帮助了关注数据调查。

高维时空动力学通常可以在低维子空间中编码。用于建模，表征，设计和控制此类大规模系统的工程应用通常依赖于降低尺寸，以实时计算解决方案。降低维度的常见范例包括线性方法，例如奇异值分解（SVD）和非线性方法，例如卷积自动编码器（CAE）的变体。但是，这些编码技术缺乏有效地表示与时空数据相关的复杂性的能力，后者通常需要可变的几何形状，非均匀的网格分辨率，自适应网格化和/或参数依赖性。为了解决这些实用的工程挑战，我们提出了一个称为神经隐式流（NIF）的一般框架，该框架可以实现大型，参数，时空数据的网格不稳定，低级别表示。 NIF由两个修改的多层感知器（MLP）组成：（i）shapenet，它分离并代表空间复杂性，以及（ii）参数，该参数解释了任何其他输入复杂性，包括参数依赖关系，时间和传感器测量值。我们演示了NIF用于参数替代建模的实用性，从而实现了复杂时空动力学的可解释表示和压缩，有效的多空间质量任务以及改善了稀疏重建的通用性能。