Neural compression offers a domain-agnostic approach to creating codecs for lossy or lossless compression via deep generative models. For sequence compression, however, most deep sequence models have costs that scale with the sequence length rather than the sequence complexity. In this work, we instead treat data sequences as observations from an underlying continuous-time process and learn how to efficiently discretize while retaining information about the full sequence. As a consequence of decoupling sequential information from its temporal discretization, our approach allows for greater compression rates and smaller computational complexity. Moreover, the continuous-time approach naturally allows us to decode at different time intervals. We empirically verify our approach on multiple domains involving compression of video and motion capture sequences, showing that our approaches can automatically achieve reductions in bit rates by learning how to discretize.

速率 - 失真（R-D）函数，信息理论中的关键数量，其特征在于，通过任何压缩算法，通过任何压缩算法将数据源可以压缩到保真标准的基本限制。随着研究人员推动了不断提高的压缩性能，建立给定数据源的R-D功能不仅具有科学的兴趣，而且还在可能的空间上揭示了改善压缩算法的可能性。以前的解决此问题依赖于数据源上的分布假设（Gibson，2017）或仅应用于离散数据。相比之下，本文使得第一次尝试播放常规（不一定是离散的）源仅需要i.i.d的算法的算法。数据样本。我们估计高斯和高尺寸香蕉形源的R-D三明治界，以及GaN生成的图像。我们在自然图像上的R-D上限表示在各种比特率的PSNR中提高最先进的图像压缩方法的性能的空间。

Methods based on ordinary differential equations (ODEs) are widely used to build generative models of time-series. In addition to high computational overhead due to explicitly computing hidden states recurrence, existing ODE-based models fall short in learning sequence data with sharp transitions - common in many real-world systems - due to numerical challenges during optimization. In this work, we propose LS4, a generative model for sequences with latent variables evolving according to a state space ODE to increase modeling capacity. Inspired by recent deep state space models (S4), we achieve speedups by leveraging a convolutional representation of LS4 which bypasses the explicit evaluation of hidden states. We show that LS4 significantly outperforms previous continuous-time generative models in terms of marginal distribution, classification, and prediction scores on real-world datasets in the Monash Forecasting Repository, and is capable of modeling highly stochastic data with sharp temporal transitions. LS4 sets state-of-the-art for continuous-time latent generative models, with significant improvement of mean squared error and tighter variational lower bounds on irregularly-sampled datasets, while also being x100 faster than other baselines on long sequences.

变异推理（VI）的核心原理是将计算复杂后概率密度计算的统计推断问题转换为可拖动的优化问题。该属性使VI比几种基于采样的技术更快。但是，传统的VI算法无法扩展到大型数据集，并且无法轻易推断出越野数据点，而无需重新运行优化过程。该领域的最新发展，例如随机，黑框和摊销VI，已帮助解决了这些问题。如今，生成的建模任务广泛利用摊销VI来实现其效率和可扩展性，因为它利用参数化函数来学习近似的后验密度参数。在本文中，我们回顾了各种VI技术的数学基础，以构成理解摊销VI的基础。此外，我们还概述了最近解决摊销VI问题的趋势，例如摊销差距，泛化问题，不一致的表示学习和后验崩溃。最后，我们分析了改善VI优化的替代差异度量。

纵向生物医学数据通常是稀疏时间网格和个体特定发展模式的特征。具体而言，在流行病学队列研究和临床登记处，我们面临的问题是在研究早期阶段中可以从数据中学到的问题，只有基线表征和一个后续测量。灵感来自最近的进步，允许将深度学习与动态建模相结合，我们调查这些方法是否可用于揭示复杂结构，特别是对于每个单独的两个观察时间点的极端小数据设置。然后，通过利用个体的相似性，可以使用不规则间距来获得有关个体动态的更多信息。我们简要概述了变形的自动化器（VAES）如何作为深度学习方法，可以与普通微分方程（ODES）相关联用于动态建模，然后具体研究这种方法的可行性，即提供个人特定的潜在轨迹的方法通过包括规律性假设和个人的相似性。我们还提供了对这种深度学习方法的描述作为过滤任务，以提供统计的视角。使用模拟数据，我们展示了方法可以在多大程度上从多大程度上恢复具有两个和四个未知参数的颂歌系统的单个轨迹，以及使用具有类似轨迹的个体群体，以及其崩溃的地方。结果表明，即使在极端的小数据设置中，这种动态深度学习方法也可能是有用的，但需要仔细调整。

近似复杂的概率密度是现代统计中的核心问题。在本文中，我们介绍了变分推理（VI）的概念，这是一种机器学习中的流行方法，该方法使用优化技术来估计复杂的概率密度。此属性允许VI汇聚速度比经典方法更快，例如Markov Chain Monte Carlo采样。概念上，VI通过选择一个概率密度函数，然后找到最接近实际概率密度的家庭 - 通常使用Kullback-Leibler（KL）发散作为优化度量。我们介绍了缩窄的证据，以促进近似的概率密度，我们审查了平均场变分推理背后的想法。最后，我们讨论VI对变分式自动编码器（VAE）和VAE-生成的对抗网络（VAE-GAN）的应用。用本文，我们的目标是解释VI的概念，并通过这种方法协助协助。

We describe an end-to-end trainable model for image compression based on variational autoencoders. The model incorporates a hyperprior to effectively capture spatial dependencies in the latent representation. This hyperprior relates to side information, a concept universal to virtually all modern image codecs, but largely unexplored in image compression using artificial neural networks (ANNs). Unlike existing autoencoder compression methods, our model trains a complex prior jointly with the underlying autoencoder. We demonstrate that this model leads to state-of-the-art image compression when measuring visual quality using the popular MS-SSIM index, and yields rate-distortion performance surpassing published ANN-based methods when evaluated using a more traditional metric based on squared error (PSNR). Furthermore, we provide a qualitative comparison of models trained for different distortion metrics.

When presented with a data stream of two statistically dependent variables, predicting the future of one of the variables (the target stream) can benefit from information about both its history and the history of the other variable (the source stream). For example, fluctuations in temperature at a weather station can be predicted using both temperatures and barometric readings. However, a challenge when modelling such data is that it is easy for a neural network to rely on the greatest joint correlations within the target stream, which may ignore a crucial but small information transfer from the source to the target stream. As well, there are often situations where the target stream may have previously been modelled independently and it would be useful to use that model to inform a new joint model. Here, we develop an information bottleneck approach for conditional learning on two dependent streams of data. Our method, which we call Transfer Entropy Bottleneck (TEB), allows one to learn a model that bottlenecks the directed information transferred from the source variable to the target variable, while quantifying this information transfer within the model. As such, TEB provides a useful new information bottleneck approach for modelling two statistically dependent streams of data in order to make predictions about one of them.

粒子过滤是针对多种顺序推断任务的标准蒙特卡洛方法。粒子过滤器的关键成分是一组具有重要性权重的粒子，它们可以作为某些随机过程的真实后验分布的代理。在这项工作中，我们提出了连续的潜在粒子过滤器，该方法将粒子过滤扩展到连续时域。我们证明了如何将连续的潜在粒子过滤器用作依赖于学到的变异后验的推理技术的通用插件替换。我们对基于潜在神经随机微分方程的不同模型家族进行的实验表明，在推理任务中，连续时间粒子滤波在推理任务中的卓越性能，例如似然估计和各种随机过程的顺序预测。

基于扩散的生成模型已经证明了感知上令人印象深刻的合成能力，但是它们也可以是基于可能性的模型吗？我们以肯定的方式回答了这一点，并介绍了一个基于扩散的生成模型家族，该模型可以在标准图像密度估计基准上获得最先进的可能性。与其他基于扩散的模型不同，我们的方法允许与其他模型的其余部分共同对噪声时间表进行有效优化。我们表明，根据扩散数据的信噪比，变异下限（VLB）简化为非常短的表达，从而改善了我们对该模型类别的理论理解。使用这种见解，我们证明了文献中提出的几个模型之间的等效性。此外，我们表明连续时间VLB在噪声方面不变，除了其端点处的信噪比。这使我们能够学习一个噪声时间表，以最大程度地减少所得VLB估计器的差异，从而更快地优化。将这些进步与建筑改进相结合，我们获得了图像密度估计基准的最先进的可能性，超过了多年来主导这些基准测试的自回旋模型，通常优化了很多年。此外，我们展示了如何将模型用作BITS背包压缩方案的一部分，并展示了接近理论最佳的无损压缩率。代码可在https://github.com/google-research/vdm上找到。

扩散模型是一类深入生成模型，在具有密集理论建立的各种任务上显示出令人印象深刻的结果。尽管与其他最先进的模型相比，扩散模型的样本合成质量和多样性令人印象深刻，但它们仍然遭受了昂贵的抽样程序和次优可能的估计。最近的研究表明，对提高扩散模型的性能的热情非常热情。在本文中，我们对扩散模型的现有变体进行了首次全面综述。具体而言，我们提供了扩散模型的第一个分类法，并将它们分类为三种类型，即采样加速增强，可能性最大化的增强和数据将来增强。我们还详细介绍了其他五个生成模型（即变异自动编码器，生成对抗网络，正常流量，自动回归模型和基于能量的模型），并阐明扩散模型与这些生成模型之间的连接。然后，我们对扩散模型的应用进行彻底研究，包括计算机视觉，自然语言处理，波形信号处理，多模式建模，分子图生成，时间序列建模和对抗性纯化。此外，我们提出了与这种生成模型的发展有关的新观点。

最近的工作表明，变异自动编码器（VAE）与速率失真理论之间有着密切的理论联系。由此激发，我们从生成建模的角度考虑了有损图像压缩的问题。从最初是为数据（图像）分布建模设计的Resnet VAE开始，我们使用量化意识的后验和先验重新设计其潜在变量模型，从而实现易于量化和熵编码的图像压缩。除了改进的神经网络块外，我们还提出了一类强大而有效的有损图像编码器类别，超过了自然图像（有损）压缩的先前方法。我们的模型以粗略的方式压缩图像，并支持并行编码和解码，从而在GPU上快速执行。

事件摄像机对场景的亮度变化异步，独立于每个像素。由于属性，这些相机具有不同的特征：高动态范围（HDR），高时间分辨率和低功耗。但是，应将事件摄像机的结果处理为计算机视觉任务的替代表示。另外，它们通常很嘈杂，并且在几乎没有事件的地区导致性能不佳。近年来，许多研究人员试图重建事件中的视频。但是，由于缺乏不规则和不连续数据的时间信息，它们没有提供高质量的视频。为了克服这些困难，我们引入了一个E2V-SDE，该E2V-SDE由随机微分方程（SDE）控制在潜在空间中。因此，E2V-SDE可以在任意时间步骤中快速重建图像，并对看不见的数据做出现实的预测。此外，我们成功采用了各种图像组成技术来提高图像清晰度和时间一致性。通过对模拟和实际场景数据集进行广泛的实验，我们验证了我们的模型在各种视频重建设置下的表现优于最先进的方法。就图像质量而言，LPIPS得分提高了12％，重建速度比ET-NET高87％。

矢量量化变量自动编码器（VQ-VAE）是基于数据的离散潜在表示的生成模型，其中输入映射到有限的学习嵌入式集合。要生成新样品，必须对离散状态进行自动介绍的先验分布。分别地。这一先验通常非常复杂，并导致生成缓慢。在这项工作中，我们提出了一个新模型，以同时训练先验和编码器/解码器网络。我们在连续编码的向量和非信息性先验分布之间建立扩散桥。然后将潜在离散状态作为这些连续向量的随机函数。我们表明，我们的模型与迷你imagenet和Cifar数据集的自动回归先验具有竞争力，并且在优化和采样方面都有效。我们的框架还扩展了标准VQ-VAE，并可以启用端到端培训。

我们介绍了一种从高维时间序列数据学习潜在随机微分方程（SDES）的方法。考虑到从较低维潜在未知IT \ ^ O过程产生的高维时间序列，所提出的方法通过自我监督的学习方法学习从环境到潜在空间的映射和潜在的SDE系数。使用变形AutiaceOders的框架，我们考虑基于SDE解决方案的Euler-Maruyama近似的数据的条件生成模型。此外，我们使用最近的结果对潜在变量模型的可识别性来表明，所提出的模型不仅可以恢复底层的SDE系数，还可以在无限数据的极限中恢复底层的SDE系数，也可以最大潜在潜在变量。我们通过多个模拟视频处理任务验证方法，其中底层SDE是已知的，并通过真实的世界数据集。

Denoising diffusion probabilistic models are a promising new class of generative models that mark a milestone in high-quality image generation. This paper showcases their ability to sequentially generate video, surpassing prior methods in perceptual and probabilistic forecasting metrics. We propose an autoregressive, end-to-end optimized video diffusion model inspired by recent advances in neural video compression. The model successively generates future frames by correcting a deterministic next-frame prediction using a stochastic residual generated by an inverse diffusion process. We compare this approach against five baselines on four datasets involving natural and simulation-based videos. We find significant improvements in terms of perceptual quality for all datasets. Furthermore, by introducing a scalable version of the Continuous Ranked Probability Score (CRPS) applicable to video, we show that our model also outperforms existing approaches in their probabilistic frame forecasting ability.

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

预计机器学习算法的大多数实际问题都可以通过1）未知数据分配来解决这种情况； 2）小领域特定知识； 3）注释有限的数据集。我们通过使用潜在变量（NPC-LV）的压缩提出非参数学习，这是任何数据集的学习框架，这些数据集具有丰富的未标记数据，但很少有标签的数据。通过仅以无监督的方式训练生成模型，该框架利用数据分配来构建压缩机。使用源自Kolmogorov复杂性的基于压缩机的距离度量，加上很少的标记数据，NPC-LV无需进一步的训练而进行分类。我们表明，在低数据制度中，NPC-LV在图像分类的所有三个数据集上都优于监督方法，甚至超过了CIFAR-10上的半监督学习方法。我们证明了如何以及何时使用负面证据下降（Nelbo）作为分类的近似压缩长度。通过揭示压缩率和分类精度之间的相关性，我们说明在NPC-LV下，生成模型的改进可以增强下游分类精度。

Identifying statistical regularities in solutions to some tasks in multi-task reinforcement learning can accelerate the learning of new tasks. Skill learning offers one way of identifying these regularities by decomposing pre-collected experiences into a sequence of skills. A popular approach to skill learning is maximizing the likelihood of the pre-collected experience with latent variable models, where the latent variables represent the skills. However, there are often many solutions that maximize the likelihood equally well, including degenerate solutions. To address this underspecification, we propose a new objective that combines the maximum likelihood objective with a penalty on the description length of the skills. This penalty incentivizes the skills to maximally extract common structures from the experiences. Empirically, our objective learns skills that solve downstream tasks in fewer samples compared to skills learned from only maximizing likelihood. Further, while most prior works in the offline multi-task setting focus on tasks with low-dimensional observations, our objective can scale to challenging tasks with high-dimensional image observations.

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。