The task of video prediction and generation is known to be notoriously difficult, with the research in this area largely limited to short-term predictions. Though plagued with noise and stochasticity, videos consist of features that are organised in a spatiotemporal hierarchy, different features possessing different temporal dynamics. In this paper, we introduce Dynamic Latent Hierarchy (DLH) -- a deep hierarchical latent model that represents videos as a hierarchy of latent states that evolve over separate and fluid timescales. Each latent state is a mixture distribution with two components, representing the immediate past and the predicted future, causing the model to learn transitions only between sufficiently dissimilar states, while clustering temporally persistent states closer together. Using this unique property, DLH naturally discovers the spatiotemporal structure of a dataset and learns disentangled representations across its hierarchy. We hypothesise that this simplifies the task of modeling temporal dynamics of a video, improves the learning of long-term dependencies, and reduces error accumulation. As evidence, we demonstrate that DLH outperforms state-of-the-art benchmarks in video prediction, is able to better represent stochasticity, as well as to dynamically adjust its hierarchical and temporal structure. Our paper shows, among other things, how progress in representation learning can translate into progress in prediction tasks.

不确定性在未来预测中起关键作用。未来是不确定的。这意味着可能有很多可能的未来。未来的预测方法应涵盖坚固的全部可能性。在自动驾驶中，涵盖预测部分中的多种模式对于做出安全至关重要的决策至关重要。尽管近年来计算机视觉系统已大大提高，但如今的未来预测仍然很困难。几个示例是未来的不确定性，全面理解的要求以及嘈杂的输出空间。在本论文中，我们通过以随机方式明确地对运动进行建模并学习潜在空间中的时间动态，从而提出了解决这些挑战的解决方案。

变异自动编码器（VAE）是最常用的无监督机器学习模型之一。但是，尽管对先前和后验的高斯分布的默认选择通常代表了数学方便的分布通常会导致竞争结果，但我们表明该参数化无法用潜在的超球体结构对数据进行建模。为了解决这个问题，我们建议使用von Mises-fisher（VMF）分布，从而导致超级潜在空间。通过一系列实验，我们展示了这种超球vae或$ \ mathcal {s} $ - vae如何更适合于用超球形结构捕获数据，同时胜过正常的，$ \ mathcal {n} $ - vae-，在其他数据类型的低维度中。http://github.com/nicola-decao/s-vae-tf和https://github.com/nicola-decao/nicola-decao/s-vae-pytorch

Denoising diffusion probabilistic models are a promising new class of generative models that mark a milestone in high-quality image generation. This paper showcases their ability to sequentially generate video, surpassing prior methods in perceptual and probabilistic forecasting metrics. We propose an autoregressive, end-to-end optimized video diffusion model inspired by recent advances in neural video compression. The model successively generates future frames by correcting a deterministic next-frame prediction using a stochastic residual generated by an inverse diffusion process. We compare this approach against five baselines on four datasets involving natural and simulation-based videos. We find significant improvements in terms of perceptual quality for all datasets. Furthermore, by introducing a scalable version of the Continuous Ranked Probability Score (CRPS) applicable to video, we show that our model also outperforms existing approaches in their probabilistic frame forecasting ability.

Disentangled表示支持一系列下游任务，包括因果推理，生成建模和公平机器学习。不幸的是，在不纳入监督或归纳偏见的情况下，脱吊度被证明是不可能的。鉴于监督往往是昂贵或不可行的收购，我们选择合并结构感应偏压，并为视频解剖（VDSM）提供无监督的深度状态模型。该模型通过在具有动态现有的和专家解码器的混合物中掺入分层结构而脱离潜在的时变和动态因素。 VDSM了解对象或视频中对象或人的身份的单独解密表示，以及正在执行的操作。我们在一系列定性和定量任务中评估VDSM，包括身份和动态传输，序列生成，FR \'ECET距离和因子分类。 VDSM提供最先进的性能并超出对抗方法，即使方法使用额外的监督。

扩散模型显示出令人难以置信的能力作为生成模型。实际上，它们为文本条件形成的图像生成（例如Imagen和dall-e2）提供了当前最新模型的启动基于观点。我们首先推导了变异扩散模型（VDM）作为马尔可夫分层变异自动编码器的特殊情况，其中三个关键假设可实现ELBO的可拖动计算和可扩展的优化。然后，我们证明，优化VDM归结为学习神经网络以预测三个潜在目标之一：来自任何任意噪声的原始源输入，任何任意噪声输入的原始源噪声或噪声的得分函数输入任何任意噪声水平。然后，我们更深入地研究学习分数函数的含义，并将扩散模型的变异透视图与通过Tweedie的公式明确地与基于得分的生成建模的角度联系起来。最后，我们涵盖了如何通过指导使用扩散模型学习条件分布的方法。

野火预测一直是人文学科蓬勃发展的最关键任务之一。它在保护人类生活中起着至关重要的作用。另一方面，由于其随机和混乱的特性，野火预测很困难。我们通过将一系列野火图像解释为视频来解决问题，并用它来预测火灾将来的表现。但是，创建说明未来固有不确定性的视频预测模型是具有挑战性的。已发布的大部分尝试都是基于随机图像 - 自动回调的复发网络，该网络增加了各种性能和应用困难，例如计算成本和大量数据集的效率有限。另一种可能性是使用结合框架合成和时间动力学的完全潜在的时间模型。但是，由于设计和培训问题，文献中尚未提出过随机视频预测的这种模型。本文通过引入一种新型的随机时间模型来解决这些问题，该模型的动力学在潜在空间中驱动。它自然可以通过允许我们更轻巧，更容易解释的潜在模型来击败GOY-16数据集上的先前最新方法来预测视频动态。结果将与各种基准模型进行比较。

配备具有推断人类意图的能力的机器人是有效合作的重要前提。对于这种目标的大多数计算方法采用了概率的推理，以回收机器人感知状态的“意图”的分布。然而，这些方法通常假设人类意图的特定任务概念（例如标记目标）是先验的。为了克服这一限制，我们提出了解离序列聚类变分性Autiachoder（Discvae），该群集框架可以用于以无监督的方式学习意图的这种分布。 DiscVae利用最近在无监督的学习方面的进步导出了顺序数据的解除不诚格潜在表示，从时间不变的全局方面分离时变化的本地特征。虽然与前面的解剖学框架不同，但是所提出的变体也涉及分立变量，以形成潜在混合模型，并使全局序列概念进行聚类，例如，观察到人类行为的意图。为了评估Discvae，首先使用弹跳数字和2D动画的视频数据集来验证其从未标记序列发现类的容量。然后，我们从机器人轮椅上进行的现实世界机器人交互实验报告结果。我们的调查结果引入了推断离散变量如何与人类意图一致，从而用于改善协作设置的帮助，例如共享控制。

矢量量化变量自动编码器（VQ-VAE）是基于数据的离散潜在表示的生成模型，其中输入映射到有限的学习嵌入式集合。要生成新样品，必须对离散状态进行自动介绍的先验分布。分别地。这一先验通常非常复杂，并导致生成缓慢。在这项工作中，我们提出了一个新模型，以同时训练先验和编码器/解码器网络。我们在连续编码的向量和非信息性先验分布之间建立扩散桥。然后将潜在离散状态作为这些连续向量的随机函数。我们表明，我们的模型与迷你imagenet和Cifar数据集的自动回归先验具有竞争力，并且在优化和采样方面都有效。我们的框架还扩展了标准VQ-VAE，并可以启用端到端培训。

In this paper, we explore the inclusion of latent random variables into the hidden state of a recurrent neural network (RNN) by combining the elements of the variational autoencoder. We argue that through the use of high-level latent random variables, the variational RNN (VRNN) 1 can model the kind of variability observed in highly structured sequential data such as natural speech. We empirically evaluate the proposed model against other related sequential models on four speech datasets and one handwriting dataset. Our results show the important roles that latent random variables can play in the RNN dynamics.

在自动驾驶中，在车辆周围所有代理的位置和运动方面预测未来是计划的关键要求。最近，通过将多个相机感知的丰富感觉信息融合到紧凑的鸟类视图表示以执行预测的情况下，已经出现了一种新的感知和预测的联合表述。但是，由于多个合理的预测，未来预测的质量会随着时间的推移而降低到更长的时间范围。在这项工作中，我们通过随机时间模型解决了未来预测中的这种固有的不确定性。我们的模型通过在每个时间步骤中通过随机残差更新来学习潜在空间中的时间动态。通过在每个时间步骤中从学习的分布中取样，我们获得了与以前的工作相比更准确的未来预测，尤其是在现场的空间上扩展两个区域，并在更长的时间范围内进行时间范围。尽管每个时间步骤进行了单独的处理，但我们的模型仍然通过解耦动态学习和未来预测的产生而有效。

近似复杂的概率密度是现代统计中的核心问题。在本文中，我们介绍了变分推理（VI）的概念，这是一种机器学习中的流行方法，该方法使用优化技术来估计复杂的概率密度。此属性允许VI汇聚速度比经典方法更快，例如Markov Chain Monte Carlo采样。概念上，VI通过选择一个概率密度函数，然后找到最接近实际概率密度的家庭 - 通常使用Kullback-Leibler（KL）发散作为优化度量。我们介绍了缩窄的证据，以促进近似的概率密度，我们审查了平均场变分推理背后的想法。最后，我们讨论VI对变分式自动编码器（VAE）和VAE-生成的对抗网络（VAE-GAN）的应用。用本文，我们的目标是解释VI的概念，并通过这种方法协助协助。

最近的研究表明，先进的前锋在深度生成模型中发挥着重要作用。作为基于示例的基于示例的VAE的变体，示例性VAE已经实现了令人印象深刻的结果。然而，由于模型设计的性质，基于示例的模型通常需要大量的数据来参与训练，这导致巨大的计算复杂性。为了解决这个问题，我们提出了贝叶斯伪移动的样份vae（bype-vae），一种基于Bayesian伪动脉的先前vae的新变种。该提出的先后在小规模的伪电阻上而不是整个数据集进行调节，以降低计算成本并避免过度拟合。同时，在VAE训练期间，通过随机优化算法获得最佳伪验证，旨在最大限度地基于伪移动的基于伪组件的Kullback-Leibler发散，并且基于整个数据集。实验结果表明，Bype-VAE可以在密度估计，代表学习和生成数据增强的任务中实现最先进的VAES对最先进的VAES的竞争改进。特别是，在基本的VAE架构上，Bype-VAE比示例性VAE快3倍，同时几乎保持性能。代码可用于\ url {https:/github.com/aiqz/bype-vae}。

We introduce Embed to Control (E2C), a method for model learning and control of non-linear dynamical systems from raw pixel images. E2C consists of a deep generative model, belonging to the family of variational autoencoders, that learns to generate image trajectories from a latent space in which the dynamics is constrained to be locally linear. Our model is derived directly from an optimal control formulation in latent space, supports long-term prediction of image sequences and exhibits strong performance on a variety of complex control problems.

预测性编码提供了对皮质功能的潜在统一说明 - 假设大脑的核心功能是最小化有关世界生成模型的预测错误。该理论与贝叶斯大脑框架密切相关，在过去的二十年中，在理论和认知神经科学领域都产生了重大影响。基于经验测试的预测编码的改进和扩展的理论和数学模型，以及评估其在大脑中实施的潜在生物学合理性以及该理论所做的具体神经生理学和心理学预测。尽管存在这种持久的知名度，但仍未对预测编码理论，尤其是该领域的最新发展进行全面回顾。在这里，我们提供了核心数学结构和预测编码的逻辑的全面综述，从而补充了文献中最新的教程。我们还回顾了该框架中的各种经典和最新工作，从可以实施预测性编码的神经生物学现实的微电路到预测性编码和广泛使用的错误算法的重新传播之间的紧密关系，以及对近距离的调查。预测性编码和现代机器学习技术之间的关系。

变异推理（VI）的核心原理是将计算复杂后概率密度计算的统计推断问题转换为可拖动的优化问题。该属性使VI比几种基于采样的技术更快。但是，传统的VI算法无法扩展到大型数据集，并且无法轻易推断出越野数据点，而无需重新运行优化过程。该领域的最新发展，例如随机，黑框和摊销VI，已帮助解决了这些问题。如今，生成的建模任务广泛利用摊销VI来实现其效率和可扩展性，因为它利用参数化函数来学习近似的后验密度参数。在本文中，我们回顾了各种VI技术的数学基础，以构成理解摊销VI的基础。此外，我们还概述了最近解决摊销VI问题的趋势，例如摊销差距，泛化问题，不一致的表示学习和后验崩溃。最后，我们分析了改善VI优化的替代差异度量。

自由能原理及其必然的积极推论构成了一种生物启发的理论，该理论假设生物学作用保留在一个受限制的世界首选状态中，即它们最小化自由能。根据这一原则，生物学家学习了世界的生成模型和未来的计划行动，该模型将使代理保持稳态状态，以满足其偏好。该框架使自己在计算机中实现，因为它理解了使其计算负担得起的重要方面，例如变异推断和摊销计划。在这项工作中，我们研究了深度学习的工具，以设计和实现基于主动推断的人造代理，对自由能原理进行深入学习的呈现，调查工作与机器学习和主动推理领域相关，以及讨论实施过程中涉及的设计选择。该手稿探究了积极推理框架的新观点，将其理论方面扎根于更务实的事务中，为活跃推理的新手提供了实用指南，并为深度学习从业人员的起点提供了研究，以调查自由能源原则的实施。

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

We present a principled approach to incorporating labels in VAEs that captures the rich characteristic information associated with those labels. While prior work has typically conflated these by learning latent variables that directly correspond to label values, we argue this is contrary to the intended effect of supervision in VAEs-capturing rich label characteristics with the latents. For example, we may want to capture the characteristics of a face that make it look young, rather than just the age of the person. To this end, we develop the CCVAE, a novel VAE model and concomitant variational objective which captures label characteristics explicitly in the latent space, eschewing direct correspondences between label values and latents. Through judicious structuring of mappings between such characteristic latents and labels, we show that the CCVAE can effectively learn meaningful representations of the characteristics of interest across a variety of supervision schemes. In particular, we show that the CCVAE allows for more effective and more general interventions to be performed, such as smooth traversals within the characteristics for a given label, diverse conditional generation, and transferring characteristics across datapoints.

我们提出了一个新的视觉数据表示形式，该数据将对象位置从外观上删除。我们的方法称为深潜粒子（DLP），将视觉输入分解为低维的潜在``粒子''，其中每个粒子都用其周围区域的空间位置和特征来描述。为了学习这种表示形式，我们遵循一种基于VAE的方法，并根据空间 - 软构建结构引入了粒子位置的先验位置，并修改了受粒子之间倒角距离启发的证据下限损失。我们证明，我们的DLP表示形式可用于下游任务，例如无监督关键点（KP）检测，图像操纵和针对由多个动态对象组成的场景的视频预测。此外，我们表明，我们对问题的概率解释自然提供了粒子位置的不确定性估计，可用于模型选择以及其他任务。可用视频和代码：https：//taldatech.github.io/deep-latent-particles-web/