神经活动的意义和简化表示可以产生深入了解如何以及什么信息被神经回路内处理。然而，如果没有标签，也揭示了大脑和行为之间的联系的发现表示可以挑战。在这里，我们介绍了所谓的交换，VAE学习神经活动的解开表示一种新型的无监督的办法。我们的方法结合了特定实例的排列损失，试图最大限度地输入（大脑状态）的转变观点之间的代表性相似性的生成模型框架。这些转化（或增强）视图是通过掉出神经元和抖动样品中的时间，这直观地应导致网络维护既时间一致性和不变性用于表示神经状态的特定的神经元的表示创建的。通过对从数百个不同的灵长类动物大脑的神经元的模拟数据和神经录音的评价，我们表明，它是不可能建立的表示沿有关潜在维度解开神经的数据集与行为相联系。

通过最大化示例的不同转换“视图”之间的相似性来构建自我监督学习（SSL）构建表示的最先进的方法。然而，在用于创建视图的转换中没有足够的多样性，难以克服数据中的滋扰变量并构建丰富的表示。这激励了数据集本身来查找类似但不同的样本，以彼此的视图。在本文中，我们介绍了我自己的观点（MISOW），一种新的自我监督学习方法，在数据集中定义预测的不同目标。我们的方法背后的想法是主动挖掘观点，发现在网络的表示空间中的邻居中的样本，然后从一个样本的潜在表示，附近样本的表示。在展示计算机愿景中使用的基准测试中，我们突出了在神经科学的新应用中突出了这个想法的力量，其中SSL尚未应用。在测试多单元神经记录时，我们发现Myow在所有示例中表现出其他自我监督的方法（在某些情况下超过10％），并且经常超越监督的基线。通过MOSO，我们表明可以利用数据的多样性来构建丰富的观点，并在增强的新域中利用自我监督，其中包括有限或未知。

通常通过从单个组件的动力学上抽象来构建人口级动力学的模型来研究复杂的时变系统。但是，当构建人群级别的描述时，很容易忽略每个人，以及每个人如何贡献更大的情况。在本文中，我们提出了一种新颖的变压器体系结构，用于从时变数据中学习，该数据构建了个人和集体人口动态的描述。我们没有在一开始就将所有数据结合到我们的模型中，而是开发可分离的体系结构，该体系结构先在单个时间序列上运行，然后再将它们传递给它们。这会导致置换式属性属性，可用于跨不同大小和顺序的系统传输。在证明我们的模型可以应用于在多体系统中成功恢复复杂的相互作用和动力学之后，我们将方法应用于神经系统中的神经元种群。在神经活动数据集上，我们表明我们的多尺度变压器不仅会产生强大的解码性能，而且在转移方面提供了令人印象深刻的性能。我们的结果表明，可以从一种动物的大脑中的神经元学习并传递不同动物大脑中神经元的模型，并在集合和动物之间具有可解释的神经元对应。这一发现为解码并表示大量神经元的新途径开辟了一条新的途径。

神经记录的进展现在在前所未有的细节中研究神经活动的机会。潜在的变量模型（LVMS）是用于分析各种神经系统和行为的丰富活动的有希望的工具，因为LVM不依赖于活动与外部实验变量之间的已知关系。然而，目前缺乏标准化目前阻碍了对神经元群体活性的LVM进行的进展，导致采用临时方式进行和比较方法。为协调这些建模工作，我们为神经人群活动的潜在变量建模介绍了基准套件。我们从认知，感官和机动领域策划了四种神经尖峰活动的数据集，以促进适用于这些地区各地的各种活动的模型。我们将无监督的评估视为用于评估数据集的模型的共同框架，并应用几个显示基准多样性的基线。我们通过评估释放此基准。 http://neurallatents.github.io.

The key idea behind the unsupervised learning of disentangled representations is that real-world data is generated by a few explanatory factors of variation which can be recovered by unsupervised learning algorithms. In this paper, we provide a sober look at recent progress in the field and challenge some common assumptions. We first theoretically show that the unsupervised learning of disentangled representations is fundamentally impossible without inductive biases on both the models and the data. Then, we train more than 12 000 models covering most prominent methods and evaluation metrics in a reproducible large-scale experimental study on seven different data sets. We observe that while the different methods successfully enforce properties "encouraged" by the corresponding losses, well-disentangled models seemingly cannot be identified without supervision. Furthermore, increased disentanglement does not seem to lead to a decreased sample complexity of learning for downstream tasks. Our results suggest that future work on disentanglement learning should be explicit about the role of inductive biases and (implicit) supervision, investigate concrete benefits of enforcing disentanglement of the learned representations, and consider a reproducible experimental setup covering several data sets.

甚至在没有受限，监督的情况下，也提出了甚至在没有受限或有限的情况下学习普遍陈述的方法。使用适度数量的数据可以微调新的目标任务，或者直接在相应任务中实现显着性能的无奈域中使用的良好普遍表示。这种缓解数据和注释要求为计算机愿景和医疗保健的应用提供了诱人的前景。在本辅导纸上，我们激励了对解散的陈述，目前关键理论和详细的实际构建块和学习此类表示的标准的需求。我们讨论医学成像和计算机视觉中的应用，强调了在示例钥匙作品中进行的选择。我们通过呈现剩下的挑战和机会来结束。

无负的对比度学习吸引了很多关注，以简单性和令人印象深刻的表现，以进行大规模预处理。但是它的解散财产仍未得到探索。在本文中，我们采用不同的无负对比度学习方法来研究这种自我监督方法的分离特性。我们发现现有的分离指标无法对高维表示模型进行有意义的测量，因此我们根据表示因素和数据因素之间的相互信息提出了一个新的分解指标。通过拟议的指标，我们首次在流行的合成数据集和现实世界数据集Celeba上首次基于无效的对比度学习的删除属性。我们的研究表明，研究的方法可以学习一个明确的表示子集。我们首次将对分离的表示学习的研究扩展到高维表示空间和无效的对比度学习。建议的度量标准的实现可在\ url {https://github.com/noahcao/disentangeslement_lib_med}中获得。

我们提出了一个通过信息瓶颈约束来学习CAPSNET的学习框架的框架，该框架将信息提炼成紧凑的形式，并激励学习可解释的分解化胶囊。在我们的$ \ beta $ -capsnet框架中，使用超参数$ \ beta $用于权衡解开和其他任务，使用变异推理将信息瓶颈术语转换为kl divergence，以近似为约束胶囊。为了进行监督学习，使用类独立掩码矢量来理解合成的变化类型，无论图像类别类别，我们通过调整参数$ \ beta $来进行大量的定量和定性实验，以找出分离，重建和细节之间的关系表现。此外，提出了无监督的$ \ beta $ -capsnet和相应的动态路由算法，以学习范围的方式，以一种无监督的方式学习解散胶囊，广泛的经验评估表明我们的$ \ beta $ -CAPPAPSNET可实现的是先进的分离性截止性性能比较在监督和无监督场景中的几个复杂数据集上的CAPSNET和各种基线。

带有变异自动编码器（VAE）的学习分解表示通常归因于损失的正则化部分。在这项工作中，我们强调了数据与损失的重建项之间的相互作用，这是VAE中解散的主要贡献者。我们注意到，标准化的基准数据集的构建方式有利于学习似乎是分解的表示形式。我们设计了一个直观的对抗数据集，该数据集利用这种机制破坏了现有的最新分解框架。最后，我们提供了一种解决方案，可以通过修改重建损失来实现分离，从而影响VAES如何感知数据点之间的距离。

以无监督的方式从高维领域提取生成参数的能力是计算物理学中的非常理想尚未实现的目标。这项工作探讨了用于非线性尺寸降低的变形Autiachoders（VAES），其特定目的是{\ EM解散}的特定目标，以识别生成数据的独立物理参数。解除戒开的分解是可解释的，并且可以转移到包括生成建模，设计优化和概率减少阶级型建模的各种任务。这项工作的重大重点是使用VAE来表征解剖学，同时最小地修改经典的VAE损失功能（即证据下限）以保持高重建精度。损耗景观的特点是过度正常的局部最小值，其环绕所需的解决方案。我们通过在模型多孔流量问题中并列在模拟潜在分布和真正的生成因子中，说明了分解和纠缠符号之间的比较。展示了等级前瞻，促进了解除不诚实的表现的学习。在用旋转不变的前沿训练时，正则化损失不受潜在的旋转影响，从而学习非旋转不变的前锋有助于捕获生成因子的性质，改善解剖学。最后，表明通过标记少量样本（$ O（1 \％）$）来实现半监督学习 - 导致可以一致地学习的准确脱屑潜在的潜在表示。

概率生成模型对科学建模具有吸引力，因为它们的推论参数可用于生成假设和设计实验。这要求学习的模型提供了对输入数据的准确表示，并产生一个潜在空间，该空间有效地预测了与科学问题相关的结果。监督的变异自动编码器（SVAE）以前已用于此目的，在此目的中，精心设计的解码器可以用作可解释的生成模型，而监督目标可确保预测性潜在表示。不幸的是，监督的目标迫使编码器学习与生成后验分布有偏见的近似，这在科学模型中使用时使生成参数不可靠。由于通常用于评估模型性能的重建损失，因此该问题仍未被发现。我们通过开发一个二阶监督框架（SOS-VAE）来解决这个以前未报告的问题，该框架影响解码器诱导预测潜在的代表。这样可以确保关联的编码器保持可靠的生成解释。我们扩展了此技术，以使用户能够在生成参数中折叠以提高预测性能，并充当SVAE和我们的新SOS-VAE之间的中间选择。我们还使用这种方法来解决在组合来自多个科学实验的录音时经常出现的缺失数据问题。我们使用合成数据和电生理记录来证明这些发展的有效性，重点是如何使用我们学到的表示形式来设计科学实验。

A grand goal in deep learning research is to learn representations capable of generalizing across distribution shifts. Disentanglement is one promising direction aimed at aligning a models representations with the underlying factors generating the data (e.g. color or background). Existing disentanglement methods, however, rely on an often unrealistic assumption: that factors are statistically independent. In reality, factors (like object color and shape) are correlated. To address this limitation, we propose a relaxed disentanglement criterion - the Hausdorff Factorized Support (HFS) criterion - that encourages a factorized support, rather than a factorial distribution, by minimizing a Hausdorff distance. This allows for arbitrary distributions of the factors over their support, including correlations between them. We show that the use of HFS consistently facilitates disentanglement and recovery of ground-truth factors across a variety of correlation settings and benchmarks, even under severe training correlations and correlation shifts, with in parts over +60% in relative improvement over existing disentanglement methods. In addition, we find that leveraging HFS for representation learning can even facilitate transfer to downstream tasks such as classification under distribution shifts. We hope our original approach and positive empirical results inspire further progress on the open problem of robust generalization.

我们提出了一个新颖的框架，按需运动产生（ODMO），用于生成现实和多样化的长期3D人体运动序列，该序列仅以具有额外的自定义能力的动作类型为条件。 ODMO在三个公共数据集（HumanAct12，UESTC和MOCAP）上进行评估时，对所有传统运动评估指标的SOTA方法显示了改进。此外，我们提供定性评估和定量指标，这些指标证明了我们框架提供的几种首要的自定义功能，包括模式发现，插值和轨迹自定义。这些功能大大扩大了此类运动产生模型的潜在应用的范围。编码器和解码器体系结构中的创新启用了新颖的按需生成能力：（i）编码器：在低维的潜在空间中利用对比度学习来创建运动序列的层次结构嵌入，不仅是不同动作的代码，类型形成不同的组，但在动作类型中，类似的固有模式（运动样式）聚集在一起的代码，使它们容易发现； （ii）解码器：使用层次解码策略，该策略首先重建运动轨迹，然后用于重建整个运动序列。这样的架构可以有效地控制轨迹控制。我们的代码发布在GitHub页面：https：//github.com/roychowdhuryresearch/odmo

We decompose the evidence lower bound to show the existence of a term measuring the total correlation between latent variables. We use this to motivate the β-TCVAE (Total Correlation Variational Autoencoder) algorithm, a refinement and plug-in replacement of the β-VAE for learning disentangled representations, requiring no additional hyperparameters during training. We further propose a principled classifier-free measure of disentanglement called the mutual information gap (MIG). We perform extensive quantitative and qualitative experiments, in both restricted and non-restricted settings, and show a strong relation between total correlation and disentanglement, when the model is trained using our framework.

从视觉观察中了解动态系统的潜在因果因素被认为是对复杂环境中推理的推理的关键步骤。在本文中，我们提出了Citris，这是一种变异自动编码器框架，从图像的时间序列中学习因果表示，其中潜在的因果因素可能已被干预。与最近的文献相反，Citris利用了时间性和观察干预目标，以鉴定标量和多维因果因素，例如3D旋转角度。此外，通过引入归一化流，可以轻松扩展柑橘，以利用和删除已验证的自动编码器获得的删除表示形式。在标量因果因素上扩展了先前的结果，我们在更一般的环境中证明了可识别性，其中仅因果因素的某些成分受干预措施影响。在对3D渲染图像序列的实验中，柑橘类似于恢复基本因果变量的先前方法。此外，使用预验证的自动编码器，Citris甚至可以概括为因果因素的实例化，从而在SIM到现实的概括中开放了未来的研究领域，以进行因果关系学习。

$ \ beta $ -vae是对变形的自身额外转换器的后续技术，提出了在VAE损失中的KL分歧项的特殊加权，以获得解除戒备的表示。即使在玩具数据集和有意义的情况下，甚至在玩具数据集上也是脆弱的学习，难以找到的难以找到的。在这里，我们调查原来的$ \β$ -VAE纸，并向先前获得的结果添加证据表明其缺乏可重复性。我们还进一步扩展了模型的实验，并在分析中包括进一步更复杂的数据集。我们还为$ \β$ -VAE模型实施了FID评分度量，并得出了对所获得的结果的定性分析。我们结束了关于可能进行的未来调查的简要讨论，以增加对索赔的更具稳健性。

我们提出了一种自我监督的方法，以解除高维数据变化的因素，该因素不依赖于基本变化概况的先验知识（例如，没有关于要提取单个潜在变量的数量或分布的假设）。在我们称为nashae的方法中，通过促进从所有其他编码元素中恢复的每个编码元素和恢复的元素的信息之间的差异，在标准自动编码器（AE）的低维潜在空间中完成了高维的特征分离。通过将其作为AE和回归网络合奏之间的Minmax游戏来有效地促进了分解，从而估算了一个元素，该元素以对所有其他元素的观察为条件。我们将我们的方法与使用现有的分离指标进行定量比较。此外，我们表明Nashae具有提高的可靠性和增加的能力来捕获学习潜在表示中的显着数据特征。

解开的顺序自动编码器（DSAE）代表一类概率图形模型，该模型描述了具有动态潜在变量和静态潜在变量的观察到的序列。前者以与观测值相同的帧速率编码信息，而后者在全球范围内控制整个序列。这引入了归纳偏见，并促进了基础本地和全球因素的无监督分解。在本文中，我们表明，香草dsae对动态潜在变量的模型结构和容量的选择敏感，并且容易折叠静态潜在变量。作为对策，我们提出了TS-DSAE，这是一个两阶段的培训框架，首先学习序列级别的先验分布，随后将其用于正规化该模型并促进辅助目标以促进分解。在广泛的模型配置中，对全局因子崩溃问题进行了完全无监督和强大的框架。它还避免了典型的解决方案，例如通常涉及费力参数调整和特定于域的数据增强的对抗训练。我们进行定量和定性评估，以证明其在人工音乐和现实音乐音频数据集上的分离方面的鲁棒性。

建模嘈杂的单审峰活动为基础的神经种群动力学建模对于关联神经观察和行为至关重要。最近的一种非电流方法 - 神经数据变压器（NDT） - 在没有明确动力学模型的情况下捕获具有低推理潜伏期的神经动力学方面取得了巨大成功。但是，NDT专注于建模人口活动的时间演变，同时忽略各个神经元之间的丰富协调。在本文中，我们介绍了时空神经数据变压器（STNDT），这是一种基于NDT的架构，该体系结构明确地模拟了跨时和空间中人群中单个神经元的响应，以揭示其潜在的点火率。此外，我们提出了一种对比对比学习损失，该学习损失是根据掩盖建模目标起作用的，以进一步提高预测性能。我们表明，我们的模型在估计四个神经数据集的神经活动方面达到了整体级别的最新性能，这表明其能力捕获跨越不同皮质区域的自主和非自主动力学，同时完全不知道，同时对特定的行为完全不知所措手。此外，STNDT空间注意机制揭示了神经元的始终重要子集，这些基因在推动整个人群的反应中起着至关重要的作用，从而提供了对神经元人群如何执行计算方式的可解释性和关键见解。

本文提出了在适当的监督信息下进行分解的生成因果代表（亲爱的）学习方法。与实施潜在变量独立性的现有分解方法不同，我们考虑了一种基本利益因素可以因果关系相关的一般情况。我们表明，即使在监督下，先前具有独立先验的方法也无法解散因果关系。在这一发现的激励下，我们提出了一种称为DEAR的新的解开学习方法，该方法可以使因果可控的产生和因果代表学习。这种新公式的关键要素是使用结构性因果模型（SCM）作为双向生成模型的先验分布。然后，使用合适的GAN算法与发电机和编码器共同训练了先验，并与有关地面真相因子及其基本因果结构的监督信息合并。我们提供了有关该方法的可识别性和渐近收敛性的理论理由。我们对合成和真实数据集进行了广泛的实验，以证明DEAR在因果可控生成中的有效性，以及在样本效率和分布鲁棒性方面，学到的表示表示对下游任务的好处。