设计具有所需特性的新工业材料可能非常昂贵且耗时。主要困难是生成对应于现实材料的化合物。实际上，作为组分的载体的化合物的描述的表征是通过离散特征和严重的稀疏性表征。此外，传统的生成模型验证过程作为视觉验证，FID和开始分数是针对图像量身定制的，然后不能在此上下文中使用。为了解决这些问题，我们开发了一种致力于产生高稀疏性的离散数据集的原始绑定-VAE模型。我们通过适应化合物生成问题的新型度量来验证模型。我们展示了橡胶复合设计的真正问题，即所提出的方法优于标准生成模型，该模型开启了用于材料设计优化的新视角。

近年来，隐含的生成模型（例如生成对抗网络和扩散模型）已变得普遍。虽然这些模型确实显示出了显着的结果，但评估其性能是具有挑战性的。这个问题对于推动研究并从随机噪声中确定有意义的收益至关重要。当前，启发式指标（例如INCEPTION评分（IS）和特雷希特（Frechet Inception）距离（FID）是最常见的评估指标，但是它们所测量的内容尚不完全清楚。此外，关于他们的分数实际有多有意义的问题。在这项工作中，我们通过生成高质量的合成数据集来研究生成模型的评估指标，我们可以在该数据集中估算经典指标以进行比较。我们的研究表明，尽管FID和与几个F-Diverence确实相关，但它们的近距离模型的排名可能会差异很大，因此在用于Fain Graining比较时，它们有问题。我们进一步使用了这种实验环境来研究哪些评估度量与我们的概率指标相关。最后，我们研究用于FID等指标的基本功能。

$ \ beta $ -vae是对变形的自身额外转换器的后续技术，提出了在VAE损失中的KL分歧项的特殊加权，以获得解除戒备的表示。即使在玩具数据集和有意义的情况下，甚至在玩具数据集上也是脆弱的学习，难以找到的难以找到的。在这里，我们调查原来的$ \β$ -VAE纸，并向先前获得的结果添加证据表明其缺乏可重复性。我们还进一步扩展了模型的实验，并在分析中包括进一步更复杂的数据集。我们还为$ \β$ -VAE模型实施了FID评分度量，并得出了对所获得的结果的定性分析。我们结束了关于可能进行的未来调查的简要讨论，以增加对索赔的更具稳健性。

从文本描述中综合现实图像是计算机视觉中的主要挑战。当前对图像合成方法的文本缺乏产生代表文本描述符的高分辨率图像。大多数现有的研究都依赖于生成的对抗网络（GAN）或变异自动编码器（VAE）。甘斯具有产生更清晰的图像的能力，但缺乏输出的多样性，而VAE擅长生产各种输出，但是产生的图像通常是模糊的。考虑到gan和vaes的相对优势，我们提出了一个新的有条件VAE（CVAE）和条件gan（CGAN）网络架构，用于合成以文本描述为条件的图像。这项研究使用条件VAE作为初始发电机来生成文本描述符的高级草图。这款来自第一阶段的高级草图输出和文本描述符被用作条件GAN网络的输入。第二阶段GAN产生256x256高分辨率图像。所提出的体系结构受益于条件加强和有条件的GAN网络的残留块，以实现结果。使用CUB和Oxford-102数据集进行了多个实验，并将所提出方法的结果与Stackgan等最新技术进行了比较。实验表明，所提出的方法生成了以文本描述为条件的高分辨率图像，并使用两个数据集基于Inception和Frechet Inception评分产生竞争结果

用于下游重建和生成的分类潜空间信息的利用是一种有趣和相对未开发的区域。一般而言，歧视性表现在类特定的特征中，但重建太稀疏，而在AutoEncoders中，表示致密，但具有有限的无法区分的类特征，使它们不太适合分类。在这项工作中，我们提出了一种歧视的建模框架，该框架采用被操纵的监督潜在表示来重建和生成属于给定班级的新样本。与旨在模拟数据歧管分布的GAN和VAE的生成建模方法不同，基于代理（Regene）（Regene）直接表示分类空间中的给定数据歧管。在某些限制下，这种监督表示允许使用适当的解码器进行重建和受控几代，而无需执行任何先前分布。理论上，给定类，我们表明使用凸组合巧妙地操纵这些表示保留相同的类标签。此外，他们还导致了新颖的直接现实图像。关于不同分辨率的数据集的广泛实验表明，Regene在FID方面具有比现有的条件生成模型更高的分类精度。

我们提出了一种具有多个鉴别器的生成的对抗性网络，其中每个鉴别者都专门用于区分真实数据集的子集。这种方法有助于学习与底层数据分布重合的发电机，从而减轻慢性模式崩溃问题。从多项选择学习的灵感来看，我们引导每个判别者在整个数据的子集中具有专业知识，并允许发电机在没有监督训练示例和鉴别者的数量的情况下自动找到潜伏和真实数据空间之间的合理对应关系。尽管使用多种鉴别器，但骨干网络在鉴别器中共享，并且培训成本的增加最小化。我们使用多个评估指标展示了我们算法在标准数据集中的有效性。

近年来，由于其对复杂分布进行建模的能力，深层生成模型引起了越来越多的兴趣。在这些模型中，变异自动编码器已被证明是计算有效的，并且在多个领域中产生了令人印象深刻的结果。在这一突破之后，为了改善原始出版物而进行了广泛的研究，从而导致各种不同的VAE模型响应不同的任务。在本文中，我们介绍了Pythae，这是一个多功能的开源Python库，既可以提供统一的实现和专用框架，允许直接，可重现且可靠地使用生成自动编码器模型。然后，我们建议使用此库来执行案例研究基准测试标准，在其中我们介绍并比较了19个生成自动编码器模型，代表了下游任务的一些主要改进，例如图像重建，生成，分类，聚类，聚类和插值。可以在https://github.com/clementchadebec/benchmark_vae上找到开源库。

图像生成模型可以学习训练数据的分布，因此可以通过从这些分布中取样来生成示例。但是，当培训数据集被离群值损坏时，生成模型可能会产生与异常值相似的示例。实际上，一小部分离群值可能会诱导最新的生成模型，例如量化量化量化自动编码器（VQ-VAE），以从异常值中学习重要的模式。为了减轻此问题，我们提出了一个基于VQ-VAE的强大生成模型，我们将其命名为强大的VQ-VAE（RVQ-VAE）。为了实现鲁棒性，RVQ-VAE使用两个单独的代码簿对嵌入式和离群值。为了确保代码簿嵌入正确的组件，我们在每个培训时期内迭代更新嵌入式和异常值的集合。为了确保编码的数据点与正确的代码簿匹配，我们使用加权欧几里得距离进行量化，其权重由代码簿的定向差异确定。这两个代码手册均与编码器和解码器一起根据重建损失和量化损失共同训练。我们在实验上证明，即使大部分训练数据点损坏了RVQ-VAE，即使大部分培训数据都可以从嵌入式中产生示例。

We explore the use of Vector Quantized Variational AutoEncoder (VQ-VAE) models for large scale image generation. To this end, we scale and enhance the autoregressive priors used in VQ-VAE to generate synthetic samples of much higher coherence and fidelity than possible before. We use simple feed-forward encoder and decoder networks, making our model an attractive candidate for applications where the encoding and/or decoding speed is critical. Additionally, VQ-VAE requires sampling an autoregressive model only in the compressed latent space, which is an order of magnitude faster than sampling in the pixel space, especially for large images. We demonstrate that a multi-scale hierarchical organization of VQ-VAE, augmented with powerful priors over the latent codes, is able to generate samples with quality that rivals that of state of the art Generative Adversarial Networks on multifaceted datasets such as ImageNet, while not suffering from GAN's known shortcomings such as mode collapse and lack of diversity.

现代生成型号在包括图像或文本生成和化学分子建模的各种任务中获得优异的品质。然而，现有方法往往缺乏通过所要求的属性产生实例的基本能力，例如照片中的人的年龄或产生的分子的重量。包含此类额外的调节因子将需要重建整个架构并从头开始优化参数。此外，难以解除选定的属性，以便仅在将其他属性中执行不变的同时执行编辑。为了克服这些限制，我们提出插件（插件生成网络），这是一种简单而有效的生成技术，可以用作预先训练的生成模型的插件。我们的方法背后的想法是使用基于流的模块将纠缠潜在的潜在表示转换为多维空间，其中每个属性的值被建模为独立的一维分布。因此，插件可以生成具有所需属性的新样本，以及操作现有示例的标记属性。由于潜在代表的解散，我们甚至能够在数据集中的稀有或看不见的属性组合生成样本，例如具有灰色头发的年轻人，有妆容的男性或胡须的女性。我们将插入与GaN和VAE模型组合并将其应用于图像和化学分子建模的条件生成和操纵。实验表明，插件保留了骨干型号的质量，同时添加控制标记属性值的能力。

矢量量化变量自动编码器（VQ-VAE）是基于数据的离散潜在表示的生成模型，其中输入映射到有限的学习嵌入式集合。要生成新样品，必须对离散状态进行自动介绍的先验分布。分别地。这一先验通常非常复杂，并导致生成缓慢。在这项工作中，我们提出了一个新模型，以同时训练先验和编码器/解码器网络。我们在连续编码的向量和非信息性先验分布之间建立扩散桥。然后将潜在离散状态作为这些连续向量的随机函数。我们表明，我们的模型与迷你imagenet和Cifar数据集的自动回归先验具有竞争力，并且在优化和采样方面都有效。我们的框架还扩展了标准VQ-VAE，并可以启用端到端培训。

神经网络在许多科学学科中发挥着越来越大的作用，包括物理学。变形AutoEncoders（VAE）是能够表示在低维潜空间中的高维数据的基本信息，该神经网络具有概率解释。特别是所谓的编码器网络，VAE的第一部分，其将其输入到潜伏空间中的位置，另外在该位置的方差方面提供不确定性信息。在这项工作中，介绍了对AutoEncoder架构的扩展，渔民。在该架构中，借助于Fisher信息度量，不使用编码器中的附加信息信道生成潜在空间不确定性，而是从解码器导出。这种架构具有来自理论观点的优点，因为它提供了从模型的直接不确定性量化，并且还考虑不确定的交叉相关。我们可以通过实验表明，渔民生产比可比较的VAE更准确的数据重建，并且其学习性能也明显较好地缩放了潜伏空间尺寸的数量。

vae或变异自动编码器将数据压缩为潜在属性，并生成不同品种的新数据。基于KL差异的VAE被认为是数据增强的有效技术。在本文中，我们提出使用Wasserstein距离作为潜在属性的分布相似性的量度，并显示其优质的理论下限（ELBO）与在轻度条件下的KL差异相比。使用多个实验，我们证明了新的损失函数具有更好的收敛属性，并生成可以更好地帮助图像分类任务的人工图像。

变形AutoEncoders（VAES）是具有许多域中应用的强大的基于似然的生成模型之一。然而，他们努力产生高质量的图像，尤其是当样品从之前没有任何回火时获得。 VAES生成质量的一个解释是先前孔问题：前提分配不能匹配近似后部的总体近似。由于这种不匹配，在不对应于任何编码图像的之前，存在具有高密度的潜在空间中的区域。来自这些区域的样本被解码为损坏的图像。为了解决这个问题，我们提出了基于能源的基础产品，由基础产品的乘积和重新免除因子，旨在使基座更接近骨料后部。我们通过噪声对比估计训练重重的因素，我们将其概括为具有许多潜在变量组的分层VAE。我们的实验证实，所提出的噪声对比前沿通过MNIST，CIFAR-10，CELEBA 64和Celeba HQ 256数据集的大边缘改善了最先进的VAE的生成性能。我们的方法很简单，可以应用于各种VAE，以提高其先前分配的表现。

最近，诸如Interovae和S-Introvae之类的内省模型在图像生成和重建任务方面表现出色。内省模型的主要特征是对VAE的对抗性学习，编码器试图区分真实和假（即合成）图像。但是，由于有效度量标准无法评估真实图像和假图像之间的差异，因此后塌陷和消失的梯度问题仍然存在，从而降低了合成图像的保真度。在本文中，我们提出了一种称为对抗性相似性距离内省变化自动编码器（AS-Introvae）的新变体。我们理论上分析了消失的梯度问题，并使用2-Wasserstein距离和内核技巧构建了新的对抗相似性距离（AS-cantance）。随着重量退火，AS-Introvae能够产生稳定和高质量的图像。通过每批次尝试转换图像，以使其更好地适合潜在空间中的先前分布，从而解决了后塌陷问题。与每个图像方法相比，该策略促进了潜在空间中更多样化的分布，从而使我们的模型能够产生巨大的多样性图像。基准数据集的全面实验证明了AS-Introvae对图像生成和重建任务的有效性。

机器学习在图像处理方面取得了很大的成功。但是，这项工作的重点很大程度上是在逼真的图像上，忽略了更多的小众艺术风格，例如像素艺术。此外，许多专注于像素组的传统机器学习模型与单个像素很重要的像素艺术无法很好地工作。我们提出了一个专门的VQ-VAE模型Pixel VQ-VAE，该模型学习了Pixel Art的表示。我们表明，它在嵌入质量以及下游任务的性能中都优于其他模型。

评估图像生成模型（例如生成对抗网络（GAN））是一个具有挑战性的问题。一种常见的方法是比较地面真相图像集和生成的测试图像集的分布。 Frech \'Et启动距离是评估gan的最广泛使用的指标之一，该指标假定一组图像的训练有素的启动模型中的特征遵循正态分布。在本文中，我们认为这是一个过度简化的假设，这可能会导致不可靠的评估结果，并且可以使用截断的广义正态分布来实现更准确的密度估计。基于此，我们提出了一个新的度量，以准确评估gan，称为趋势（截断了截断的正常密度估计，对嵌入植物的嵌入）。我们证明我们的方法大大减少了密度估计的错误，因此消除了评估结果错误的风险。此外，我们表明所提出的指标可显着提高评估结果的鲁棒性，以防止图像样品数量变化。

The new wave of digitization induced by Industry 4.0 calls for ubiquitous and reliable connectivity to perform and automate industrial operations. 5G networks can afford the extreme requirements of heterogeneous vertical applications, but the lack of real data and realistic traffic statistics poses many challenges for the optimization and configuration of the network for industrial environments. In this paper, we investigate the network traffic data generated from a laser cutting machine deployed in a Trumpf factory in Germany. We analyze the traffic statistics, capture the dependencies between the internal states of the machine, and model the network traffic as a production state dependent stochastic process. The two-step model is proposed as follows: first, we model the production process as a multi-state semi-Markov process, then we learn the conditional distributions of the production state dependent packet interarrival time and packet size with generative models. We compare the performance of various generative models including variational autoencoder (VAE), conditional variational autoencoder (CVAE), and generative adversarial network (GAN). The numerical results show a good approximation of the traffic arrival statistics depending on the production state. Among all generative models, CVAE provides in general the best performance in terms of the smallest Kullback-Leibler divergence.

变形AutoEncoder（VAE）是无监督学习的深度生成模型，允许将观察编码为有意义的潜在空间。当任务按顺序到达时，VAE易于灾难性忘记，并且只有当前的数据可用。我们解决了这个持续学习vaes的问题。众所周知，在非持续设置中，在潜空间上的先前分配的选择对于VAE至关重要。我们认为它也有助于避免灾难性的遗忘。我们将在每个任务之前学习聚合后部的近似值。该近似是参数化作为在可训练的伪输入中评估的编码器诱导的分布的添加剂混合物。我们使用贪婪的升压方法，并使用熵正则化来学习组件。此方法鼓励组件多样性，这是必不可少的，因为我们的目标是与最少的组件存储最少的组件。基于学习的先验，我们介绍了持续学习VAE的端到端方法，并为常用的基准（MNIST，时尚Mnist，Notmnist）和Celeba数据集提供实证研究。对于每个数据集，所提出的方法避免以全自动方式遗漏灾难性忘记。

嵌套辍学是辍学操作的变体，能够根据训练期间的预定义重要性订购网络参数或功能。它已被探索：I。构造嵌套网络：嵌套网是神经网络，可以在测试时间（例如基于计算约束）中立即调整架构的架构。嵌套的辍学者隐含地对网络参数进行排名，生成一组子网络，从而使任何较小的子网络构成较大的子网络的基础。 ii。学习排序表示：应用于生成模型的潜在表示（例如自动编码器）对特征进行排名，从而在尺寸上执行密集表示的明确顺序。但是，在整个训练过程中，辍学率是固定为高参数的。对于嵌套网，当删除网络参数时，性能衰减在人类指定的轨迹中而不是从数据中学到的轨迹中。对于生成模型，特征的重要性被指定为恒定向量，从而限制了表示学习的灵活性。为了解决该问题，我们专注于嵌套辍学的概率对应物。我们提出了一个嵌套掉落（VND）操作，该操作以低成本绘制多维有序掩码的样品，为嵌套掉落的参数提供了有用的梯度。基于这种方法，我们设计了一个贝叶斯嵌套的神经网络，以了解参数分布的顺序知识。我们在不同的生成模型下进一步利用VND来学习有序的潜在分布。在实验中，我们表明所提出的方法在分类任务中的准确性，校准和室外检测方面优于嵌套网络。它还在数据生成任务上胜过相关的生成模型。