学习脱消自然语言的表示对于许多NLP任务至关重要，例如，条件文本生成，样式转移，个性化对话系统等。已经广泛研究了类似的问题，以其他形式的数据，例如图像和视频。然而，自然语言的离散性质使得脱屑更具挑战性（例如，无法轻易实现数据空间的操纵）。受到信息理论的启发，我们提出了一种新的方法，有效地体现了案文的解散表示，没有任何关于语义的监督。派生和利用新的相互信息上限以测量风格和内容之间的依赖。通过最小化该上限，提出的方法将嵌入式和内容嵌入到两个独立的低维空间中。条件文本生成和文本式转移的实验表明了在内容和风格保存方面的高质量。

Text style transfer aims to alter the style of a sentence while preserving its content. Due to the lack of parallel corpora, most recent work focuses on unsupervised methods and often uses cycle construction to train models. Since cycle construction helps to improve the style transfer ability of the model by rebuilding transferred sentences back to original-style sentences, it brings about a content loss in unsupervised text style transfer tasks. In this paper, we propose a novel disentanglement-based style transfer model StyleFlow to enhance content preservation. Instead of the typical encoder-decoder scheme, StyleFlow can not only conduct the forward process to obtain the output, but also infer to the input through the output. We design an attention-aware coupling layers to disentangle the content representations and the style representations of a sentence. Besides, we propose a data augmentation method based on Normalizing Flow to improve the robustness of the model. Experiment results demonstrate that our model preserves content effectively and achieves the state-of-the-art performance on the most metrics.

近年来，文本的风格特性吸引了计算语言学研究人员。具体来说，研究人员研究了文本样式转移（TST）任务，该任务旨在在保留其样式独立内容的同时改变文本的风格属性。在过去的几年中，已经开发了许多新颖的TST算法，而该行业利用这些算法来实现令人兴奋的TST应用程序。由于这种共生，TST研究领域迅速发展。本文旨在对有关文本样式转移的最新研究工作进行全面审查。更具体地说，我们创建了一种分类法来组织TST模型，并提供有关最新技术状况的全面摘要。我们回顾了针对TST任务的现有评估方法，并进行了大规模的可重复性研究，我们在两个公开可用的数据集上实验基准了19个最先进的TST TST算法。最后，我们扩展了当前趋势，并就TST领域的新开发发展提供了新的观点。

文本样式传输（TST）旨在在保持相同内容的同时将源文本的底层样式更改为另一种特定样式。由于高质量平行训练数据的稀缺性，无监督的学习已成为TST任务的趋势方向。在本文中，我们提出了一种新的基于VAE的文本方式转移，具有Pivot词增强学习（VT-LOWER）方法，该方法利用变分AutiConder（VAE）和外部风格嵌入，共同学习语义和风格分布。此外，我们介绍了枢轴词学习，它用于学习特定风格的决定性词语，从而进一步提高风格转移的整体性能。所提出的vt-rtower可以缩放到不同的TST场景，因为具有新颖和灵活的风格强度控制机制的非常有限和非平行训练数据。实验表明，VT-BURER优于语言，形式和代码切换TST任务的最先进。

文本样式传输是自然语言生成中的重要任务，旨在控制生成的文本中的某些属性，例如礼貌，情感，幽默和许多其他特性。它在自然语言处理领域拥有悠久的历史，最近由于深神经模型带来的有希望的性能而重大关注。在本文中，我们对神经文本转移的研究进行了系统调查，自2017年首次神经文本转移工作以来跨越100多个代表文章。我们讨论了任务制定，现有数据集和子任务，评估，以及丰富的方法在存在并行和非平行数据存在下。我们还提供关于这项任务未来发展的各种重要主题的讨论。我们的策据纸张列表在https://github.com/zhijing-jin/text_style_transfer_survey

变异因素之间的相关性在现实数据中普遍存在。机器学习算法可能会受益于利用这种相关性，因为它们可以提高噪声数据的预测性能。然而，通常这种相关性不稳定（例如，它们可能在域，数据集或应用程序之间发生变化），我们希望避免利用它们。解剖学方法旨在学习捕获潜伏子空间变化不同因素的表示。常用方法涉及最小化潜伏子空间之间的相互信息，使得每个潜在的底层属性。但是，当属性相关时，这会失败。我们通过强制执行可用属性上的子空间之间的独立性来解决此问题，这允许我们仅删除不导致的依赖性，这些依赖性是由于训练数据中存在的相关结构。我们通过普发的方法实现这一目标，以最小化关于分类变量的子空间之间的条件互信息（CMI）。我们首先在理论上展示了CMI最小化是对高斯数据线性问题的稳健性解剖的良好目标。然后，我们基于MNIST和Celeba在现实世界数据集上应用我们的方法，并表明它会在相关偏移下产生脱屑和强大的模型，包括弱监督设置。

潜在空间基于能量的模型（EBM），也称为基于能量的先验，引起了对生成建模的日益兴趣。由于其在潜在空间的配方和强大的建模能力方面的灵活性所推动，最近构建的作品已经进行了有趣的尝试，目的是针对文本建模的解释性。但是，潜在空间EBM还继承了数据空间中EBM的一些缺陷。实践中退化的MCMC抽样质量会导致培训中的发电质量和不稳定差，尤其是在具有复杂潜在结构的数据上。受到最近的努力的启发，该努力利用扩散恢复的可能性学习是解决抽样问题的一种方法，我们在变异学习框架中引入了扩散模型和潜在空间EBM之间的新型共生，这是潜在扩散能量基于能量的模型。我们与信息瓶颈共同开发基于几何聚类的正则化，以进一步提高学到的潜在空间的质量。对几个具有挑战性的任务进行的实验证明了我们模型在可解释的文本建模上的优越性能而不是强大的同行。

Estimating and optimizing Mutual Information (MI) is core to many problems in machine learning; however, bounding MI in high dimensions is challenging. To establish tractable and scalable objectives, recent work has turned to variational bounds parameterized by neural networks, but the relationships and tradeoffs between these bounds remains unclear. In this work, we unify these recent developments in a single framework. We find that the existing variational lower bounds degrade when the MI is large, exhibiting either high bias or high variance. To address this problem, we introduce a continuum of lower bounds that encompasses previous bounds and flexibly trades off bias and variance. On high-dimensional, controlled problems, we empirically characterize the bias and variance of the bounds and their gradients and demonstrate the effectiveness of our new bounds for estimation and representation learning.

本文对过去二十年来对自然语言生成（NLG）的研究提供了全面的审查，特别是与数据到文本生成和文本到文本生成深度学习方法有关，以及NLG的新应用技术。该调查旨在（a）给出关于NLG核心任务的最新综合，以及该领域采用的建筑;（b）详细介绍各种NLG任务和数据集，并提请注意NLG评估中的挑战，专注于不同的评估方法及其关系;（c）强调一些未来的强调和相对近期的研究问题，因为NLG和其他人工智能领域的协同作用而增加，例如计算机视觉，文本和计算创造力。

优化所需特性的化学分子在于药物发育的核心。尽管深度生成模型和加强学习方法进行了初步成功，但这些方法主要受到预定义属性函数或通过手动预编译的原始和优化分子的并行数据的限制。在本文中，我们首次制定了作为样式转移问题的分子优化，并提出了一种新的生成模型，可以通过对抗训练策略自动学习两组非并行数据之间的内部差异。我们的模型通过组合辅助引导变分自身额和生成流动技术，可以通过组合辅助引导变分自动化器和经常性流动技术来保存分子内容和分子特性的优化。两种分子优化任务的实验，毒性修饰和合成性改进，证明我们的模型显着优于几种最先进的方法。

变化自动编码器（VAE）最近已用于对复杂密度分布的无监督分离学习。存在许多变体，以鼓励潜在空间中的分解，同时改善重建。但是，在达到极低的重建误差和高度分离得分之间，没有人同时管理权衡。我们提出了一个普遍的框架，可以在有限的优化下应对这一挑战，并证明它在平衡重建时，它优于现有模型的最先进模型。我们介绍了三个可控的拉格朗日超级参数，以控制重建损失，KL差异损失和相关度量。我们证明，重建网络中的信息最大化等于在合理假设和约束放松下摊销过程中的信息最大化。

学习公平的代表性对于实现公平或宣传敏感信息至关重要。大多数现有的作品都依靠对抗表示学习将一些不变性注入表示形式。但是，已知对抗性学习方法受到相对不稳定的训练的痛苦，这可能会损害公平性和代表性预测之间的平衡。我们提出了一种新的方法，通过分布对比度变异自动编码器（Farconvae）学习公平表示，该方法诱导潜在空间分解为敏感和非敏感部分。我们首先构建具有不同敏感属性但具有相同标签的观测值。然后，Farconvae强制执行每个不敏感的潜在潜在，而敏感的潜在潜在的潜伏期彼此之间的距离也很远，并且还远离非敏感的潜在通过对比它们的分布。我们提供了一种由高斯和Student-T内核动机的新型对比损失，用于通过理论分析进行分配对比学习。此外，我们采用新的掉期重建损失，进一步提高分解。 Farconvae在公平性，预处理的模型偏差以及来自各种模式（包括表格，图像和文本）的领域概括任务方面表现出了卓越的性能。

This work investigates unsupervised learning of representations by maximizing mutual information between an input and the output of a deep neural network encoder. Importantly, we show that structure matters: incorporating knowledge about locality in the input into the objective can significantly improve a representation's suitability for downstream tasks. We further control characteristics of the representation by matching to a prior distribution adversarially. Our method, which we call Deep InfoMax (DIM), outperforms a number of popular unsupervised learning methods and compares favorably with fully-supervised learning on several classification tasks in with some standard architectures. DIM opens new avenues for unsupervised learning of representations and is an important step towards flexible formulations of representation learning objectives for specific end-goals.

提出了一种新的双峰生成模型，用于生成条件样品和关节样品，并采用学习简洁的瓶颈表示的训练方法。所提出的模型被称为变异Wyner模型，是基于网络信息理论中的两个经典问题（分布式仿真和信道综合）设计的，其中Wyner的共同信息是对公共表示简洁性的基本限制。该模型是通过最大程度地减少对称的kullback的训练 - 差异 - 变异分布和模型分布之间具有正则化项，用于常见信息，重建一致性和潜在空间匹配项，该术语是通过对逆密度比率估计技术进行的。通过与合成和现实世界数据集的联合和有条件生成的实验以及具有挑战性的零照片图像检索任务，证明了所提出的方法的实用性。

Few-shot learning (FSL), which aims to classify unseen classes with few samples, is challenging due to data scarcity. Although various generative methods have been explored for FSL, the entangled generation process of these methods exacerbates the distribution shift in FSL, thus greatly limiting the quality of generated samples. To these challenges, we propose a novel Information Bottleneck (IB) based Disentangled Generation Framework for FSL, termed as DisGenIB, that can simultaneously guarantee the discrimination and diversity of generated samples. Specifically, we formulate a novel framework with information bottleneck that applies for both disentangled representation learning and sample generation. Different from existing IB-based methods that can hardly exploit priors, we demonstrate our DisGenIB can effectively utilize priors to further facilitate disentanglement. We further prove in theory that some previous generative and disentanglement methods are special cases of our DisGenIB, which demonstrates the generality of the proposed DisGenIB. Extensive experiments on challenging FSL benchmarks confirm the effectiveness and superiority of DisGenIB, together with the validity of our theoretical analyses. Our codes will be open-source upon acceptance.

非平行文本样式转移是自然语言生成的重要任务。但是，先前的研究集中在令牌或句子级别上，例如句子情绪和形式转移，但在话语水平上忽略了长时间的转移。长文本通常涉及更复杂的作者语言偏好，例如话语结构，而不是句子。在本文中，我们制定了非并行故事作者风格转移的任务，该任务需要将输入故事传输到指定的作者样式的同时，同时维护源语义。为了解决这个问题，我们提出了一个名为StoryTrans的一代模型，该模型利用话语表示捕获源内容信息并将其传输到具有可学习样式嵌入的目标样式中。我们使用额外的培训目标将文学的文学特征与学习的话语表示，以防止模型退化为自动编码器。此外，为了增强内容保存，我们设计了一个面具和填充框架，以将源文本的特定于特定于样式的关键字定为生成。此外，我们分别用中文和英语构建了此任务的新数据集。广泛的实验表明，我们的模型在样式传输和内容保存的总体性能方面优于强大的基线。

我们通过为变压器嵌入的变异信息瓶颈常规剂开发变压器提出了VAE。我们将变压器编码器的嵌入空间形式化为混合概率分布，并使用贝叶斯非参数来推导非参数变化信息瓶颈（NVIB）来用于此类基于注意力的嵌入。非参数方法支持的混合成分数量可变数量，可捕获注意力支持的向量数量，而我们的非参数分布的交换性捕获了注意力的置换不变性。这使得NVIB能够将注意力访问的向量数量以及各个向量中的信息量进行正规化。通过将变压器编码器与NVIB进行正规注意，我们提出了一个非参数变异自动编码器（NVAE）。关于训练自然语言文本的NVAE的最初实验表明，诱导的嵌入空间具有VAE对于变压器的所需特性。

原则上，将变异自动编码器（VAE）应用于顺序数据提供了一种用于控制序列生成，操纵和结构化表示学习的方法。但是，训练序列VAE具有挑战性：自回归解码器通常可以解释数据而无需使用潜在空间，即后置倒塌。为了减轻这种情况，最新的模型通过将均匀的随机辍学量应用于解码器输入来削弱强大的解码器。从理论上讲，我们表明，这可以消除解码器输入提供的点式互信息，该信息通过利用潜在空间来补偿。然后，我们提出了一种对抗性训练策略，以实现基于信息的随机辍学。与标准文本基准数据集上的均匀辍学相比，我们的目标方法同时提高了序列建模性能和潜在空间中捕获的信息。

在多模式情绪分析（MSA）中，模型的性能高度取决于合成嵌入的质量。这些嵌入来自称为多模式融合的上游进程，旨在提取并结合输入的单向原始数据以产生更丰富的多峰表示。以前的工作要么返回传播任务丢失或操纵要素空间的几何属性，以产生有利的融合结果，它忽略了从输入到融合结果的关键任务相关信息的保存。在这项工作中，我们提出了一个名为多模式InfoMax（MMIM）的框架，该框架是分层地最大化单向输入对（互别级别）的互信息（MI），以及多模式融合结果和单向输入之间以便通过多模式融合。该框架与主要任务（MSA）共同培训，以提高下游MSA任务的性能。为了解决MI界限的棘手问题，我们进一步制定了一组计算简单的参数和非参数方法来近似于其真实值。两个广泛使用的数据集上的实验结果表明了我们的方法的功效。此工作的实施是公开可用的，在https://github.com/declare-lab/multimodal-infomax上。

无负的对比度学习吸引了很多关注，以简单性和令人印象深刻的表现，以进行大规模预处理。但是它的解散财产仍未得到探索。在本文中，我们采用不同的无负对比度学习方法来研究这种自我监督方法的分离特性。我们发现现有的分离指标无法对高维表示模型进行有意义的测量，因此我们根据表示因素和数据因素之间的相互信息提出了一个新的分解指标。通过拟议的指标，我们首次在流行的合成数据集和现实世界数据集Celeba上首次基于无效的对比度学习的删除属性。我们的研究表明，研究的方法可以学习一个明确的表示子集。我们首次将对分离的表示学习的研究扩展到高维表示空间和无效的对比度学习。建议的度量标准的实现可在\ url {https://github.com/noahcao/disentangeslement_lib_med}中获得。