这项工作考虑了计算大张量的\ textit {规范多元分解}(CPD)的问题。先前的工作主要利用数据稀性来处理这个问题,这不适合处理在医学成像,计算机视觉和遥感等应用中经常出现的密集器。随机优化因处理密集数据时的低内存成本和每次迭代复杂性而闻名。然而,现有随机CPD算法难以结合信号和数据分析中感兴趣的各种约束和规则化。许多此类算法的收敛性质也不清楚。在这项工作中,我们提出了具有约束/正则化的大规模CPD的随机优化框架。该框架在双重随机化时尚下工作,可以被视为\ textit {randomizedblock坐标下降}(BCD)和\ textit {随机近端梯度}(SPG)的明智组合。该算法具有轻量级更新和小内存占用,并且可以很好地扩展。此外,该框架具有相当大的灵活性 - 许多常用的正则化器和约束可以在所提出的方案下容易地处理。收敛性分析也支持这种方法。使用大规模密集张量的数值结果来展示所提出方法的有效性。
translated by 谷歌翻译
事实证明,线性混合模型在众多应用中非常有用,例如,主题建模,聚类和源分离。作为线性混合模型的一个关键方面,在独立分量分析和约束矩阵分解等框架下,对模型参数的可识别性进行了研究。然而,当线性混合物被一个未知的非线性函数 - 在许多情况下是很好的动机和更现实的 - 来解决时 - 可识别性问题的研究要少得多。这项工作提出了一个非常基础的非线性混合模型的识别标准。现实世界的应用程序,并提供可识别性保证。提出了一种基于明智设计的神经网络的实际实现方案,实现了该标准,并提出了一种有效的学习算法。该方法的合成和实际数据有效性的数值结果。
translated by 谷歌翻译
非负矩阵分解(NMF)已成为信号和数据分析的主力,由其模型简约性和可解释性引发。也许有点令人惊讶的是,对模型可识别性的理解 - 主题挖掘和高光谱成像等许多应用中可解释性的主要原因 - 直到近几年才相当有限。从2010年开始,NMF的可识别性研究取得了相当大的进展。 :信号处理(SP)和机器学习(ML)社区已经发现了许多有趣且重要的结果。 NMF可识别性在实践中的许多方面都有很大的影响,例如避免配方避免和性能保证算法设计。另一方面,没有教学论文从可识别性的角度介绍NMF。在本文中,我们旨在通过提供有关NMF模型可识别性的全面而深入的教程以及与算法和应用的连接来填补这一空白。本教程将帮助研究人员和研究生掌握NMF的本质和见解,从而避免典型的“陷阱”,这些常常是由于无法识别的NMF配方造成的。本文还将帮助从业者为自己的问题挑选/设计合适的因子化工具。
translated by 谷歌翻译
我们提出了一种新的算法,用于从发射的数据中识别隐马尔可夫模型(HMM)的过渡和发射概率。期望最大化对于长观察记录而言在计算上是禁止的,这通常是识别所需要的。新算法特别适用于可用样本大小足以准确估计二阶输出概率但不高阶输出概率的情况。我们证明,如果一个人只能获得对排放的成对共现概率的可靠估计,如果排放概率是\ emph {足够分散},则可能唯一地识别HMM。我们将我们的方法应用于隐藏主题Markovmodeling,并证明我们可以学习更高质量的主题,如果文档被建模为共享相同发射(主题)概率的HMM的观察,与简单但广泛使用的词袋模型相比。
translated by 谷歌翻译
Tensors or {\em multi-way arrays} are functions of three or more indices$(i,j,k,\cdots)$ -- similar to matrices (two-way arrays), which are functionsof two indices $(r,c)$ for (row,column). Tensors have a rich history,stretching over almost a century, and touching upon numerous disciplines; butthey have only recently become ubiquitous in signal and data analytics at theconfluence of signal processing, statistics, data mining and machine learning.This overview article aims to provide a good starting point for researchers andpractitioners interested in learning about and working with tensors. As such,it focuses on fundamentals and motivation (using various application examples),aiming to strike an appropriate balance of breadth {\em and depth} that willenable someone having taken first graduate courses in matrix algebra andprobability to get started doing research and/or developing tensor algorithmsand software. Some background in applied optimization is useful but notstrictly required. The material covered includes tensor rank and rankdecomposition; basic tensor factorization models and their relationships andproperties (including fairly good coverage of identifiability); broad coverageof algorithms ranging from alternating optimization to stochastic gradient;statistical performance analysis; and applications ranging from sourceseparation to collaborative filtering, mixture and topic modeling,classification, and multilinear subspace learning.
translated by 谷歌翻译
风格转移一直是计算机视觉和图形学中的一个重要课题。加蒂等人。首先证明由预先训练的VGG网络提取的深度特征代表图像的内容和样式特征,因此,可以通过特征空间中的优化来实现样式转移。黄等人。然后通过简单地对齐每个特征通道的均值和方差,表明实时任意样式转移可以发生变化。然而,在本文中,我们认为仅仅调整深度特征的全局统计数据并不总能保证良好的风格转移。相反,我们建议联合分析输入图像对并提取两者之间的共同/可交换的样式特征。此外,还开发了一种新的融合模式,用于在特征空间中结合内容和样式信息。定性和定量实验证明了我们的方法的优势。
translated by 谷歌翻译
在本文中,我们提出神经短语到短语机器翻译(NP $ ^ 2 $ MT)。我们的模型使用短语注意机制来发现解码器用来生成输出(目标)短语的相关输入(源)段。我们还设计了一种有效的动态编程算法来解码分段,这些分段允许比Huang等人现有的基于神经短语的机器翻译方法更快地训练模型。 (2018)。此外,我们的方法可以在解码期间自然地与外部短语词典集成。经验实验表明,我们的方法与基准数据集上的最新方法具有可比性。但是,当训练和测试数据来自不同的分布或域时,我们的方法表现更好。
translated by 谷歌翻译
自然语言生成(NLG)是面向任务的对话系统的重要组成部分。尽管近来NLG的神经方法取得了成功,但它们通常是针对具有丰富注释训练样本的特定域开发的。在本文中,我们在资源匮乏的环境中研究NLG,以便通过少量训练示例在新场景中生成句子。我们从元学习的角度阐述问题,并基于公认的模型不可知元学习(MAML)算法提出基于广义优化的方法(Meta-NLG)。 Meta-NLG定义了一组元代码,并直接将适应新的低资源NLG任务的目标纳入元学习优化过程。对具有多样性变化的大型多域数据集(MultiWoz)进行了广泛的实验。我们表明,Meta-NLG在各种低资源配置中明显优于其他方法。我们分析结果,并证明Meta-NLG适应极快和良好的资源情况。
translated by 谷歌翻译
解密潜在空间中的内容和风格是普通的文本风格转移。然而,在大多数当前神经模型中存在两个主要问题。 1)很难从句子的语义中完全剥离样式信息。 2)基于递归神经网络(RNN)的编码器和解码器,由潜在表示介导,不能解决长期依赖问题,导致非风格语义内容的保存。本文提出了风格变换器,它没有对潜在句子的潜在表现做出任何假设,并且配备了变形金刚注意机制的力量,以实现更好的风格转移和更好的内容保存。
translated by 谷歌翻译
事实证明,语言模型预训练对于学习通用语言表示非常有用。作为最先进的语言模型预训练模型,BERT(变形金刚的双向编码器表示)在许多语言理解任务中取得了惊人的成果。在本文中,我们进行了详尽的实验,以研究BERT在文本分类任务上的不同微调方法,并为BERTfine调整提供一般解决方案。最后,所提出的解决方案在八个广泛研究的文本分类数据集上获得了新的最新结果。
translated by 谷歌翻译