Nonnegative matrix factorization can be used to automatically detect topics within a corpus in an unsupervised fashion. The technique amounts to an approximation of a nonnegative matrix as the product of two nonnegative matrices of lower rank. In this paper, we show this factorization can be combined with regression on a continuous response variable. In practice, the method performs better than regression done after topics are identified and retrains interpretability.
translated by 谷歌翻译
本文涉及低级矩阵恢复问题的$ \ ell_ {2,0} $ \ ell_ {2,0} $ - 正则化分解模型及其计算。引入了Qual $ \ ell_ {2,0} $ - 因子矩阵的规范,以促进因素和低级别解决方案的柱稀疏性。对于这种不透露的不连续优化问题,我们开发了一种具有外推的交替的多种化 - 最小化(AMM)方法,以及一个混合AMM,其中提出了一种主要的交替的近端方法,以寻找与较少的非零列和带外推的AMM的初始因子对。然后用于最小化平滑的非凸损失。我们为所提出的AMM方法提供全局收敛性分析,并使用非均匀采样方案将它们应用于矩阵完成问题。数值实验是用综合性和实际数据示例进行的,并且与核形态正则化分解模型的比较结果和MAX-NORM正则化凸模型显示柱$ \ ell_ {2,0} $ - 正则化分解模型具有优势在更短的时间内提供较低误差和排名的解决方案。
translated by 谷歌翻译
大多数现有推荐系统仅基于评级数据,并且他们忽略了可能会增加建议质量的其他信息来源,例如文本评论或用户和项目特征。此外,这些系统的大多数仅适用于小型数据集(数千个观察)并且无法处理大型数据集(具有数百万观察结果)。我们提出了一种推荐人算法,该算法将评级建模技术(即潜在因子模型)与基于文本评论(即潜在Dirichlet分配)的主题建模方法组合,并且我们扩展了算法,使其允许添加额外的用户和项目 - 对系统的特定信息。我们使用具有不同大小的Amazon.com数据集来评估算法的性能,对应于23个产品类别。将建筑模型与四种其他型号进行比较后,我们发现将患有评级的文本评语相结合,导致更好的建议。此外,我们发现为模型添加额外的用户和项目功能会提高其预测精度,这对于中型和大数据集尤其如此。
translated by 谷歌翻译
本文研究了主题模型中高维,离散,可能稀疏的混合模型的估计。数据包括在$ n $独立文档中观察到的$ p $单词的多项式计数。在主题模型中,$ p \ times n $预期的单词频率矩阵被认为被分解为$ p \ times k $ word-top-topic矩阵$ a $ a $和a $ k \ times n $ topic-document $ t $ t $ 。由于两个矩阵的列代表属于概率简单的条件概率,因此$ a $的列被视为$ p $ - 二维混合组件,这些混合组件是所有文档共有的,而$ t $的列被视为$ k $二维的混合物特定文档并允许稀疏的权重。主要的兴趣是提供鲜明的,有限的样本,$ \ ell_1 $ norm收敛速率,用于混合物重量$ t $的估计量,当$ a $是已知或未知时。对于已知的$ a $,我们建议MLE估计为$ t $。我们对MLE的非标准分析不仅建立了其$ \ ell_1 $收敛率,而且揭示了一个非凡的属性:MLE,没有额外的正则化,可能完全稀疏,并且包含$ t $的真实零模式。我们进一步表明,MLE既是最佳的最佳选择,又适应了一大批稀疏主题分布中未知的稀疏性。当$ a $未知时,我们通过优化与$ a $ a $的插件的可能性功能来估计$ t $。对于任何满足与$ a $ $ a $的详细条件的估计器$ \ hat {a} $,显示出$ t $的估计器可保留为MLE建立的属性。环境尺寸$ k $和$ p $可以随着样本量而增长。我们的应用是对文档生成分布之间1-Wasserstein距离的估计。我们建议,估计和分析两个概率文档表示之间的新1-Wasserstein距离。
translated by 谷歌翻译
Non-negative matrix factorization is a popular unsupervised machine learning algorithm for extracting meaningful features from data which are inherently non-negative. However, such data sets may often contain privacy-sensitive user data, and therefore, we may need to take necessary steps to ensure the privacy of the users while analyzing the data. In this work, we focus on developing a Non-negative matrix factorization algorithm in the privacy-preserving framework. More specifically, we propose a novel privacy-preserving algorithm for non-negative matrix factorisation capable of operating on private data, while achieving results comparable to those of the non-private algorithm. We design the framework such that one has the control to select the degree of privacy grantee based on the utility gap. We show our proposed framework's performance in six real data sets. The experimental results show that our proposed method can achieve very close performance with the non-private algorithm under some parameter regime, while ensuring strict privacy.
translated by 谷歌翻译
监督字典学习(SDL)是一种经典的机器学习方法,同时寻求特征提取和分类任务,不一定是先验的目标。 SDL的目的是学习类歧视性词典,这是一组潜在特征向量,可以很好地解释特征以及观察到的数据的标签。在本文中,我们提供了SDL的系统研究,包括SDL的理论,算法和应用。首先,我们提供了一个新颖的框架,该框架将“提升” SDL作为组合因子空间中的凸问题,并提出了一种低级别的投影梯度下降算法,该算法将指数成倍收敛于目标的全局最小化器。我们还制定了SDL的生成模型,并根据高参数制度提供真实参数的全局估计保证。其次,我们被视为一个非convex约束优化问题,我们为SDL提供了有效的块坐标下降算法,该算法可以保证在$ O(\ varepsilon^{ - 1}(\ log)中找到$ \ varepsilon $ - 定位点(\ varepsilon \ varepsilon^{ - 1})^{2})$ iterations。对于相应的生成模型,我们为受约束和正则化的最大似然估计问题建立了一种新型的非反应局部一致性结果,这可能是独立的。第三,我们将SDL应用于监督主题建模和胸部X射线图像中的肺炎检测中,以进行不平衡的文档分类。我们还提供了模拟研究,以证明当最佳的重建性和最佳判别词典之间存在差异时,SDL变得更加有效。
translated by 谷歌翻译
加州无罪项目(CIP)是一个旨在获得自由被错误定罪的囚犯的临床法学学校计划,评估数千封邮件,其中包含了新请求的帮助和相应的案件文件。处理和解释这一大量信息对CIP官员提出了重大挑战,这可以通过主题建模技术成功地辅助。在本文中,我们应用非负矩阵分解(NMF)方法并实现重要的各种分支机构先前未捕获的数据集由CIP编译。我们识别现有案例文件的基础主题,并按犯罪类型和案例状态(判定类型)对请求文件进行分类。结果揭示了当前案例文件的语义结构,可以在进一步考试之前为新收到的案例文件提供CIP官员。我们还提供了对NMF的流行变体进行了实验结果,并通过现实世界应用探讨了每个变体的益处和缺点。
translated by 谷歌翻译
Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.
translated by 谷歌翻译
We investigate a general matrix factorization for deviance-based data losses, extending the ubiquitous singular value decomposition beyond squared error loss. While similar approaches have been explored before, our method leverages classical statistical methodology from generalized linear models (GLMs) and provides an efficient algorithm that is flexible enough to allow for structural zeros and entry weights. Moreover, by adapting results from GLM theory, we provide support for these decompositions by (i) showing strong consistency under the GLM setup, (ii) checking the adequacy of a chosen exponential family via a generalized Hosmer-Lemeshow test, and (iii) determining the rank of the decomposition via a maximum eigenvalue gap method. To further support our findings, we conduct simulation studies to assess robustness to decomposition assumptions and extensive case studies using benchmark datasets from image face recognition, natural language processing, network analysis, and biomedical studies. Our theoretical and empirical results indicate that the proposed decomposition is more flexible, general, and robust, and can thus provide improved performance when compared to similar methods. To facilitate applications, an R package with efficient model fitting and family and rank determination is also provided.
translated by 谷歌翻译
深矩阵因子化(深MF)是最新的无监督数据挖掘技术,其灵感来自受约束的低级别近似值。他们旨在提取高维数据集中功能的复杂层次结构。文献中提出的大多数损失函数用于评估深MF模型的质量和基础优化框架不一致,因为在不同层上使用了不同的损失。在本文中,我们引入了深层MF的两个有意义的损失功能,并提出了一个通用框架来解决相应的优化问题。我们通过整合各种约束和正规化(例如稀疏性,非负和最小体积)来说明这种方法的有效性。这些模型已成功应用于合成数据和真实数据,即高光谱的不混合和提取面部特征。
translated by 谷歌翻译
在本文中,我们提出了一个新的低级矩阵分解模型,称为有界的单纯形成矩阵分解(BSSMF)。给定输入矩阵$ x $和一个分解等级$ r $,BSSMF寻找带有$ r $ lum $ $ columns的矩阵$ w $和a矩阵$ h $,带有$ r $行,以便$ x \ lot在$ w $的每一列中,都有边界,也就是说,它们属于给定的间隔,$ h $的列属于概率单纯词,即,$ h $是列随机。 BSSMF概括了非负矩阵分解(NMF)和单纯结构的矩阵分解(SSMF)。当输入矩阵$ x $的条目属于给定间隔时,BSSMF特别适合。例如,当$ x $的行代表图像时,或$ x $是一个额定矩阵,例如在Netflix和Movielens数据集中,其中$ x $的条目属于Interval $ [1,5] $。单纯结构的矩阵$ h $不仅导致易于理解的分解,从而提供了$ x $的列的软聚类,而且暗示着$ wh $的每个列的条目属于与$的列的相同间隔W $。在本文中,我们首先提出了BSSMF的快速算法,即使在$ x $中缺少数据的情况下。然后,我们为BSSMF提供可识别性条件,也就是说,我们提供了BSSMF承认独特分解的条件,直到微不足道的歧义。最后,我们说明了BSSMF对两个应用程序的有效性:在一组图像中提取特征,以及推荐系统的矩阵完成问题。
translated by 谷歌翻译
Unsupervised vector-based approaches to semantics can model rich lexical meanings, but they largely fail to capture sentiment information that is central to many word meanings and important for a wide range of NLP tasks. We present a model that uses a mix of unsupervised and supervised techniques to learn word vectors capturing semantic term-document information as well as rich sentiment content. The proposed model can leverage both continuous and multi-dimensional sentiment information as well as non-sentiment annotations. We instantiate the model to utilize the document-level sentiment polarity annotations present in many online documents (e.g. star ratings). We evaluate the model using small, widely used sentiment and subjectivity corpora and find it out-performs several previously introduced methods for sentiment classification. We also introduce a large dataset of movie reviews to serve as a more robust benchmark for work in this area.
translated by 谷歌翻译
上下文:如今提供的电视连续剧数量很高。由于其大量数量,由于缺乏独创性,许多系列被取消了。问题:拥有一个决策支持系统,可以说明为什么某些节目取得了巨大的成功,或者不促进续签或开始演出的选择。解决方案:我们研究了由CW网络广播的系列箭头的情况,并使用了描述性和预测性建模技术来预测IMDB额定值。我们假设该情节的主题会影响用户的评估,因此数据集仅由该情节的导演,该情节所获得的评论数量,这是由潜在的Dirichlet分配提取的每个主题的百分比(LDA)的数量。情节的模型,来自Wikipedia的观众数量和IMDB的评分。 LDA模型是由单词组成的文档集合的生成概率模型。方法:在这项规范性研究中,使用了案例研究方法,并使用定量方法分析了结果。结果摘要:每个情节的特征,最能预测评分的模型是由于KNN模型的类似平方误差,但在测试阶段的标准偏差更好。可以用可接受的均方根误差为0.55预测IMDB评级。
translated by 谷歌翻译
在线张量分解(OTF)是一种从流媒体多模态数据学习低维解释特征的基本工具。虽然最近已经调查了OTF的各种算法和理论方面,但仍然甚至缺乏任何不连贯或稀疏假设的客观函数的静止点的一般会聚保证仍然缺乏仍然缺乏缺乏。案件。在这项工作中,我们介绍了一种新颖的算法,该算法从一般约束下的给定的张力值数据流中学习了CANDECOMP / PARAFAC(CP),包括诱导学习CP的解释性的非承诺约束。我们证明我们的算法几乎肯定会收敛到目标函数的一组静止点,在该假设下,数据张集的序列由底层马尔可夫链产生。我们的环境涵盖了古典的i.i.d.案例以及广泛的应用程序上下文,包括由独立或MCMC采样生成的数据流。我们的结果缩小了OTF和在线矩阵分解在全局融合分析中的OTF和在线矩阵分解之间的差距\ Commhl {对于CP - 分解}。实验,我们表明我们的算法比合成和实际数据的非负张量分解任务的标准算法更快地收敛得多。此外,我们通过图像,视频和时间序列数据展示了我们算法对来自图像,视频和时间序列数据的多样化示例的实用性,示出了通过以多种方式利用张量结构来利用张量结构,如何从相同的张量数据中学习定性不同的CP字典。 。
translated by 谷歌翻译
具有转换学习的非负矩阵分解(TL-NMF)是最近的一个想法,其旨在学习适合NMF的数据表示。在这项工作中,我们将TL-NMF与古典矩阵关节 - 对角化(JD)问题相关联。我们展示,当数据实现的数量足够大时,TL-NMF可以由作为JD + NMF称为JD + NMF的两步接近 - 通过JD在NMF计算之前估计变换。相比之下,我们发现,当数据实现的数量有限时,不仅是JD + NMF不等于TL-NMF,但TL-NMF的固有低级约束结果是学习有意义的基本成分转变为NMF。
translated by 谷歌翻译
This paper is about a curious phenomenon. Suppose we have a data matrix, which is the superposition of a low-rank component and a sparse component. Can we recover each component individually? We prove that under some suitable assumptions, it is possible to recover both the low-rank and the sparse components exactly by solving a very convenient convex program called Principal Component Pursuit; among all feasible decompositions, simply minimize a weighted combination of the nuclear norm and of the 1 norm. This suggests the possibility of a principled approach to robust principal component analysis since our methodology and results assert that one can recover the principal components of a data matrix even though a positive fraction of its entries are arbitrarily corrupted. This extends to the situation where a fraction of the entries are missing as well. We discuss an algorithm for solving this optimization problem, and present applications in the area of video surveillance, where our methodology allows for the detection of objects in a cluttered background, and in the area of face recognition, where it offers a principled way of removing shadows and specularities in images of faces.
translated by 谷歌翻译
我们提出了一种估计具有标称分类数据的高维线性模型的方法。我们的估算器,称为范围,通过使其相应的系数完全相等来融合水平。这是通过对分类变量的系数的阶数统计之间的差异之间的差异来实现这一点,从而聚类系数。我们提供了一种算法,用于精确和有效地计算在具有潜在许多级别的单个变量的情况下的总体上的最小值的全局最小值,并且在多变量情况下在块坐标血管下降过程中使用它。我们表明,利用未知级别融合的Oracle最小二乘解决方案是具有高概率的坐标血缘的极限点,只要真正的级别具有一定的最小分离;已知这些条件在单变量案例中最小。我们展示了在一系列实际和模拟数据集中的范围的有利性能。 R包的R包Catreg实现线性模型的范围,也可以在CRAN上提供逻辑回归的版本。
translated by 谷歌翻译
Outier-bubust估计是一个基本问题,已由统计学家和从业人员进行了广泛的研究。在过去的几年中,整个研究领域的融合都倾向于“算法稳定统计”,该统计数据的重点是开发可拖动的异常体 - 固定技术来解决高维估计问题。尽管存在这种融合,但跨领域的研究工作主要彼此断开。本文桥接了有关可认证的异常抗衡器估计的最新工作,该估计是机器人技术和计算机视觉中的几何感知,并在健壮的统计数据中并行工作。特别是,我们适应并扩展了最新结果对可靠的线性回归(适用于<< 50%异常值的低外壳案例)和列表可解码的回归(适用于>> 50%异常值的高淘汰案例)在机器人和视觉中通常发现的设置,其中(i)变量(例如旋转,姿势)属于非convex域,(ii)测量值是矢量值,并且(iii)未知的异常值是先验的。这里的重点是绩效保证:我们没有提出新算法,而是为投入测量提供条件,在该输入测量值下,保证现代估计算法可以在存在异常值的情况下恢复接近地面真相的估计值。这些条件是我们所谓的“估计合同”。除了现有结果的拟议扩展外,我们认为本文的主要贡献是(i)通过指出共同点和差异来统一平行的研究行,(ii)在介绍先进材料(例如,证明总和证明)中的统一行为。对从业者的可访问和独立的演讲,(iii)指出一些即时的机会和开放问题,以发出异常的几何感知。
translated by 谷歌翻译
主题模型为学习,提取和发现大型文本语料库中的潜在结构提供了有用的文本挖掘工具。尽管已经为主题建模提出了大量方法,但文献缺乏是对潜在主题估计的统计识别性和准确性的正式理论研究。在本文中,我们提出了一个基于特定的集成可能性的潜在主题的最大似然估计量(MLE),该主题自然地与该概念相连,在计算几何学中,体积最小化。我们的理论介绍了主题模型可识别性的一组新几何条件,这些条件比常规的可分离性条件弱,这些条件通常依赖于纯主题文档或锚定词的存在。较弱的条件允许更广泛的调查,因此可能会更加富有成果的研究。我们对拟议的估计器进行有限样本误差分析,并讨论我们的结果与先前研究的结果之间的联系。我们以使用模拟和真实数据集的实证研究结论。
translated by 谷歌翻译
监督主体组件分析(SPCA)的方法旨在将标签信息纳入主成分分析(PCA),以便提取的功能对于预测感兴趣的任务更有用。SPCA的先前工作主要集中在优化预测误差上,并忽略了提取功能解释的最大化方差的价值。我们为SPCA提出了一种新的方法,该方法共同解决了这两个目标,并从经验上证明我们的方法主导了现有方法,即在预测误差和变异方面都超越了它们的表现。我们的方法可容纳任意监督的学习损失,并通过统计重新制定提供了广义线性模型的新型低级扩展。
translated by 谷歌翻译