As the Internet developed rapidly, it is important to choose suitable web services from a wide range of candidates. Quality of service (QoS) describes the performance of a web service dynamically with respect to the service requested by the service consumer. Moreover, the latent factorization of tenors (LFT) is very effective for discovering temporal patterns in high dimensional and sparse (HiDS) tensors. However, current LFT models suffer from a low convergence rate and rarely account for the effects of outliers. To address the above problems, this paper proposes an Alternating direction method of multipliers (ADMM)-based Outlier-Resilient Nonnegative Latent-factorization of Tensors model. We maintain the non-negativity of the model by constructing an augmented Lagrangian function with the ADMM optimization framework. In addition, the Cauchy function is taken as the metric function to reduce the impact on the model training. The empirical work on two dynamic QoS datasets shows that the proposed method has faster convergence and better performance on prediction accuracy.
translated by 谷歌翻译
张量(NLFT)模型的非负潜在分解可以很好地模拟隐藏在非负服务质量(QOS)数据中的时间模式,以预测具有高精度的未观察到的时间模式。但是,现有的NLFT模型的目标函数基于欧几里得距离,这只是\ b {eta} devivergence的一种特殊情况。因此,我们可以通过采用\ b {eta} - 差异来构建广义的NLFT模型以实现预测准确性增益吗?为了解决此问题,本文提出了基于NLFT模型(\ b {eta} -nlft)的\ b {eta} -nlft)。它的想法是双重的1)用\ b {eta} - 差异来建立学习目标,以实现更高的预测准确性,2)实施对超参数的自适应以提高实用性。对两个动态QoS数据集的实证研究表明,与最先进的模型相比,所提出的\ b {eta} -NLFT模型可实现未观察到的QoS数据的较高预测准确性。
translated by 谷歌翻译
大规模的无向加权网络通常在与大数据相关的研究领域中发现。自然可以将其量化为用于实施大数据分析任务的对称高维和不完整(SHDI)矩阵。对称非负潜在因素分析(SNL)模型能够从SHDI基质中有效提取潜在因子(LFS)。然而,它依赖于约束培训计划,这使其缺乏灵活性。为了解决这个问题,本文提出了一个不受限制的对称非负潜在因素分析(USNL)模型。它的主要思想是两个方面:1)通过将非负映射函数集成到SNL模型中,输出LFS与决策参数分开; 2)随机梯度下降(SGD)用于实施不受限制的模型训练,并确保输出LFS非负性。对由实际的大数据应用产生的四个SHDI矩阵的实证研究表明,与SNL模型相比,USNL模型可实现缺失数据的预测准确性,以及高度竞争性的计算效率。
translated by 谷歌翻译
我们的目标是在沿着张量模式的协变量信息存在中可获得稀疏和高度缺失的张量。我们的动机来自在线广告,在各种设备上的广告上的用户点击率(CTR)形成了大约96%缺失条目的CTR张量,并且在非缺失条目上有许多零,这使得独立的张量完井方法不满意。除了CTR张量旁边,额外的广告功能或用户特性通常可用。在本文中,我们提出了协助协助的稀疏张力完成(Costco),以合并复苏恢复稀疏张量的协变量信息。关键思想是共同提取来自张量和协变矩阵的潜伏组分以学习合成表示。从理论上讲,我们导出了恢复的张量组件的错误绑定,并明确地量化了由于协变量引起的显露概率条件和张量恢复精度的改进。最后,我们将Costco应用于由CTR张量和广告协变矩阵组成的广告数据集,从而通过基线的23%的准确性改进。重要的副产品是来自Costco的广告潜在组件显示有趣的广告集群,这对于更好的广告目标是有用的。
translated by 谷歌翻译
随着知识图的扩散,具有复杂多界结构的建模数据在统计关系学习领域获得了越来越大的关注。统计关系学习最重要的目标之一是链路预测,即,预测知识图中是否存在某些关系。已经提出了大量模型和算法来执行链路预测,其中张量分解方法已经证明在计算效率和预测准确性方面实现了最先进的性能。然而,现有张量分解模型的共同缺点是缺失的关系和非现有关系是以相同的方式对待,这导致信息丢失。为了解决这个问题,我们提出了一种具有探测链路的二进制张量分解模型,其不仅继承了来自经典张量分解模型的计算效率,还占关联数据的二进制性质。我们所提出的探测张量分解(PTF)模型显示了预测准确性和可解释性的优点
translated by 谷歌翻译
随机梯度下降(SGD)算法是在高维和不完整(HDI)矩阵上建立潜在因子分析(LFA)模型的有效学习策略。通常采用粒子群优化(PSO)算法来制造基于SGD的LFA模型的超参数,即学习率和正则化系数,自我适应。但是,标准的PSO算法可能会遭受过早收敛引起的准确损失。为了解决这个问题,本文将更多的历史信息纳入了每个粒子的进化过程中,以避免遵循广义摩托明(GM)方法的原理过早收敛,从而创新了新型的GM合并PSO(GM-PSO)。有了它,基于GM-PSO的LFA(GMPL)模型将进一步实现高效参数的有效自适应。三个HDI矩阵的实验结果表明,GMPL模型可实现较高的预测准确性,用于工业应用中缺少数据估计。
translated by 谷歌翻译
随着区块链技术的开发,基于区块链技术的加密货币越来越受欢迎。这给出了一个巨大的加密货币交易网络,引起了广泛关注。网络的链接预测学习结构有助于了解网络的机制,因此在加密货币网络中也广泛研究了网络的机制。但是,过去研究中忽略了加密货币交易网络的动态。我们使用图形正则方法将过去的交易记录与未来交易联系起来。基于此,我们提出了一种潜在因子依赖性,非负因子,乘法和图形正规化的已归合性更新(SLF-NMGRU)算法,并进一步提出了图形正则化的非负潜在因子分析(GRNLFA)模型。最后,在真实加密货币交易网络上进行的实验表明,提出的方法提高了准确性和计算效率
translated by 谷歌翻译
流量数据长期遭受缺失和腐败的困扰,从而导致随后的智能运输系统(ITS)应用程序的准确性和效用降低。注意到流量数据的固有低级属性,大量研究将缺少的流量数据恢复为低级张量完成(LRTC)问题。由于LRTC中的秩最小化的非跨性别性和离散性,现有方法要么用凸面替代等级代替等级替代等级函数,要么以涉及许多参数的非convex替代物,或近似等级。在这项研究中,我们提出了一个用于交通数据恢复的无参数的非凸张量完成模型(TC-PFNC),其中设计了基于日志的松弛项以近似张量代数级别。此外,以前的研究通常认为观察结果是可靠的,没有任何异常值。因此,我们通过对潜在的流量数据异常值进行建模,将TC-PFNC扩展到了强大的版本(RTC-PFNC),该数据可以从部分和损坏的观测值中恢复缺失的值并在观测中删除异常。基于交替的方向乘数法(ADMM)详细阐述了TC-PFNC和RTC-PFNC的数值解。在四个现实世界流量数据集上进行的广泛实验结果表明,所提出的方法在缺失和损坏的数据恢复中都优于其他最先进的方法。本文使用的代码可在以下网址获得:https://github.com/younghe49/t-ITSPFNC。
translated by 谷歌翻译
We estimate the general influence functions for spatio-temporal Hawkes processes using a tensor recovery approach by formulating the location dependent influence function that captures the influence of historical events as a tensor kernel. We assume a low-rank structure for the tensor kernel and cast the estimation problem as a convex optimization problem using the Fourier transformed nuclear norm (TNN). We provide theoretical performance guarantees for our approach and present an algorithm to solve the optimization problem. Moreover, we demonstrate the efficiency of our estimation with numerical simulations.
translated by 谷歌翻译
低级张力完成已广泛用于计算机视觉和机器学习。本文开发了一种新型多模态核心张量分解(MCTF)方法,与张量低秩测量和该措施的更好的非凸弛豫形式(NC-MCTF)。所提出的模型编码由Tucker和T-SVD提供的一般张量的低秩见解,因此预计将在多个方向上同时模拟光谱低秩率,并准确地恢复基于几个观察到的条目的内在低秩结构的数据。此外,我们研究了MCTF和NC-MCTF正则化最小化问题,并设计了一个有效的块连续上限最小化(BSUM)算法来解决它们。该高效的求解器可以将MCTF扩展到各种任务,例如张量完成。一系列实验,包括高光谱图像(HSI),视频和MRI完成,确认了所提出的方法的卓越性能。
translated by 谷歌翻译
张量分解因其在多维数据中捕获潜在因素的固有能力而获得了越来越多的兴趣,该数据具有许多应用程序,例如推荐系统和电子健康记录(EHR)挖掘。已经提出了Parafac2及其变体来解决不规则的张量,其中一种张量模式不对齐,例如,EHR中推荐系统或患者的不同用户可能具有不同的记录。 PARAFAC2已成功应用于EHRS,用于提取有意义的医学概念(表型)。尽管有最近的进步,但当前模型的可预测性和可解释性并不令人满意,这限制了其用于下游分析的效用。在本文中,我们提出了多个多任务学习的多个监督不规则张量分解。多个多个可以灵活地包含静态(例如,院内死亡率预测)和连续或动态(例如,通风的需求)任务。通过通过下游预测任务监督张量分解并利用来自多个相关预测任务的信息,Multipar不仅可以产生更有意义的表型,而且可以为下游任务提供更好的预测性能。我们在两个现实世界中的EHR数据集上进行了广泛的实验,以证明Multipar是可扩展的,并且与现有的最新方法相比,具有更有意义的亚组和更强的预测性能,可以更好地张紧张量。
translated by 谷歌翻译
高维和不完整(HDI)数据在各种工业应用中具有巨大的交互信息。潜在因素(LF)模型在从具有随机梯度不错(SGD)算法的HDI数据中提取有价值的信息方面非常有效。但是,基于SGD的LFA模型患有缓慢的收敛性,因为它仅考虑当前的学习误差。为了解决这个关键问题,本文提出了一个非线性PID增强自适应潜在因素(NPALF)模型,具有两个折叠的想法:1)通过考虑过去的学习错误,按照非线性PID控制器的原理来重建学习错误;b)按照粒子群优化(PSO)算法的原理有效地实施所有参数适应。四个代表性HDI数据集的经验结果表明,与五个最先进的LFA模型相比,NPALF模型可实现HDI数据缺失数据的更好的收敛率和预测准确性。
translated by 谷歌翻译
潜在因子(LF)模型可有效地通过低级矩阵近似来表示高维和稀疏(HID)数据。Hessian无(HF)优化是利用LF模型目标函数的二阶信息的有效方法,并已用于优化二阶LF(SLF)模型。但是,SLF模型的低级表示能力在很大程度上取决于其多个超参数。确定这些超参数是耗时的,它在很大程度上降低了SLF模型的实用性。为了解决这个问题,在这项工作中提出了实用的SLF(PSLF)模型。它通过分布式粒子群优化器(DPSO)实现了超参数自加载,该粒子群(DPSO)无梯度且并行化。对真实HID数据集的实验表明,PSLF模型比在数据表示能力中的最先进模型具有竞争优势。
translated by 谷歌翻译
Nonnegative Tucker Factorization (NTF) minimizes the euclidean distance or Kullback-Leibler divergence between the original data and its low-rank approximation which often suffers from grossly corruptions or outliers and the neglect of manifold structures of data. In particular, NTF suffers from rotational ambiguity, whose solutions with and without rotation transformations are equally in the sense of yielding the maximum likelihood. In this paper, we propose three Robust Manifold NTF algorithms to handle outliers by incorporating structural knowledge about the outliers. They first applies a half-quadratic optimization algorithm to transform the problem into a general weighted NTF where the weights are influenced by the outliers. Then, we introduce the correntropy induced metric, Huber function and Cauchy function for weights respectively, to handle the outliers. Finally, we introduce a manifold regularization to overcome the rotational ambiguity of NTF. We have compared the proposed method with a number of representative references covering major branches of NTF on a variety of real-world image databases. Experimental results illustrate the effectiveness of the proposed method under two evaluation metrics (accuracy and nmi).
translated by 谷歌翻译
张量完成是从部分观察到的条目中估算高阶数据缺失值的问题。由于盛行异常值而引起的数据腐败对传统的张量完成算法提出了重大挑战,这促进了减轻异常值效果的强大算法的发展。但是,现有的强大方法在很大程度上假定腐败很少,这可能在实践中可能不存在。在本文中,我们开发了一种两阶段的稳健张量完成方法,以处理张张量的视觉数据,并具有大量的严重损坏。提出了一个新颖的粗到精细框架,该框架使用全局粗完成结果来指导局部贴剂细化过程。为了有效地减轻大量异常值对张量恢复的影响,我们开发了一种新的基于M估计器的稳健张环回收方法,该方法可以自适应地识别异常值并减轻其在优化中的负面影响。实验结果表明,所提出的方法优于最先进的稳定算法以完成张量。
translated by 谷歌翻译
我们使用张量奇异值分解(T-SVD)代数框架提出了一种新的快速流算法,用于抵抗缺失的低管级张量的缺失条目。我们展示T-SVD是三阶张量的研究型块术语分解的专业化,我们在该模型下呈现了一种算法,可以跟踪从不完全流2-D数据的可自由子模块。所提出的算法使用来自子空间的基层歧管的增量梯度下降的原理,以解决线性复杂度和时间样本的恒定存储器的张量完成问题。我们为我们的算法提供了局部预期的线性收敛结果。我们的经验结果在精确态度上具有竞争力,但在计算时间内比实际应用上的最先进的张量完成算法更快,以在有限的采样下恢复时间化疗和MRI数据。
translated by 谷歌翻译
考虑以张量流的形式实时收集多个季节性时间序列。现实世界的张量流通常包括缺少条目(例如,由于网络断开连接)和同时出现的意外离群值(例如,由于系统错误)。鉴于这样的现实张量流,我们如何估计缺失条目并实时准确预测未来的进化?在这项工作中,我们通过引入索非亚来回答这个问题,索非亚是现实世界张量流的强大分解方法。简而言之,索非亚平稳并紧密地整合了张量分解,离群值的去除和颞模式检测,它们自然会相互加强。此外,尽管缺少条目,索非亚以线性的方式将它们整合在一起。我们通过实验表明,索非亚是(a)稳健而准确的:屈服误差降低了76%,预测误差降低了71%; (b)快速:比第二准确的竞争对手快935倍; (c)可扩展:与每个时间步长的新条目数量缩放。
translated by 谷歌翻译
从高度不足的数据中恢复颜色图像和视频是面部识别和计算机视觉中的一项基本且具有挑战性的任务。通过颜色图像和视频的多维性质,在本文中,我们提出了一种新颖的张量完成方法,该方法能够有效探索离散余弦变换(DCT)下张量数据的稀疏性。具体而言,我们介绍了两个``稀疏 +低升级''张量完成模型,以及两种可实现的算法来找到其解决方案。第一个是基于DCT的稀疏加权核标准诱导低级最小化模型。第二个是基于DCT的稀疏加上$ P $换图映射引起的低秩优化模型。此外,我们因此提出了两种可实施的增强拉格朗日算法,以解决基础优化模型。一系列数值实验在内,包括颜色图像介入和视频数据恢复表明,我们所提出的方法的性能要比许多现有的最新张量完成方法更好,尤其是对于缺少数据比率较高的情况。
translated by 谷歌翻译
This survey provides an overview of higher-order tensor decompositions, their applications, and available software. A tensor is a multidimensional or N -way array. Decompositions of higher-order tensors (i.e., N -way arrays with N ≥ 3) have applications in psychometrics, chemometrics, signal processing, numerical linear algebra, computer vision, numerical analysis, data mining, neuroscience, graph analysis, and elsewhere. Two particular tensor decompositions can be considered to be higher-order extensions of the matrix singular value decomposition: CANDECOMP/PARAFAC (CP) decomposes a tensor as a sum of rank-one tensors, and the Tucker decomposition is a higher-order form of principal component analysis. There are many other tensor decompositions, including INDSCAL, PARAFAC2, CANDELINC, DEDICOM, and PARATUCK2 as well as nonnegative variants of all of the above. The N-way Toolbox, Tensor Toolbox, and Multilinear Engine are examples of software packages for working with tensors.
translated by 谷歌翻译
链接预测Infers从观察到的网络中的潜在链接,是网络分析中的基本问题之一。与仅预测双向成对关系的传统图形表示建模相比,我们提出了一种新颖的基于张量的联合网络嵌入方法,同时编码成对链路和超链接到潜在的空间上,从而捕获成对和多向链路之间的依赖性在推断出潜在的未被观察的超链接。所提出的嵌入程序的主要优点是它包括节点之间的成对关系和子组织结构,以捕获更丰富的网络信息。另外,该方法在推断潜在的超链接之间引入了链路之间的分层依赖性,并导致更好的链路预测。理论上,我们建立了拟议的嵌入方法的估计一致性,并提供了与仅利用成对链路或超链接的链路预测相比的更快的收敛速度。与现有链路预测算法相比,仿真设置和Facebook自我网络的数值研究表明,所提出的方法改善了与现有链路预测算法相比的超链接和成对链路预测精度。
translated by 谷歌翻译