张量分解是从多维非负数据中提取物理有意义的潜在因素的强大工具，并且对诸如图像处理，机器学习和计算机视觉等各个领域的兴趣越来越多。在本文中，我们提出了一种稀疏的非负塔克分解和完成方法，用于在嘈杂的观察结果下恢复潜在的非负数据。在这里，基本的非负数据张量分解为核心张量，几个因子矩阵，所有条目均为无负，并且因子矩阵稀疏。损失函数是由嘈杂观测值的最大似然估计得出的，并且使用$ \ ell_0 $ norm来增强因子矩阵的稀疏性。我们在通用噪声场景下建立了拟议模型的估计器的误差结合，然后将其指定为具有加性高斯噪声，加法拉普拉斯噪声和泊松观测的观测值。我们的理论结果比现有基于张量或基于矩阵的方法更好。此外，最小值的下限显示与对数因子的衍生上限相匹配。合成数据集和现实世界数据集的数值示例证明了提出的非负张量数据完成方法的优越性。

In this paper, we study the problem of a batch of linearly correlated image alignment, where the observed images are deformed by some unknown domain transformations, and corrupted by additive Gaussian noise and sparse noise simultaneously. By stacking these images as the frontal slices of a third-order tensor, we propose to utilize the tensor factorization method via transformed tensor-tensor product to explore the low-rankness of the underlying tensor, which is factorized into the product of two smaller tensors via transformed tensor-tensor product under any unitary transformation. The main advantage of transformed tensor-tensor product is that its computational complexity is lower compared with the existing literature based on transformed tensor nuclear norm. Moreover, the tensor $\ell_p$ $(0<p<1)$ norm is employed to characterize the sparsity of sparse noise and the tensor Frobenius norm is adopted to model additive Gaussian noise. A generalized Gauss-Newton algorithm is designed to solve the resulting model by linearizing the domain transformations and a proximal Gauss-Seidel algorithm is developed to solve the corresponding subproblem. Furthermore, the convergence of the proximal Gauss-Seidel algorithm is established, whose convergence rate is also analyzed based on the Kurdyka-$\L$ojasiewicz property. Extensive numerical experiments on real-world image datasets are carried out to demonstrate the superior performance of the proposed method as compared to several state-of-the-art methods in both accuracy and computational time.

核标准和沙滕 - $ p $ quasi-Norm是低级矩阵恢复中受欢迎的排名代理。不幸的是，计算张量的核标准或schatten-$ p $ quasi-Norm是NP-HARD，这是对低级数张量完成（LRTC）（LRTC）和张量稳定性主组件分析（TRPCA）的怜悯。在本文中，我们根据张量的CP组件向量的欧几里得规范提出了一类新的张量级正规化器，并表明这些正则化是张量schatten-$ p $ quasi-norm的单调转换。该连接使我们能够将LRTC和TRPCA中的Schatten-$ p $ quasi-norm降至最低。这些方法不使用奇异的值分解，因此可以对大张量进行比例。此外，这些方法对初始等级的选择不敏感，并且与核定标准相比，该方法为低量张量回收率提供了任意尖锐的等级代理。另一方面，我们使用Schatten-$ $ p $ quasi-norm正规化和LRTC研究了LRTC的概括能力。该定理表明，相对更清晰的正规化程序会导致更严格的误差绑定，这与我们的数值结果一致。合成数据和实际数据的数值结果证明了与基线方法相比，我们方法的有效性和优势。

We estimate the general influence functions for spatio-temporal Hawkes processes using a tensor recovery approach by formulating the location dependent influence function that captures the influence of historical events as a tensor kernel. We assume a low-rank structure for the tensor kernel and cast the estimation problem as a convex optimization problem using the Fourier transformed nuclear norm (TNN). We provide theoretical performance guarantees for our approach and present an algorithm to solve the optimization problem. Moreover, we demonstrate the efficiency of our estimation with numerical simulations.

Nonnegative Tucker Factorization (NTF) minimizes the euclidean distance or Kullback-Leibler divergence between the original data and its low-rank approximation which often suffers from grossly corruptions or outliers and the neglect of manifold structures of data. In particular, NTF suffers from rotational ambiguity, whose solutions with and without rotation transformations are equally in the sense of yielding the maximum likelihood. In this paper, we propose three Robust Manifold NTF algorithms to handle outliers by incorporating structural knowledge about the outliers. They first applies a half-quadratic optimization algorithm to transform the problem into a general weighted NTF where the weights are influenced by the outliers. Then, we introduce the correntropy induced metric, Huber function and Cauchy function for weights respectively, to handle the outliers. Finally, we introduce a manifold regularization to overcome the rotational ambiguity of NTF. We have compared the proposed method with a number of representative references covering major branches of NTF on a variety of real-world image databases. Experimental results illustrate the effectiveness of the proposed method under two evaluation metrics (accuracy and nmi).

非凸松弛方法已被广泛用于张量恢复问题，并且与凸松弛方法相比，可以实现更好的恢复结果。在本文中，提出了一种新的非凸函数，最小值对数凹点（MLCP）函数，并分析了其某些固有属性，其中有趣的是发现对数函数是MLCP的上限功能。所提出的功能概括为张量病例，得出张量MLCP和加权张量$ l \ gamma $ -norm。考虑到将其直接应用于张量恢复问题时无法获得其明确解决方案。因此，给出了解决此类问题的相应等效定理，即张量等效的MLCP定理和等效加权张量$ l \ gamma $ -norm定理。此外，我们提出了两个基于EMLCP的经典张量恢复问题的模型，即低秩量张量完成（LRTC）和张量稳健的主组件分析（TRPCA）以及设计近端替代线性化最小化（棕榈）算法以单独解决它们。此外，基于Kurdyka - {\ l} ojasiwicz属性，证明所提出算法的溶液序列具有有限的长度并在全球范围内收敛到临界点。最后，广泛的实验表明，提出的算法取得了良好的结果，并证实MLCP函数确实比最小化问题中的对数函数更好，这与理论特性的分析一致。

在本文中，我们提出了一种均匀抖动的一位量化方案，以进行高维统计估计。该方案包含截断，抖动和量化，作为典型步骤。作为规范示例，量化方案应用于三个估计问题：稀疏协方差矩阵估计，稀疏线性回归和矩阵完成。我们研究了高斯和重尾政权，假定重尾数据的基本分布具有有限的第二或第四刻。对于每个模型，我们根据一位量化的数据提出新的估计器。在高斯次级政权中，我们的估计器达到了对数因素的最佳最小速率，这表明我们的量化方案几乎没有额外的成本。在重尾状态下，虽然我们的估计量基本上变慢，但这些结果是在这种单位量化和重型尾部设置中的第一个结果，或者比现有可比结果表现出显着改善。此外，我们为一位压缩传感和一位矩阵完成的问题做出了巨大贡献。具体而言，我们通过凸面编程将一位压缩感传感扩展到次高斯甚至是重尾传感向量。对于一位矩阵完成，我们的方法与标准似然方法基本不同，并且可以处理具有未知分布的预量化随机噪声。提出了有关合成数据的实验结果，以支持我们的理论分析。

现代高维方法经常采用“休稀稀物”的原则，而在监督多元学习统计学中可能面临着大量非零系数的“密集”问题。本文提出了一种新的聚类减少秩（CRL）框架，其施加了两个联合矩阵规范化，以自动分组构建预测因素的特征。 CRL比低级别建模更具可解释，并放松变量选择中的严格稀疏假设。在本文中，提出了新的信息 - 理论限制，揭示了寻求集群的内在成本，以及多元学习中的维度的祝福。此外，开发了一种有效的优化算法，其执行子空间学习和具有保证融合的聚类。所获得的定点估计器虽然不一定是全局最佳的，但在某些规则条件下享有超出标准似然设置的所需的统计准确性。此外，提出了一种新的信息标准，以及其无垢形式，用于集群和秩选择，并且具有严格的理论支持，而不假设无限的样本大小。广泛的模拟和实数据实验证明了所提出的方法的统计准确性和可解释性。

本文研究了在存在重尾且可能是不对称噪声的情况下，低级矩阵的完成，我们旨在估计一组高度不完整的噪声条目，以估算一个基础的低级矩阵。尽管在过去的十年中，矩阵的完成问题吸引了很多关注，但是当观察结果被重尾噪音污染时，仍然缺乏理论上的理解。先前的理论缺乏解释经验结果，无法捕获估计误差对噪声水平的最佳依赖性。在本文中，我们采用自适应的Huber损失来容纳重尾噪声，当损失函数中的参数经过精心设计以平衡异常值的大偏差和稳健性时，这是对大型且可能不对称的误差的鲁棒性。然后，我们通过平衡的低级数burer-monteiro矩阵分解和梯度不错，并具有稳健的光谱初始化，提出了有效的非凸算法。我们证明，在仅在误差分布上的第二刻条件下，而不是次高斯的假设下，由提议的算法生成的迭代元素的欧几里得误差会快速减少几何，直到达到最小值 - 最佳统计估计误差，这具有相同的相同在次级案件中订购。这一重大进步背后的关键技术是一个强大的一对一分析框架。我们的模拟研究证实了理论结果。

本文研究了聚类基质值观测值的计算和统计限制。我们提出了一个低级别的混合模型（LRMM），该模型适用于经典的高斯混合模型（GMM）来处理基质值观测值，该观测值假设人口中心矩阵的低级别。通过集成Lloyd算法和低级近似值设计了一种计算有效的聚类方法。一旦定位良好，该算法将快速收敛并达到最小值最佳的指数型聚类错误率。同时，我们表明一种基于张量的光谱方法可提供良好的初始聚类。与GMM相当，最小值最佳聚类错误率是由分离强度（即种群中心矩阵之间的最小距离）决定的。通过利用低级度，提出的算法对分离强度的要求较弱。但是，与GMM不同，LRMM的统计难度和计算难度的特征是信号强度，即最小的人口中心矩阵的非零奇异值。提供了证据表明，即使信号强度不够强，即使分离强度很强，也没有多项式时间算法是一致的。在高斯以下噪声下进一步证明了我们低级劳埃德算法的性能。讨论了LRMM下估计和聚类之间的有趣差异。通过全面的仿真实验证实了低级劳埃德算法的优点。最后，我们的方法在现实世界数据集的文献中优于其他方法。

提供了一种强大而灵活的模型，可用于代表多属数据和多种方式相互作用，在科学和工程中的各个领域中发挥着现代数据科学中的不可或缺的作用。基本任务是忠实地以统计和计算的有效方式从高度不完整的测量中恢复张量。利用Tucker分解中的张量的低级别结构，本文开发了一个缩放的梯度下降（Scaledgd）算法，可以直接恢复具有定制频谱初始化的张量因子，并表明它以与条件号无关的线性速率收敛对于两个规范问题的地面真理张量 - 张量完成和张量回归 - 一旦样本大小高于$ n ^ {3/2} $忽略其他参数依赖项，$ n $是维度张量。这导致与现有技术相比的低秩张力估计的极其可扩展的方法，这些方法具有以下至少一个缺点：对记忆和计算方面的对不良，偏移成本高的极度敏感性，或差样本复杂性保证。据我们所知，Scaledgd是第一算法，它可以同时实现近最佳统计和计算复杂性，以便与Tucker分解进行低级张力完成。我们的算法突出了加速非耦合统计估计在加速非耦合统计估计中的适当预处理的功率，其中迭代改复的预处理器促进轨迹的所需的不变性属性相对于低级张量分解中的底层对称性。

在本文中，我们研究了经验$ \ ell_2 $最小化（erm）的估计性能（标准）阶段检索（NPR），由$ y_k = | \ alpha_k^*x_0 |^2+\ eta_k $，或嘈杂的广义阶段检索（NGPR）以$ y_k = x_0^*a_kx_0 + \ eta_k $，其中$ x_0 \ in \ mathbb {k}^d $是所需的信号，$ n $是样本大小，$ \ eta =（\ eta_1，...，\ eta_n）^\ top $是噪声向量。我们在不同的噪声模式下建立了新的错误界限，我们的证明对$ \ mathbb {k} = \ mathbb {r} $和$ \ mathbb {k} = \ mathbb {c} $有效。在任意噪声向量$ \ eta $下的NPR中，我们得出了一个新的错误$ o \ big（\ | \ eta \ | _ \ | _ \ infty \ sqrt {\ frac {d} {1}^\ top \ eta |} {n} \ big）$，它比当前已知的一个$ o \ big（\ frac {\ | \ eTa \ |} {\ sqrt {\ sqrt {n}} \ big big ）$在许多情况下。在NGPR中，我们显示了$ o \ big（\ | \ eta \ | \ frac {\ sqrt {d}}} {n} {n} \ big）$ for nutary $ \ eta $。在这两个问题上，任意噪声的范围立即引起$ \ tilde {o}（\ sqrt {\ frac {d} {n}}}}）$，用于次高斯或次指数随机噪声，带有一些常规但不可吻的去除或削弱的假设（例如，独立或均值均值的条件）。此外，我们首次尝试在假定$ l $ -th时刻的重尾随机噪声下进行ERM。为了实现偏见和差异之间的权衡，我们截断了响应并提出了相应的稳健ERM估计器，该估计量具有保证$ \ tilde {o} \ big（\ big [\ sqrt {\ frac {\ frac {d}） {n}} \ big]^{1-1/l} \ big）$在NPR，NGPR中。所有错误都直接扩展到等级$ r $矩阵恢复的更普遍的问题，这些结果得出的结论是，全级框架$ \ {a_k \} _ {k = 1}^n $ in ngpr是比级别1帧$ \ {\ alpha_k \ alpha_k^*\} _ {k = 1}^n $在npr中更强大。提出了广泛的实验结果，以说明我们的理论发现。

库存记录不正确，经常发生，某些措施的年销售额约为4％。手动检测库存不准确性的成本较高，现有算法解决方案几乎完全依赖于从纵向数据中学习，这在现代零售操作引起的动态环境中不足。取而代之的是，我们提出了基于商店和SKU上的横截面数据的解决方案，观察到检测库存不准确性可以被视为识别（低级别）泊松矩阵中异常的问题。在低级别矩阵中检测到的最先进的方法显然不足。具体而言，从理论的角度来看，这些方法的恢复保证要求需要观察到无反对的条目，而噪音消失了（在我们的问题中，在许多应用中都不是这种情况）。如此有动力，我们提出了一种在概念上简单的入门方法，以在低级别的泊松矩阵中进行异常检测。我们的方法适合一类概率异常模型。我们表明，我们的算法所产生的成本以最低最佳最佳速率接近最佳算法。使用来自消费品零售商的合成数据和真实数据，我们表明我们的方法可提供超过现有检测方法的10倍成本降低。在此过程中，我们建立了最新的工作，该工作寻求矩阵完成的入门错误保证，并为次指定矩阵确定此类保证，这是独立利益的结果。

我们研究了张量张量的回归，其中的目标是将张量的响应与张量协变量与塔克等级参数张量/矩阵连接起来，而没有其内在等级的先验知识。我们提出了Riemannian梯度下降（RGD）和Riemannian Gauss-Newton（RGN）方法，并通过研究等级过度参数化的影响来应对未知等级的挑战。我们通过表明RGD和RGN分别线性地和四边形地收敛到两个等级的统计最佳估计值，从而为一般的张量调节回归提供了第一个收敛保证。我们的理论揭示了一种有趣的现象：Riemannian优化方法自然地适应了过度参数化，而无需修改其实施。我们还为低度多项式框架下的标量调整回归中的统计计算差距提供了第一个严格的证据。我们的理论证明了``统计计算差距的祝福''现象：在张张量的张量回归中，对于三个或更高的张紧器，在张张量的张量回归中，计算所需的样本量与中等级别相匹配的计算量相匹配。在考虑计算可行的估计器时，虽然矩阵设置没有此类好处。这表明中等等级的过度参数化本质上是``在张量调整的样本量三分或更高的样本大小上，三分或更高的样本量。最后，我们进行仿真研究以显示我们提出的方法的优势并证实我们的理论发现。

我们研究了用$ q $ modes $ a \ in \ mathbb {r}^{n \ times \ ldots \ times n} $的近似给定张量的问题。图$ g =（v，e）$，其中$ | v | = q $，以及张张量的集合$ \ {u_v \ mid v \ in v \} $，以$ g $指定的方式收缩以获取张量$ t $。对于$ u_v $的每种模式，对应于$ v $的边缘事件，尺寸为$ k $，我们希望找到$ u_v $，以便最小化$ t $和$ a $之间的frobenius norm距离。这概括了许多众所周知的张量网络分解，例如张量列，张量环，塔克和PEPS分解。我们大约是二进制树网络$ t'$带有$ o（q）$核的大约$ a $，因此该网络的每个边缘上的尺寸最多是$ \ widetilde {o}（k^{o（dt） } \ cdot q/\ varepsilon）$，其中$ d $是$ g $的最大度，$ t $是其树宽，因此$ \ | a -t'-t'\ | _f^2 \ leq（1 + \ Varepsilon）\ | a -t \ | _f^2 $。我们算法的运行时间为$ o（q \ cdot \ text {nnz}（a）） + n \ cdot \ text {poly}（k^{dt} q/\ varepsilon）$，其中$ \ text {nnz }（a）$是$ a $的非零条目的数量。我们的算法基于一种可能具有独立感兴趣的张量分解的新维度降低技术。我们还开发了固定参数可处理的$（1 + \ varepsilon）$ - 用于张量火车和塔克分解的近似算法，改善了歌曲的运行时间，Woodruff和Zhong（Soda，2019），并避免使用通用多项式系统求解器。我们表明，我们的算法对$ 1/\ varepsilon $具有几乎最佳的依赖性，假设没有$ O（1）$ - 近似算法的$ 2 \至4 $ norm，并且运行时间比蛮力更好。最后，我们通过可靠的损失函数和固定参数可拖动CP分解给出了塔克分解的其他结果。

Higher-order multiway data is ubiquitous in machine learning and statistics and often exhibits community-like structures, where each component (node) along each different mode has a community membership associated with it. In this paper we propose the tensor mixed-membership blockmodel, a generalization of the tensor blockmodel positing that memberships need not be discrete, but instead are convex combinations of latent communities. We establish the identifiability of our model and propose a computationally efficient estimation procedure based on the higher-order orthogonal iteration algorithm (HOOI) for tensor SVD composed with a simplex corner-finding algorithm. We then demonstrate the consistency of our estimation procedure by providing a per-node error bound, which showcases the effect of higher-order structures on estimation accuracy. To prove our consistency result, we develop the $\ell_{2,\infty}$ tensor perturbation bound for HOOI under independent, possibly heteroskedastic, subgaussian noise that may be of independent interest. Our analysis uses a novel leave-one-out construction for the iterates, and our bounds depend only on spectral properties of the underlying low-rank tensor under nearly optimal signal-to-noise ratio conditions such that tensor SVD is computationally feasible. Whereas other leave-one-out analyses typically focus on sequences constructed by analyzing the output of a given algorithm with a small part of the noise removed, our leave-one-out analysis constructions use both the previous iterates and the additional tensor structure to eliminate a potential additional source of error. Finally, we apply our methodology to real and simulated data, including applications to two flight datasets and a trade network dataset, demonstrating some effects not identifiable from the model with discrete community memberships.

我们的目标是在沿着张量模式的协变量信息存在中可获得稀疏和高度缺失的张量。我们的动机来自在线广告，在各种设备上的广告上的用户点击率（CTR）形成了大约96％缺失条目的CTR张量，并且在非缺失条目上有许多零，这使得独立的张量完井方法不满意。除了CTR张量旁边，额外的广告功能或用户特性通常可用。在本文中，我们提出了协助协助的稀疏张力完成（Costco），以合并复苏恢复稀疏张量的协变量信息。关键思想是共同提取来自张量和协变矩阵的潜伏组分以学习合成表示。从理论上讲，我们导出了恢复的张量组件的错误绑定，并明确地量化了由于协变量引起的显露概率条件和张量恢复精度的改进。最后，我们将Costco应用于由CTR张量和广告协变矩阵组成的广告数据集，从而通过基线的23％的准确性改进。重要的副产品是来自Costco的广告潜在组件显示有趣的广告集群，这对于更好的广告目标是有用的。

在本文中，我们利用过度参数化来设计高维单索索引模型的无规矩算法，并为诱导的隐式正则化现象提供理论保证。具体而言，我们研究了链路功能是非线性且未知的矢量和矩阵单索引模型，信号参数是稀疏向量或低秩对称矩阵，并且响应变量可以是重尾的。为了更好地理解隐含正规化的角色而没有过度的技术性，我们假设协变量的分布是先验的。对于载体和矩阵设置，我们通过采用分数函数变换和专为重尾数据的强大截断步骤来构造过度参数化最小二乘损耗功能。我们建议通过将无规则化的梯度下降应用于损耗函数来估计真实参数。当初始化接近原点并且步骤中足够小时，我们证明了所获得的解决方案在载体和矩阵案件中实现了最小的收敛统计速率。此外，我们的实验结果支持我们的理论调查结果，并表明我们的方法在$ \ ell_2 $ -staticatisticated率和变量选择一致性方面具有明确的正则化的经验卓越。

在线张量分解（OTF）是一种从流媒体多模态数据学习低维解释特征的基本工具。虽然最近已经调查了OTF的各种算法和理论方面，但仍然甚至缺乏任何不连贯或稀疏假设的客观函数的静止点的一般会聚保证仍然缺乏仍然缺乏缺乏。案件。在这项工作中，我们介绍了一种新颖的算法，该算法从一般约束下的给定的张力值数据流中学习了CANDECOMP / PARAFAC（CP），包括诱导学习CP的解释性的非承诺约束。我们证明我们的算法几乎肯定会收敛到目标函数的一组静止点，在该假设下，数据张集的序列由底层马尔可夫链产生。我们的环境涵盖了古典的i.i.d.案例以及广泛的应用程序上下文，包括由独立或MCMC采样生成的数据流。我们的结果缩小了OTF和在线矩阵分解在全局融合分析中的OTF和在线矩阵分解之间的差距\ Commhl {对于CP - 分解}。实验，我们表明我们的算法比合成和实际数据的非负张量分解任务的标准算法更快地收敛得多。此外，我们通过图像，视频和时间序列数据展示了我们算法对来自图像，视频和时间序列数据的多样化示例的实用性，示出了通过以多种方式利用张量结构来利用张量结构，如何从相同的张量数据中学习定性不同的CP字典。 。

高维非正交掺入张量的CP分解是许多学科的广泛应用的重要问题。然而，以前的理论保证的工作通常在CP组分的基础载体上承担限制性的不连贯条件。在本文中，我们提出了新的计算高效的复合PCA和并发正交化算法，以便在轻度不连结条件下的理论保证。复合PCA将主成分或奇异值分解应用于张量数据的矩阵，以获得奇异矢量，然后在第一步骤中获得的奇异载体的基质折叠。它可以用作Tensor CP分解的任何迭代优化方案的初始化。并发正交化算法通过将突起同时施加到其他模式中的其他模式所产生的空格的正交补充，迭代地估计张量的每个模式的基础向量。旨在改善具有低或中等高CP等级的张量的交替的最小二乘估计器和其他形式的高阶正交迭代，并且当任何给定的初始估计器的错误被小常数界定时，它保证快速收敛。我们的理论调查为两种提出的算法提供了估算准确性和收敛速率。我们对合成数据的实施表明了我们对现有方法的方法的显着实际优势。