A simple nonrecursive form of the tensor decomposition in d dimensions is presented. It does not inherently suffer from the curse of dimensionality, it has asymptotically the same number of parameters as the canonical decomposition, but it is stable and its computation is based on lowrank approximation of auxiliary unfolding matrices. The new form gives a clear and convenient way to implement all basic operations efficiently. A fast rounding procedure is presented, as well as basic linear algebra operations. Examples showing the benefits of the decomposition are given, and the efficiency is demonstrated by the computation of the smallest eigenvalue of a 19-dimensional operator.

This survey provides an overview of higher-order tensor decompositions, their applications, and available software. A tensor is a multidimensional or N -way array. Decompositions of higher-order tensors (i.e., N -way arrays with N ≥ 3) have applications in psychometrics, chemometrics, signal processing, numerical linear algebra, computer vision, numerical analysis, data mining, neuroscience, graph analysis, and elsewhere. Two particular tensor decompositions can be considered to be higher-order extensions of the matrix singular value decomposition: CANDECOMP/PARAFAC (CP) decomposes a tensor as a sum of rank-one tensors, and the Tucker decomposition is a higher-order form of principal component analysis. There are many other tensor decompositions, including INDSCAL, PARAFAC2, CANDELINC, DEDICOM, and PARATUCK2 as well as nonnegative variants of all of the above. The N-way Toolbox, Tensor Toolbox, and Multilinear Engine are examples of software packages for working with tensors.

张量火车的分解因其高维张量的简洁表示，因此在机器学习和量子物理学中广泛使用，克服了维度的诅咒。交叉近似 - 从近似形式开发用于从一组选定的行和列中表示矩阵，这是一种有效的方法，用于构建来自其少数条目的张量的张量列器分解。虽然张量列车交叉近似在实际应用中取得了显着的性能，但迄今为止缺乏其理论分析，尤其是在近似误差方面的理论分析。据我们所知，现有结果仅提供元素近似精度的保证，这会导致扩展到整个张量时的束缚非常松。在本文中，我们通过提供精确测量和嘈杂测量的整个张量来保证准确性来弥合这一差距。我们的结果说明了选定子观察器的选择如何影响交叉近似的质量，并且模型误差和/或测量误差引起的近似误差可能不会随着张量的顺序而指数增长。这些结果通过数值实验来验证，并且可能对高阶张量的交叉近似值（例如在量子多体状态的描述中遇到的）具有重要意义。

在本文中，我们介绍了一种草图算法，用于构建其样品概率密度的张量列车表示。我们的方法偏离了基于标准的递归SVD构建张量列车的程序。取而代之的是，我们为单个张量火车芯制定并求解一系列小型线性系统。这种方法可以避免维数的诅咒，从而威胁恢复问题的算法和样本复杂性。具体而言，对于马尔可夫模型，我们证明可以使用相对于尺寸恒定的样品复杂性回收张量芯。最后，我们通过几个数值实验说明了该方法的性能。

在这项工作中，我们估计具有高概率的张量的随机选择元素的数量，保证了黎曼梯度下降的局部收敛性，以便张力列车完成。基于展开奇异值的谐波平均值，我们从正交投影的正交投影推导出一个新的界限，并引入张力列车的核心相干概念。我们还将结果扩展到张力列车完成与侧面信息，并获得相应的本地收敛保证。

Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.

我们研究了用$ q $ modes $ a \ in \ mathbb {r}^{n \ times \ ldots \ times n} $的近似给定张量的问题。图$ g =（v，e）$，其中$ | v | = q $，以及张张量的集合$ \ {u_v \ mid v \ in v \} $，以$ g $指定的方式收缩以获取张量$ t $。对于$ u_v $的每种模式，对应于$ v $的边缘事件，尺寸为$ k $，我们希望找到$ u_v $，以便最小化$ t $和$ a $之间的frobenius norm距离。这概括了许多众所周知的张量网络分解，例如张量列，张量环，塔克和PEPS分解。我们大约是二进制树网络$ t'$带有$ o（q）$核的大约$ a $，因此该网络的每个边缘上的尺寸最多是$ \ widetilde {o}（k^{o（dt） } \ cdot q/\ varepsilon）$，其中$ d $是$ g $的最大度，$ t $是其树宽，因此$ \ | a -t'-t'\ | _f^2 \ leq（1 + \ Varepsilon）\ | a -t \ | _f^2 $。我们算法的运行时间为$ o（q \ cdot \ text {nnz}（a）） + n \ cdot \ text {poly}（k^{dt} q/\ varepsilon）$，其中$ \ text {nnz }（a）$是$ a $的非零条目的数量。我们的算法基于一种可能具有独立感兴趣的张量分解的新维度降低技术。我们还开发了固定参数可处理的$（1 + \ varepsilon）$ - 用于张量火车和塔克分解的近似算法，改善了歌曲的运行时间，Woodruff和Zhong（Soda，2019），并避免使用通用多项式系统求解器。我们表明，我们的算法对$ 1/\ varepsilon $具有几乎最佳的依赖性，假设没有$ O（1）$ - 近似算法的$ 2 \至4 $ norm，并且运行时间比蛮力更好。最后，我们通过可靠的损失函数和固定参数可拖动CP分解给出了塔克分解的其他结果。

最近的论文开发了CP和张量环分解的交替正方形（ALS）方法，其均值成本是sublinear，在低级别分解的输入张量输入量中是sublinear。在本文中，我们提出了基于抽样的ALS方法，用于CP和张量环分解，其成本没有指数级的依赖性，从而显着改善了先前的最先前。我们提供详细的理论分析，并在特征提取实验中应用这些方法。

在本文中，我们在不同研究领域使用的三种模型之间存在联系：来自正式语言和语言学的加权有限自动机〜（WFA），机器学习中使用的经常性神经网络，以及张量网络，包括一组高处的优化技术量子物理学和数值分析中使用的顺序张量。我们首先介绍WFA与张力列车分解，特定形式的张量网络之间的内在关系。该关系允许我们展示由WFA计算的函数的Hankel矩阵的新型低级结构，并设计利用这种结构的有效光谱学习算法来扩展到非常大的Hankel矩阵。我们将解开基本连接在WFA和第二阶逆转神经网络之间〜（2-RNN）：在离散符号的序列的情况下，具有线性激活功能的WFA和2-RNN是表现性的。利用该等效结果与加权自动机的经典频谱学习算法相结合，我们介绍了在连续输入向量序列上定义的线性2-RNN的第一可提供学习算法。本算法依赖于Hankel Tensor的低等级子块，可以从中可以从中恢复线性2-RNN的参数。在综合性和现实世界数据的仿真研究中评估了所提出的学习算法的性能。

kronecker回归是一个高度结构的最小二乘问题$ \ min _ {\ mathbf {x}}} \ lvert \ mathbf {k} \ mathbf {x} - \ mathbf {b} \ rvert_ \ rvert_ {2}^2 $矩阵$ \ mathbf {k} = \ mathbf {a}^{（1）} \ otimes \ cdots \ cdots \ otimes \ mathbf {a}^{（n）} $是因子矩阵的Kronecker产品。这种回归问题是在广泛使用的最小二乘（ALS）算法的每个步骤中都出现的，用于计算张量的塔克分解。我们介绍了第一个用于求解Kronecker回归的子次数算法，以避免在运行时间中避免指数项$ o（\ varepsilon^{ - n}）$的$（1+ \ varepsilon）$。我们的技术结合了利用分数抽样和迭代方法。通过扩展我们对一个块是Kronecker产品的块设计矩阵的方法，我们还实现了（1）Kronecker Ridge回归的亚次级时间算法，并且（2）更新ALS中Tucker分解的因子矩阵，这不是一个不是一个纯Kronecker回归问题，从而改善了Tucker ALS的所有步骤的运行时间。我们证明了该Kronecker回归算法在合成数据和现实世界图像张量上的速度和准确性。

我们提出了Tntorch，这是一个张量学习框架，该框架支持统一界面下的多个分解（包括CandeComp/Parafac，Tucker和Tensor Train）。借助我们的库，用户可以通过自动差异，无缝的GPU支持以及Pytorch的API的便利性学习和处理低排名的张量。除分解算法外，TNTORCH还实施可区分的张量代数，等级截断，交叉透视，批处理处理，全面的张量算术等。

在本文中，我们提出了一个基于树张量网状状态的密度估计框架。所提出的方法包括使用Chow-Liu算法确定树拓扑，并获得线性系统通过草图技术定义张量 - 网络组件的线性系统。开发了草图功能的新颖选择，以考虑包含循环的图形模型。提供样品复杂性保证，并通过数值实验进一步证实。

最近已证明不变性在机器学习模型中是强大的归纳偏见。这样的一类预测模型是张量网络。我们引入了一种新的数值算法来构建在任意离散组的正常矩阵表示的作用下不变的张量的基础。该方法的数量级可以比以前的方法快几个数量级。然后将组不变的张量合并为一个组不变张量火车网络，该网络可用作监督机器学习模型。考虑到特定于问题的不知道，我们将该模型应用于蛋白质结合分类问题，并根据最新的深度学习方法获得了预测准确性。

我们提出了一种基于有效的量化张量列表表示和广义最大矩阵音量原理的组合进行优化的新过程。我们证明了新的张量火车优化器（TTOPT）方法在各种任务中的适用性，从最小化多维功能到增强学习。我们的算法与流行的基于进化的方法进行了比较，并以函数评估或执行时间的数量（通常是大幅度的余量）优于它们。

我们提出了一个端到端的可训练框架，通过仅通过查看其条目的一小部分来处理大规模的视觉数据张量。我们的方法将神经网络编码器与张振火车分解组合以学习低级潜在编码，耦合与交叉近似（CA）耦合，以通过原始样本的子集学习表示。 CA是一种自适应采样算法，它是原产的张量分解，并避免明确地使用全高分辨率数据。相反，它主动选择我们获取核心和按需获取的本地代表性样本。所需数量的样本仅使用输入的大小对数进行对数。我们网络中的张量的隐式表示，可以处理在其未压缩形式中不能以其他方式丢失的大网格。所提出的方法对于大规模的多维网格数据（例如，3D断层扫描）以及需要在大型接收领域（例如，预测整个器官的医学条件）的任务，特别适用于需要上下文的任务。代码可在https://github.com/aelphy/c-pic中获得。

我们使用张量奇异值分解（T-SVD）代数框架提出了一种新的快速流算法，用于抵抗缺失的低管级张量的缺失条目。我们展示T-SVD是三阶张量的研究型块术语分解的专业化，我们在该模型下呈现了一种算法，可以跟踪从不完全流2-D数据的可自由子模块。所提出的算法使用来自子空间的基层歧管的增量梯度下降的原理，以解决线性复杂度和时间样本的恒定存储器的张量完成问题。我们为我们的算法提供了局部预期的线性收敛结果。我们的经验结果在精确态度上具有竞争力，但在计算时间内比实际应用上的最先进的张量完成算法更快，以在有限的采样下恢复时间化疗和MRI数据。

与2D栅格图像不同，没有用于3D视觉数据处理的单个主导表示。点云，网格或隐式功能等不同格式都具有其优点和劣势。尽管如此，诸如签名距离函数之类的网格表示在3D中也具有吸引人的属性。特别是，它们提供恒定的随机访问，并且非常适合现代机器学习。不幸的是，网格的存储大小随其尺寸而呈指数增长。因此，即使在中等分辨率下，它们也经常超过内存限制。这项工作探讨了各种低量张量格式，包括Tucker，Tensor Train和Wartenics Tensor tensor tensor tensor tensor分解，以压缩时间变化的3D数据。我们的方法迭代地计算，体素化和压缩每个帧的截断符号距离函数，并将张量式截断施加到代表整个4D场景的单个压缩张量中，将所有框架凝结到一个单个压缩张量中。我们表明，低级张量压缩对于存储和查询时间变化的签名距离功能非常紧凑。它大大降低了4D场景的内存足迹，同时令人惊讶地保留了它们的几何质量。与现有的基于迭代学习的方法（如DEEPSDF和NERF）不同，我们的方法使用具有理论保证的封闭式算法。

许多数值优化技术的收敛性对提供给求解器的初始猜测高度敏感。我们提出了一种基于张量方法的方法，以初始化靠近全局Optima的现有优化求解器。该方法仅使用成本函数的定义，不需要访问任何良好解决方案的数据库。我们首先将成本函数（这是任务参数和优化变量的函数）转换为概率密度函数。与将任务参数设置为常数的现有方法不同，我们将它们视为另一组随机变量，并使用替代概率模型近似任务参数的关节概率分布和优化变量。对于给定的任务，我们就给定的任务参数从条件分布中生成样本，并将其用作优化求解器的初始化。由于调节和来自任意密度函数的调节和采样具有挑战性，因此我们使用张量列车分解来获得替代概率模型，我们可以从中有效地获得条件模型和样品。该方法可以为给定任务产生来自不同模式的多个解决方案。我们首先通过将其应用于各种具有挑战性的基准函数来评估该方法以进行数值优化，这些功能很难使用基于梯度的优化求解器以幼稚的初始化来求解，这表明所提出的方法可以生成靠近全局优化的样品，并且来自多种模式。 。然后，我们通过将所提出的方法应用于7-DOF操纵器来证明框架的通用性及其与机器人技术的相关性。

Kronecker产品的自然概括是Kronecker产品的张量Kronecker产品，在多个研究社区中独立出现。像它们的矩阵对应物一样，张量的概括为隐式乘法和分解定理提供了结构。我们提出了一个定理，该定理将张量kronecker产品的主要特征向量分解，这是从矩阵理论到张量特征向量的罕见概括。该定理意味着在kronecker产品的张量功率方法的迭代中应该存在低级结构。我们研究了网络对齐算法TAME中的低等级结构，这是一种功率方法启发式方法。直接或通过新的启发式嵌入方法使用低级结构，我们生成的新算法在提高或保持准确性的同时更快，并扩展到无法通过现有技术实际处理的问题。

我们开发了第一个快速频谱算法，用于分解$ \ mathbb {r}^d $排名到$ o的随机三阶张量。我们的算法仅涉及简单的线性代数操作，并且可以在当前矩阵乘法时间下在时间$ o（d^{6.05}）$中恢复所有组件。在这项工作之前，只能通过方形的总和[MA，Shi，Steurer 2016]实现可比的保证。相反，快速算法[Hopkins，Schramm，Shi，Steurer 2016]只能分解排名最多的张量（D^{4/3}/\ text {polylog}（d））$。我们的算法结果取决于两种关键成分。将三阶张量的清洁提升到六阶张量，可以用张量网络的语言表示。将张量网络仔细分解为一系列矩形矩阵乘法，这使我们能够快速实现该算法。