我们提出了Tntorch，这是一个张量学习框架，该框架支持统一界面下的多个分解（包括CandeComp/Parafac，Tucker和Tensor Train）。借助我们的库，用户可以通过自动差异，无缝的GPU支持以及Pytorch的API的便利性学习和处理低排名的张量。除分解算法外，TNTORCH还实施可区分的张量代数，等级截断，交叉透视，批处理处理，全面的张量算术等。
translated by 谷歌翻译
A simple nonrecursive form of the tensor decomposition in d dimensions is presented. It does not inherently suffer from the curse of dimensionality, it has asymptotically the same number of parameters as the canonical decomposition, but it is stable and its computation is based on lowrank approximation of auxiliary unfolding matrices. The new form gives a clear and convenient way to implement all basic operations efficiently. A fast rounding procedure is presented, as well as basic linear algebra operations. Examples showing the benefits of the decomposition are given, and the efficiency is demonstrated by the computation of the smallest eigenvalue of a 19-dimensional operator.
translated by 谷歌翻译
与2D栅格图像不同，没有用于3D视觉数据处理的单个主导表示。点云，网格或隐式功能等不同格式都具有其优点和劣势。尽管如此，诸如签名距离函数之类的网格表示在3D中也具有吸引人的属性。特别是，它们提供恒定的随机访问，并且非常适合现代机器学习。不幸的是，网格的存储大小随其尺寸而呈指数增长。因此，即使在中等分辨率下，它们也经常超过内存限制。这项工作探讨了各种低量张量格式，包括Tucker，Tensor Train和Wartenics Tensor tensor tensor tensor tensor分解，以压缩时间变化的3D数据。我们的方法迭代地计算，体素化和压缩每个帧的截断符号距离函数，并将张量式截断施加到代表整个4D场景的单个压缩张量中，将所有框架凝结到一个单个压缩张量中。我们表明，低级张量压缩对于存储和查询时间变化的签名距离功能非常紧凑。它大大降低了4D场景的内存足迹，同时令人惊讶地保留了它们的几何质量。与现有的基于迭代学习的方法（如DEEPSDF和NERF）不同，我们的方法使用具有理论保证的封闭式算法。
translated by 谷歌翻译
我们提出了一个端到端的可训练框架，通过仅通过查看其条目的一小部分来处理大规模的视觉数据张量。我们的方法将神经网络编码器与张振火车分解组合以学习低级潜在编码，耦合与交叉近似（CA）耦合，以通过原始样本的子集学习表示。 CA是一种自适应采样算法，它是原产的张量分解，并避免明确地使用全高分辨率数据。相反，它主动选择我们获取核心和按需获取的本地代表性样本。所需数量的样本仅使用输入的大小对数进行对数。我们网络中的张量的隐式表示，可以处理在其未压缩形式中不能以其他方式丢失的大网格。所提出的方法对于大规模的多维网格数据（例如，3D断层扫描）以及需要在大型接收领域（例如，预测整个器官的医学条件）的任务，特别适用于需要上下文的任务。代码可在https://github.com/aelphy/c-pic中获得。
translated by 谷歌翻译
低秩张量压缩已被提议作为一个有前途的方法，以减少他们的边缘设备部署神经网络的存储和计算需求。张量压缩减少的通过假设网络的权重来表示神经网络权重所需的参数的数目具有一个粗糙的高级结构。此粗结构假设已经被应用到压缩大神经网络如VGG和RESNET。计算机视觉任务然而现代国家的最先进的神经网络（即MobileNet，EfficientNet）已经通过在深度方向上可分离卷积假定粗因式分解结构，使得纯张量分解较少有吸引力的方法。我们建议低张量分解稀疏修剪，以充分利用粗粒和细粒结构的压缩相结合。我们在压缩SOTA架构的权重（MobileNetv3，EfficientNet，视觉变压器），并比较这种方法来疏剪枝，独自张量分解。
translated by 谷歌翻译
This survey provides an overview of higher-order tensor decompositions, their applications, and available software. A tensor is a multidimensional or N -way array. Decompositions of higher-order tensors (i.e., N -way arrays with N ≥ 3) have applications in psychometrics, chemometrics, signal processing, numerical linear algebra, computer vision, numerical analysis, data mining, neuroscience, graph analysis, and elsewhere. Two particular tensor decompositions can be considered to be higher-order extensions of the matrix singular value decomposition: CANDECOMP/PARAFAC (CP) decomposes a tensor as a sum of rank-one tensors, and the Tucker decomposition is a higher-order form of principal component analysis. There are many other tensor decompositions, including INDSCAL, PARAFAC2, CANDELINC, DEDICOM, and PARATUCK2 as well as nonnegative variants of all of the above. The N-way Toolbox, Tensor Toolbox, and Multilinear Engine are examples of software packages for working with tensors.
translated by 谷歌翻译
张量火车的分解因其高维张量的简洁表示，因此在机器学习和量子物理学中广泛使用，克服了维度的诅咒。交叉近似 - 从近似形式开发用于从一组选定的行和列中表示矩阵，这是一种有效的方法，用于构建来自其少数条目的张量的张量列器分解。虽然张量列车交叉近似在实际应用中取得了显着的性能，但迄今为止缺乏其理论分析，尤其是在近似误差方面的理论分析。据我们所知，现有结果仅提供元素近似精度的保证，这会导致扩展到整个张量时的束缚非常松。在本文中，我们通过提供精确测量和嘈杂测量的整个张量来保证准确性来弥合这一差距。我们的结果说明了选定子观察器的选择如何影响交叉近似的质量，并且模型误差和/或测量误差引起的近似误差可能不会随着张量的顺序而指数增长。这些结果通过数值实验来验证，并且可能对高阶张量的交叉近似值（例如在量子多体状态的描述中遇到的）具有重要意义。
translated by 谷歌翻译
我们提出了一种基于有效的量化张量列表表示和广义最大矩阵音量原理的组合进行优化的新过程。我们证明了新的张量火车优化器（TTOPT）方法在各种任务中的适用性，从最小化多维功能到增强学习。我们的算法与流行的基于进化的方法进行了比较，并以函数评估或执行时间的数量（通常是大幅度的余量）优于它们。
translated by 谷歌翻译
许多数值优化技术的收敛性对提供给求解器的初始猜测高度敏感。我们提出了一种基于张量方法的方法，以初始化靠近全局Optima的现有优化求解器。该方法仅使用成本函数的定义，不需要访问任何良好解决方案的数据库。我们首先将成本函数（这是任务参数和优化变量的函数）转换为概率密度函数。与将任务参数设置为常数的现有方法不同，我们将它们视为另一组随机变量，并使用替代概率模型近似任务参数的关节概率分布和优化变量。对于给定的任务，我们就给定的任务参数从条件分布中生成样本，并将其用作优化求解器的初始化。由于调节和来自任意密度函数的调节和采样具有挑战性，因此我们使用张量列车分解来获得替代概率模型，我们可以从中有效地获得条件模型和样品。该方法可以为给定任务产生来自不同模式的多个解决方案。我们首先通过将其应用于各种具有挑战性的基准函数来评估该方法以进行数值优化，这些功能很难使用基于梯度的优化求解器以幼稚的初始化来求解，这表明所提出的方法可以生成靠近全局优化的样品，并且来自多种模式。 。然后，我们通过将所提出的方法应用于7-DOF操纵器来证明框架的通用性及其与机器人技术的相关性。
translated by 谷歌翻译
在本文中，我们在不同研究领域使用的三种模型之间存在联系：来自正式语言和语言学的加权有限自动机〜（WFA），机器学习中使用的经常性神经网络，以及张量网络，包括一组高处的优化技术量子物理学和数值分析中使用的顺序张量。我们首先介绍WFA与张力列车分解，特定形式的张量网络之间的内在关系。该关系允许我们展示由WFA计算的函数的Hankel矩阵的新型低级结构，并设计利用这种结构的有效光谱学习算法来扩展到非常大的Hankel矩阵。我们将解开基本连接在WFA和第二阶逆转神经网络之间〜（2-RNN）：在离散符号的序列的情况下，具有线性激活功能的WFA和2-RNN是表现性的。利用该等效结果与加权自动机的经典频谱学习算法相结合，我们介绍了在连续输入向量序列上定义的线性2-RNN的第一可提供学习算法。本算法依赖于Hankel Tensor的低等级子块，可以从中可以从中恢复线性2-RNN的参数。在综合性和现实世界数据的仿真研究中评估了所提出的学习算法的性能。
translated by 谷歌翻译
常规生成订单3及以上的数据张量。这些数据收集越来越大且增长。它们要么是张量字段（例如，图像，视频，地理数据），其中每个数据位置包含重要信息或排列不变的一般张量（例如，无监督的潜在空间学习，图形网络分析，建议系统等）。直接访问如此大的数据张量收集以获取信息已变得越来越令人难以置信。我们学习具有分解表示的近似全级和紧凑的张量草图，可提供紧凑的空间，时间和光谱嵌入量的张量场（P-SCT）和一般张量（P-SCT-Permute）。所有后续的信息查询都以高精度进行，在生成草图上进行。我们通过从张量切片的样品有效的子采样量构建张量图来产生任意阶数据张量的最佳级别-r tucker分解。我们的样本有效策略是通过使用与共轭先验的Dirichlet分布的适应性随机汤普森采样来学习的。
translated by 谷歌翻译
最近的论文开发了CP和张量环分解的交替正方形（ALS）方法，其均值成本是sublinear，在低级别分解的输入张量输入量中是sublinear。在本文中，我们提出了基于抽样的ALS方法，用于CP和张量环分解，其成本没有指数级的依赖性，从而显着改善了先前的最先前。我们提供详细的理论分析，并在特征提取实验中应用这些方法。
translated by 谷歌翻译
经常性的神经网络（RNNS）是用于顺序建模的强大工具，但通常需要显着的过分识别和正则化以实现最佳性能。这导致在资源限制的环境中部署大型RNN的困难，同时还引入了近似参数选择和培训的并发症。为了解决这些问题，我们介绍了一种“完全张化的”RNN架构，该架构使用轻质的张力列车（TT）分解在每个反复电池内联合编码单独的权重矩阵。该方法代表了一种重量共享的新形式，其减少了多个数量级的模型大小，同时与标准RNN相比保持相似或更好的性能。图像分类和扬声器验证任务的实验表明了减少推理时间和稳定模型培训和封闭表选择的进一步益处。
translated by 谷歌翻译
张量鲁棒主成分分析（TRPCA）是机器学习和计算机视觉中的基本模型。最近，张力列车（TT）分解已经过验证了捕获张量恢复任务的全局低秩相关性。然而，由于现实世界应用中的大规模张量数据，之前的TRPCA模型经常遭受高计算复杂性。在这封信中，我们提出了一个高效的TRPCA，在Tucker和TT的混合模型下。具体地，理论上我们揭示了原始大张量的TT核规范（TTNN）可以通过Tucker压缩格式等同地转换为更小的张量，从而显着降低了奇异值分解（SVD）的计算成本。合成和现实世界张量数据的数值实验验证了所提出的模型的优越性。
translated by 谷歌翻译
物理知识的神经网络（PINN）由于对复杂物理系统进行建模的能力而越来越多地使用。为了获得更好的表现力，在许多问题中需要越来越大的网络大小。当我们需要培训有限的内存，计算和能源资源的边缘设备上的Pinns时，这引起了挑战。为了实现Edge设备上的训练PINN，本文提出了基于张量培训分解的端到端压缩PINN。在求解Helmholtz方程时，我们提出的模型显着优于原始PINN，几乎没有参数，并且可以实现令人满意的预测，最多可容纳15美元$ \ times $ $总体参数。
translated by 谷歌翻译
本文介绍了一种通过张量 - 训练（TT）分解来更紧凑地表示图形神经网络（GNN）表的新方法。我们考虑（a）缺乏节点特征的图形数据，从而在训练过程中学习嵌入的情况； （b）我们希望利用GPU平台，即使对于大型内存GPU，也需要较小的桌子来减少主机到GPU的通信。 TT的使用实现了嵌入的紧凑参数化，使其足够小，甚至可以完全适合现代GPU，即使是大量图形。当与明智的初始化和分层图分区结合使用时，这种方法可以将嵌入矢量的大小降低1,659次，至81,362次，在大型公开可用的基准数据集中，可以实现可比性或更高的准确性或更高的准确性和在多GPU系统上的显着速度。在某些情况下，我们的模型在输入上没有明确的节点功能甚至可以匹配使用节点功能的模型的准确性。
translated by 谷歌翻译
我们使用张量奇异值分解（T-SVD）代数框架提出了一种新的快速流算法，用于抵抗缺失的低管级张量的缺失条目。我们展示T-SVD是三阶张量的研究型块术语分解的专业化，我们在该模型下呈现了一种算法，可以跟踪从不完全流2-D数据的可自由子模块。所提出的算法使用来自子空间的基层歧管的增量梯度下降的原理，以解决线性复杂度和时间样本的恒定存储器的张量完成问题。我们为我们的算法提供了局部预期的线性收敛结果。我们的经验结果在精确态度上具有竞争力，但在计算时间内比实际应用上的最先进的张量完成算法更快，以在有限的采样下恢复时间化疗和MRI数据。
translated by 谷歌翻译
在过去十年中，已经开发出新的深度学习（DL）算法，工作负载和硬件来解决各种问题。尽管工作量和硬件生态系统的进步，DL系统的编程方法是停滞不前的。 DL工作负载从DL库中的高度优化，特定于平台和不灵活的内核，或者在新颖的操作员的情况下，通过具有强大性能的DL框架基元建立参考实现。这项工作介绍了Tensor加工基元（TPP），一个编程抽象，用于高效的DL工作负载的高效，便携式实现。 TPPS定义了一组紧凑而多才多艺的2D张镜操作员（或虚拟张量ISA），随后可以用作构建块，以在高维张量上构建复杂的运算符。 TPP规范是平台 - 不可行的，因此通过TPPS表示的代码是便携式的，而TPP实现是高度优化的，并且特定于平台。我们展示了我们使用独立内核和端到端DL＆HPC工作负载完全通过TPPS表达的方法的效力和生存性，这在多个平台上优于最先进的实现。
translated by 谷歌翻译
随着机器学习系统的计算要求以及机器学习框架的规模和复杂性的增加，基本框架创新变得具有挑战性。尽管计算需求驱动了最近的编译器，网络和硬件的进步，但通过机器学习工具对这些进步的利用却以较慢的速度发生。这部分是由于与现有框架原型制作新的计算范式有关的困难。大型框架将机器学习研究人员和从业人员作为最终用户的优先级优先，并且很少关注能够向前推动框架的系统研究人员 - 我们认为两者都是同等重要的利益相关者。我们介绍了手电筒，这是一个开源库，旨在通过优先考虑开放式，模块化，可定制的内部设备以及最新的，可用于研究的模型和培训设置，以刺激机器学习工具和系统的创新。手电筒使系统研究人员能够快速原型并尝试机器学习计算中的新思想，并且开销低，与其他流行的机器学习框架竞争并经常超过其他流行的机器学习框架。我们将手电筒视为一种工具，可以使可以使广泛使用的图书馆受益，并使机器学习和系统研究人员更加紧密地结合在一起。手电筒可从https://github.com/flashlight/flashlight获得。
translated by 谷歌翻译
我们介绍了Netket的版本3，机器学习工具箱适用于许多身体量子物理学。Netket围绕神经网络量子状态构建，并为其评估和优化提供有效的算法。这个新版本是基于JAX的顶部，一个用于Python编程语言的可差分编程和加速的线性代数框架。最重要的新功能是使用机器学习框架的简明符号来定义纯Python代码中的任意神经网络ANS \“凝固的可能性，这允许立即编译以及渐变的隐式生成自动化。Netket 3还带来了GPU和TPU加速器的支持，对离散对称组的高级支持，块以缩放多程度的自由度，Quantum动态应用程序的驱动程序，以及改进的模块化，允许用户仅使用部分工具箱是他们自己代码的基础。
translated by 谷歌翻译