修剪是压缩深神经网络（DNNS）的主要方法之一。最近，将核（可证明的数据汇总）用于修剪DNN，并增加了理论保证在压缩率和近似误差之间的权衡方面的优势。但是，该域中的核心是数据依赖性的，要么是在模型的权重和输入的限制性假设下生成的。在实际情况下，这种假设很少得到满足，从而限制了核心的适用性。为此，我们建议一个新颖而健壮的框架，用于计算模型权重的轻度假设，而没有对训练数据的任何假设。这个想法是计算每个层中每个神经元相对于以下层的输出的重要性。这是通过l \“ {o} wner椭圆形和caratheodory定理的组合来实现的。我们的方法同时依赖数据独立，适用于各种网络和数据集（由于简化的假设），以及在理论上支持的。方法的表现优于基于核心的现有神经修剪方法在广泛的网络和数据集上。例如，我们的方法在Imagenet上获得了$ 62 \％$的压缩率，ImageNet上的RESNET50的准确性下降了$ 1.09 \％$。

给定数据集和损失函数的Coreset通常是一个小称定近似于这个损失从一组给定的查询每次查询。 Coresets已经证明是在许多应用中非常有用。然而，coresets建设中存在的问题依赖的方式完成，这可能需要时间来进行设计和证明coreset的正确性特定家庭的查询。这可能会限制coresets在实际应用中使用。此外，小coresets可证明是不存在的诸多问题。为了解决这些限制，我们提出了建设coresets的通用，基于学习的算法。我们的方法提供coreset一个新的定义，这是标准的定义和目标的接近在通过查询原始数据的\ {EMPH平均}损失自然放松。这允许我们使用一个学习模式来计算给定的输入小coreset相对于使用查询的训练集一个给定的损失函数。我们得出了该方法的正式担保。深网和经典的机器学习问题的实验评估表明，我们了解到coresets产量比最坏情况下的理论保证现有算法（可能在实践中过于悲观）相媲美，甚至更好的效果。此外，我们的方法应用于深网络修剪提供了一个完整的深网络的第一coreset，即压缩所有网络一次，而不是由层或类似的分而治之方法层。

coreset（或核心集）是一个小加权\ emph {subset} $ q $ q $ q $关于给定的\ emph {monotonic}函数$ f：\ mathbb {r} \ to \ mathbb {$} $那\ \ \ ich {可证明的}近似于其拟合损耗$ \ sum_ {p \在p} f（p \ cdot x）$ to \ emph {任何}给定$ x \ in \ mathbb {r} ^ d $。使用$ q $我们可以获得$ x ^ * $的近似，从而通过运行\ quph {现有}优化算法来最大限度地降低此损失。在这项工作中，我们提供：（i）据证明，没有小于$ n = |的缺陷件，为一般单调损失函数的界面有一个下限。（ii）在持有例如持有的自然假设下的证据。对于Logistic回归和Sigmoid激活函数，存在一个小型Coreset for \ emph {任何}输入$ p $。（iii）一种通用的Coreset施工算法，计算如此小的Coreset $ Q $ In $ O（nd + n \ log n）$ time，（iv）实验结果表明我们的冠状物有效并且在实践中要小得多比理论上预测。

a \ emph {strong coreset}对于$ {\ mathbb {r}} ^ d $的均值$ p $的平均查询是一个小加权子集$ c \ subseteq p $，它可从而近似于其平方距离的总和任何中心（点）$ x \ in {\ mathbb {r}} ^ d $。 a \ emph {弱coreset}是（也）一个小加权子集$ c $ c $ p $，其平均值近似于$ p $的平均值。在计算$ P $的平均值时，可以在线性时间轻松计算，它的Coreset可用于解决更加困难的约束版本，并且在概括的常见之类的核心中，例如$ k $ -means群集。在本文中，我们调查了大部分平均Coreset施工技术，并提出了一个统一的分析方法，用于提供和解释经典和现代结果，包括逐步的证据。特别是，我们收集了民间传说和散射相关结果，其中一些没有正式陈述其他地方。在整个调查中，我们展示，解释，并证明了这一领域非常普遍的技术，减少和算法。然而，当（相对简单）的平均问题中使用时，这种技术可以更简单地掌握。该调查可能会帮助指导新的研究人员不熟悉该领域，并通过简单但基本的问题将它们介绍给Coresets的基本基础。该领域的专家可能会欣赏统一的分析流程，以及现有结果的比较表。最后，为了鼓励和帮助从业者和软件工程师，我们为所有呈现的算法提供完整的开源代码。

我们为深神经网络提出了一种新的全球压缩框架，它自动分析每个层以识别最佳的每个层压缩比，同时实现所需的整体压缩。我们的算法通过将其通道切入多个组并通过低秩分解来分解每个组来铰接压缩每个卷积（或完全连接）层的想法。在我们的算法的核心处于从Eckart Young MiRSKY定理中推导了层面错误界限的推导。然后，我们利用这些界限将压缩问题框架作为优化问题，我们希望最小化层次的最大压缩误差并提出朝向解决方案的有效算法。我们的实验表明，我们的方法优于各种网络和数据集的现有低级压缩方法。我们认为，我们的结果为未来的全球性能大小的研究开辟了新的途径，即现代神经网络的全球性能大小。我们的代码可在https://github.com/lucaslie/torchprune获得。

神经网络修剪对于在预训练的密集网络架构中发现有效，高性能的子网有用。然而，更常见的是，它涉及三步过程 - 预先训练，修剪和重新训练 - 这是计算昂贵的，因为必须完全预先训练的密集模型。幸运的是，已经经过了多种作品，证明可以通过修剪发现高性能的子网，而无需完全预先训练密集网络。旨在理论上分析修剪网络表现良好的密集网络预培训量，我们发现在两层全连接网络上的SGD预训练迭代数量中发现了一个理论界限，超出了由此进行修剪贪婪的前瞻性选择产生了一个达到良好训练错误的子网。该阈值显示在对数上依赖于数据集的大小，这意味着具有较大数据集的实验需要更好地训练通过修剪以执行良好执行的子网。我们经验展示了我们在各种架构和数据集中的理论结果的有效性，包括在Mnist上培训的全连接网络以及在CIFAR10和ImageNet上培训的几个深度卷积神经网络（CNN）架构。

我们研究了用于线性回归的主动采样算法，该算法仅旨在查询目标向量$ b \ in \ mathbb {r} ^ n $的少量条目，并将近最低限度输出到$ \ min_ {x \ In \ mathbb {r} ^ d} \ | ax-b \ | $，其中$ a \ in \ mathbb {r} ^ {n \ times d} $是一个设计矩阵和$ \ | \ cdot \ | $是一些损失函数。对于$ \ ell_p $ norm回归的任何$ 0 <p <\ idty $，我们提供了一种基于Lewis权重采样的算法，其使用只需$ \ tilde {o}输出$（1+ \ epsilon）$近似解决方案（d ^ {\ max（1，{p / 2}）} / \ mathrm {poly}（\ epsilon））$查询到$ b $。我们表明，这一依赖于$ D $是最佳的，直到对数因素。我们的结果解决了陈和Derezi的最近开放问题，陈和Derezi \'{n} Ski，他们为$ \ ell_1 $ norm提供了附近的最佳界限，以及$ p \中的$ \ ell_p $回归的次优界限（1,2） $。我们还提供了$ O的第一个总灵敏度上限（D ^ {\ max \ {1，p / 2 \} \ log ^ 2 n）$以满足最多的$ p $多项式增长。这改善了Tukan，Maalouf和Feldman的最新结果。通过将此与我们的技术组合起来的$ \ ell_p $回归结果，我们获得了一个使$ \ tilde o的活动回归算法（d ^ {1+ \ max \ {1，p / 2 \}} / \ mathrm {poly}。 （\ epsilon））$疑问，回答陈和德里兹的另一个打开问题{n}滑雪。对于Huber损失的重要特殊情况，我们进一步改善了我们对$ \ tilde o的主动样本复杂性的绑定（d ^ {（1+ \ sqrt2）/ 2} / \ epsilon ^ c）$和非活跃$ \ tilde o的样本复杂性（d ^ {4-2 \ sqrt 2} / \ epsilon ^ c）$，由于克拉克森和伍德拉夫而改善了Huber回归的以前的D ^ 4 $。我们的敏感性界限具有进一步的影响，使用灵敏度采样改善了各种先前的结果，包括orlicz规范子空间嵌入和鲁棒子空间近似。最后，我们的主动采样结果为每种$ \ ell_p $ norm提供的第一个Sublinear时间算法。

彩票假设猜测稀疏子网的存在大型随机初始化的深神经网络，可以在隔离中成功培训。最近的工作已经通过实验观察到这些门票中的一些可以在各种任务中实际重复使用，以某种形式的普遍性暗示。我们正规化这一概念，理论上证明不仅存在此类环球票，而且还不需要进一步培训。我们的证据介绍了一些与强化强烈彩票票据相关的技术创新，包括延长子集合结果的扩展和利用更高量的深度的策略。我们的明确稀疏建设普遍函数家庭可能具有独立的兴趣，因为它们突出了单变量卷积架构引起的代表效益。

深度神经网络（DNN）的计算要求增加导致获得稀疏，且准确的DNN模型的兴趣。最近的工作已经调查了稀疏训练的更加困难的情况，其中DNN重量尽可能稀少，以减少训练期间的计算成本。现有的稀疏训练方法通常是经验的，并且可以具有相对于致密基线的准确性较低。在本文中，我们介绍了一种称为交替压缩/解压缩（AC / DC）训练DNN的一般方法，证明了算法变体的收敛，并表明AC / DC在类似的计算预算中准确地表现出现有的稀疏训练方法;在高稀疏水平下，AC / DC甚至优于现有的现有方法，依赖于准确的预训练密集模型。 AC / DC的一个重要属性是它允许联合培训密集和稀疏的型号，在训练过程结束时产生精确的稀疏密集模型对。这在实践中是有用的，其中压缩变体可能是为了在资源受限的设置中进行部署而不重新执行整个训练流，并且还为我们提供了深入和压缩模型之间的精度差距的见解。代码可在：https://github.com/ist-daslab/acdc。

这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。

我们为神经网络提出了一种新颖，结构化修剪算法 - 迭代，稀疏结构修剪算法，称为I-Spasp。从稀疏信号恢复的思想启发，I-Spasp通过迭代地识别网络内的较大的重要参数组（例如，滤波器或神经元），这些参数组大多数对修剪和密集网络输出之间的残差贡献，然后基于这些组阈值以较小的预定定义修剪比率。对于具有Relu激活的双层和多层网络架构，我们展示了通过多项式修剪修剪诱导的错误，该衰减是基于密集网络隐藏表示的稀疏性任意大的。在我们的实验中，I-Spasp在各种数据集（即MNIST和ImageNet）和架构（即馈送前向网络，Resnet34和MobileNetv2）中进行评估，其中显示用于发现高性能的子网和改进经过几种数量级的可提供基线方法的修剪效率。简而言之，I-Spasp很容易通过自动分化实现，实现强大的经验结果，具有理论收敛保证，并且是高效的，因此将自己区分开作为少数几个计算有效，实用，实用，实用，实用，实用，实用，实用，实用和可提供的修剪算法之一。

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。

We propose a simultaneous learning and pruning algorithm capable of identifying and eliminating irrelevant structures in a neural network during the early stages of training. Thus, the computational cost of subsequent training iterations, besides that of inference, is considerably reduced. Our method, based on variational inference principles using Gaussian scale mixture priors on neural network weights, learns the variational posterior distribution of Bernoulli random variables multiplying the units/filters similarly to adaptive dropout. Our algorithm, ensures that the Bernoulli parameters practically converge to either 0 or 1, establishing a deterministic final network. We analytically derive a novel hyper-prior distribution over the prior parameters that is crucial for their optimal selection and leads to consistent pruning levels and prediction accuracy regardless of weight initialization or the size of the starting network. We prove the convergence properties of our algorithm establishing theoretical and practical pruning conditions. We evaluate the proposed algorithm on the MNIST and CIFAR-10 data sets and the commonly used fully connected and convolutional LeNet and VGG16 architectures. The simulations show that our method achieves pruning levels on par with state-of the-art methods for structured pruning, while maintaining better test-accuracy and more importantly in a manner robust with respect to network initialization and initial size.

结构化修剪是一种常用的技术，用于将深神经网络（DNN）部署到资源受限的设备上。但是，现有的修剪方法通常是启发式，任务指定的，并且需要额外的微调过程。为了克服这些限制，我们提出了一个框架，将DNN压缩成纤薄的架构，具有竞争性表现，并且仅通过列车 - 一次（OTO）减少重大拖车。 OTO包含两个键：（i）我们将DNN的参数分区为零不变组，使我们能够修剪零组而不影响输出; （ii）促进零群，我们制定了结构性稀疏优化问题，提出了一种新颖的优化算法，半空间随机投影梯度（HSPG），以解决它，这优于组稀疏性探索的标准近端方法和保持可比的收敛性。为了展示OTO的有效性，我们从划痕上同时培训和压缩全模型，而无需微调推理加速和参数减少，并且在CIFAR10的VGG16实现最先进的结果，为CIFAR10和Squad的BERT为BERT竞争结果在resnet50上为想象成。源代码可在https://github.com/tianyic/only_train_once上获得。

研究神经网络中重量扰动的敏感性及其对模型性能的影响，包括泛化和鲁棒性，是一种积极的研究主题，因为它对模型压缩，泛化差距评估和对抗攻击等诸如模型压缩，泛化差距评估和对抗性攻击的广泛机器学习任务。在本文中，我们在重量扰动下的鲁棒性方面提供了前馈神经网络的第一积分研究和分析及其在体重扰动下的泛化行为。我们进一步设计了一种新的理论驱动损失功能，用于培训互动和强大的神经网络免受重量扰动。进行实证实验以验证我们的理论分析。我们的结果提供了基本洞察，以表征神经网络免受重量扰动的泛化和鲁棒性。

我们研究了用$ q $ modes $ a \ in \ mathbb {r}^{n \ times \ ldots \ times n} $的近似给定张量的问题。图$ g =（v，e）$，其中$ | v | = q $，以及张张量的集合$ \ {u_v \ mid v \ in v \} $，以$ g $指定的方式收缩以获取张量$ t $。对于$ u_v $的每种模式，对应于$ v $的边缘事件，尺寸为$ k $，我们希望找到$ u_v $，以便最小化$ t $和$ a $之间的frobenius norm距离。这概括了许多众所周知的张量网络分解，例如张量列，张量环，塔克和PEPS分解。我们大约是二进制树网络$ t'$带有$ o（q）$核的大约$ a $，因此该网络的每个边缘上的尺寸最多是$ \ widetilde {o}（k^{o（dt） } \ cdot q/\ varepsilon）$，其中$ d $是$ g $的最大度，$ t $是其树宽，因此$ \ | a -t'-t'\ | _f^2 \ leq（1 + \ Varepsilon）\ | a -t \ | _f^2 $。我们算法的运行时间为$ o（q \ cdot \ text {nnz}（a）） + n \ cdot \ text {poly}（k^{dt} q/\ varepsilon）$，其中$ \ text {nnz }（a）$是$ a $的非零条目的数量。我们的算法基于一种可能具有独立感兴趣的张量分解的新维度降低技术。我们还开发了固定参数可处理的$（1 + \ varepsilon）$ - 用于张量火车和塔克分解的近似算法，改善了歌曲的运行时间，Woodruff和Zhong（Soda，2019），并避免使用通用多项式系统求解器。我们表明，我们的算法对$ 1/\ varepsilon $具有几乎最佳的依赖性，假设没有$ O（1）$ - 近似算法的$ 2 \至4 $ norm，并且运行时间比蛮力更好。最后，我们通过可靠的损失函数和固定参数可拖动CP分解给出了塔克分解的其他结果。

Consider the multivariate nonparametric regression model. It is shown that estimators based on sparsely connected deep neural networks with ReLU activation function and properly chosen network architecture achieve the minimax rates of convergence (up to log nfactors) under a general composition assumption on the regression function. The framework includes many well-studied structural constraints such as (generalized) additive models. While there is a lot of flexibility in the network architecture, the tuning parameter is the sparsity of the network. Specifically, we consider large networks with number of potential network parameters exceeding the sample size. The analysis gives some insights into why multilayer feedforward neural networks perform well in practice. Interestingly, for ReLU activation function the depth (number of layers) of the neural network architectures plays an important role and our theory suggests that for nonparametric regression, scaling the network depth with the sample size is natural. It is also shown that under the composition assumption wavelet estimators can only achieve suboptimal rates.

Deep neural networks can approximate functions on different types of data, from images to graphs, with varied underlying structure. This underlying structure can be viewed as the geometry of the data manifold. By extending recent advances in the theoretical understanding of neural networks, we study how a randomly initialized neural network with piece-wise linear activation splits the data manifold into regions where the neural network behaves as a linear function. We derive bounds on the density of boundary of linear regions and the distance to these boundaries on the data manifold. This leads to insights into the expressivity of randomly initialized deep neural networks on non-Euclidean data sets. We empirically corroborate our theoretical results using a toy supervised learning problem. Our experiments demonstrate that number of linear regions varies across manifolds and the results hold with changing neural network architectures. We further demonstrate how the complexity of linear regions is different on the low dimensional manifold of images as compared to the Euclidean space, using the MetFaces dataset.

We study the expressibility and learnability of convex optimization solution functions and their multi-layer architectural extension. The main results are: \emph{(1)} the class of solution functions of linear programming (LP) and quadratic programming (QP) is a universal approximant for the $C^k$ smooth model class or some restricted Sobolev space, and we characterize the rate-distortion, \emph{(2)} the approximation power is investigated through a viewpoint of regression error, where information about the target function is provided in terms of data observations, \emph{(3)} compositionality in the form of a deep architecture with optimization as a layer is shown to reconstruct some basic functions used in numerical analysis without error, which implies that \emph{(4)} a substantial reduction in rate-distortion can be achieved with a universal network architecture, and \emph{(5)} we discuss the statistical bounds of empirical covering numbers for LP/QP, as well as a generic optimization problem (possibly nonconvex) by exploiting tame geometry. Our results provide the \emph{first rigorous analysis of the approximation and learning-theoretic properties of solution functions} with implications for algorithmic design and performance guarantees.

Kernel matrices, as well as weighted graphs represented by them, are ubiquitous objects in machine learning, statistics and other related fields. The main drawback of using kernel methods (learning and inference using kernel matrices) is efficiency -- given $n$ input points, most kernel-based algorithms need to materialize the full $n \times n$ kernel matrix before performing any subsequent computation, thus incurring $\Omega(n^2)$ runtime. Breaking this quadratic barrier for various problems has therefore, been a subject of extensive research efforts. We break the quadratic barrier and obtain $\textit{subquadratic}$ time algorithms for several fundamental linear-algebraic and graph processing primitives, including approximating the top eigenvalue and eigenvector, spectral sparsification, solving linear systems, local clustering, low-rank approximation, arboricity estimation and counting weighted triangles. We build on the recent Kernel Density Estimation framework, which (after preprocessing in time subquadratic in $n$) can return estimates of row/column sums of the kernel matrix. In particular, we develop efficient reductions from $\textit{weighted vertex}$ and $\textit{weighted edge sampling}$ on kernel graphs, $\textit{simulating random walks}$ on kernel graphs, and $\textit{importance sampling}$ on matrices to Kernel Density Estimation and show that we can generate samples from these distributions in $\textit{sublinear}$ (in the support of the distribution) time. Our reductions are the central ingredient in each of our applications and we believe they may be of independent interest. We empirically demonstrate the efficacy of our algorithms on low-rank approximation (LRA) and spectral sparsification, where we observe a $\textbf{9x}$ decrease in the number of kernel evaluations over baselines for LRA and a $\textbf{41x}$ reduction in the graph size for spectral sparsification.