元学习在有限的监督数据中表现出了几次学习的巨大成功。在这些设置中,元模型通常被过度参数化。尽管常规的统计学习理论表明,过度参数化的模型倾向于过度合适,但经验证据表明,过度参数化的元学习方法仍然很好地工作 - 这种现象通常称为``良性过度拟合''。我们了解这种现象,我们专注于元学习设置,我们将具有挑战性的嵌套结构称为嵌套的元学习,并在过度参数化的元学习模型下分析其泛化性能。尽管我们的分析使用了相对可牵引的线性模型,但我们的理论有助于理解数据异质性,模型适应和良性过度适应嵌套元学习任务之间的微妙相互作用。我们通过数值模拟证实了我们的理论主张。
translated by 谷歌翻译
尽管深元学习取得了较高的经验成功,但对过度参数化元学习的理论理解仍然有限。本文研究了广泛使用的元学习方法,模型 - 静态元学习(MAML)的概括,该方法旨在找到快速适应新任务的良好初始化。在混合线性回归模型下,我们分析了在过度参数化方案中用SGD训练的MAML的泛化特性。我们为MAML的多余风险提供上限和下限,这捕获了SGD动力学如何影响这些泛化界限。通过如此敏锐的特征,我们进一步探讨了各种学习参数如何影响过度参数化MAML的概括能力,包括明确识别典型的数据和任务分布,这些数据和任务分布可以通过过度参数化来减少概括性错误,并表征适应性学习率对过量风险和过量风险的影响早期停车时间。我们的理论发现将通过实验进一步验证。
translated by 谷歌翻译
模型不足的元学习(MAML)已越来越流行,对于可以通过一个或几个随机梯度下降步骤迅速适应新任务的训练模型。但是,与标准的非自适应学习(NAL)相比,MAML目标更难优化,并且几乎没有理解MAML在各种情况下的溶液的快速适应性方面的改善。我们通过线性回归设置进行分析解决此问题,该设置由简单而艰难的任务组成,其中硬度与梯度下降在任务上收敛的速率有关。具体而言,我们证明,为了使MAML比NAL获得可观的收益,(i)任务之间的硬度必须有一定的差异,并且(ii)艰苦任务的最佳解决方案必须与中心远离远离中心。简单任务最佳解决方案的中心。我们还提供数值和分析结果,表明这些见解适用于两层神经网络。最后,我们提供了很少的图像分类实验,可以支持我们何时使用MAML的见解,并强调培训MAML对实践中的艰巨任务的重要性。
translated by 谷歌翻译
机器学习理论中的主要开放问题之一是表征过度参数化的政权中的概括,在该制度中,大多数传统的概括范围变得不一致。在许多情况下,它们的失败可以归因于掩盖训练算法与基础数据分布之间的关键相互作用。为了解决这一缺点,我们提出了一个名为兼容性的概念,该概念以与数据相关的和算法相关的方式定量地表征了概括。通过考虑整个训练轨迹并专注于早期迭代的迭代术,兼容性充分利用了算法信息,因此可以提供更好的概括保证。我们通过理论上研究与梯度下降过度参数化的线性回归设置的兼容性来验证这一点。具体而言,我们执行与数据相关的轨迹分析,并在这种设置下得出足够的兼容性条件。我们的理论结果表明,从兼容性的意义上讲,概括性对问题实例的限制明显弱,而不是上次迭代分析。
translated by 谷歌翻译
The phenomenon of benign overfitting is one of the key mysteries uncovered by deep learning methodology: deep neural networks seem to predict well, even with a perfect fit to noisy training data. Motivated by this phenomenon, we consider when a perfect fit to training data in linear regression is compatible with accurate prediction. We give a characterization of linear regression problems for which the minimum norm interpolating prediction rule has near-optimal prediction accuracy. The characterization is in terms of two notions of the effective rank of the data covariance. It shows that overparameterization is essential for benign overfitting in this setting: the number of directions in parameter space that are unimportant for prediction must significantly exceed the sample size. By studying examples of data covariance properties that this characterization shows are required for benign overfitting, we find an important role for finite-dimensional data: the accuracy of the minimum norm interpolating prediction rule approaches the best possible accuracy for a much narrower range of properties of the data distribution when the data lies in an infinite dimensional space versus when the data lies in a finite dimensional space whose dimension grows faster than the sample size.
translated by 谷歌翻译
深度神经网络等现代机器学习系统通常高度参数化,以便它们可以完全符合嘈杂的培训数据,但它们仍然可以在实践中实现小的测试错误。在本文中,我们研究了线性分类问题的最大边缘分类器的“良性过度装备”现象。具体地,我们考虑从子高斯混合系统生成的数据,并为过参数化设置中的最大边距线性分类器提供紧密的风险。我们的结果精确地表征了线性分类问题中可能发生良性过度的条件,并改善以前的工作。它们也对过度参数化的逻辑回归有直接影响。
translated by 谷歌翻译
神经网络模型的最新成功揭示了一种令人惊讶的统计现象:完全拟合噪声数据的统计模型可以很好地推广到看不见的测试数据。了解$ \ textit {良性过拟合} $的这种现象吸引了强烈的理论和经验研究。在本文中,我们考虑插值两层线性神经网络在平方损失上梯度流训练,当协变量满足亚高斯和抗浓度的特性时,在平方损耗上训练,并在多余的风险上获得界限,并且噪声是独立和次级高斯的。。通过利用最新的结果来表征该估计器的隐性偏见,我们的边界强调了初始化质量的作用以及数据协方差矩阵在实现低过量风险中的特性。
translated by 谷歌翻译
我们推出了元学学习算法概括性的新信息 - 理论分析。具体地,我们的分析提出了对传统学习 - 学习框架和现代模型 - 不可知的元学习(MAML)算法的通用理解。此外,我们为MAML的随机变体提供了一种数据依赖的泛化,这对于深入的少量学习是不受空置的。与以前的范围相比,依赖于梯度方形规范的界限,对模拟数据和众所周知的少量射击基准测试的经验验证表明,我们的绑定是大多数情况下更紧密的级。
translated by 谷歌翻译
最近的作品证明了过度参数化学习中的双重下降现象:随着模型参数的数量的增加,多余的风险具有$ \ mathsf {u} $ - 在开始时形状,然后在模型高度过度参数化时再次减少。尽管最近在不同的环境(例如线性模型,随机特征模型和内核方法)下进行了研究,但在理论上尚未完全理解这种现象。在本文中,我们考虑了由两种随机特征组成的双随机特征模型(DRFM),并研究DRFM在脊回归中实现的多余风险。我们计算高维框架下的多余风险的确切限制,在这种框架上,训练样本量,数据尺寸和随机特征的维度往往会成比例地无限。根据计算,我们证明DRFM的风险曲线可以表现出三重下降。然后,我们提供三重下降现象的解释,并讨论随机特征维度,正则化参数和信噪比比率如何控制DRFMS风险曲线的形状。最后,我们将研究扩展到多个随机功能模型(MRFM),并表明具有$ K $类型的随机功能的MRFM可能会显示出$(K+1)$ - 折叠。我们的分析指出,具有特定数量下降的风险曲线通常在基于特征的回归中存在。另一个有趣的发现是,当学习神经网络在“神经切线内核”制度中时,我们的结果可以恢复文献中报告的风险峰值位置。
translated by 谷歌翻译
元学习或学习学习,寻求设计算法,可以利用以前的经验快速学习新技能或适应新环境。表示学习 - 用于执行元学习的关键工具 - 了解可以在多个任务中传输知识的数据表示,这在数据稀缺的状态方面是必不可少的。尽管最近在Meta-Leature的实践中感兴趣的兴趣,但缺乏元学习算法的理论基础,特别是在学习可转让陈述的背景下。在本文中,我们专注于多任务线性回归的问题 - 其中多个线性回归模型共享常见的低维线性表示。在这里,我们提供了可提供的快速,采样高效的算法,解决了(1)的双重挑战,从多个相关任务和(2)将此知识转移到新的,看不见的任务中的常见功能。两者都是元学习的一般问题的核心。最后,我们通过在学习这些线性特征的样本复杂性上提供信息定理下限来补充这些结果。
translated by 谷歌翻译
我们研究了称为“乐观速率”(Panchenko 2002; Srebro等,2010)的统一收敛概念,用于与高斯数据的线性回归。我们的精致分析避免了现有结果中的隐藏常量和对数因子,这已知在高维设置中至关重要,特别是用于了解插值学习。作为一个特殊情况,我们的分析恢复了Koehler等人的保证。(2021年),在良性过度的过度条件下,严格地表征了低规范内插器的人口风险。但是,我们的乐观速度绑定还分析了具有任意训练错误的预测因子。这使我们能够在随机设计下恢复脊和套索回归的一些经典统计保障,并有助于我们在过度参数化制度中获得精确了解近端器的过度风险。
translated by 谷歌翻译
随机梯度下降(SGD)在实践中表现出强烈的算法正则化效应,该效果已被认为在现代机器学习方法的概括中起着重要作用。在这项工作中,我们试图在线性回归的更简单环境(包括量身范围的和过度参数化的制度)中理解这些问题,在此,我们的目标是对(未注册)平均SGD与(未注册的)平均SGD进行基于实例的敏锐比较。脊回归的明确正规化。对于一系列最小二乘问题的问题实例(在高维设置中是自然的),我们显示:(1)对于每个问题实例和每个脊参数(未注册)SGD,当时提供比对数的样本比提供的样本更多的样本时对于脊算法,概括的概括不及脊解决方案(提供SGD使用调谐常数步骤); (2)相反,存在(在这个宽阔的问题类中),其中最佳调整的脊回归需要比SGD更高的样本以具有相同的概括性能。综上所述,我们的结果表明,在对数因素上,SGD的概括性能总是不到脊回归的差异,而在各种过度参数的问题中,对于某些问题实例,实际上可能会更好。更普遍地,我们的结果表明,即使在更简单(过度参数化)凸设置中,算法正则化如何产生重要的后果。
translated by 谷歌翻译
本文探讨了可变参数化模型系列的线性回归的概括性损失,包括在参数化和过度参数化的模型中。我们表明,泛化曲线可以具有任意数量的峰值,而且可以明确地控制这些峰的位置。我们的结果突出了经典U形泛化曲线和最近观察到的双下降曲线的事实不是模型系列的内在特性。相反,它们的出现是由于数据的性质与学习算法的感应偏差之间的相互作用。
translated by 谷歌翻译
我们束缚了使用梯度流训练的深度线性网络的多余风险。在先前用于建立最小$ \ ell_2 $ -norm interpolant的风险范围的设置中,我们表明随机初始化的深线性网络可以紧密近似甚至匹配已知的范围,即最小$ \ ell_2 $ - norm interpolant。我们的分析还表明,插值深线性模型具有与最小$ \ ell_2 $ -Norm解决方案完全相同的条件差异。由于噪声仅通过条件差异影响多余的风险,因此这意味着深度并不能提高算法“隐藏噪声”的能力。我们的模拟验证了我们边界的各个方面反映了简单数据分布的典型行为。我们还发现,在具有Relu网络的模拟中也可以看到类似的现象,尽管情况更加细微。
translated by 谷歌翻译
本文研究了随机梯度下降(SGD)优化的高尺寸中随机特征(RF)回归的概过特性。在该制度中,我们在恒定和自适应阶梯大小的SGD设置下得出了RF回归的精确非渐近误差界,并观察了理论上和经验的双重血管现象。我们的分析显示了如何应对多种随机性源的初始化,标签噪声和数据采样(以及随机梯度),没有闭合形式解决方案,并且还超出了普通使用的高斯/球面数据假设。我们的理论结果表明,通过SGD训练,RF回归仍然概括为插值学习,并且能够通过方差的单位和单调的偏差减小来表征双重血迹行为。此外,我们还证明,与精确的最小规范内插器相比,恒定的步长SGD设置在与精确的最小规范内插器相比时不会损失收敛速度,作为在实践中使用SGD的理论典范。
translated by 谷歌翻译
我们考虑与高斯数据的高维线性回归中的插值学习,并在类高斯宽度方面证明了任意假设类别中的内插器的泛化误差。将通用绑定到欧几里德常规球恢复了Bartlett等人的一致性结果。(2020)对于最小规范内插器,并确认周等人的预测。(2020)在高斯数据的特殊情况下,对于近乎最小常态的内插器。我们通过将其应用于单位来证明所界限的一般性,从而获得最小L1-NORM Interpoolator(基础追踪)的新型一致性结果。我们的结果表明,基于规范的泛化界限如何解释并用于分析良性过度装备,至少在某些设置中。
translated by 谷歌翻译
现代神经网络通常以强烈的过度构造状态运行:它们包含许多参数,即使实际标签被纯粹随机的标签代替,它们也可以插入训练集。尽管如此,他们在看不见的数据上达到了良好的预测错误:插值训练集并不会导致巨大的概括错误。此外,过度散色化似乎是有益的,因为它简化了优化景观。在这里,我们在神经切线(NT)制度中的两层神经网络的背景下研究这些现象。我们考虑了一个简单的数据模型,以及各向同性协变量的矢量,$ d $尺寸和$ n $隐藏的神经元。我们假设样本量$ n $和尺寸$ d $都很大,并且它们在多项式上相关。我们的第一个主要结果是对过份术的经验NT内核的特征结构的特征。这种表征意味着必然的表明,经验NT内核的最低特征值在$ ND \ gg n $后立即从零界限,因此网络可以在同一制度中精确插值任意标签。我们的第二个主要结果是对NT Ridge回归的概括误差的表征,包括特殊情况,最小值-ULL_2 $ NORD插值。我们证明,一旦$ nd \ gg n $,测试误差就会被内核岭回归之一相对于无限宽度内核而近似。多项式脊回归的误差依次近似后者,从而通过与激活函数的高度组件相关的“自我诱导的”项增加了正则化参数。多项式程度取决于样本量和尺寸(尤其是$ \ log n/\ log d $)。
translated by 谷歌翻译
我们研究了非参数脊的最小二乘的学习属性。特别是,我们考虑常见的估计人的估计案例,由比例依赖性内核定义,并专注于规模的作用。这些估计器内插数据,可以显示规模来通过条件号控制其稳定性。我们的分析表明,这是不同的制度,具体取决于样本大小,其尺寸与问题的平滑度之间的相互作用。实际上,当样本大小小于数据维度中的指数时,可以选择比例,以便学习错误减少。随着样本尺寸变大,总体错误停止减小但有趣地可以选择规模,使得噪声引起的差异仍然存在界线。我们的分析结合了概率,具有来自插值理论的许多分析技术。
translated by 谷歌翻译
随机梯度下降(SGD)已被证明在许多深度学习应用中都很好地概括了。在实践中,人们经常以几何衰减的步骤运行SGD,即,恒定的初始步骤,然后是多个几何步骤衰减,并将最后一个迭代用作输出。已知这种SGD几乎对经典有限维线性回归问题几乎是最佳的(Ge等,2019)。但是,在过度参数化设置中对SGD的最后一次迭代进行了彻底的分析。在本文中,我们对SGD的最后一个迭代风险界限进行了依赖问题的分析,并具有腐烂的步骤,以(过度参数化)线性回归问题。特别是,对于带有(尾部)几何衰减步骤的最后迭代SGD,我们证明了多余风险的上限和下限几乎匹配。此外,我们为最后一次迭代的SGD提供了多余的风险下限,并以多项式衰减的步骤进行了大小,并以实例的方式证明了几何腐烂的步骤的优势,这补充了先前工作中的最小值比较。
translated by 谷歌翻译
随机梯度下降(SGD)是现代机器学习的支柱,是各种问题的首选优化算法。尽管SGD的经验成功通常归因于其计算效率和有利的概括行为,但两者都没有充分理解和解散它们仍然是一个开放的问题。即使在简单的凸二次问题的设置中,最坏情况分析也给SGD的渐近收敛率提供了不比全批梯度下降(GD)更好的,而SGD的所谓隐式正则作用缺乏精确的解释。在这项工作中,我们研究了高维凸四边形上多通sgd的动力学,并建立了与随机微分方程的渐近等效性,我们称之为同质化的随机梯度下降(HSGD),我们的解决方案我们以我们的解决方案的方式明确表征Volterra积分方程。这些结果为学习和风险轨迹提供精确的公式,该公式揭示了隐性条件的机制,该机制解释了SGD相对于GD的效率。我们还证明,来自SGD的噪声会对泛化性能产生负面影响,排除在这种情况下任何类型的隐式正则化的可能性。最后,我们展示了如何适应HSGD形式主义以包括流媒体SGD,这使我们能够针对相对于流SGD(Bootstrap风险)的多通SGD的多余风险产生确切的预测。
translated by 谷歌翻译