自适应梯度算法(例如Adagrad及其变体)在培训深神经网络方面已广受欢迎。尽管许多适合自适应方法的工作都集中在静态的遗憾上,作为实现良好遗憾保证的性能指标,但对这些方法的动态遗憾分析尚不清楚。与静态的遗憾相反,动态遗憾被认为是绩效测量的更强大的概念,因为它明确阐明了环境的非平稳性。在本文中,我们通过动态遗憾的概念在一个强大的凸面设置中浏览了Adagrad(称为M-Adagrad)的一种变体,该遗憾衡量了在线学习者的性能,而不是参考(最佳)解决方案,这可能会改变时间。我们证明了根据最小化序列的路径长度的束缚,该序列基本上反映了环境的非平稳性。此外,我们通过利用每个回合中学习者的多个访问权限来增强动态遗憾。经验结果表明,M-Adagrad在实践中也很好。
translated by 谷歌翻译
在线优化是一个完善的优化范式,旨在鉴于对以前的决策任务的正确答案,旨在做出一系列正确的决策。二重编程涉及一个分层优化问题,其中所谓的外部问题的可行区域受内部问题的解决方案集映射的限制。本文将这两个想法汇总在一起,并研究了在线双层优化设置,其中一系列随时间变化的二聚体问题又一个接一个地揭示了一个。我们将已知的单层在线算法的已知遗憾界限扩展到双重设置。具体而言,我们引入了新的杂种遗憾概念,开发了一种在线交替的时间平均梯度方法,该方法能够利用光滑度,并根据内部和外部极型序列的长度提供遗憾的界限。
translated by 谷歌翻译
我们在非静止环境中调查在线凸优化,然后选择\ emph {动态后悔}作为性能测量,定义为在线算法产生的累积损失与任何可行比较器序列之间的差异。让$ t $是$ p_t $ be的路径长度,基本上反映了环境的非平稳性,最先进的动态遗憾是$ \ mathcal {o}(\ sqrt {t( 1 + p_t)})$。虽然这一界限被证明是凸函数最佳的最低限度,但在本文中,我们证明可以进一步提高一些简单的问题实例的保证,特别是当在线功能平滑时。具体而言,我们提出了新的在线算法,可以利用平滑度并替换动态遗憾的$ t $替换依据\ {问题依赖性}数量:损耗函数梯度的变化,比较器序列的累积损失,以及比较器序列的累积损失最低术语的最低限度。这些数量是大多数$ \ mathcal {o}(t)$,良性环境中可能更小。因此,我们的结果适应了问题的内在难度,因为边界比现有结果更严格,以便在最坏的情况下保证相同的速率。值得注意的是,我们的算法只需要\ emph {一个}渐变,这与开发的方法共享相同的渐变查询复杂性,以优化静态遗憾。作为进一步的应用,我们将来自全信息设置的结果扩展到具有两点反馈的强盗凸优化,从而达到此类强盗任务的第一个相关的动态遗憾。
translated by 谷歌翻译
我们开发了一种使用无遗憾的游戏动态解决凸面优化问题的算法框架。通过转换最小化凸起函数以顺序方式解决Min-Max游戏的辅助问题的问题,我们可以考虑一系列必须在另一个之后选择其行动的两名员工的一系列策略。这些策略的常见选择是所谓的无悔的学习算法,我们描述了许多此类并证明了遗憾。然后,我们表明许多凸面优化的经典一阶方法 - 包括平均迭代梯度下降,弗兰克 - 沃尔夫算法,重球算法和Nesterov的加速方法 - 可以被解释为我们框架的特殊情况由于每个玩家都做出正确选择无悔的策略。证明该框架中的收敛速率变得非常简单,因为它们遵循适当已知的遗憾范围。我们的框架还引发了一些凸优化的特殊情况的许多新的一阶方法。
translated by 谷歌翻译
遗憾已被广泛用作评估分布式多代理系统在线优化算法的性能的首选指标。但是,与代理相关的数据/模型变化可以显着影响决策,并需要在代理之间达成共识。此外,大多数现有的作品都集中在开发(强烈或非严格地)凸出的方法上,对于一般非凸损失的分布式在线优化中的遗憾界限,几乎没有得到很少的结果。为了解决这两个问题,我们提出了一种新型的综合遗憾,并使用新的基于网络的基于遗憾的度量标准来评估分布式在线优化算法。我们具体地定义了复合遗憾的静态和动态形式。通过利用我们的综合遗憾的动态形式,我们开发了一种基于共识的在线归一化梯度(CONGD)的伪convex损失方法,事实证明,它显示了与最佳器路径变化的规律性术语有关的透明性行为。对于一般的非凸损失,我们首先阐明了基于最近进步的分布式在线非凸学习的遗憾,因此没有确定性算法可以实现sublinear的遗憾。然后,我们根据离线优化的Oracle开发了分布式的在线非凸优化(Dinoco),而无需进入梯度。迪诺科(Dinoco)被证明是统一的遗憾。据我们所知,这是对一般分布在线非convex学习的第一个遗憾。
translated by 谷歌翻译
Projection operations are a typical computation bottleneck in online learning. In this paper, we enable projection-free online learning within the framework of Online Convex Optimization with Memory (OCO-M) -- OCO-M captures how the history of decisions affects the current outcome by allowing the online learning loss functions to depend on both current and past decisions. Particularly, we introduce the first projection-free meta-base learning algorithm with memory that minimizes dynamic regret, i.e., that minimizes the suboptimality against any sequence of time-varying decisions. We are motivated by artificial intelligence applications where autonomous agents need to adapt to time-varying environments in real-time, accounting for how past decisions affect the present. Examples of such applications are: online control of dynamical systems; statistical arbitrage; and time series prediction. The algorithm builds on the Online Frank-Wolfe (OFW) and Hedge algorithms. We demonstrate how our algorithm can be applied to the online control of linear time-varying systems in the presence of unpredictable process noise. To this end, we develop the first controller with memory and bounded dynamic regret against any optimal time-varying linear feedback control policy. We validate our algorithm in simulated scenarios of online control of linear time-invariant systems.
translated by 谷歌翻译
我们调查随机镜面下降(SMD)的趋同相对光滑和平滑凸优化。在相对平滑的凸优化中,我们为SMD提供了新的收敛保证,并持续步骤。对于平滑的凸优化,我们提出了一种新的自适应步骤方案 - 镜子随机Polyak Spectize(MSP)。值得注意的是,我们的收敛导致两个设置都不会使有界渐变假设或有界方差假设,并且我们向邻域显示在插值下消失的邻居的融合。MSP概括了最近提出的随机Polyak Spectize(SPS)(Loizou等,2021)以镜子血液镜子,并且在继承镜子血清的好处的同时,现代机器学习应用仍然是实用和高效的。我们将我们的结果与各种监督的学习任务和SMD的不同实例相结合,展示了MSP的有效性。
translated by 谷歌翻译
This paper considers the distributed online convex optimization problem with time-varying constraints over a network of agents. This is a sequential decision making problem with two sequences of arbitrarily varying convex loss and constraint functions. At each round, each agent selects a decision from the decision set, and then only a portion of the loss function and a coordinate block of the constraint function at this round are privately revealed to this agent. The goal of the network is to minimize the network-wide loss accumulated over time. Two distributed online algorithms with full-information and bandit feedback are proposed. Both dynamic and static network regret bounds are analyzed for the proposed algorithms, and network cumulative constraint violation is used to measure constraint violation, which excludes the situation that strictly feasible constraints can compensate the effects of violated constraints. In particular, we show that the proposed algorithms achieve $\mathcal{O}(T^{\max\{\kappa,1-\kappa\}})$ static network regret and $\mathcal{O}(T^{1-\kappa/2})$ network cumulative constraint violation, where $T$ is the time horizon and $\kappa\in(0,1)$ is a user-defined trade-off parameter. Moreover, if the loss functions are strongly convex, then the static network regret bound can be reduced to $\mathcal{O}(T^{\kappa})$. Finally, numerical simulations are provided to illustrate the effectiveness of the theoretical results.
translated by 谷歌翻译
最近,随机梯度下降(SGD)及其变体已成为机器学习(ML)问题大规模优化的主要方法。已经提出了各种策略来调整步骤尺寸,从自适应步骤大小到启发式方法,以更改每次迭代中的步骤大小。此外,动力已被广泛用于ML任务以加速训练过程。然而,我们对它们的理论理解存在差距。在这项工作中,我们开始通过为一些启发式优化方法提供正式保证并提出改进的算法来缩小这一差距。首先,我们分析了凸面和非凸口设置的Adagrad(延迟Adagrad)步骤大小的广义版本,这表明这些步骤尺寸允许算法自动适应随机梯度的噪声水平。我们首次显示延迟Adagrad的足够条件,以确保梯度几乎融合到零。此外,我们对延迟的Adagrad及其在非凸面设置中的动量变体进行了高概率分析。其次,我们用指数级和余弦的步骤分析了SGD,在经验上取得了成功,但缺乏理论支持。我们在平滑和非凸的设置中为它们提供了最初的收敛保证,有或没有polyak-{\ l} ojasiewicz(pl)条件。我们还显示了它们在PL条件下适应噪声的良好特性。第三,我们研究动量方法的最后迭代。我们证明了SGD的最后一个迭代的凸设置中的第一个下限,并以恒定的动量。此外,我们研究了一类跟随基于领先的领导者的动量算法,并随着动量和收缩的更新而增加。我们表明,他们的最后一个迭代具有最佳的收敛性,用于无约束的凸随机优化问题。
translated by 谷歌翻译
在线学习中,随机数据和对抗性数据是两个广泛研究的设置。但是许多优化任务都不是I.I.D.也不完全对抗,这使得对这些极端之间的世界有更好的理论理解具有根本的利益。在这项工作中,我们在在随机I.I.D.之间插值的环境中建立了在线凸优化的新颖遗憾界限。和完全的对抗损失。通过利用预期损失的平滑度,这些边界用梯度的方差取代对最大梯度长度的依赖,这是以前仅以线性损失而闻名的。此外,它们削弱了I.I.D.假设通过允许对抗中毒的回合,以前在专家和强盗设置中考虑过。我们的结果将其扩展到在线凸优化框架。在完全I.I.D.中情况,我们的界限与随机加速的结果相匹配,并且在完全对抗的情况下,它们优雅地恶化以符合Minimax的遗憾。我们进一步提供了下限,表明所有中级方案的遗憾上限都很紧张,从随机方差和损失梯度的对抗变异方面。
translated by 谷歌翻译
当培训数据共享与即将到来的测试样本相同的分布时,标准监督学习范式有效地工作。但是,在现实世界中,通常会违反此假设,尤其是在以在线方式出现测试数据时。在本文中,我们制定和调查了在线标签转移(OLAS)的问题:学习者从标记的离线数据训练初始模型,然后将其部署到未标记的在线环境中,而基础标签分布会随着时间的推移而变化,但标签 - 条件密度没有。非平稳性和缺乏监督使问题具有挑战性。为了解决难度,我们构建了一个新的无偏风险估计器,该风险估计器利用了未标记的数据,该数据表现出许多良性特性,尽管具有潜在的非跨性别性。在此基础上,我们提出了新颖的在线合奏算法来应对环境的非平稳性。我们的方法享有最佳的动态遗憾,表明该性能与千里眼的千里眼竞争,后者是事后看来的在线环境,然后选择每轮的最佳决定。获得的动态遗憾结合量表与标签分布转移的强度和模式,因此在OLAS问题中表现出适应性。进行广泛的实验以验证有效性和支持我们的理论发现。
translated by 谷歌翻译
在本文中,我们开发了一种新的虚拟队列在线在线凸优化(OCO)问题,具有长期和时变的约束,并对动态遗憾和约束违规进行性能分析。我们设计了一种新的Dual变量的新更新规则以及将时间变化约束函数的新方法集成到双变量中。据我们所知,我们的算法是第一个免费算法,可以同时实现Sublinear动态遗憾和约束违规。我们所提出的算法还优于最先进的结果,例如,在许多方面,例如,我们的算法不需要替换条件。同时,对于一组实际和广泛研究的约束oco问题,其中连续约束的变化在跨时时间流畅,我们的算法实现了$ O(1)$约束违规。此外,我们将算法和分析扩展到案例时,当时地平线$ T $未知。最后,进行了数值实验以验证我们算法的理论保证,并概述了我们提出的框架的一些应用。
translated by 谷歌翻译
为了通过分布式在线学习中的本地光计算处理复杂的约束,最近的一项研究提出了一种称为分布式在线条件梯度(D-OCG)的无投影算法(D-OCG),并获得了$ O(T^{3/4})$遗憾的是凸出损失,其中$ t $是总回合的数量。但是,它需要$ t $通信回合,并且不能利用强大的损失凸度。在本文中,我们提出了一个改进的D-OCG的变体,即D-BOCG,可以达到相同的$ O(t^{3/4})$遗憾,只有$ o(\ sqrt {t})$凸损失的通信回合,以及$ o(t^{2/3}(\ log t)^{1/3})$的更好遗憾,少于$ o(t^{1/3}(\ log log) t)^{2/3})$通信回合,以实现强烈凸出的损失。关键思想是采用延迟的更新机制,以降低通信复杂性,并重新定义D-OCG中的替代损失功能以利用强凸度。此外,我们提供了下限,以证明D-BOCG所需的$ O(\ sqrt {t})$通信回合是最佳的(以$ t $为单位)实现$ O(T^{3/4} )$遗憾带有凸损失,以及$ o(t^{1/3}(\ log t)^{2/3})$ d-bocg所需的通信回合近距离)实现$ o(t^{2/3}(\ log t)^{1/3})$遗憾的是,强烈凸出的损失归属于多凝集因子。最后,为了处理更具挑战性的强盗设置,其中只有损失值可用,我们将经典的单点梯度估计器纳入D-BOCG,并获得类似的理论保证。
translated by 谷歌翻译
我们研究了在线马尔可夫决策过程(MDP),具有对抗性变化的损失功能和已知过渡。我们选择动态遗憾作为绩效度量,定义为学习者和任何可行的变化策略序列之间的绩效差异。这项措施严格比标准的静态遗憾要强得多,该标准遗憾的是,基准通过固定的政策将学习者的绩效表现为学习者的表现。我们考虑了三种在线MDP的基础模型,包括无情节循环随机路径(SSP),情节SSP和Infinite-Horizo​​n MDP。对于这三个模型,我们提出了新颖的在线集合算法并分别建立了动态​​遗憾保证,在这种情况下,情节性(无环)SSP的结果在时间范围和某些非平稳性度量方面是最佳的最低限度。此外,当学习者遇到的在线环境是可以预测的时,我们设计了改进的算法并为情节(无环)SSP实现更好的动态遗憾界限;此外,我们证明了无限 - 摩恩MDP的不可能结果。
translated by 谷歌翻译
我们研究了在线凸优化,并具有由多个功能约束和相对简单的约束集组成的约束,例如欧几里得球。一般而言,由于在整个预测中执行约束在计算上都具有挑战性,因此我们允许决策违反功能约束,但旨在实现低遗憾和累积违反$ t $时间步骤的约束的侵犯。一阶方法实现$ \ MATHCAL {O}(\ sqrt {t})$遗憾和$ \ Mathcal {o}(1)$约束违规,这是最著名的界限,但不考虑问题的结构信息。此外,现有的算法和分析仅限于欧几里得空间。在本文中,我们提供了一个\ emph {实例依赖性}在线凸优化的绑定,并通过新颖的在线原始偶发镜像算法获得的复杂约束。我们与实例有关的遗憾是通过损失函数顺序中的总梯度变化$ v _*(t)$量化的。所提出的算法在\ emph {eneral} non-euclidean空间中起作用,并同时实现$ \ nathcal {o}(\ sqrt {v _*(t)})违法,这永远不会比最著名的$(\ Mathcal {o}(\ sqrt {t}),\ Mathcal {o}(1))$ result $更糟糕对于此问题,实现$ \ Mathcal {O}(T^{2/3})$遗憾和约束违规。最后,我们的算法在计算上是有效的,因为它仅在每次迭代中执行镜像下降步骤,而不是解决一般的拉格朗日最小化问题。
translated by 谷歌翻译
我们扩展并结合了一些文献的工具,以设计快速,自适应,随时和无规模的在线学习算法。无尺寸的遗憾界限必须以最大损失线性缩放,既朝向大损失,缺乏较小亏损。自适应遗憾界限表明,算法可以利用易于数据,并且可能具有恒定的遗憾。我们寻求开发快速算法,依赖于尽可能少的参数,特别是它们应该是随时随地的,因此不依赖于时间范围。我们的第一和主要工具,IsoTuning是平衡遗憾权衡的想法的概括。我们开发了一套工具来轻松设计和分析这些学习率,并表明它们自动适应遗憾(无论是常量,$ O(\ log t)$,$ o(\ sqrt {t})$,在Hindsight的最佳学习率的因子2中,对于相同的观察量的因子2中。第二种工具是在线校正,其允许我们获得许多算法的中心界限,以防止当域太大或仅部分约束时遗憾地被空隙。最后一个工具null更新,防止算法执行过多的更大的更新,这可能导致无限的后悔,甚至无效更新。我们使用这些工具开发一般理论并将其应用于几种标准算法。特别是,我们(几乎完全)恢复对无限域的FTRL的小损失的适应性,设计和证明无镜面下降的无缝的自适应保证(至少当Bregman发散在其第二个参数中凸出),延伸Adapt-ML-PROSIA令无规模的保证,并为Prod,Adahedge,Boa和软贝内斯提供了其他几个小贡献。
translated by 谷歌翻译
具有动量(SGDM)的SGD是一种广泛使用的算法系列,用于大规模优化机器学习问题。但是,当优化通用凸功能时,任何SGDM算法都不知道与普通SGD相比。此外,即使最近的结果也需要更改SGDM算法,例如平均迭代元素和对有限域的投影,这些域很少在实践中使用。在本文中,我们关注SGDM最后一次迭代的收敛速率。我们第一次证明,对于任何恒定的动量因素,都存在Lipschitz和凸功能,SGDM的最后一次迭代均具有$ \ omega的次优收敛速率(\ frac {\ ln t} {\ ln t} {\ sqrt {\ sqrt { $ t $迭代后的t}})$。基于这一事实,我们研究了一类(自适应和非自适应)遵循基于调查的领导者的SGDM算法,并随着动量的增加和缩小的更新而进行。对于这些算法,我们表明,最后一个迭代具有最佳收敛$ O(\ frac {1} {\ sqrt {t}})$,用于无约束的凸随机优化问题,而没有投影到有限域的域也没有$ t $的知识。此外,当与自适应步骤一起使用时,我们显示了基于FTRL的SGDM的各种结果。也显示了经验结果。
translated by 谷歌翻译
这项工作研究了凸和Lipschitz功能的在线零级优化。我们基于两个函数评估和$ \ ell_1 $ -sphere的随机化提出了一个新颖的梯度估计器。考虑到可行的集合和Lipschitz假设的不同几何形状,我们分析了在线双重平均算法的算法,代替了通常的梯度。我们考虑对零级甲骨文噪声的两种假设:取消噪声和对抗性噪声。我们提供任何时间和完全数据驱动的算法,它适应问题的所有参数。在文献中先前研究过的噪声的情况下,我们的保证可以比Duchi等人获得的最新界限可比性或更好。 (2015)和Shamir(2017)非自适应算法。我们的分析是基于在$ \ ell_1 $ -sphere上带有显式常数的均匀度量的新加权的Poincar \'e类型不等式,这可能具有独立的利益。
translated by 谷歌翻译
In the framework of online convex optimization, most iterative algorithms require the computation of projections onto convex sets, which can be computationally expensive. To tackle this problem HK12 proposed the study of projection-free methods that replace projections with less expensive computations. The most common approach is based on the Frank-Wolfe method, that uses linear optimization computation in lieu of projections. Recent work by GK22 gave sublinear adaptive regret guarantees with projection free algorithms based on the Frank Wolfe approach. In this work we give projection-free algorithms that are based on a different technique, inspired by Mhammedi22, that replaces projections by set-membership computations. We propose a simple lazy gradient-based algorithm with a Minkowski regularization that attains near-optimal adaptive regret bounds. For general convex loss functions we improve previous adaptive regret bounds from $O(T^{3/4})$ to $O(\sqrt{T})$, and further to tight interval dependent bound $\tilde{O}(\sqrt{I})$ where $I$ denotes the interval length. For strongly convex functions we obtain the first poly-logarithmic adaptive regret bounds using a projection-free algorithm.
translated by 谷歌翻译
我们考虑非静止在线凸优化的框架,其中学习者寻求控制其动态遗憾,免于任意比较器序列。当损耗函数强烈凸或exy-yshave时,我们证明了强烈的自适应(SA)算法可以被视为在比较器序列的路径变化$ V_T $的路径变化中控制动态遗憾的原则方式。具体来说,我们展示了SA算法享受$ \ tilde o(\ sqrt {tv_t} \ vee \ log t)$和$ \ tilde o(\ sqrt {dtv_t} \ vee d \ log t)$动态遗憾强烈凸Exp-Trowave损失分别没有APRIORI $ v_t $。本发明进一步展示了原理方法的多功能性,在与高斯内核的界限线性预测器和在线回归的环境中进一步证明了原则方法。在一个相关的环境下,纸张的第二个组件解决了Zhdanov和Kalnishkan(2010)提出的一个开放问题,涉及与平方误差损失的在线内核回归。我们在一定处罚后悔的新下限,该遗憾地建立了在线内核Ridge回归(KRR)的近极低最低限度。我们的下限可以被视为vovk(2001)中派生的rkhs扩展,以便在有限维中在线线性回归。
translated by 谷歌翻译