我们考虑非静止在线凸优化的框架,其中学习者寻求控制其动态遗憾,免于任意比较器序列。当损耗函数强烈凸或exy-yshave时,我们证明了强烈的自适应(SA)算法可以被视为在比较器序列的路径变化$ V_T $的路径变化中控制动态遗憾的原则方式。具体来说,我们展示了SA算法享受$ \ tilde o(\ sqrt {tv_t} \ vee \ log t)$和$ \ tilde o(\ sqrt {dtv_t} \ vee d \ log t)$动态遗憾强烈凸Exp-Trowave损失分别没有APRIORI $ v_t $。本发明进一步展示了原理方法的多功能性,在与高斯内核的界限线性预测器和在线回归的环境中进一步证明了原则方法。在一个相关的环境下,纸张的第二个组件解决了Zhdanov和Kalnishkan(2010)提出的一个开放问题,涉及与平方误差损失的在线内核回归。我们在一定处罚后悔的新下限,该遗憾地建立了在线内核Ridge回归(KRR)的近极低最低限度。我们的下限可以被视为vovk(2001)中派生的rkhs扩展,以便在有限维中在线线性回归。
translated by 谷歌翻译
我们考虑了具有一系列二次损耗的序列,即LQR控制的问题。我们提供了一种有效的在线算法,该算法实现了$ \ tilde {o}的最佳动态(策略)遗憾(\ text {max} \ {n^{n^{1/3} \ mathcal {tv}(m_ {1:n})^{2/3},1 \})$,其中$ \ Mathcal {tv}(m_ {1:n})$是任何Oracle序列序列的总变化,由$ M_1,...,...,...,...,...,...,...,...,...,...,...,...,...,...m_n $ - 事后选择以迎合未知的非机构性。该费率提高了$ \ tilde {o}(\ sqrt {n(\ Mathcal {tv}}(m_ {1:n})+1)} $的最佳已知费率(\ sqrt {N(\ Mathcal {tv}})$ - 理论上最佳的LQR。主要技术组件包括将LQR减少到在线线性回归,并延迟由于Foster和Simchowitz(2020)而延迟反馈,以及具有最佳$ \ tilde {o}(n^{1/3})的新的适当学习算法(N^{1/3})$动态的遗憾是``小匹配''二次损失的家庭,这可能引起独立的兴趣。
translated by 谷歌翻译
我们在非静止环境中调查在线凸优化,然后选择\ emph {动态后悔}作为性能测量,定义为在线算法产生的累积损失与任何可行比较器序列之间的差异。让$ t $是$ p_t $ be的路径长度,基本上反映了环境的非平稳性,最先进的动态遗憾是$ \ mathcal {o}(\ sqrt {t( 1 + p_t)})$。虽然这一界限被证明是凸函数最佳的最低限度,但在本文中,我们证明可以进一步提高一些简单的问题实例的保证,特别是当在线功能平滑时。具体而言,我们提出了新的在线算法,可以利用平滑度并替换动态遗憾的$ t $替换依据\ {问题依赖性}数量:损耗函数梯度的变化,比较器序列的累积损失,以及比较器序列的累积损失最低术语的最低限度。这些数量是大多数$ \ mathcal {o}(t)$,良性环境中可能更小。因此,我们的结果适应了问题的内在难度,因为边界比现有结果更严格,以便在最坏的情况下保证相同的速率。值得注意的是,我们的算法只需要\ emph {一个}渐变,这与开发的方法共享相同的渐变查询复杂性,以优化静态遗憾。作为进一步的应用,我们将来自全信息设置的结果扩展到具有两点反馈的强盗凸优化,从而达到此类强盗任务的第一个相关的动态遗憾。
translated by 谷歌翻译
一系列不受限制的在线凸优化中的作品已经调查了同时调整比较器的规范$ u $和梯度的最大规范$ g $的可能性。在完全的一般性中,已知匹配的上限和下界表明,这是不可避免的$ g u^3 $的不可避免的成本,当$ g $或$ u $提前知道时,这是不需要的。令人惊讶的是,Kempka等人的最新结果。 (2019年)表明,在特定情况下,不需要这样的适应性价格,例如$ -Lipschitz损失(例如铰链损失)。我们通过表明我们专门研究任何其他常见的在线学习损失,我们的结果涵盖了日志损失,(线性和非参数)逻辑回归,我们实际上从来没有任何代价来为适应性支付的代价,从而跟进这一观察结果,我们会跟进这一观察结果。方形损耗预测,以及(线性和非参数)最小二乘回归。我们还通过提供对$ U $的明确依赖的下限来填补文献中的几个空白。在所有情况下,我们都会获得无标度算法,这些算法在数据恢复下是合理的不变。我们的一般目标是在不关心计算效率的情况下建立可实现的速率,但是对于线性逻辑回归,我们还提供了一种适应性方法,该方法与Agarwal等人的最新非自适应算法一样有效。 (2021)。
translated by 谷歌翻译
Projection operations are a typical computation bottleneck in online learning. In this paper, we enable projection-free online learning within the framework of Online Convex Optimization with Memory (OCO-M) -- OCO-M captures how the history of decisions affects the current outcome by allowing the online learning loss functions to depend on both current and past decisions. Particularly, we introduce the first projection-free meta-base learning algorithm with memory that minimizes dynamic regret, i.e., that minimizes the suboptimality against any sequence of time-varying decisions. We are motivated by artificial intelligence applications where autonomous agents need to adapt to time-varying environments in real-time, accounting for how past decisions affect the present. Examples of such applications are: online control of dynamical systems; statistical arbitrage; and time series prediction. The algorithm builds on the Online Frank-Wolfe (OFW) and Hedge algorithms. We demonstrate how our algorithm can be applied to the online control of linear time-varying systems in the presence of unpredictable process noise. To this end, we develop the first controller with memory and bounded dynamic regret against any optimal time-varying linear feedback control policy. We validate our algorithm in simulated scenarios of online control of linear time-invariant systems.
translated by 谷歌翻译
我们开发了一个修改的在线镜下降框架,该框架适用于在无界域中构建自适应和无参数的算法。我们利用这项技术来开发第一个不受限制的在线线性优化算法,从而达到了最佳的动态遗憾,我们进一步证明,基于以下规范化领导者的自然策略无法取得相似的结果。我们还将镜像下降框架应用于构建新的无参数隐式更新,以及简化和改进的无限规模算法。
translated by 谷歌翻译
当在未知约束集中任意变化的分布中生成数据时,我们会考虑使用专家建议的预测。这种半反向的设置包括(在极端)经典的I.I.D.设置时,当未知约束集限制为单身人士时,当约束集是所有分布的集合时,不受约束的对抗设置。对冲状态中,对冲算法(长期以来已知是最佳的最佳速率(速率))最近被证明是对I.I.D.的最佳最小值。数据。在这项工作中,我们建议放松I.I.D.通过在约束集的所有自然顺序上寻求适应性来假设。我们在各个级别的Minimax遗憾中提供匹配的上限和下限,表明确定性学习率的对冲在极端之外是次优的,并证明人们可以在各个级别的各个层面上都能适应Minimax的遗憾。我们使用以下规范化领导者(FTRL)框架实现了这种最佳适应性,并采用了一种新型的自适应正则化方案,该方案隐含地缩放为当前预测分布的熵的平方根,而不是初始预测分布的熵。最后,我们提供了新的技术工具来研究FTRL沿半逆转频谱的统计性能。
translated by 谷歌翻译
我们研究了在线马尔可夫决策过程(MDP),具有对抗性变化的损失功能和已知过渡。我们选择动态遗憾作为绩效度量,定义为学习者和任何可行的变化策略序列之间的绩效差异。这项措施严格比标准的静态遗憾要强得多,该标准遗憾的是,基准通过固定的政策将学习者的绩效表现为学习者的表现。我们考虑了三种在线MDP的基础模型,包括无情节循环随机路径(SSP),情节SSP和Infinite-Horizo​​n MDP。对于这三个模型,我们提出了新颖的在线集合算法并分别建立了动态​​遗憾保证,在这种情况下,情节性(无环)SSP的结果在时间范围和某些非平稳性度量方面是最佳的最低限度。此外,当学习者遇到的在线环境是可以预测的时,我们设计了改进的算法并为情节(无环)SSP实现更好的动态遗憾界限;此外,我们证明了无限 - 摩恩MDP的不可能结果。
translated by 谷歌翻译
我们开发了一种使用无遗憾的游戏动态解决凸面优化问题的算法框架。通过转换最小化凸起函数以顺序方式解决Min-Max游戏的辅助问题的问题,我们可以考虑一系列必须在另一个之后选择其行动的两名员工的一系列策略。这些策略的常见选择是所谓的无悔的学习算法,我们描述了许多此类并证明了遗憾。然后,我们表明许多凸面优化的经典一阶方法 - 包括平均迭代梯度下降,弗兰克 - 沃尔夫算法,重球算法和Nesterov的加速方法 - 可以被解释为我们框架的特殊情况由于每个玩家都做出正确选择无悔的策略。证明该框架中的收敛速率变得非常简单,因为它们遵循适当已知的遗憾范围。我们的框架还引发了一些凸优化的特殊情况的许多新的一阶方法。
translated by 谷歌翻译
在线优化是一个完善的优化范式,旨在鉴于对以前的决策任务的正确答案,旨在做出一系列正确的决策。二重编程涉及一个分层优化问题,其中所谓的外部问题的可行区域受内部问题的解决方案集映射的限制。本文将这两个想法汇总在一起,并研究了在线双层优化设置,其中一系列随时间变化的二聚体问题又一个接一个地揭示了一个。我们将已知的单层在线算法的已知遗憾界限扩展到双重设置。具体而言,我们引入了新的杂种遗憾概念,开发了一种在线交替的时间平均梯度方法,该方法能够利用光滑度,并根据内部和外部极型序列的长度提供遗憾的界限。
translated by 谷歌翻译
在线学习中,随机数据和对抗性数据是两个广泛研究的设置。但是许多优化任务都不是I.I.D.也不完全对抗,这使得对这些极端之间的世界有更好的理论理解具有根本的利益。在这项工作中,我们在在随机I.I.D.之间插值的环境中建立了在线凸优化的新颖遗憾界限。和完全的对抗损失。通过利用预期损失的平滑度,这些边界用梯度的方差取代对最大梯度长度的依赖,这是以前仅以线性损失而闻名的。此外,它们削弱了I.I.D.假设通过允许对抗中毒的回合,以前在专家和强盗设置中考虑过。我们的结果将其扩展到在线凸优化框架。在完全I.I.D.中情况,我们的界限与随机加速的结果相匹配,并且在完全对抗的情况下,它们优雅地恶化以符合Minimax的遗憾。我们进一步提供了下限,表明所有中级方案的遗憾上限都很紧张,从随机方差和损失梯度的对抗变异方面。
translated by 谷歌翻译
自适应梯度算法(例如Adagrad及其变体)在培训深神经网络方面已广受欢迎。尽管许多适合自适应方法的工作都集中在静态的遗憾上,作为实现良好遗憾保证的性能指标,但对这些方法的动态遗憾分析尚不清楚。与静态的遗憾相反,动态遗憾被认为是绩效测量的更强大的概念,因为它明确阐明了环境的非平稳性。在本文中,我们通过动态遗憾的概念在一个强大的凸面设置中浏览了Adagrad(称为M-Adagrad)的一种变体,该遗憾衡量了在线学习者的性能,而不是参考(最佳)解决方案,这可能会改变时间。我们证明了根据最小化序列的路径长度的束缚,该序列基本上反映了环境的非平稳性。此外,我们通过利用每个回合中学习者的多个访问权限来增强动态遗憾。经验结果表明,M-Adagrad在实践中也很好。
translated by 谷歌翻译
In the framework of online convex optimization, most iterative algorithms require the computation of projections onto convex sets, which can be computationally expensive. To tackle this problem HK12 proposed the study of projection-free methods that replace projections with less expensive computations. The most common approach is based on the Frank-Wolfe method, that uses linear optimization computation in lieu of projections. Recent work by GK22 gave sublinear adaptive regret guarantees with projection free algorithms based on the Frank Wolfe approach. In this work we give projection-free algorithms that are based on a different technique, inspired by Mhammedi22, that replaces projections by set-membership computations. We propose a simple lazy gradient-based algorithm with a Minkowski regularization that attains near-optimal adaptive regret bounds. For general convex loss functions we improve previous adaptive regret bounds from $O(T^{3/4})$ to $O(\sqrt{T})$, and further to tight interval dependent bound $\tilde{O}(\sqrt{I})$ where $I$ denotes the interval length. For strongly convex functions we obtain the first poly-logarithmic adaptive regret bounds using a projection-free algorithm.
translated by 谷歌翻译
在在线凸优化中,玩家旨在最大程度地减少对整个重复游戏中固定比较器的遗憾。最小化标准遗憾的算法可能会收敛到固定决策,这在改变或动态环境中是不受欢迎的。这激发了更强的适应性遗憾指标,或者及时对任何连续的次互相关的最大遗憾。现有的自适应遗憾算法受到计算罚款的损失 - 通常是按照乘法因素的顺序在游戏迭代次数中对数增长的。在本文中,我们展示了如何在游戏迭代次数中减少这种计算惩罚,以使其在游戏次数的数量中倍加对数,并且由于最佳可达到的适应性遗憾界限而减少了最小的降级。
translated by 谷歌翻译
这项工作研究了凸和Lipschitz功能的在线零级优化。我们基于两个函数评估和$ \ ell_1 $ -sphere的随机化提出了一个新颖的梯度估计器。考虑到可行的集合和Lipschitz假设的不同几何形状,我们分析了在线双重平均算法的算法,代替了通常的梯度。我们考虑对零级甲骨文噪声的两种假设:取消噪声和对抗性噪声。我们提供任何时间和完全数据驱动的算法,它适应问题的所有参数。在文献中先前研究过的噪声的情况下,我们的保证可以比Duchi等人获得的最新界限可比性或更好。 (2015)和Shamir(2017)非自适应算法。我们的分析是基于在$ \ ell_1 $ -sphere上带有显式常数的均匀度量的新加权的Poincar \'e类型不等式,这可能具有独立的利益。
translated by 谷歌翻译
我们研究了非参数在线回归中的快速收敛速度,即遗憾的是关于具有有界复杂度的任意函数类来定义后悔。我们的贡献是两倍: - 在绝对损失中的非参数网上回归的可实现设置中,我们提出了一种随机适当的学习算法,该算法在假设类的顺序脂肪破碎尺寸方面获得了近乎最佳的错误。在与一类Littlestone维度$ D $的在线分类中,我们的绑定减少到$ d \ cdot {\ rm poly} \ log t $。这结果回答了一个问题,以及适当的学习者是否可以实现近乎最佳错误的界限;以前,即使在线分类,绑定的最知名错误也是$ \ tilde o(\ sqrt {dt})$。此外,对于真实值(回归)设置,在这项工作之前,界定的最佳错误甚至没有以不正当的学习者所知。 - 使用上述结果,我们展示了Littlestone维度$ D $的一般总和二进制游戏的独立学习算法,每个玩家达到后悔$ \ tilde o(d ^ {3/4} \ cdot t ^ {1 / 4})$。该结果概括了Syrgkanis等人的类似结果。 (2015)谁表明,在有限的游戏中,最佳遗憾可以从普通的o(\ sqrt {t})$中的$ o(\ sqrt {t})为游戏设置中的$ o(t ^ {1/4})$。要建立上述结果,我们介绍了几种新技术,包括:分层聚合规则,以实现对实际类别的最佳错误,Hanneke等人的适当在线可实现学习者的多尺度扩展。 (2021),一种方法来表明这种非参数学习算法的输出是稳定的,并且证明Minimax定理在所有在线学习游戏中保持。
translated by 谷歌翻译
当培训数据共享与即将到来的测试样本相同的分布时,标准监督学习范式有效地工作。但是,在现实世界中,通常会违反此假设,尤其是在以在线方式出现测试数据时。在本文中,我们制定和调查了在线标签转移(OLAS)的问题:学习者从标记的离线数据训练初始模型,然后将其部署到未标记的在线环境中,而基础标签分布会随着时间的推移而变化,但标签 - 条件密度没有。非平稳性和缺乏监督使问题具有挑战性。为了解决难度,我们构建了一个新的无偏风险估计器,该风险估计器利用了未标记的数据,该数据表现出许多良性特性,尽管具有潜在的非跨性别性。在此基础上,我们提出了新颖的在线合奏算法来应对环境的非平稳性。我们的方法享有最佳的动态遗憾,表明该性能与千里眼的千里眼竞争,后者是事后看来的在线环境,然后选择每轮的最佳决定。获得的动态遗憾结合量表与标签分布转移的强度和模式,因此在OLAS问题中表现出适应性。进行广泛的实验以验证有效性和支持我们的理论发现。
translated by 谷歌翻译
遗憾已被广泛用作评估分布式多代理系统在线优化算法的性能的首选指标。但是,与代理相关的数据/模型变化可以显着影响决策,并需要在代理之间达成共识。此外,大多数现有的作品都集中在开发(强烈或非严格地)凸出的方法上,对于一般非凸损失的分布式在线优化中的遗憾界限,几乎没有得到很少的结果。为了解决这两个问题,我们提出了一种新型的综合遗憾,并使用新的基于网络的基于遗憾的度量标准来评估分布式在线优化算法。我们具体地定义了复合遗憾的静态和动态形式。通过利用我们的综合遗憾的动态形式,我们开发了一种基于共识的在线归一化梯度(CONGD)的伪convex损失方法,事实证明,它显示了与最佳器路径变化的规律性术语有关的透明性行为。对于一般的非凸损失,我们首先阐明了基于最近进步的分布式在线非凸学习的遗憾,因此没有确定性算法可以实现sublinear的遗憾。然后,我们根据离线优化的Oracle开发了分布式的在线非凸优化(Dinoco),而无需进入梯度。迪诺科(Dinoco)被证明是统一的遗憾。据我们所知,这是对一般分布在线非convex学习的第一个遗憾。
translated by 谷歌翻译
为了通过分布式在线学习中的本地光计算处理复杂的约束,最近的一项研究提出了一种称为分布式在线条件梯度(D-OCG)的无投影算法(D-OCG),并获得了$ O(T^{3/4})$遗憾的是凸出损失,其中$ t $是总回合的数量。但是,它需要$ t $通信回合,并且不能利用强大的损失凸度。在本文中,我们提出了一个改进的D-OCG的变体,即D-BOCG,可以达到相同的$ O(t^{3/4})$遗憾,只有$ o(\ sqrt {t})$凸损失的通信回合,以及$ o(t^{2/3}(\ log t)^{1/3})$的更好遗憾,少于$ o(t^{1/3}(\ log log) t)^{2/3})$通信回合,以实现强烈凸出的损失。关键思想是采用延迟的更新机制,以降低通信复杂性,并重新定义D-OCG中的替代损失功能以利用强凸度。此外,我们提供了下限,以证明D-BOCG所需的$ O(\ sqrt {t})$通信回合是最佳的(以$ t $为单位)实现$ O(T^{3/4} )$遗憾带有凸损失,以及$ o(t^{1/3}(\ log t)^{2/3})$ d-bocg所需的通信回合近距离)实现$ o(t^{2/3}(\ log t)^{1/3})$遗憾的是,强烈凸出的损失归属于多凝集因子。最后,为了处理更具挑战性的强盗设置,其中只有损失值可用,我们将经典的单点梯度估计器纳入D-BOCG,并获得类似的理论保证。
translated by 谷歌翻译
本文以非线性功能近似研究基于模型的匪徒和增强学​​习(RL)。我们建议研究与近似局部最大值的收敛性,因为我们表明,即使对于具有确定性奖励的一层神经网络匪徒,全球收敛在统计上也很棘手。对于非线性匪徒和RL,本文介绍了一种基于模型的算法,即具有在线模型学习者(小提琴)的虚拟攀登,该算法可证明其收敛到局部最大值,其样品复杂性仅取决于模型类的顺序Rademacher复杂性。我们的结果意味着在几种具体设置(例如有限或稀疏模型类别的线性匪徒)和两层神经净匪内的新型全球或本地遗憾界限。一个关键的算法洞察力是,即使对于两层神经净模型类别,乐观也可能导致过度探索。另一方面,为了收敛到本地最大值,如果模型还可以合理地预测真实返回的梯度和Hessian的大小,则足以最大化虚拟返回。
translated by 谷歌翻译