我们考虑了具有一系列二次损耗的序列，即LQR控制的问题。我们提供了一种有效的在线算法，该算法实现了$ \ tilde {o}的最佳动态（策略）遗憾（\ text {max} \ {n^{n^{1/3} \ mathcal {tv}（m_ {1：n}）^{2/3}，1 \}）$，其中$ \ Mathcal {tv}（m_ {1：n}）$是任何Oracle序列序列的总变化，由$ M_1，...，...，...，...，...，...，...，...，...，...，...，...，...，...m_n $ - 事后选择以迎合未知的非机构性。该费率提高了$ \ tilde {o}（\ sqrt {n（\ Mathcal {tv}}（m_ {1：n}）+1）} $的最佳已知费率（\ sqrt {N（\ Mathcal {tv}}）$ - 理论上最佳的LQR。主要技术组件包括将LQR减少到在线线性回归，并延迟由于Foster和Simchowitz（2020）而延迟反馈，以及具有最佳$ \ tilde {o}（n^{1/3}）的新的适当学习算法（N^{1/3}）$动态的遗憾是``小匹配''二次损失的家庭，这可能引起独立的兴趣。

我们考虑非静止在线凸优化的框架，其中学习者寻求控制其动态遗憾，免于任意比较器序列。当损耗函数强烈凸或exy-yshave时，我们证明了强烈的自适应（SA）算法可以被视为在比较器序列的路径变化$ V_T $的路径变化中控制动态遗憾的原则方式。具体来说，我们展示了SA算法享受$ \ tilde o（\ sqrt {tv_t} \ vee \ log t）$和$ \ tilde o（\ sqrt {dtv_t} \ vee d \ log t）$动态遗憾强烈凸Exp-Trowave损失分别没有APRIORI $ v_t $。本发明进一步展示了原理方法的多功能性，在与高斯内核的界限线性预测器和在线回归的环境中进一步证明了原则方法。在一个相关的环境下，纸张的第二个组件解决了Zhdanov和Kalnishkan（2010）提出的一个开放问题，涉及与平方误差损失的在线内核回归。我们在一定处罚后悔的新下限，该遗憾地建立了在线内核Ridge回归（KRR）的近极低最低限度。我们的下限可以被视为vovk（2001）中派生的rkhs扩展，以便在有限维中在线线性回归。

Projection operations are a typical computation bottleneck in online learning. In this paper, we enable projection-free online learning within the framework of Online Convex Optimization with Memory (OCO-M) -- OCO-M captures how the history of decisions affects the current outcome by allowing the online learning loss functions to depend on both current and past decisions. Particularly, we introduce the first projection-free meta-base learning algorithm with memory that minimizes dynamic regret, i.e., that minimizes the suboptimality against any sequence of time-varying decisions. We are motivated by artificial intelligence applications where autonomous agents need to adapt to time-varying environments in real-time, accounting for how past decisions affect the present. Examples of such applications are: online control of dynamical systems; statistical arbitrage; and time series prediction. The algorithm builds on the Online Frank-Wolfe (OFW) and Hedge algorithms. We demonstrate how our algorithm can be applied to the online control of linear time-varying systems in the presence of unpredictable process noise. To this end, we develop the first controller with memory and bounded dynamic regret against any optimal time-varying linear feedback control policy. We validate our algorithm in simulated scenarios of online control of linear time-invariant systems.

我们在非静止环境中调查在线凸优化，然后选择\ emph {动态后悔}作为性能测量，定义为在线算法产生的累积损失与任何可行比较器序列之间的差异。让$ t $是$ p_t $ be的路径长度，基本上反映了环境的非平稳性，最先进的动态遗憾是$ \ mathcal {o}（\ sqrt {t（ 1 + p_t）}）$。虽然这一界限被证明是凸函数最佳的最低限度，但在本文中，我们证明可以进一步提高一些简单的问题实例的保证，特别是当在线功能平滑时。具体而言，我们提出了新的在线算法，可以利用平滑度并替换动态遗憾的$ t $替换依据\ {问题依赖性}数量：损耗函数梯度的变化，比较器序列的累积损失，以及比较器序列的累积损失最低术语的最低限度。这些数量是大多数$ \ mathcal {o}（t）$，良性环境中可能更小。因此，我们的结果适应了问题的内在难度，因为边界比现有结果更严格，以便在最坏的情况下保证相同的速率。值得注意的是，我们的算法只需要\ emph {一个}渐变，这与开发的方法共享相同的渐变查询复杂性，以优化静态遗憾。作为进一步的应用，我们将来自全信息设置的结果扩展到具有两点反馈的强盗凸优化，从而达到此类强盗任务的第一个相关的动态遗憾。

我们研究了在线马尔可夫决策过程（MDP），具有对抗性变化的损失功能和已知过渡。我们选择动态遗憾作为绩效度量，定义为学习者和任何可行的变化策略序列之间的绩效差异。这项措施严格比标准的静态遗憾要强得多，该标准遗憾的是，基准通过固定的政策将学习者的绩效表现为学习者的表现。我们考虑了三种在线MDP的基础模型，包括无情节循环随机路径（SSP），情节SSP和Infinite-Horizo​​n MDP。对于这三个模型，我们提出了新颖的在线集合算法并分别建立了动态​​遗憾保证，在这种情况下，情节性（无环）SSP的结果在时间范围和某些非平稳性度量方面是最佳的最低限度。此外，当学习者遇到的在线环境是可以预测的时，我们设计了改进的算法并为情节（无环）SSP实现更好的动态遗憾界限；此外，我们证明了无限 - 摩恩MDP的不可能结果。

我们开发了一种使用无遗憾的游戏动态解决凸面优化问题的算法框架。通过转换最小化凸起函数以顺序方式解决Min-Max游戏的辅助问题的问题，我们可以考虑一系列必须在另一个之后选择其行动的两名员工的一系列策略。这些策略的常见选择是所谓的无悔的学习算法，我们描述了许多此类并证明了遗憾。然后，我们表明许多凸面优化的经典一阶方法 - 包括平均迭代梯度下降，弗兰克 - 沃尔夫算法，重球算法和Nesterov的加速方法 - 可以被解释为我们框架的特殊情况由于每个玩家都做出正确选择无悔的策略。证明该框架中的收敛速率变得非常简单，因为它们遵循适当已知的遗憾范围。我们的框架还引发了一些凸优化的特殊情况的许多新的一阶方法。

我们考虑通过有限的地平线$ t $控制线性二次调节器（LQR）系统的问题，以固定和已知的成本矩阵$ q，r $但未知和非静止动力$ \ {a_t，b_t \} $。动态矩阵的序列可以是任意的，但总体变化，V_T $，假设为$ O（t）$和控制器未知。在假设所有$ $ $的稳定序列，但潜在的子最优控制器中，我们介绍了一种实现$ \ tilde {\ mathcal {o}} \ left的最佳动态遗憾的算法（v_t ^ { 2/5} t ^ {3/5} \右）$。通过分词恒定动态，我们的算法实现了$ \ tilde {\ mathcal {o}}（\ sqrt {st}）$的最佳遗憾，其中$ s $是交换机的数量。我们的算法的关键是一种自适应的非平稳性检测策略，它在最近开发的用于上下文多武装匪徒问题的方法中构建。我们还争辩说，不适应忘记（例如，重新启动或使用静态窗口大小的滑动窗口学习）可能对LQR问题的后悔最佳，即使窗口大小以$ V_T $的知识最佳地调整。我们算法分析中的主要技术挑战是证明普通的最小二乘（OLS）估计器在待估计的参数是非静止的情况下具有小的偏差。我们的分析还突出了推动遗憾的关键主题是LQR问题在于LQR问题是具有线性反馈和局部二次成本的强盗问题。这个主题比LQR问题本身更普及，因此我们相信我们的结果应该找到更广泛的应用。

我们研究$ k $ used的上下文决斗强盗问题，一个顺序决策制定设置，其中学习者使用上下文信息来制作两个决定，但只观察到\ emph {基于优先级的反馈}建议一个决定比另一个决定更好。我们专注于可实现的遗憾最小化问题，其中反馈由一个由给定函数类$ \ mathcal f $规定的成对偏好矩阵生成。我们提供了一种新的算法，实现了最佳反应遗憾的新概念的最佳遗憾，这是一个严格更强烈的性能测量，而不是先前作品所考虑的绩效衡量标准。该算法还在计算上有效，在多项式时间中运行，假设访问在线丢失回归超过$ \ mathcal f $。这可以解决dud \'ik等人的开放问题。[2015]关于Oracle高效，后悔 - 用于上下文决斗匪徒的最佳算法。

我们考虑在随机凸成本和状态和成本函数的全部反馈下控制未知线性动力学系统的问题。我们提出了一种计算高效的算法，该算法与最佳的稳定线性控制器相比，该算法达到了最佳的$ \ sqrt {t} $遗憾。与以前的工作相反，我们的算法基于面对不确定性范式的乐观情绪。这导致了大大改善的计算复杂性和更简单的分析。

这项教程调查概述了统计学习理论中最新的非征血性进步与控制和系统识别相关。尽管在所有控制领域都取得了重大进展，但在线性系统的识别和学习线性二次调节器时，该理论是最发达的，这是本手稿的重点。从理论的角度来看，这些进步的大部分劳动都在适应现代高维统计和学习理论的工具。虽然与控制对机器学习的工具感兴趣的理论家高度相关，但基础材料并不总是容易访问。为了解决这个问题，我们提供了相关材料的独立介绍，概述了基于最新结果的所有关键思想和技术机械。我们还提出了许多开放问题和未来的方向。

遗憾已被广泛用作评估分布式多代理系统在线优化算法的性能的首选指标。但是，与代理相关的数据/模型变化可以显着影响决策，并需要在代理之间达成共识。此外，大多数现有的作品都集中在开发（强烈或非严格地）凸出的方法上，对于一般非凸损失的分布式在线优化中的遗憾界限，几乎没有得到很少的结果。为了解决这两个问题，我们提出了一种新型的综合遗憾，并使用新的基于网络的基于遗憾的度量标准来评估分布式在线优化算法。我们具体地定义了复合遗憾的静态和动态形式。通过利用我们的综合遗憾的动态形式，我们开发了一种基于共识的在线归一化梯度（CONGD）的伪convex损失方法，事实证明，它显示了与最佳器路径变化的规律性术语有关的透明性行为。对于一般的非凸损失，我们首先阐明了基于最近进步的分布式在线非凸学习的遗憾，因此没有确定性算法可以实现sublinear的遗憾。然后，我们根据离线优化的Oracle开发了分布式的在线非凸优化（Dinoco），而无需进入梯度。迪诺科（Dinoco）被证明是统一的遗憾。据我们所知，这是对一般分布在线非convex学习的第一个遗憾。

当在未知约束集中任意变化的分布中生成数据时，我们会考虑使用专家建议的预测。这种半反向的设置包括（在极端）经典的I.I.D.设置时，当未知约束集限制为单身人士时，当约束集是所有分布的集合时，不受约束的对抗设置。对冲状态中，对冲算法（长期以来已知是最佳的最佳速率（速率））最近被证明是对I.I.D.的最佳最小值。数据。在这项工作中，我们建议放松I.I.D.通过在约束集的所有自然顺序上寻求适应性来假设。我们在各个级别的Minimax遗憾中提供匹配的上限和下限，表明确定性学习率的对冲在极端之外是次优的，并证明人们可以在各个级别的各个层面上都能适应Minimax的遗憾。我们使用以下规范化领导者（FTRL）框架实现了这种最佳适应性，并采用了一种新型的自适应正则化方案，该方案隐含地缩放为当前预测分布的熵的平方根，而不是初始预测分布的熵。最后，我们提供了新的技术工具来研究FTRL沿半逆转频谱的统计性能。

本文以非线性功能近似研究基于模型的匪徒和增强学​​习（RL）。我们建议研究与近似局部最大值的收敛性，因为我们表明，即使对于具有确定性奖励的一层神经网络匪徒，全球收敛在统计上也很棘手。对于非线性匪徒和RL，本文介绍了一种基于模型的算法，即具有在线模型学习者（小提琴）的虚拟攀登，该算法可证明其收敛到局部最大值，其样品复杂性仅取决于模型类的顺序Rademacher复杂性。我们的结果意味着在几种具体设置（例如有限或稀疏模型类别的线性匪徒）和两层神经净匪内的新型全球或本地遗憾界限。一个关键的算法洞察力是，即使对于两层神经净模型类别，乐观也可能导致过度探索。另一方面，为了收敛到本地最大值，如果模型还可以合理地预测真实返回的梯度和Hessian的大小，则足以最大化虚拟返回。

我们开发了一个修改的在线镜下降框架，该框架适用于在无界域中构建自适应和无参数的算法。我们利用这项技术来开发第一个不受限制的在线线性优化算法，从而达到了最佳的动态遗憾，我们进一步证明，基于以下规范化领导者的自然策略无法取得相似的结果。我们还将镜像下降框架应用于构建新的无参数隐式更新，以及简化和改进的无限规模算法。

在线学习中，随机数据和对抗性数据是两个广泛研究的设置。但是许多优化任务都不是I.I.D.也不完全对抗，这使得对这些极端之间的世界有更好的理论理解具有根本的利益。在这项工作中，我们在在随机I.I.D.之间插值的环境中建立了在线凸优化的新颖遗憾界限。和完全的对抗损失。通过利用预期损失的平滑度，这些边界用梯度的方差取代对最大梯度长度的依赖，这是以前仅以线性损失而闻名的。此外，它们削弱了I.I.D.假设通过允许对抗中毒的回合，以前在专家和强盗设置中考虑过。我们的结果将其扩展到在线凸优化框架。在完全I.I.D.中情况，我们的界限与随机加速的结果相匹配，并且在完全对抗的情况下，它们优雅地恶化以符合Minimax的遗憾。我们进一步提供了下限，表明所有中级方案的遗憾上限都很紧张，从随机方差和损失梯度的对抗变异方面。

学习如何有效地控制未知的动态系统对于智能自治系统至关重要。当潜在的动态随着时间的推移时，这项任务成为一个重大挑战。本文认为这一挑战，本文考虑了控制未知马尔可夫跳跃线性系统（MJS）的问题，以优化二次目标。通过采用基于模型的透视图，我们考虑对MJSS的识别自适应控制。我们首先为MJS提供系统识别算法，用于从系统状态，输入和模式的单个轨迹，从模式开关的演进中的底层中学习MJS的系统识别算法。通过混合时间参数，该算法的样本复杂性显示为$ \ mathcal {o}（1 / \ sqrt {t}）$。然后，我们提出了一种自适应控制方案，其与确定性等效控制一起执行系统识别，以使控制器以焦化方式调整。 Combining our sample complexity results with recent perturbation results for certainty equivalent control, we prove that when the episode lengths are appropriately chosen, the proposed adaptive control scheme achieves $\mathcal{O}(\sqrt{T})$ regret, which can be改进了$ \ mathcal {o}（polylog（t））$与系统的部分了解。我们的证据策略介绍了在MJSS中处理马尔可维亚跳跃的创新和较弱的稳定概念。我们的分析提供了影响学习准确性和控制性能的系统理论量的见解。提出了数值模拟，以进一步加强这些见解。

我们解决了经典专家问题的长期“不可能的调整”问题，并表明，实际上可能实现后悔$ o \ lex（\ sqrt {（\ ln d）\ sum_t \ ell_ {t，i} ^ 2} \ \右）同时为所有专家$ i $ t-$-t-$ -round $ d $ -expert问题在哪里$ \ ell_ {t，i} $是专家$ i $的损失$ t $ 。我们的算法基于镜像血迹框架，具有校正项和加权熵规范器。虽然自然，但之前尚未研究该算法，并且需要仔细分析。对于任何预测向量$ M_T，我们还概括了refton to $ o reft（\ sqrt {（\ ln d）\ sum_t（\ ell_ {t，i}）^ 2} \右）$ $ Cylayer通过选择不同的$ M_T $来收到学习者，并恢复或改善许多现有结果。此外，我们使用相同的框架来创建一个组合一组基础算法的主算法，并学习最好的一个开销。我们的主人的新保证使我们能够为专家问题提供许多新的结果，并且更广泛的在线线性优化。

在约束凸优化中，基于椭球体或切割平面方法的现有方法与环境空间的尺寸不符比展出。诸如投影梯度下降的替代方法，仅为诸如欧几里德球等简单凸起集提供的计算益处，其中可以有效地执行欧几里德投影。对于其他集合，投影的成本可能太高。为了规避这些问题，研究了基于着名的Frank-Wolfe算法的替代方法。这些方法在每次迭代时使用线性优化Oracle而不是欧几里德投影;前者通常可以有效地执行。此类方法还扩展到在线和随机优化设置。然而，对于一般凸套，弗兰克 - 沃尔夫算法及其变体不会在后悔或速率方面实现最佳性能。更重要的是，在某些情况下，他们使用的线性优化Oracle仍然可以计算得昂贵。在本文中，我们远离Frank-Wolfe风格的算法，并提出了一种新的减少，将任何在欧几里德球（其中投影廉价）上定义的任何算法的算法转移到球上包含的受限组C上的算法，而不牺牲原始算法的性能多大。我们的缩减需要O（t log t）在t回合后对C的成员资格Oracle调用，并且不需要对C的线性优化。使用我们的减少，我们恢复最佳遗憾界限[resp。在在线[RESP的迭代次数方面。随机]凸优化。当环境空间的尺寸大时，我们的保证在离线凸优化设置中也是有用的。

本文介绍了局部最低限度的遗憾，用于自适应控制线性 - 四爵士（LQG）系统的下限。我们考虑平滑参数化实例，并在对数遗憾时提供了对实例的特定和灵活性，以考虑到问题结构。这种理解依赖于两个关键概念：局部无规格的概念;当最佳策略没有提供足够的激励以确定最佳政策，并产生退化的Fisher信息矩阵;以及信息遗憾的界限，当政策依赖信息矩阵的小特征值在该政策的遗憾方面是无限的。结合减少贝叶斯估计和范树的应用，这两个条件足以证明遗憾的界限为时间$ \ sqrt {t} $ \ sqrt {t} $ of the the theaign，$ t $。该方法产生低界，其具有与控制理论问题常数自然的紧密依赖性和规模。例如，我们能够证明在边缘稳定性附近运行的系统从根本上难以学习控制。我们进一步表明，大类系统满足这些条件，其中任何具有$ a $的状态反馈系统 - 和$ b $ -matrices未知。最重要的是，我们还建立了一个非活动类别的部分可观察系统，基本上是那些过度启动的那些满足这些条件，从而提供$ \ SQRT {T} $下限对部分可观察系统也有效。最后，我们转到两个简单的例子，表明我们的下限捕获了经典控制 - 理论直觉：我们的下限用于在边际稳定性附近或大过滤器增益的近方行，这些系统可以任意难以努力（学习到）控制。

模仿学习（IL）是解决顺序决策问题的一般学习范式。互动模仿学习，学习者可以在其中与专家示范的互动查询，与其离线同行或强化学习相比，已证明可以实现可证明的卓越样本效率保证。在这项工作中，我们研究了基于分类的在线模仿学习（abbrev。$ \ textbf {coil} $），以及在这种情况下设计Oracle有效的遗憾最小化算法的基本可行性，重点是一般的不可思议的情况。我们做出以下贡献：（1）我们表明，在$ \ textbf {coil} $问题中，任何适当的在线学习算法都不能保证总体上遗憾的是； （2）我们提出了$ \ textbf {logger} $，一种不当的在线学习算法框架，通过利用混合策略类的新定义，将$ \ textbf {coil} $降低到在线线性优化； （3）我们在$ \ textbf {logger} $框架中设计了两种Oracle效率算法，它们享受不同的样本和互动的复杂性权衡，并进行有限样本分析以显示其对幼稚行为克隆的改进； （4）我们表明，在标准复杂性理论假设下，在$ \ textbf {logger} $框架中，有效的动态遗憾最小化是不可行的。我们的工作将基于分类的在线模仿学习（一个重要的IL设置）置于更牢固的基础上。