我们考虑载有X_ {t + 1} = \ phi（a ^ * x_t）+ \ eta_t $的设置，其中$ \ eta_t $是无偏见的噪音和$ \ phi：\ mathbb {r \ to \ mathbb {r} $是已知的链接功能，满足某些{\ em扩展性属性}。目标是从单个轨迹$ x_1，\ cdots，x_t $的{\ em依赖或相关}样本中学习$ a ^ * $。虽然在线性案例中，在线性案例中的问题很好，而$ \ phi $是身份，但对于非混音系统，最佳错误率，即使是非混音系统，也存在于非线性案例的结果仅适用于混合系统。在这项工作中，我们以多种方式改善了用于学习非线性系统的现有结果：a）我们提供了在没有混合假设的情况下学习非线性动态系统的第一个离线算法，B）我们显着提高了现有的样本复杂性结果混合系统，c）在更难的单遍，流媒体设置中，我们研究了一个具有反向体验的SGD（$ \ MATHSF {SGD-RER} $）方法，并证明用于混合系统，它实现了相同的样本复杂性作为我们的离线算法，d）我们通过表示流行的Relu链接功能来证明扩张假设 - 一种与IID的非膨胀而易于学习的链接函数样本 - 任何方法都需要指数呈现许多样本（相对于X_T $的维度）来自动态系统。我们通过验证我们的结果。仿真并证明SGD的天真应用可以高度次优。实际上，我们的工作表明，对于相关的数据，专门用于数据中的依赖结构的专用方法可以显着优于基于标准的SGD方法。

我们考虑通过流算法从单个轨迹估计线性时间不变（LTI）动态系统的问题，这在包括增强学习（RL）和时间序列分析的若干应用中遇到。虽然LTI系统估计问题在{\ em离线}设置中进行了很好地研究，但实际上重要的流媒体/在线设置很少受到关注。如随机梯度下降（SGD）等标准流动方法不太可能起作用，因为流点可以高度相关。在这项工作中，我们提出了一种新颖的流媒体算法，SGD具有反向体验的重播（$ \ MATHSF {SGD} - \ MATHSF {RER），这是由RL文献中流行的体验重播（ER）技术的启发。 $ \ mathsf {sgd} - \ mathsf {rer} $划分为小缓冲区，并在存储在单个缓冲区中的数据后向后运行SGD。我们表明该算法精确地解构了依赖结构，并获得了从理论上最佳保证的信息，用于参数误差和预测误差。因此，我们提供了我们的第一至最佳的知识 - 最佳的SGD风格算法，用于使用一阶Oracle的线性系统识别的经典问题。此外，$ \ mathsf {sgd} - \ mathsf {rer} $可以应用于具有已知稀疏模式和非线性动态系统的稀疏LTI识别的更多常规设置。我们的工作表明，数据依赖性结构的知识可以帮助我们在统计上和计算上的算法设计中，这些算法可以“去相关”流样本。

我们在具有Martingale差异噪声的可实现的时间序列框架中学习正方形损失。我们的主要结果是一个快速率的多余风险结合，这表明每当轨迹超收缩条件成立时，依赖数据的最小二乘估计器的风险与燃烧时间后的IID速率订单匹配。相比之下，从依赖数据中学习的许多现有结果都具有有效的样本量，即使在燃烧时间之后，有效的样本量也被基础过程的混合时间降低。此外，我们的结果允许协变量过程表现出远距离相关性，这些相关性大大弱于几何牙齿。我们将这种现象学习称为几乎没有混合的方式，并为其示出了几个示例：$ l^2 $和$ l^{2+\ epsilon} $ norms的有界函数类是等效的，有限的有限态Markov链，各种参数模型，以及一个无限尺寸$ \ ell^2（\ mathbb {n}）$椭圆形的广阔家族。通过将我们的主要结果实例化，以使用广义线性模型过渡对非线性动力学的系统识别，我们仅在多项式燃烧时间后获得了几乎最小的最佳超量风险。

我们研究了随机近似程序，以便基于观察来自ergodic Markov链的长度$ n $的轨迹来求近求解$ d -dimension的线性固定点方程。我们首先表现出$ t _ {\ mathrm {mix}} \ tfrac {n}} \ tfrac {n}} \ tfrac {d}} \ tfrac {d} {n} $的非渐近性界限。$ t _ {\ mathrm {mix $是混合时间。然后，我们证明了一种在适当平均迭代序列上的非渐近实例依赖性，具有匹配局部渐近最小的限制的领先术语，包括对参数$的敏锐依赖（d，t _ {\ mathrm {mix}}） $以高阶术语。我们将这些上限与非渐近Minimax的下限补充，该下限是建立平均SA估计器的实例 - 最优性。我们通过Markov噪声的政策评估导出了这些结果的推导 - 覆盖了所有$ \ lambda \中的TD（$ \ lambda $）算法，以便[0,1）$ - 和线性自回归模型。我们的实例依赖性表征为HyperParameter调整的细粒度模型选择程序的设计开放了门（例如，在运行TD（$ \ Lambda $）算法时选择$ \ lambda $的值）。

学习如何有效地控制未知的动态系统对于智能自治系统至关重要。当潜在的动态随着时间的推移时，这项任务成为一个重大挑战。本文认为这一挑战，本文考虑了控制未知马尔可夫跳跃线性系统（MJS）的问题，以优化二次目标。通过采用基于模型的透视图，我们考虑对MJSS的识别自适应控制。我们首先为MJS提供系统识别算法，用于从系统状态，输入和模式的单个轨迹，从模式开关的演进中的底层中学习MJS的系统识别算法。通过混合时间参数，该算法的样本复杂性显示为$ \ mathcal {o}（1 / \ sqrt {t}）$。然后，我们提出了一种自适应控制方案，其与确定性等效控制一起执行系统识别，以使控制器以焦化方式调整。 Combining our sample complexity results with recent perturbation results for certainty equivalent control, we prove that when the episode lengths are appropriately chosen, the proposed adaptive control scheme achieves $\mathcal{O}(\sqrt{T})$ regret, which can be改进了$ \ mathcal {o}（polylog（t））$与系统的部分了解。我们的证据策略介绍了在MJSS中处理马尔可维亚跳跃的创新和较弱的稳定概念。我们的分析提供了影响学习准确性和控制性能的系统理论量的见解。提出了数值模拟，以进一步加强这些见解。

线性时间流（LTI）系统的识别在控制和增强学习中起重要作用。文献中都对渐近时间和有限的离线系统识别进行了充分研究。对于在线系统识别，最近提出了具有反向体验重播（SGD RER）的随机梯度下降的想法，其中数据序列存储在几个缓冲区中，随机分脱水量（SGD）更新在每个缓冲区中向后进行，以使每个缓冲区向后进行。打破数据点之间的时间依赖关系。在这项工作的启发下，我们研究了通过多代理网络分布LTI系统的在线系统识别。我们将代理视为相同的LTI系统，网络目标是通过利用代理之间的通信共同估计系统参数。我们提出了DSGD-RER，SGD-RER算法的分布式变体，理论上表征了相对于网络大小的估计误差的改善。随着网络大小的增长，我们的数值实验证明了估计误差的减少。

通过在线规范相关性分析的问题，我们提出了\ emph {随机缩放梯度下降}（SSGD）算法，以最小化通用riemannian歧管上的随机功能的期望。 SSGD概括了投影随机梯度下降的思想，允许使用缩放的随机梯度而不是随机梯度。在特殊情况下，球形约束的特殊情况，在广义特征向量问题中产生的，我们建立了$ \ sqrt {1 / t} $的令人反感的有限样本，并表明该速率最佳最佳，直至具有积极的积极因素相关参数。在渐近方面，一种新的轨迹平均争论使我们能够实现局部渐近常态，其速率与鲁普特 - Polyak-Quaditsky平均的速率匹配。我们将这些想法携带在一个在线规范相关分析，从事文献中的第一次获得了最佳的一次性尺度算法，其具有局部渐近融合到正常性的最佳一次性尺度算法。还提供了用于合成数据的规范相关分析的数值研究。

我们考虑由非线性状态等式$ H_ {T + 1} = \ phi（h_t，u_t; \ theta）+ w_t $ toy的稳定系统的问题问题。在这里$ \ theta $是未知的系统动态，$ h_t $是状态，$ u_t $是输入，$ w_t $是附加噪音矢量。我们研究了基于梯度的算法，以了解从单个有限轨迹所获得的样本的系统动态$ \ theta $。如果系统通过稳定输入策略运行，我们表明可以通过I.i.d近似时间依赖的样本。使用混合时间参数通过截断参数示例。然后，我们为经验损失梯度的均匀收敛性开发新的保证。与现有的工作不同，我们的界限是噪声敏感，允许高精度和小样本复杂度学习地面真实动态。我们的结果在一起，促进了稳定政策下的一般非线性系统的高效学习。我们专注于进入明智的非线性激活的保证，并在各种数值实验中验证我们的理论

我们研究了情节块MDP中模型估计和无奖励学习的问题。在这些MDP中，决策者可以访问少数潜在状态产生的丰富观察或上下文。我们首先对基于固定行为策略生成的数据估算潜在状态解码功能（从观测到潜在状态的映射）感兴趣。我们在估计此功能的错误率上得出了信息理论的下限，并提出了接近此基本限制的算法。反过来，我们的算法还提供了MDP的所有组件的估计值。然后，我们研究在无奖励框架中学习近乎最佳政策的问题。根据我们有效的模型估计算法，我们表明我们可以以最佳的速度推断出策略（随着收集样品的数量增长大）的最佳策略。有趣的是，我们的分析提供了必要和充分的条件，在这些条件下，利用块结构可以改善样本复杂性，以识别近乎最佳的策略。当满足这些条件时，Minimax无奖励设置中的样本复杂性将通过乘法因子$ n $提高，其中$ n $是可能的上下文数量。

我们考虑估计与I.I.D的排名$ 1 $矩阵因素的问题。高斯，排名$ 1 $的测量值，这些测量值非线性转化和损坏。考虑到非线性的两种典型选择，我们研究了从随机初始化开始的此非convex优化问题的天然交流更新规则的收敛性能。我们通过得出确定性递归，即使在高维问题中也是准确的，我们显示出算法的样本分割版本的敏锐收敛保证。值得注意的是，虽然无限样本的种群更新是非信息性的，并提示单个步骤中的精确恢复，但算法 - 我们的确定性预测 - 从随机初始化中迅速地收敛。我们尖锐的非反应分析也暴露了此问题的其他几种细粒度，包括非线性和噪声水平如何影响收敛行为。从技术层面上讲，我们的结果可以通过证明我们的确定性递归可以通过我们的确定性顺序来预测我们的确定性序列，而当每次迭代都以$ n $观测来运行时，我们的确定性顺序可以通过$ n^{ - 1/2} $的波动。我们的技术利用了源自有关高维$ m $估计文献的遗留工具，并为通过随机数据的其他高维优化问题的随机初始化而彻底地分析了高阶迭代算法的途径。

最近，随机梯度下降（SGD）及其变体已成为机器学习（ML）问题大规模优化的主要方法。已经提出了各种策略来调整步骤尺寸，从自适应步骤大小到启发式方法，以更改每次迭代中的步骤大小。此外，动力已被广泛用于ML任务以加速训练过程。然而，我们对它们的理论理解存在差距。在这项工作中，我们开始通过为一些启发式优化方法提供正式保证并提出改进的算法来缩小这一差距。首先，我们分析了凸面和非凸口设置的Adagrad（延迟Adagrad）步骤大小的广义版本，这表明这些步骤尺寸允许算法自动适应随机梯度的噪声水平。我们首次显示延迟Adagrad的足够条件，以确保梯度几乎融合到零。此外，我们对延迟的Adagrad及其在非凸面设置中的动量变体进行了高概率分析。其次，我们用指数级和余弦的步骤分析了SGD，在经验上取得了成功，但缺乏理论支持。我们在平滑和非凸的设置中为它们提供了最初的收敛保证，有或没有polyak-{\ l} ojasiewicz（pl）条件。我们还显示了它们在PL条件下适应噪声的良好特性。第三，我们研究动量方法的最后迭代。我们证明了SGD的最后一个迭代的凸设置中的第一个下限，并以恒定的动量。此外，我们研究了一类跟随基于领先的领导者的动量算法，并随着动量和收缩的更新而增加。我们表明，他们的最后一个迭代具有最佳的收敛性，用于无约束的凸随机优化问题。

We study the problem of estimating the fixed point of a contractive operator defined on a separable Banach space. Focusing on a stochastic query model that provides noisy evaluations of the operator, we analyze a variance-reduced stochastic approximation scheme, and establish non-asymptotic bounds for both the operator defect and the estimation error, measured in an arbitrary semi-norm. In contrast to worst-case guarantees, our bounds are instance-dependent, and achieve the local asymptotic minimax risk non-asymptotically. For linear operators, contractivity can be relaxed to multi-step contractivity, so that the theory can be applied to problems like average reward policy evaluation problem in reinforcement learning. We illustrate the theory via applications to stochastic shortest path problems, two-player zero-sum Markov games, as well as policy evaluation and $Q$-learning for tabular Markov decision processes.

We study non-parametric estimation of the value function of an infinite-horizon $\gamma$-discounted Markov reward process (MRP) using observations from a single trajectory. We provide non-asymptotic guarantees for a general family of kernel-based multi-step temporal difference (TD) estimates, including canonical $K$-step look-ahead TD for $K = 1, 2, \ldots$ and the TD$(\lambda)$ family for $\lambda \in [0,1)$ as special cases. Our bounds capture its dependence on Bellman fluctuations, mixing time of the Markov chain, any mis-specification in the model, as well as the choice of weight function defining the estimator itself, and reveal some delicate interactions between mixing time and model mis-specification. For a given TD method applied to a well-specified model, its statistical error under trajectory data is similar to that of i.i.d. sample transition pairs, whereas under mis-specification, temporal dependence in data inflates the statistical error. However, any such deterioration can be mitigated by increased look-ahead. We complement our upper bounds by proving minimax lower bounds that establish optimality of TD-based methods with appropriately chosen look-ahead and weighting, and reveal some fundamental differences between value function estimation and ordinary non-parametric regression.

在这里，我们重新审视线性二次估计的经典问题，即估计线性动力系统从嘈杂测量的轨迹。当测量噪声是高斯时，庆祝的卡尔曼滤波器提供了最佳估计器，但是当一个人偏离这种假设时，广泛众所周知，众所周知会破裂。当噪音重尾时。许多临时启发式机启发式就是处理异常值的实践中。在开创性的工作中，Schick和Mitter在测量噪声是高斯的已知无穷无尽的扰动时给予了可证明的保证，并提出了一个可以获得类似的禁令的重要担保的重要问题。在这项工作中，我们给出了一个真正强大的过滤器：当甚至恒定的测量分数都存在对比腐败时，我们给出了线性二次估计的第一个强化保证。该框架可以模拟重型且甚至是非静止噪声过程。我们的算法在与知道损坏位置的最佳算法竞争的意义上强调了卡尔曼过滤器。我们的作品处于挑战性的贝叶斯环境，其中测量数量与我们需要估计的复杂性缩放。此外，在线性动态系统中过去信息随时间衰减。我们开发了一套新技术，以强大地提取不同时间步长和不同时间尺度的信息。

随机多变最小化 - 最小化（SMM）是大多数变化最小化的经典原则的在线延伸，这包括采样I.I.D。来自固定数据分布的数据点，并最小化递归定义的主函数的主要替代。在本文中，我们引入了随机块大大化 - 最小化，其中替代品现在只能块多凸，在半径递减内的时间优化单个块。在SMM中的代理人放松标准的强大凸起要求，我们的框架在内提供了更广泛的适用性，包括在线CANDECOMP / PARAFAC（CP）字典学习，并且尤其是当问题尺寸大时产生更大的计算效率。我们对所提出的算法提供广泛的收敛性分析，我们在可能的数据流下派生，放松标准i.i.d。对数据样本的假设。我们表明，所提出的算法几乎肯定会收敛于速率$ O（（\ log n）^ {1+ \ eps} / n ^ {1/2}）$的约束下的非凸起物镜的静止点集合。实证丢失函数和$ O（（\ log n）^ {1+ \ eps} / n ^ {1/4}）$的预期丢失函数，其中$ n $表示处理的数据样本数。在一些额外的假设下，后一趋同率可以提高到$ o（（\ log n）^ {1+ \ eps} / n ^ {1/2}）$。我们的结果为一般马尔维亚数据设置提供了各种在线矩阵和张量分解算法的第一融合率界限。

这项教程调查概述了统计学习理论中最新的非征血性进步与控制和系统识别相关。尽管在所有控制领域都取得了重大进展，但在线性系统的识别和学习线性二次调节器时，该理论是最发达的，这是本手稿的重点。从理论的角度来看，这些进步的大部分劳动都在适应现代高维统计和学习理论的工具。虽然与控制对机器学习的工具感兴趣的理论家高度相关，但基础材料并不总是容易访问。为了解决这个问题，我们提供了相关材料的独立介绍，概述了基于最新结果的所有关键思想和技术机械。我们还提出了许多开放问题和未来的方向。

我们为基于分数的生成模型（SGM）（例如Denoising扩散概率模型（DDPM））提供理论收敛保证，该模型构成了大型现实世界中生成模型的骨干，例如DALL $ \ cdot $ E2。我们的主要结果是，假设有准确的分数估计值，此类SGM可以从本质上有效地从任何现实的数据分布中进行采样。与先前的作品相反，我们的结果（1）以$ l^2 $准确的分数估算（而不是$ l^\ infty $ -CACCRATE）保持； （2）不需要限制性的功能不平等条件，而这些条件排除了实质性的非con虫； （3）在所有相关问题参数中刻度缩放； （4）匹配兰格文扩散离散的最新复杂性保证，前提是得分误差足够小。我们认为这是SGM的经验成功的强有力理论理由。我们还基于严重阻尼的Langevin扩散（CLD）检查SGM。与传统的观点相反，我们提供了证据，表明CLD的使用不会降低SGM的复杂性。

我们在$ \ Gamma $ -diScounted MDP中使用Polyak-Ruppert平均（A.K.A.，平均Q-Leaning）进行同步Q学习。我们为平均迭代$ \ bar {\ boldsymbol {q}}建立渐近常态。此外，我们展示$ \ bar {\ boldsymbol {q}} _ t $实际上是一个常规的渐近线性（RAL）估计值，用于最佳q-value函数$ \ boldsymbol {q} ^ * $与最有效的影响功能。它意味着平均Q学习迭代在所有RAL估算器之间具有最小的渐近方差。此外，我们为$ \ ell _ {\ infty} $错误$ \ mathbb {e} \ | \ | \ bar {\ boldsymbol {q}} _ t- \ boldsymbol {q} ^ *} ^ *} _ {\ idty} $，显示它与实例相关的下限以及最佳最低限度复杂性下限。作为一个副产品，我们发现Bellman噪音具有var-gaussian坐标，具有方差$ \ mathcal {o}（（1- \ gamma）^ {-1}）$而不是现行$ \ mathcal {o}（（1- \ Gamma）^ { - 2}）$根据标准界限奖励假设。子高斯结果有可能提高许多R1算法的样本复杂性。简而言之，我们的理论分析显示平均Q倾斜在统计上有效。

学习线性时间不变动态系统（LTID）的参数是当前兴趣的问题。在许多应用程序中，人们有兴趣联合学习多个相关LTID的参数，这仍然是未探究的日期。为此，我们开发一个联合估计器，用于学习共享常见基矩阵的LTID的过渡矩阵。此外，我们建立有限时间误差界限，取决于底层的样本大小，维度，任务数和转换矩阵的光谱属性。结果是在轻度规律假设下获得的，并在单独学习每个系统的比较中，展示从LTID的汇集信息汇总信息。我们还研究了错过过渡矩阵的联合结构的影响，并显示成立的结果在适度误操作的存在下是强大的。

在负面的感知问题中，我们给出了$ n $数据点$（{\ boldsymbol x} _i，y_i）$，其中$ {\ boldsymbol x} _i $是$ d $ -densional vector和$ y_i \ in \ { + 1，-1 \} $是二进制标签。数据不是线性可分离的，因此我们满足自己的内容，以找到最大的线性分类器，具有最大的\ emph {否定}余量。换句话说，我们想找到一个单位常规矢量$ {\ boldsymbol \ theta} $，最大化$ \ min_ {i \ le n} y_i \ langle {\ boldsymbol \ theta}，{\ boldsymbol x} _i \ rangle $ 。这是一个非凸优化问题（它相当于在Polytope中找到最大标准矢量），我们在两个随机模型下研究其典型属性。我们考虑比例渐近，其中$ n，d \ to \ idty $以$ n / d \ to \ delta $，并在最大边缘$ \ kappa _ {\ text {s}}（\ delta）上证明了上限和下限）$或 - 等效 - 在其逆函数$ \ delta _ {\ text {s}}（\ kappa）$。换句话说，$ \ delta _ {\ text {s}}（\ kappa）$是overparametization阈值：以$ n / d \ le \ delta _ {\ text {s}}（\ kappa） - \ varepsilon $一个分类器实现了消失的训练错误，具有高概率，而以$ n / d \ ge \ delta _ {\ text {s}}（\ kappa）+ \ varepsilon $。我们在$ \ delta _ {\ text {s}}（\ kappa）$匹配，以$ \ kappa \ to - \ idty $匹配。然后，我们分析了线性编程算法来查找解决方案，并表征相应的阈值$ \ delta _ {\ text {lin}}（\ kappa）$。我们观察插值阈值$ \ delta _ {\ text {s}}（\ kappa）$和线性编程阈值$ \ delta _ {\ text {lin {lin}}（\ kappa）$之间的差距，提出了行为的问题其他算法。