在决策问题（例如多臂强盗）中，代理商通过优化某些反馈来顺序学习。尽管对平均奖励标准进行了广泛的研究，但其他反映对不利结果的措施，例如均值变化或有条件的危险价值（CVAR），对关键应用程序（医疗保健，农业）可能会引起人们的关注。在没有上下文信息的情况下，已经提出了在强盗反馈下采取此类风险感知措施的算法。在这项工作中，我们研究了上下文匪徒，通过最小化凸丢失，可以将这种风险度量作为上下文的线性函数引起。适合此框架的一个典型示例是预期度量，它作为不对称最小二乘问题的解决方案获得。使用超级马特林加尔的混合物方法，我们得出置信序列以估计此类风险度量。然后，我们提出一种乐观的UCB算法来学习最佳的风险感知动作，后悔的保证与广义线性匪徒相似。这种方法需要在每一轮算法上解决凸问题，我们可以通过仅允许通过在线梯度下降获得的近似解决方案来放松，以稍高的遗憾。我们通过评估数值实验的所得算法来结束。

我们在对数损失下引入条件密度估计的过程，我们调用SMP（样本Minmax预测器）。该估算器最大限度地减少了统计学习的新一般过度风险。在标准示例中，此绑定量表为$ d / n $，$ d $ d $模型维度和$ n $ sample大小，并在模型拼写条目下批判性仍然有效。作为一个不当（超出型号）的程序，SMP在模型内估算器（如最大似然估计）的内部估算器上，其风险过高的风险降低。相比，与顺序问题的方法相比，我们的界限删除了SubOltimal $ \ log n $因子，可以处理无限的类。对于高斯线性模型，SMP的预测和风险受到协变量的杠杆分数，几乎匹配了在没有条件的线性模型的噪声方差或近似误差的条件下匹配的最佳风险。对于Logistic回归，SMP提供了一种非贝叶斯方法来校准依赖于虚拟样本的概率预测，并且可以通过解决两个逻辑回归来计算。它达到了$ O的非渐近风险（（d + b ^ 2r ^ 2）/ n）$，其中$ r $绑定了特征的规范和比较参数的$ B $。相比之下，在模型内估计器内没有比$ \ min达到更好的速率（{b r} / {\ sqrt {n}}，{d e ^ {br} / {n}）$。这为贝叶斯方法提供了更实用的替代方法，这需要近似的后部采样，从而部分地解决了Foster等人提出的问题。 （2018）。

Authors are encouraged to submit new papers to INFORMS journals by means of a style file template, which includes the journal title. However, use of a template does not certify that the paper has been accepted for publication in the named journal. INFORMS journal templates are for the exclusive purpose of submitting to an INFORMS journal and should not be used to distribute the papers in print or online or to submit the papers to another publication.

我们重新审视混合技术的方法，也称为拉普拉斯法，以研究通用指数家族中的浓度现象。将与家族的对数分区功能相关的Bregman差异的性质与超级木制混合物的方法相关联，我们建立了一个通用的结合，以控制家族参数与参数的有限样本估算之间的Bregman差异。我们的界限是时间均匀的，并且看起来很大，将经典信息增益扩展到指数式家庭，我们称之为Bregman信息收益。对于从业者而言，我们实例化了这本小说绑定到几个古典家庭，例如高斯，伯努利，指数，威布尔，帕雷托，帕尔托，泊松和卡方和卡方，从而产生了置信度的明确形式和布雷格曼信息的收益。我们从数值上进一步将所得的置信度界限与最先进的替代方案进行比较，以使其均匀浓度，并表明这种新颖的方法会产生竞争结果。最后，我们强调了集中界对某些说明性应用的好处。

凭借其综合理论和实际相关性，逻辑匪徒最近经历了仔细的审查。这项研究工作提供了统计上有效的算法，通过指数巨大的因素来改善以前的策略的遗憾。然而，这种算法非常昂贵，因为它们需要每轮的$ \ omega（t）$操作。另一方面，一种不同的研究系列专注于计算效率（$ \ mathcal {o}（1）美元的成本），但在放弃上述指数改进的成本上。遗憾的是，获得两个世界的最佳并非结婚两种方法的问题。相反，我们为Logistic Barits介绍了一个新的学习过程。它产生了信心集，可以在没有牺牲统计密封性的情况下轻松在线维护足够的统计数据。结合高效的规划机制，我们设计了快速算法，后悔性能仍然符合Abeille等人的问题依赖性较低。 （2021）。据我们所知，这些是第一个同时享受统计和计算效率的第一逻辑强盗算法。

在本文中，我们考虑了MNL-Bandit问题的上下文变体。更具体地说，我们考虑了一个动态设置优化问题，决策者为消费者提供了一系列产品（各种产品），并在每回合中观察他们的响应。消费者购买产品以最大化其实用性。我们假设一组属性描述了产品，并且产品的平均效用在这些属性的值中是线性的。我们使用广泛使用的多项式logit（MNL）模型对消费者选择行为进行建模，并考虑动态学习模型参数的决策者问题，同时优化累计收入，超过销售范围$ t $。尽管最近这个问题引起了人们的关注，但许多现有方法通常涉及解决棘手的非凸优化问题。他们的理论绩效保证取决于问题依赖性参数，该参数可能非常大。特别是，此问题的现有算法对$ o（\ sqrt {\ kappa d t}）$界后后悔，其中$ \ kappa $是问题依赖性常数，可以对属性的数量具有指数依赖性。在本文中，我们提出了一种乐观的算法，并表明遗憾是由$ o（\ sqrt {dt} + \ kappa）$界定的，从而大大提高了现有方法的性能。此外，我们提出了对优化步骤的放松，该步骤允许进行可牵引的决策，同时保留有利的遗憾保证。

我们考虑使用$ K $臂的随机匪徒问题，每一个都与$ [m，m] $范围内支持的有限分布相关。我们不认为$ [m，m] $是已知的范围，并表明学习此范围有成本。确实，出现了与分销相关和无分配后悔界限之间的新权衡，这阻止了同时实现典型的$ \ ln t $和$ \ sqrt {t} $ bunds。例如，仅当与分布相关的遗憾界限至少属于$ \ sqrt {t} $的顺序时，才能实现$ \ sqrt {t} $}无分布遗憾。我们展示了一项策略，以实现新的权衡表明的遗憾。

我们考虑随机环境中在线线性回归的问题。我们派生了在线岭回归和前向算法的高概率遗憾。这使我们能够更准确地比较在线回归算法并消除有界观测和预测的假设。我们的研究由于其增强的界限和鲁棒性对正则化参数而代替脊，所以提出了前向算法的倡导者。此外，我们解释了如何将其集成在涉及线性函数近似的算法中以消除界限假设，而不会恶化理论界限。我们在线性强盗设置展示了这种修改，其中它产生了改进的遗憾范围。最后，我们提供数字实验来说明我们的结果并赞同我们的直觉。

我们探索了一个新的强盗实验模型，其中潜在的非组织序列会影响武器的性能。上下文 - 统一算法可能会混淆，而那些执行正确的推理面部信息延迟的算法。我们的主要见解是，我们称之为Deconfounst Thompson采样的算法在适应性和健壮性之间取得了微妙的平衡。它的适应性在易于固定实例中带来了最佳效率，但是在硬性非平稳性方面显示出令人惊讶的弹性，这会导致其他自适应算法失败。

我们将一般的多军匪徒问题视为一个相关（和简单的上下文和不安）元素，是一个放松的控制问题。通过引入熵正则化，我们获得了对值函数的平滑渐近近似。这产生了最佳决策过程的新型半指数近似。该半指数可以被解释为明确平衡探索 - 探索 - 探索权衡取舍，就像乐观的（UCB）原则中，学习溢价明确描述了环境中可用的信息的不对称性和奖励功能中的非线性。所得的渐近随机对照（ARC）算法的性能与其他相关的多臂匪徒的方法相比有利。

对复杂模型执行精确的贝叶斯推理是计算的难治性的。马尔可夫链蒙特卡罗（MCMC）算法可以提供后部分布的可靠近似，但对于大型数据集和高维模型昂贵。减轻这种复杂性的标准方法包括使用子采样技术或在群集中分发数据。然而，这些方法通常在高维方案中不可靠。我们在此处专注于最近的替代类别的MCMC方案，利用类似于乘客（ADMM）优化算法的庆祝交替方向使用的分裂策略。这些方法似乎提供了凭经验最先进的性能，但其高维层的理论行为目前未知。在本文中，我们提出了一个详细的理论研究，该算法之一称为分裂Gibbs采样器。在规律条件下，我们使用RICCI曲率和耦合思路为此方案建立了明确的收敛速率。我们以数字插图支持我们的理论。

在表演性预测中，预测模型的部署触发了数据分布的变化。由于这些转变通常是未知的，因此学习者需要部署模型以获取有关其引起的分布的反馈。我们研究了在性能下发现近乎最佳模型的问题，同时保持低廉的遗憾。从表面上看，这个问题似乎等同于强盗问题。但是，它表现出一种从根本上说的反馈结构，我们将其称为表演反馈：在每次部署后，学习者都会从转移的分布中收到样本，而不仅仅是关于奖励的强盗反馈。我们的主要贡献是一种算法，该算法仅随着分配的复杂性而不是奖励功能的复杂性而实现后悔的界限。该算法仅依赖于移位的平滑度，并且不假定凸度。此外，它的最终迭代保证是近乎最佳的。关键算法的想法是对分布变化的仔细探索，该分布变化为新颖的置信范围构造了未开发模型的风险。从更广泛的角度来看，我们的工作为从土匪文献中利用工具的概念方法建立了一种概念性方法，目的是通过表演性反馈最小化后悔的目的。

随机通用的线性匪徒是针对顺序决策问题的一个很好理解的模型，许多算法在立即反馈下实现了近乎最佳的遗憾。但是，在许多现实世界中，立即观察奖励的要求不适用。在这种情况下，不再理解标准算法。我们通过在选择动作和获得奖励之间引入延迟，以理论方式研究延迟奖励的现象。随后，我们表明，基于乐观原则的算法通过消除对决策集和延迟的延迟分布和放松假设的需要，从而改善了本设置的现有方法。这也导致从$ \ widetilde o（\ sqrt {dt} \ sqrt {d + \ mathbb {e} [\ tau]}）$改善遗憾保证。 ^{3/2} \ mathbb {e} [\ tau]）$，其中$ \ mathbb {e} [\ tau] $表示预期的延迟，$ d $是尺寸，$ t $ t $ the Time Horizo​​n，我们我们抑制了对数术语。我们通过对模拟数据进行实验来验证我们的理论结果。

当动作集具有良好的曲率时，我们在任何线性匪徒算法产生的设计矩阵的特征矩阵上介绍了一个非呈现的下限。具体而言，我们表明，每当算法的预期累积后悔为$ o（\ sqrt {n}）$时，预期设计矩阵的最低特征值将随着$ \ omega（\ sqrt {n}）$的增长而生长为$ n $是学习范围，动作空间在最佳臂周围具有恒定的Hessian。这表明，这种作用空间在离散（即分离良好的）动作空间中迫使多项式下限而不是对数下限，如\ cite {lattimore2017end}所示。此外，虽然先前的结果仅在渐近方案（如$ n \ to \ infty $）中保留，但我们对这些``本地富裕的''动作空间的结果随时都在。此外，在温和的技术假设下，我们以高概率获得了对最小本本特征值的相似下限。我们将结果应用于两个实用的方案 - \ emph {model selection}和\ emph {clustering}在线性匪徒中。对于模型选择，我们表明了一个基于时期的线性匪徒算法适应了真实模型的复杂性，以时代数量的速率指数，借助我们的新频谱结合。对于聚类，我们考虑了一个多代理框架，我们通过利用光谱结果，该框架来证明该框架，该框架，该框架，该框架通过光谱结果，该频谱结果，该框架的结果，该频谱结果，该框架的结果，该频谱结果该框架，该框架的结果不需要强制探索 - 代理商可以运行线性匪徒算法并立即估算其基本参数，从而产生低遗憾。

在臂分布的标准假设下广泛研究了随机多臂强盗问题（例如，用已知的支持，指数家庭等）。这些假设适用于许多现实世界问题，但有时他们需要知识（例如，在尾部上），从业者可能无法精确访问，提高强盗算法的鲁棒性的问题，以模拟拼盘。在本文中，我们研究了一种通用的Dirichlet采样（DS）算法，基于通过重新采样的武器观测和数​​据相关的探索奖励计算的经验指标的成对比较。我们表明，当该策略的界限和对数后悔具有轻度分量度条件的半界分布时，这种策略的不同变体达到了可证明的最佳遗憾。我们还表明，一项简单的调整在大类无界分布方面实现了坚固性，其成本比对数渐近的遗憾略差。我们终于提供了数字实验，展示了合成农业数据的决策问题中DS的优点。

This paper revisits a fundamental problem in statistical inference from a non-asymptotic theoretical viewpoint $\unicode{x2013}$ the construction of confidence sets. We establish a finite-sample bound for the estimator, characterizing its asymptotic behavior in a non-asymptotic fashion. An important feature of our bound is that its dimension dependency is captured by the effective dimension $\unicode{x2013}$ the trace of the limiting sandwich covariance $\unicode{x2013}$ which can be much smaller than the parameter dimension in some regimes. We then illustrate how the bound can be used to obtain a confidence set whose shape is adapted to the optimization landscape induced by the loss function. Unlike previous works that rely heavily on the strong convexity of the loss function, we only assume the Hessian is lower bounded at optimum and allow it to gradually becomes degenerate. This property is formalized by the notion of generalized self-concordance which originated from convex optimization. Moreover, we demonstrate how the effective dimension can be estimated from data and characterize its estimation accuracy. We apply our results to maximum likelihood estimation with generalized linear models, score matching with exponential families, and hypothesis testing with Rao's score test.

差异化（DP）随机凸优化（SCO）在可信赖的机器学习算法设计中无处不在。本文研究了DP-SCO问题，该问题是从分布中采样并顺序到达的流媒体数据。我们还考虑了连续发布模型，其中与私人信息相关的参数已在每个新数据（通常称为在线算法）上更新和发布。尽管已经开发了许多算法，以实现不同$ \ ell_p $ norm几何的最佳多余风险，但是没有一个现有的算法可以适应流和持续发布设置。为了解决诸如在线凸优化和隐私保护的挑战，我们提出了一种在线弗兰克 - 沃尔夫算法的私人变体，并带有递归梯度，以减少差异，以更新和揭示每个数据上的参数。结合自适应差异隐私分析，我们的在线算法在线性时间中实现了最佳的超额风险，当$ 1 <p \ leq 2 $和最先进的超额风险达到了非私人较低的风险时，当$ 2 <p \ p \ $ 2 <p \ leq \ infty $。我们的算法也可以扩展到$ p = 1 $的情况，以实现几乎与维度无关的多余风险。虽然先前的递归梯度降低结果仅在独立和分布的样本设置中才具有理论保证，但我们在非平稳环境中建立了这样的保证。为了展示我们方法的优点，我们设计了第一个DP算法，用于具有对数遗憾的高维广义线性土匪。使用多种DP-SCO和DP-Bandit算法的比较实验表现出所提出的算法的功效和实用性。

We improve the theoretical analysis and empirical performance of algorithms for the stochastic multi-armed bandit problem and the linear stochastic multi-armed bandit problem. In particular, we show that a simple modification of Auer's UCB algorithm achieves with high probability constant regret. More importantly, we modify and, consequently, improve the analysis of the algorithm for the for linear stochastic bandit problem studied by Auer ( 2002), Dani et al. (2008), Rusmevichientong and Tsitsiklis (2010), Li et al. (2010). Our modification improves the regret bound by a logarithmic factor, though experiments show a vast improvement. In both cases, the improvement stems from the construction of smaller confidence sets. For their construction we use a novel tail inequality for vector-valued martingales.

本文以非线性功能近似研究基于模型的匪徒和增强学​​习（RL）。我们建议研究与近似局部最大值的收敛性，因为我们表明，即使对于具有确定性奖励的一层神经网络匪徒，全球收敛在统计上也很棘手。对于非线性匪徒和RL，本文介绍了一种基于模型的算法，即具有在线模型学习者（小提琴）的虚拟攀登，该算法可证明其收敛到局部最大值，其样品复杂性仅取决于模型类的顺序Rademacher复杂性。我们的结果意味着在几种具体设置（例如有限或稀疏模型类别的线性匪徒）和两层神经净匪内的新型全球或本地遗憾界限。一个关键的算法洞察力是，即使对于两层神经净模型类别，乐观也可能导致过度探索。另一方面，为了收敛到本地最大值，如果模型还可以合理地预测真实返回的梯度和Hessian的大小，则足以最大化虚拟返回。

当在未知约束集中任意变化的分布中生成数据时，我们会考虑使用专家建议的预测。这种半反向的设置包括（在极端）经典的I.I.D.设置时，当未知约束集限制为单身人士时，当约束集是所有分布的集合时，不受约束的对抗设置。对冲状态中，对冲算法（长期以来已知是最佳的最佳速率（速率））最近被证明是对I.I.D.的最佳最小值。数据。在这项工作中，我们建议放松I.I.D.通过在约束集的所有自然顺序上寻求适应性来假设。我们在各个级别的Minimax遗憾中提供匹配的上限和下限，表明确定性学习率的对冲在极端之外是次优的，并证明人们可以在各个级别的各个层面上都能适应Minimax的遗憾。我们使用以下规范化领导者（FTRL）框架实现了这种最佳适应性，并采用了一种新型的自适应正则化方案，该方案隐含地缩放为当前预测分布的熵的平方根，而不是初始预测分布的熵。最后，我们提供了新的技术工具来研究FTRL沿半逆转频谱的统计性能。