信息理论在独立于算法的不可能性结果的发展中起着不可或缺的作用,既可以用于通信问题,也可以用于统计和机器学习这些看似截然不同的领域。虽然已经为此目的提出了许多信息理论工具,但最古老的仍然可以说是最通用和广泛的:法诺的质量。在本章中,我们在统计估计的背景下提供了对Fano不等式及其变量的调查,采用了涵盖广泛特定问题的多功能框架。我们提出了各种用于建立不可能性结果的关键工具和技术,并提供了代表性的例子,包括群体测试,图形模型选择,稀疏线性回归,密度估计和凸优化。
translated by 谷歌翻译
我们通过逐点伯努利检验来研究学习未知,平滑概率函数的基本问题。我们提供了第一个可扩展的算法,可以通过严格的保证有效地解决这个问题。特别地,我们证明了后验更新规则对L2范数中的真实概率函数的收敛速度。此外,我们允许伯努利测试依赖于上下文特征,并提供一个修改的推理引擎,为这种新颖的设置提供可靠的保证。数值结果表明,经验收敛速度与理论相符,说明了我们的方法在处理上下文特征方面优于现有技术的优越性。
translated by 谷歌翻译
我们认为机器教学问题处于教室式的环境中,教师必须向不同的学生群体提供相同的例子。他们的多样性源于他们初始内部状态的差异以及他们的学习率。我们证明了一位完全了解学生学习动态的教师可以使用O(min {d,N} log(1 / eps))示例向整个课堂教授目标概念,其中d是问题的环境维度,N是学习者的数量,eps是准确度参数。当教师对由嘈杂声提供的学习者内部动力学有一定的了解时,我们展示了我们教学策略的稳健性。此外,我们研究了学习者的工作量与教师目标概念教学成本之间的权衡。我们的实验验证了理论结果,并建议将课堂适当地划分为同质群体,从而在这两个目标之间取得平衡。
translated by 谷歌翻译
我们提出并研究核共轭梯度法(KCGM)和randomprojection用于在可分离的Hilbert空间上进行最小二乘回归。考虑到随机化草图和Nystr \“{o} m子采样产生的两种随机投影,我们证明了最优统计结果。在一个合适的停止规则下算法的规范变量。特别是,我们的结果表明,如果投影维数与问题的有效维度成比例,KCGM随机化草图可以最优化,同时实现计算优势。作为参数,我们推导出最优在目标函数可能不在假设空间的情况下,经典KCGM的速率,填补理论空白。
translated by 谷歌翻译
在本文中,我们考虑了高斯过程(GP)优化的问题,增加了鲁棒性要求:返回点可能受到厌恶扰动,并且我们要求函数值即使在此扰动之后仍保持尽可能高。该问题的动机是在优化和实施阶段期间的基础功能不同,或者当人们有兴趣找到优于单个点的良好输入的整个区域时。我们证明标准GP优化算法没有表现出所需的鲁棒性,并为此目的提供了基于置信限制的算法StableOpt。大力建立StableOpt所需的样本数量以找到最佳点,我们用独立于算法的下限来补充这种保证。我们使用真实世界的数据集实验性地展示了几个感兴趣的潜在应用程序,并且我们展示了SattableOpt一直在寻找一个稳定的最大化器,其中几个baseline方法失败。
translated by 谷歌翻译
我们提出了一种新的凸无约束优化方法,在没有任何修改的情况下,确保:(i)平滑目标的加速收敛速度,(ii)一般(非平滑)设置中的标准收敛速度,以及(iii)标准收敛率。随机优化设置。据我们所知,这是同时应用所有上述设置的第一种方法。我们方法的核心是自适应学习率规则,它采用重要性权重,在自适应在线学习算法的精神(Duchi等,2011; Levy,2017),结合线性耦合两个序列的anupdate,在(的精神) Allen-Zhu和Orecchia,2017)。对我们方法的实证检验表明它适用于上述情景并证实了我们的理论研究。
translated by 谷歌翻译
我们研究了在Hilbert空间上结合投影最小二乘回归问题的正则化算法,涵盖了在再生核Hilbert空间上的非参数回归。我们证明了在假设空间的容量假设和目标函数的规律性条件下,关于规范变体的收敛结果。因此,如果草图维度与有效维度成比例,则我们可以获得具有随机化草图的正则化算法的最优速率。作为副产品,我们得到了Nystr \“{o} m正则化算法的类似结果。我们的结果是第一个具有最优的,分布相关的速率,对草绘/ Nystr \”{o} m正则化算法没有任何饱和效应,考虑可达到的和不可达到的案件。
translated by 谷歌翻译
我们研究了分布式算法在再生核Hilbert空间(RKHS)上的非参数回归设置中的泛化性质。我们首先研究分布式随机梯度方法(SGM),对数据进行小批量和多次通过。我们表明,只要分区级别不是太大,就可以为分布式SGM保留最佳的一般化误差界限。然后,我们扩展我们的结果tospectral-regularization算法(SRA),包括核岭回归(KRR),核主成分分析和梯度方法。我们的结果优于最先进的理论。特别是,我们的结果表明,与分布式KRR和经典SGM相比,分布式SGM具有更小的理论计算复杂度。此外,即使对于非分布式SRA,考虑到回归函数可能不在RKHS中的情况,它们提供了第一个最佳的,与容量相关的收敛速率。
translated by 谷歌翻译
在本文中,我们研究了具有平方损失的可分离希尔伯特空间上的回归问题,涵盖了在再生内尔希尔伯特空间上的非参数回归。我们研究了一类谱正则化算法,包括岭回归,主成分分析和梯度法。我们证明了所研究算法的规范变量的最优,高概率收敛结果,考虑了假设空间的容量假设和目标函数的一般源条件。因此,我们通过最优化获得几乎可靠的收敛结果。我们的结果改进并推广了以前的结果,填补了不可达到的案例的理论空白。
translated by 谷歌翻译
我们提出了一种新方法,通过利用运动规划器从少量人类标记数据生成“专家”训练轨迹,使机器人能够快速学会操纵对象。与传统的感知 - 计划 - 行为周期相比,我们提出了一种深度学习架构和称为PtPNet的训练方案,可以直接从物体的单个RGB-D图像估计有效的末端效应物体。此外,我们提供数据收集和增强管道可以自动生成大量(数百万)训练图像和轨迹示例,几乎不需要人工标记。我们在非基于工具的基于工具的操作任务中展示了我们的方法,特别是用钩子拾起鞋子。在硬件实验中,PtPNet生成的运动计划(开环轨迹)可靠地(在189次试验中取得89%的成功)从一系列位置和方向上拾取四种截然不同的鞋子,并可靠地拿起前所未有的鞋子。与传统的感知 - 计划 - 行为范式相比,我们的系统具有操作稀疏信息(单个RGB-D帧)的优势,比“专家”规划器(300ms对几秒)更快地产生高质量的轨迹,并有效地推广到先前的看不见的鞋子。
translated by 谷歌翻译