基于机器学习的模型最近获得了吸引力,作为通过构建提供快速准确的性能预测的模型来克服FPGA下游实现过程的一种方式。但是,这些模型有两个主要局限性:(1)培训需要大量数据(从FPGA合成和实施报告中提取的功能),这是由于耗时的FPGA设计周期而具有成本范围的; (2)针对特定环境训练的模型无法预测新的未知环境。在云系统中,访问平台通常是昂贵的,ML模型的数据收集可以显着增加系统的总成本所有权(TCO)。为了克服这些限制,我们提出了Leaper,这是一种基于FPGA的基于转移学习的方法,可将现有的基于ML的模型适应新的,未知的环境,以提供快速准确的性能和资源利用预测。实验结果表明,当我们使用转移的模型进行5次学习的云环境中的预测并将设计空间探索时间从天数到几个小时,我们的方法平均提供了85%的精度。
translated by 谷歌翻译
在插值方面,我们为平滑损失(可能是非lipschitz,可能是非convex)提供了急剧依赖路径依赖的概括和多余的风险保证。我们分析的核心是确定性对称算法绑定的新的概括误差,这意味着平均输出稳定性和终止时有界的预期优化误差导致概括。该结果表明,沿着优化路径发生小的概括误差,并使我们能够绕过Lipschitz或以前作品中普遍存在的损失的假设。对于非convex,polyak-lojasiewicz(PL),凸面和强烈凸丢失,我们在累积的路径依赖性优化误差,终端优化误差,样本数量和迭代数方面显示了概括误差的明确依赖性。 For nonconvex smooth losses, we prove that full-batch GD efficiently generalizes close to any stationary point at termination, under the proper choice of a decreasing step size.此外,如果损失是非convex但目标是PL,我们将在概括误差和相应的多余风险上四次消失,以选择大型常数步长大小。对于(分别 - 强 - )凸平的平滑损失,我们证明,全批GD还概括了较大的恒定步骤尺寸,并且在快速训练的同时,(分别是四次)的多余风险。在所有情况下,我们通过显示匹配的概括和优化错误率来缩小概括误差差距。当损失平稳时(但可能是非lipschitz)时,我们的全批GD概括误差和多余的风险界限严格比(随机)GD的现有范围更紧密。
translated by 谷歌翻译
我们提出了一种新的风险感知统计估算原则,有效地量化了平均平方误差($ \ MSE $)与风险之间的固有权衡,后者通过相关的平均预测平方误差方差($ \ zh $)测量。 ,对于每个可接受的选择估算。我们的不确定性原则具有熟悉的形式,并且类似于其他几个领域产生的基本和古典结果,例如统计和量子力学的Heisenberg原则,以及谐波分析中的Gabor Limit(时间尺度权衡)。特别是,我们证明,提供了各种和可观察的联合生成模型,$ \ MSE $和$ \ \ ye $之间的产品由下面通过可计算的模型依赖常数界定,这与帕累托边境显式相关最近学习的$ \ ev $ -constraine $ \ mse $(mmse)估算问题。此外,我们表明上述常数本质上与多维的直观的新且严格的拓扑接地统计衡量,这是与线上变量的Pearson矩系数一致的。我们的结果也通过数值模拟说明。
translated by 谷歌翻译
We study the best-arm identification problem in multi-armed bandits with stochastic, potentially private rewards, when the goal is to identify the arm with the highest quantile at a fixed, prescribed level. First, we propose a (non-private) successive elimination algorithm for strictly optimal best-arm identification, we show that our algorithm is $\delta$-PAC and we characterize its sample complexity. Further, we provide a lower bound on the expected number of pulls, showing that the proposed algorithm is essentially optimal up to logarithmic factors. Both upper and lower complexity bounds depend on a special definition of the associated suboptimality gap, designed in particular for the quantile bandit problem, as we show when the gap approaches zero, best-arm identification is impossible. Second, motivated by applications where the rewards are private, we provide a differentially private successive elimination algorithm whose sample complexity is finite even for distributions with infinite support-size, and we characterize its sample complexity. Our algorithms do not require prior knowledge of either the suboptimality gap or other statistical information related to the bandit problem at hand.
translated by 谷歌翻译
我们呈现$ \ textit {free-message} ^ {p} $,第一个zeroth阶算法(弱 - )凸起的基于叶片的风险感知学习,这也是前三级零顺序组成随机优化算法是什么。使用Nesterov的古典结果的非琐碎延伸,我们从第一个原则开发$ \ Textit {Free-Message} ^ {P} $算法,并显示它基本上解决了原始问题的平滑代理人前者是后者的统一近似,在一个有用,方便的感觉中。然后,我们对$ \ textit {free-message} ^ {p} $算法进行了完整的分析,该算法在为凸起成本的原始问题的最佳解决方案的最佳解决方案中建立了融合,以及显式收敛速率对于凸起,弱凸,强烈凸起的成本,并以统一的方式。依次,对于固定的问题参数,我们的结果与现有的一阶方法相比,我们的结果表明不会牺牲收敛速度,同时在问题的情况下突出一定的平衡,其维度,以及所获得的结果的准确性,自然延伸以前的零秩序风险中立学习。
translated by 谷歌翻译