在许多高通量实验设计设置中,例如常见的生物化学工程设计,批量查询比逐个连续查询更具成本效益。此外,通常不可能直接选择要查询的项目。相反,实验者指定一组约束,这些约束生成可能的项目库,然后随机选择这些项目。受这些考虑因素的影响,我们研究了\ emph {BatchedStochastic Bayesian Optimization}(BSBO),这是一种新颖的贝叶斯优化方案,用于选择约束以指导对具有更多实用程序的项目的探索。我们专注于\ emph {site-saturation mutagenesis},这是BSBO在生物化学工程中的原型设置,并为此问题提出了一个自然的目标函数。重要的是,我们证明了我们的目标函数可以有效地分解为子模函数(DS)的差异,我们采用DS优化工具来贪婪地识别约束集,这些约束集增加了找到具有高效用的项目的可能性。我们的实验结果表明我们的算法在合成和两个真实蛋白质数据集上优于常见的启发式算法。
translated by 谷歌翻译
我们通过分析用户的历史来提出一种新的旅行预测方法。我们通过添加来自其他用户的“类似”旅行来增加用户的(自行)旅行历史,这可以提供信息并且可用于预测给定用户的未来旅行。这也有助于应对嘈杂或稀疏的历史,其中自我历史本身并不能提供对未来旅行的可靠预测。我们展示了经验证据,通过额外的旅行来丰富用户的旅行历史,可以将预测误差提高15%-40%,在Nancy2012数据集的多个子集上进行评估。这个真实世界的数据集是从法国南锡市的公共交通票验证中收集的。我们的预测工具是atrip模拟器系统的核心组件,旨在分析南希市的公共交通功能。
translated by 谷歌翻译
本文关注光谱估计中的奇怪现象。假设我们感兴趣的是秩1和对称矩阵$ \ boldsymbol {M} ^ {\ star} \ in \ mathbb {R} ^ {n \ times n} $ ,但只观察到随机扰动的版本$ \ boldsymbol {M} $。扰动\,/ \,noisematrix $ \ boldsymbol {M} - \ boldsymbol {M} ^ {\ star} $由独立的和零均值条目组成,不是对称的。例如,当我们为$ \ boldsymbol {M} ^ {\ star} $的每个条目分配两个独立样本并将它们排列成{\ em不对称}数据矩阵$ \ boldsymbol {M} $时,可能会出现这种情况。目的是估计$ \ boldsymbol {M} ^ {\ star} $的主要特征值和特征向量。出乎意料的是,我们的研究结果表明,数据矩阵$ \ boldsymbol {M} $的主要特征值可以是$ \ sqrt {n比特征值估计中的引导奇异值更精确$倍。此外,$ \ boldsymbol {M} $(例如〜entrywiseeigenvector perturbation)的前导特征向量的任何线性形式的扰动可证明是良好控制的。我们进一步为更一般的rank-$ r $案例提供了部分理论;这允许我们通过考虑相关的秩-2扩张矩阵的特征分解来解决当$ \ boldsymbol {M} ^ {\ star} $是秩-1但不对称时的情况。接收消息是这样的:以非对称方式排列数据样本并且执行特征分解(与SVD相反)有时可能是非常有益的。
translated by 谷歌翻译
我们应用数值方法结合有限差分时域(FDTD)模拟,利用新颖的多保真高斯过程方法,利用五维参数空间上的多目标品质因数优化等离子体镜面滤色器的传输特性。我们将这些结果与传统的无导数全局搜索算法进行比较,例如(单保真)高斯过程优化方案和粒子群优化 - 纳米光子学社区中常用的方法,这是在Lumerical商业光子学软件中实现的。我们在几个预先收集的现实数据集上展示了各种数值优化方法的性能,并表明通过廉价模拟适当地交易廉价信息源,可以更有效地优化具有固定预算的传输属性。
translated by 谷歌翻译
当出现具有不同成本的多个相互依赖的信息源时,我们如何有效地收集信息以优化未知功能?例如,在优化机器人系统时,智能地交换计算机模拟和真实的机器人测试可以带来显着的节省。现有方法,例如基于多保真GP-UCB或基于熵搜索的方法,或者对不同保真度的交互作出简单假设,或者使用缺乏理论保证的简单启发法。在本文中,我们研究多保真贝叶斯优化与多输出之间的复杂结构依赖关系,并提出了MF-MI-Greedy,这是一个解决这个问题的原理算法框架。特别是,我们使用基于共享潜在结构的加性高斯过程来模拟不同的保真度。目标函数。然后,我们使用成本敏感的互信息增益进行有效的贝叶斯全局优化。我们提出一个简单的遗憾概念,其中包含不同保真度的成本,并证明MF-MI-Greedy实现了低度遗憾。我们在合成数据集和真实数据集上展示了我们算法的强大经验性能。
translated by 谷歌翻译
最近在通过非凸优化开发用于低秩矩阵分解的可证明的准确且有效的算法方面取得了实质性进展。虽然传统智慧由于它们对伪局部最小值的敏感性而经常对非凸优化算法持模糊观点,但是诸如梯度下降的简单迭代方法在实践中已经非常成功。然而,理论上的立足点直到最近一直在进行。在本教程式概述中,我们强调了统计模型在实现高效非凸优化和性能保证方面的重要作用。我们回顾了两种对比方法:(1)两阶段算法,它包括一个定制的初始化步骤,然后是连续的细化; (2)全球景观分析和无初始化算法。讨论了几种规范矩阵分解问题,包括但不限于矩阵感测,相位检索,矩阵完成,盲去卷积,鲁棒主成分分析,相位同步和联合对齐。特别注意说明他们分析的关键技术见解。本文的作用是优化和统计的综合思想导致了有益的研究成果。
translated by 谷歌翻译
构建准确的DNN模型需要对大型标记的特定于上下文的数据集进行培训,尤其是那些与目标方案匹配的数据集。我们相信无线定位的发展,与相机一起工作,可以对野外拍摄的图像和视频进行自动注释。使用行人和车辆检测作为示例,我们展示了自动图像标注系统的可行性,优点和挑战。我们工作需要关于被动本地化,移动数据分析和错误恢复ML模型的新技术开发,以及用户隐私策略中的设计问题。
translated by 谷歌翻译
我们如何帮助健忘的学习者在有限的时间内学习多个概念?对于长期学习,设计教学策略是至关重要的,它可以利用学习者潜在的遗忘机制。在本文中,我们将自适应教学健忘学习者的问题作为新的离散优化问题,我们寻求优化自然目标函数,以表征学习者在整个教学过程中的预期表现。然后,我们提出了一个简单的贪婪的教学策略,并基于两个直观的数据依赖属性获得强大的性能保证,这些属性捕获了教导每个概念的收益递减程度。我们表明,给定关于学习者记忆模型的一些假设,可以有效地计算性能界限。此外,我们确定了内存模型的参数设置,其中保证贪婪策略以实现高性能。我们在两个具体应用中证明了使用大量模拟和用户研究的算法的有效性,即(i)用于在线词汇教学的教育应用程序和(ii)用于教导新手如何从图像识别动物物种的应用程序。
translated by 谷歌翻译
This paper considers the problem of solving systems of quadratic equations, namely, recovering an object of interest x ∈ R n from m quadratic equations / samples yi = (a i x) 2 , 1 ≤ i ≤ m. This problem, also dubbed as phase retrieval, spans multiple domains including physical sciences and machine learning. We investigate the efficacy of gradient descent (or Wirtinger flow) designed for the nonconvex least squares problem. We prove that under Gaussian designs, gradient descent-when randomly initialized-yields an-accurate solution in O log n + log(1//) iterations given nearly minimal samples, thus achieving near-optimal computational and sample complexities at once. This provides the first global convergence guarantee concerning vanilla gradient descent for phase retrieval, without the need of (i) carefully-designed initialization, (ii) sample splitting, or (iii) sophisticated saddle-point escaping schemes. All of these are achieved by exploiting the statistical models in analyzing optimization algorithms, via a leave-one-out approach that enables the decoupling of certain statistical dependency between the gradient descent iterates and the data.
translated by 谷歌翻译
We consider the problem of recovering low-rank matrices from random rank-one measurements, which spans numerous applications including covariance sketching, phase retrieval, quantum state to-mography, and learning shallow polynomial neural networks, among others. Our approach is to directly estimate the low-rank factor by minimizing a nonconvex quadratic loss function via vanilla gradient descent, following a tailored spectral initialization. When the true rank is small, this algorithm is guaranteed to converge to the ground truth (up to global ambiguity) with near-optimal sample complexity and computational complexity. To the best of our knowledge, this is the first guarantee that achieves near-optimality in both metrics. In particular, the key enabler of near-optimal computational guarantees is an implicit regularization phenomenon: without explicit regularization, both spectral initialization and the gradient descent iterates automatically stay within a region incoherent with the measurement vectors. This feature allows one to employ much more aggressive step sizes compared with the ones suggested in prior literature, without the need of sample splitting.
translated by 谷歌翻译