贝叶斯优化和Lipschitz优化已经开发出用于优化黑盒功能的替代技术。它们各自利用关于函数的不同形式的先验。在这项工作中,我们探索了这些技术的策略,以便更好地进行全局优化。特别是,我们提出了在传统BO算法中使用Lipschitz连续性假设的方法,我们称之为Lipschitz贝叶斯优化(LBO)。这种方法不会增加渐近运行时间,并且在某些情况下会大大提高性能(而在最坏的情况下,性能类似)。实际上,在一个特定的环境中,我们证明使用Lipschitz信息产生与后悔相同或更好的界限,而不是单独使用贝叶斯优化。此外,我们提出了一个简单的启发式方法来估计Lipschitz常数,并证明Lipschitz常数的增长估计在某种意义上是“无害的”。我们对具有4个采集函数的15个数据集进行的实验表明,在最坏的情况下,LBO的表现类似于底层BO方法,而在某些情况下,它的表现要好得多。特别是汤普森采样通常看到了极大的改进(因为Lipschitz信息已经得到了很好的修正) - 探索“现象”及其LBO变体通常优于其他采集功能。
translated by 谷歌翻译
我们研究了独立级联模型下社交网络中的在线影响最大化问题。具体来说,我们的目标是在网络社交网络中学习一组“最佳影响者”,同时反复与之互动。我们解决了(i)组合行动空间的挑战,因为可行影响者集的数量随着最大数量的影响而呈指数增长,并且(ii)有限的反馈,因为只观察到受影响的网络部分。在随机半强盗反馈下,我们提出并分析IMLinUCB,一种基于计算效率的基于UCB的算法。关于累积遗憾的遗骸是所有感兴趣的量的多项式,实现了对相互作用数量的近似最优依赖性并反映了网络的拓扑及其边缘的激活概率,从而对问题复杂性有了洞察力。据我们所知,这些是第一个这样的结果。我们的实验表明,在几个代表性的拓扑结构中,IMLinUCB的遗憾如我们的上边界所示。 IMLinUCB允许线性泛化,因此在统计和计算上都适用于大规模问题。我们的实验也表明IMLinUCB具有线性推广可以导致对现实世界在线影响最大化的低度遗憾。
translated by 谷歌翻译
在这项工作中,我们研究了使用深度学习算法自动识别来自二次抽样数据的接收无线通信信号的调制类型的可行性和有效性。最近的工作考虑了基于GNU无线电的数据集,该数据集模拟了真实无线信道中的不完美,并使用了10种不同的调制类型。随后开发了一种卷积神经网络(CNN)架构,并显示其性能超过了基于专家的方法。在这里,我们继续这一系列工作并研究深度神经网络架构,以提供高分类精度。我们确定了三种体系结构 - 即卷积长期短期深度神经网络(CLDNN),长期短期记忆神经网络(LSTM)和深度残留网络(ResNet) - 这导致典型的分类准确度值高达90%左右SNR。然后我们通过最小化训练数据集的大小来减少训练时间,同时减少分类准确度。为此,我们证明了主成分分析的性能显着缩短了训练时间,同时在低SNR时保持了良好的性能。我们还研究了进一步缩短训练时间的子采样技术,并为高信噪比的在线分类铺平了道路。最后,我们确定用于训练每个候选体系结构的代表性SNR值,从而实现训练时间的急剧减少,分类准确性的损失可忽略不计。
translated by 谷歌翻译
鉴于学习对对抗性扰动具有鲁棒性的模型的明显困难,我们建议解决开发对抗性强大特征的更简单问题。具体而言,给定数据集和感兴趣的度量,目标是返回1)对对抗性扰动具有鲁棒性的函数(或多个函数),以及2)在数据点上具有显着变化。我们在数据集和感兴趣的度量的几何的自然光谱特性之间建立了强大的连接。可以利用此连接提供强大的功能,以及在整个数据集中具有显着差异的任何功能的稳健性的下限。最后,我们提供了经验证据,证明这种光谱方法给出的对抗性强大的特征可以有效地用于学习强大(和准确)的模型。
translated by 谷歌翻译
我们考虑张量完成问题来预测张量的缺失条目。常用的CP模型具有三重产品形式,但是二次模型的替代系列是成对产品的总和而不是三重产品,已经从诸如推荐系统的应用中出现。非凸方法是学习二次模型的首选方法,本文研究了它们的样本复杂度和误差保证。我们的主要结果是,由于样本的数量在维度上仅是线性的,均方误差目标的所有局部最小值都是全局最小值并且准确地恢复原始张量。这些技术提供了简单的证明,表明凸松弛可以恢复具有线性数量样本的二次拉伸器。我们通过对合成和现实世界数据的实验证实了我们的理论结果,表明在可获得的观测数量有限的情况下,二次模型比CP模型具有更好的性能。
translated by 谷歌翻译
我们研究了存在丢失数据(ST-miss)时子空间跟踪的相关问题以及具有缺失数据(RST-miss)的鲁棒子空间跟踪。这里“鲁棒”指的是稀疏异常值的鲁棒性。在最近的工作中,我们研究了RST问题而没有丢失数据。在这项工作中,我们对RST解决方案方法的简单修改也分别在较弱和类似的假设下证明了ST-miss和RST-miss。据我们所知,我们的结果是ST-miss和RST-miss的第一个完整保证。这意味着我们能够证明,在仅对算法输入(输入数据和/或初始化)的假设下,输出子空间估计始终接近真实数据子空间。我们的保证在温和且易于解释的假设下处理时间变化的子空间(与以前的所有工作不同)。我们还表明,与现有方法相比,我们的算法及其扩展速度快,具有竞争性的实验性能。
translated by 谷歌翻译
我们提出了一种新的循环生成模型,用于在参与文本标题的特定部分时从文本标题生成图像。我们的模型通过在“画布”上逐步添加补丁来创建图像,同时在每个时间步长处参与文本标题中的单词。最后,画布通过一个扩展网络来生成图像。我们还介绍了一种基于自注意超文本生成视觉语义句嵌入的新方法。我们将模型生成的图像与生成的Reed et.al.模型进行比较,并证明我们的模型是文本到图像生成任务的更强基线。
translated by 谷歌翻译
音乐在很大程度上依赖于重复来构建结构和意义。自我引用发生在多个时间尺度上,从主题到短语再到整个音乐部分的重用,例如具有ABA结构的片段。变形金刚(Vaswani et al。,2017)是一种基于自我关注的序列模型,在需要保持长程一致性的许多代任务中取得了令人瞩目的成果。这表明自我关注也可能非常适合音乐建模。然而,在音乐创作和表演中,相对时间至关重要。用于基于成对距离表示变压器中的相对位置信息的现有方法(Shaw等,2018)。这对于诸如音乐作品的长序列是不切实际的,因为它们的存储器复杂性在序列长度上是二次的。我们提出了一种算法,可以将中间内存需求减少到序列长度的线性。这使得我们能够证明具有我们经过修改的相对注意力机制的变形金刚可以生成具有引人注目结构的长达数千步的组合,生成连续性地对agiven主题进行详细阐述的连续性,并且在seq2seq设置中生成以条件为条件的伴奏。我们在两个数据集,JSB Chorales和Piano-e-competition上用我们的相对注意机制评估Transformer,并获得后者的最新结果。
translated by 谷歌翻译
这项工作迈出了解决“无相位子空间跟踪”(PST)问题的第一步。 PST涉及在以下结构假设下从每个信号的无相位线性投影中恢复信号(或图像)的时间序列:信号序列是从更低维的子空间(比信号维度)生成的,并且该子空间可以转换时间,尽管是逐渐的。它可以简单地理解为近期工作中研究的低秩相位检索问题的动态(时变子空间)扩展。
translated by 谷歌翻译
人工智能(AI)最近经历了复兴,在视觉,语言,控制和决策等关键领域取得了重大进展。部分原因在于廉价数据和廉价的计算资源,它们符合深度学习的自然优势。然而,在许多不同压力下发展的人类智能的许多定义特征仍然是当前方法所无法实现的。特别是,超越一个人的经验 - 从人类智慧中获得人类智慧的标志 - 仍然是现代人工智能的一项艰巨挑战。以下是部分立场文件,部分审查和部分统一。认为组合概括必须是人工智能达到人类能力的首要任务,结构化表征和计算是实现这一目标的关键。就像生物学使用自然和培养合作一样,我们拒绝“手工工程”和“端到端”学习之间的错误选择,而是主张从其互补优势中获益的方法。我们探索在深度学习架构中如何使用关系归纳偏差可以促进对实体,关系和组成它们的规则的学习。我们为AI工具包提供了一个新的构建模块,它具有强大的关系引导偏差 - 图形网络 - 它概括和扩展了在图形上运行的神经网络的各种方法,并提供了一个简单的界面来操纵结构化知识和生产结构化行为。我们讨论图网络如何支持关系推理和组合泛化,为更复杂,可解释和灵活的推理模式奠定基础。作为本文的参考,我们发布了一个用于构建图形网络的开源软件库,并演示了如何在实践中使用它们。
translated by 谷歌翻译