贝叶斯优化和Lipschitz优化已经开发出用于优化黑盒功能的替代技术。它们各自利用关于函数的不同形式的先验。在这项工作中,我们探索了这些技术的策略,以便更好地进行全局优化。特别是,我们提出了在传统BO算法中使用Lipschitz连续性假设的方法,我们称之为Lipschitz贝叶斯优化(LBO)。这种方法不会增加渐近运行时间,并且在某些情况下会大大提高性能(而在最坏的情况下,性能类似)。实际上,在一个特定的环境中,我们证明使用Lipschitz信息产生与后悔相同或更好的界限,而不是单独使用贝叶斯优化。此外,我们提出了一个简单的启发式方法来估计Lipschitz常数,并证明Lipschitz常数的增长估计在某种意义上是“无害的”。我们对具有4个采集函数的15个数据集进行的实验表明,在最坏的情况下,LBO的表现类似于底层BO方法,而在某些情况下,它的表现要好得多。特别是汤普森采样通常看到了极大的改进(因为Lipschitz信息已经得到了很好的修正) - 探索“现象”及其LBO变体通常优于其他采集功能。
translated by 谷歌翻译
我们研究了独立级联模型下社交网络中的在线影响最大化问题。具体来说,我们的目标是在网络社交网络中学习一组“最佳影响者”,同时反复与之互动。我们解决了(i)组合行动空间的挑战,因为可行影响者集的数量随着最大数量的影响而呈指数增长,并且(ii)有限的反馈,因为只观察到受影响的网络部分。在随机半强盗反馈下,我们提出并分析IMLinUCB,一种基于计算效率的基于UCB的算法。关于累积遗憾的遗骸是所有感兴趣的量的多项式,实现了对相互作用数量的近似最优依赖性并反映了网络的拓扑及其边缘的激活概率,从而对问题复杂性有了洞察力。据我们所知,这些是第一个这样的结果。我们的实验表明,在几个代表性的拓扑结构中,IMLinUCB的遗憾如我们的上边界所示。 IMLinUCB允许线性泛化,因此在统计和计算上都适用于大规模问题。我们的实验也表明IMLinUCB具有线性推广可以导致对现实世界在线影响最大化的低度遗憾。
translated by 谷歌翻译
给定从未知分布中得到的数据,$ D $,在什么程度上可以“放大”这个数据集,并输出一组甚至更大的样本,这些样本似乎是从$ D $中提取的?我们将这个问题形式化如下:$(n,m)$ $ \ text {ampl procedure} $接受来自未知发行版$ D $的$ n $ independentdraws,并输出一组$ m> n $``样品'。如果没有算法可以区分放大器产生的$ m $样本集合来自$ D $的$ m $独立抽奖,概率大于$ 2/3 $,则放大程序是有效的。令人惊讶的是,在许多情况下,即使输入数据集的大小$ n $远远小于学习$ D $到非平凡准确度所需的大小,也存在有效的放大程序。具体来说,我们考虑两个基本设置:$ D $是$ \ le k $元素支持的任意离散分布的情况,以及$ D $是具有未知均值和固定协方差的$ d $ -dimensionalGaussian的情况。在第一种情况下,我们显示$ \ left(n,n + \ Theta(\ frac {n} {\ sqrt {k}})\ right)$放大器存在。特别是,假定来自$ D $的$ n = O(\ sqrt {k})$ sample,可以输出一组$ m = n + 1 $ datapoints,其总变化距离为$ m $ i.i.d的分布。从$ D $中抽取是一个很小的常数,尽管事实上需要更多的数据,$ n = \ Theta(k)$来学习$ D $直到小的恒定总变差距离。在高斯情形中,我们显示$ \ left(n,n + \ Theta(\ frac {n} {\ sqrt {d}})\ right)$放大器存在,即使将分布学习到小的恒定总变化距离也需要$ \ Theta(d)$样本。在离散和高斯设置中,我们表明这些结果是紧密的,对于恒定因子。除了这些结果之外,我们还沿着这种方式对未来研究的许多好奇方向进行了形式化。
translated by 谷歌翻译
卷积网络已成为许多计算机视觉应用中的选择范例。然而,卷积操作具有显着的弱点,因为它仅在局部邻域上运行,因此缺少全局信息。另一方面,自我关注已成为捕捉长程相互作用的最新进展,但主要应用于序列建模和生成建模任务。在本文中,我们考虑将自我关注用于判别性视觉任务作为替代的协作。我们引入了一种新颖的二维相对自我关注机制,证明在将卷积替换为图像分类的独立计算基元方面具有竞争力。我们在控制实验中发现,当结合卷积和自我关注时,可以获得最佳结果。因此,我们建议通过将卷积特征图与通过自我关注产生的一组特征图连接来增强卷积算子与这种自我关注机制。广泛的实验表明,注意增强导致ImageNet上的图像分类和COCO上的对象检测在许多不同的模型和规模上得到持续改进,包括ResNets和最先进的移动约束网络,同时保持参数的数量相似。特别是,我们的方法在ResNet50基线的ImageNet分类上实现了1.3美元以上的前1精度改进,并且优于其他图像注意机制,如挤压和激发。它还在RetinaNet基线之上实现了对OCOCO物体检测的1.4 mAP的改进。
translated by 谷歌翻译
我们考虑在$ d $ -dimensional示例流上执行线性回归的问题,并且表明使用次级二次存储器的任何算法表现出比没有内存约束时更慢的收敛速度。具体来说,考虑一系列labeledexamples $(a_1,b_1),(a_2,b_2)\ ldots,$ with $ a_i $独立于$ d $ -dimensional各向同性高斯绘制,其中$ b_i = \ langle a_i,x \ rangle + \ eta_i,$为固定的$ x \ in \ mathbb {R} ^ d $与$ \ | x \ | _2 = 1 $和内部噪音$ \ eta_i $均匀地从区间$ [ - 2 ^ { -d / 5},2 ^ { - d / 5}]。$我们证明任何最多$ d ^ 2/4 $ bits ofmeory的算法至少需要$ \ Omega(d \ log \ log \ frac {1 } {\ epsilon})$ samples to $ to $ $ $ $ $ $ $ $ $ $ $ $ $ $ epsilon $成功概率至少为$ 2/3 $,$ \ epsilon $足够小,为$ d $的函数。相比之下,对于这样的$ \ epsilon $,$ x $可以恢复到错误$ \ epsilon $ withprobability $ 1-o(1)$ with memory $ O \ left(d ^ 2 \ log(1 / \ epsilon)\ right) $使用$ d $示例。这代表了具有超线性内存的回归的第一个非平凡下界,并且可能为强记忆/样本权衡打开了大门以进行持续优化。
translated by 谷歌翻译
这项工作引入了第一个简单且可证明正确的解决方案,用于从每列的无相位(仅幅度)线性投影中恢复低秩矩阵。该问题在无相位动态成像中找到重要的应用,例如,活生物样本的傅立叶重叠成像。我们通过广泛的模拟和一些实际数据实验证明了我们提出的方法AltMinLowRaP的实际优势。在正确的不相干(右奇异向量的密集度)假设下,我们的保证表明,在小等级r的制度中,AltMinLowRaP的样本复杂度比标准的相位检索方法需要的小得多;对于低秩矩阵恢复,它只是$ r ^ 3 $倍的最优复杂度。我们还为上述问题的动态扩展提供了解决方案。这允许生成每个图像/信号的低维子空间以分段恒定的方式随时间变化。
translated by 谷歌翻译
在这项工作中,我们研究了使用深度学习算法自动识别来自二次抽样数据的接收无线通信信号的调制类型的可行性和有效性。最近的工作考虑了基于GNU无线电的数据集,该数据集模拟了真实无线信道中的不完美,并使用了10种不同的调制类型。随后开发了一种卷积神经网络(CNN)架构,并显示其性能超过了基于专家的方法。在这里,我们继续这一系列工作并研究深度神经网络架构,以提供高分类精度。我们确定了三种体系结构 - 即卷积长期短期深度神经网络(CLDNN),长期短期记忆神经网络(LSTM)和深度残留网络(ResNet) - 这导致典型的分类准确度值高达90%左右SNR。然后我们通过最小化训练数据集的大小来减少训练时间,同时减少分类准确度。为此,我们证明了主成分分析的性能显着缩短了训练时间,同时在低SNR时保持了良好的性能。我们还研究了进一步缩短训练时间的子采样技术,并为高信噪比的在线分类铺平了道路。最后,我们确定用于训练每个候选体系结构的代表性SNR值,从而实现训练时间的急剧减少,分类准确性的损失可忽略不计。
translated by 谷歌翻译
鉴于学习对对抗性扰动具有鲁棒性的模型的明显困难,我们建议解决开发对抗性强大特征的更简单问题。具体而言,给定数据集和感兴趣的度量,目标是返回1)对对抗性扰动具有鲁棒性的函数(或多个函数),以及2)在数据点上具有显着变化。我们在数据集和感兴趣的度量的几何的自然光谱特性之间建立了强大的连接。可以利用此连接提供强大的功能,以及在整个数据集中具有显着差异的任何功能的稳健性的下限。最后,我们提供了经验证据,证明这种光谱方法给出的对抗性强大的特征可以有效地用于学习强大(和准确)的模型。
translated by 谷歌翻译
我们考虑张量完成问题来预测张量的缺失条目。常用的CP模型具有三重产品形式,但是二次模型的替代系列是成对产品的总和而不是三重产品,已经从诸如推荐系统的应用中出现。非凸方法是学习二次模型的首选方法,本文研究了它们的样本复杂度和误差保证。我们的主要结果是,由于样本的数量在维度上仅是线性的,均方误差目标的所有局部最小值都是全局最小值并且准确地恢复原始张量。这些技术提供了简单的证明,表明凸松弛可以恢复具有线性数量样本的二次拉伸器。我们通过对合成和现实世界数据的实验证实了我们的理论结果,表明在可获得的观测数量有限的情况下,二次模型比CP模型具有更好的性能。
translated by 谷歌翻译
我们研究了存在丢失数据(ST-miss)时子空间跟踪的相关问题以及具有缺失数据(RST-miss)的鲁棒子空间跟踪。这里“鲁棒”指的是稀疏异常值的鲁棒性。在最近的工作中,我们研究了RST问题而没有丢失数据。在这项工作中,我们对RST解决方案方法的简单修改也分别在较弱和类似的假设下证明了ST-miss和RST-miss。据我们所知,我们的结果是ST-miss和RST-miss的第一个完整保证。这意味着我们能够证明,在仅对算法输入(输入数据和/或初始化)的假设下,输出子空间估计始终接近真实数据子空间。我们的保证在温和且易于解释的假设下处理时间变化的子空间(与以前的所有工作不同)。我们还表明,与现有方法相比,我们的算法及其扩展速度快,具有竞争性的实验性能。
translated by 谷歌翻译