在过去的几十年中,人们对分布式计算的兴趣激增,感谢群集计算和大数据技术的进步。现有的分布式算法通常假设{\所有数据已经​​在一个地方},并在数据上划分并在多台机器上征服。然而,越来越多的是,数据位于多个分布式站点,并且希望以低通信开销计算所有数据。对于谱聚类,我们提出了一种新的框架,可以对这种分布式数据进行计算,“最小的“通信,而计算中的主要加速。与非分布式设置相比,精度损失可以忽略不计。我们的方法允许在数据所在的位置进行局部并行计算,从而将数据的分布式特性转化为祝福;当数据在站点之间均匀分布时,加速是最重要的。在合成和大型UC Irvine数据集上的实验表明,使用我们的方法几乎没有精度损失,而在具有两个分布式站点的各种设置下大约2倍的加速。由于传输的数据不需要是其原始形式,我们的框架很容易解决分布式计算中数据共享的隐私问题。
translated by 谷歌翻译
基于蒸馏的学习基于以下假设提高了小型化神经网络的性能:教师模型的表示可以用作结构化且相对弱的监督,因此可以通过小型化模型容易地学习。然而,我们发现,对于训练一个小学生模型来说,交错重型模型的表示仍然是一个强大的约束,这导致了同余损失的高下界。在这项工作中,受课程学习的启发,我们从路线学课程学习的角度考虑知识蒸馏。我们使用融合教师模型监督学生模型,而不是使用从教师模型传递的参数空间中的路径中选择的一些锚点来监督它,我们称之为路径约束优化(RCO)。我们通过实验证明这种简单的操作大大降低了同形体的下限,用于知识蒸馏,暗示和模仿学习。在像CIFAR100和ImageNet这样的密集分类任务中,RCO分别将知识分析提高了2.14%和1.5%。为了评估一般化,我们还在开放式人脸识别任务MegaFace上测试RCO。
translated by 谷歌翻译
最大的k-plex问题是一个计算复杂的问题,它来自图论的社会网络研究。本文提出了有效的混合局部搜索,用于解决最近提出的突破局部搜索算法与强化学习策略的最大k-plex问题。所提出的方法包括区分特征,例如:基于交换操作符的统一邻域搜索,针对动作的距离和质量奖励以及基于强化学习的新参数控制机制。对来自第二次DIMACS挑战的80个基准实例的最大k-问题(k = 2,3,4,5)的广泛实验表明,所提出的方法可以与除了四个问题实例之外的所有文献中的最佳已知结果相匹配。此外,所提出的算法能够找到32个新的最佳解决方案。
translated by 谷歌翻译
K-最近邻(kNN)搜索在许多领域有广泛的应用,包括数据挖掘,机器学习,统计和许多应用领域。由于集成方法的成功和基于树的方法的灵活性,我们提出了随机投影森林(rpForests)对于kNN search.rpForests通过聚合来自randomprojection树集合的结果来找到kNN,每个结构树通过一系列精心选择的随机投影递归地构建。 rpForests在kNN缺失率和kNN距离差异的快速衰减方面取得了显着的准确性。 rpForests的计算复杂度非常低。 rpForests的感知特性使其可以在多核或集群计算机上轻松并行运行;预计运行时间与核心或机器的数量几乎成反比。我们通过显示当集合大小增加时相邻点将被集合随机投影树分开的概率的指数衰减给出理论上的见解。我们的理论可以用来改进树木生长中随机投影的选择,实验表明效果显着。
translated by 谷歌翻译
Botnet是一组协调机器人,正在成为恶意互联网活动的主要平台,如DDOS,点击欺诈,网络抓取,垃圾邮件/爆炸分布等。本文重点介绍从流媒体网络服务器日志中检测僵尸网络的新方法的设计和实验,以其广泛的适用性,实时保护能力,易用性和敏感数据的安全性为动力。我们的算法受到主成分分析(PCA)的启发,以捕获数据中的相关性,我们首先认识并采用Lanczos方法来提高基于PCA的僵尸网络检测从立方到亚立方的时间复杂度,这使我们能够更准确和敏感地使用使用滑动时间窗口而不是固定时间窗口检测僵尸网络。我们基于对称矩阵的误差和非递减特征值,为我们的目的贡献了一个广义的在线相关矩阵更新公式和Lanczos迭代的新终止条件。在我们对电子商务网站日志的数据集中,实验表明Lanczos方法与不同时间窗口的时间成本一直只是PCA的20%到25%。
translated by 谷歌翻译
阶段性训练策略通常用于学习神经网络,其使用随机算法(例如,SGD),以相对大的步长(也称为学习速率)开始并且在迭代次数之后几何上减小步长。已经观察到,阶段性SGD比香草SGD具有更快的收敛,并且在训练误差和测试误差方面具有连续递减的步长。 {\ it但如何解释这一现象在很大程度上被现有研究所忽视。}本文为解释这种快速收敛提供了理论依据。特别地,我们考虑了满足Polyak - {\ L} ojasiewicz条件的最小经验风险的分阶段训练策略,该条件已被神经网络观察/证明,并且也适用于广泛的凸函数族。对于凸损函数和接近凸函数的“良好行为”非凸损失函数(即弱凸函数),我们确定在相同条件下对训练误差和测试误差的阶段性训练更快收敛香草SGD。更好地依赖于问题的条件数。实际上,所提出的算法具有附加的有利特征,其具有对所考虑的非凸优化问题的理论保证,包括在每个阶段使用显式算法正则化,使用分级平均解决方案来重新启动,并且返回最后阶段平均解决方案作为最终解决方案。为了区别于常用的分段SGD,我们将算法称为分阶段正则化训练算法或{\ start}。独立感兴趣的是,对于一族非凸损失函数,{\ start}的证明测试误差是维度和范数无关的。
translated by 谷歌翻译
我们提出了一个LIDAR仿真框架,可以根据LIDAR类型和位置自动生成3Dpoint云。带有地面真实语义标签的点云将被用作训练数据,以提高自动驾驶车辆的环境感知能力。与以前的模拟器不同,我们基于重新环境和实际交通流量生成点云。更具体地说,我们采用带摄像头的移动LIDAR扫描仪来捕捉真实世界的场景。我们的模拟框架的输入包括密集的3D点云和注册的彩色图像。自动识别和记录移动物体(例如汽车,行人,骑自行车者)。然后从输入点云中移除这些对象以恢复静态背景(例如,没有可移动对象的环境)。我们可以在静态背景中插入各种障碍物的合成模型,例如车辆和行人,以创建各种交通场景。一个新颖的LIDAR渲染器采用复合场景生成新的逼真LIDAR点,这些点已经在合成对象的点级注释。实验结果表明,我们的系统能够在不同的应用中将仿真与实际数据之间的性能差距缩小到1~6%,而对于模式调整,只有10%~20%的额外实际数据有助于优于全实数训练的原始模型。数据集。
translated by 谷歌翻译
本文提出了一种加速近端随机方差减少梯度(ASVRG)方法,其中我们设计了一种简单有效的瞬时加速技巧。与大多数现有的加速随机变差减少方法(如卡秋莎)不同,ASVRG只有一个额外的变量和一个动量参数。因此,ASVRG比那些方法简单得多,并且具有更低的每次迭代复杂度。我们证明ASVRG实现了强凸和非强凸目标的最着名的oracle复杂性。此外,我们将ASVRG扩展到小批量和非平滑设置。我们还凭经验验证了我们的理论结果,并表明ASVRG的性能与最先进的随机方法相当,有时甚至更好。
translated by 谷歌翻译
在这项工作中,我们提出了一种简单,高效和模块化的双路径网络(DPN),用于图像分类,在内部呈现新的连接路径拓扑。通过揭示HORNN框架内最先进的剩余网络(ResNet)和密集卷积网络(DenseNet)的等效性,我们发现ResNet支持功能使用,而DenseNet支持新功能探索,这对于学习良好的表示非常重要。 。为了享受两种路径拓扑带来的好处,我们提出的双路径网络具有共同的特性,同时保持通过双重架构探索新功能的灵活性。三个基准数据集,ImagNet-1k,Places365和PASCAL VOC的广泛实验清楚地表明了所提出的DPN优于现有技术的卓越性能。特别是在ImagNet-1k数据集上,浅DPN超过最好的ResNeXt-101(64x4d),模型尺寸减小26%,计算成本减少25%,内存消耗减少8%,更深入的DPN(DPN-131)进一步推动最先进的单一模型性能,训练速度提高了2倍。 Places365大规模数据集,PASCAL VOC检测数据集和PASCAL VOC分段数据集的实验也证明了其在各种应用中的性能始终优于DenseNet,ResNet和最新的ResNeXt模型。
translated by 谷歌翻译
点击率预测是工业应用中的重要任务,例如在线广告。最近提出了基于深度学习的模型,其遵循类似的嵌入\和MLP范例。在这些方法中,大规模稀疏输入特征首先被映射到低维度嵌入向量,然后以群组方式转换为固定长度向量,最后连接在一起以馈入多层感知器(MLP)以学习特征之间的非线性关系。通过这种方式,无论候选广告是什么,用户特征都被压缩成固定长度的表示向量。固定长度向量的使用将成为瓶颈,这使嵌入\和MLP方法难以从丰富的历史行为中有效地捕获用户的不同利益。在本文中,我们提出了一个新的模型:深度兴趣网络(DIN),它通过设计一个本地激活单元来自适应地从历史行为中了解用户兴趣的某些广告来应对这一挑战。该表示向量随着不同的广告而变化,极大地提高了模型的表达能力。此外,我们开发了两种技术:小批量感知正则化和数据自适应激活功能,可以帮助培训具有数亿个参数的工业深度网络。两个公共数据集的实验以及超过20亿个样本的阿里巴巴实际生产数据集证明了其有效性。提出的方法,与最先进的方法相比,可以实现卓越的性能。 DIN现已成功部署在阿里巴巴的在线显示广告系统中,为主要流量提供服务。
translated by 谷歌翻译