即插即用(PnP)是一种非凸面框架,它将现代化的先驱(如BM3D或基于深度学习的降噪器)集成到ADMM或其他近端算法中。 PnP的一个优点是,当没有足够的数据进行端到端训练时,可以使用预训练的加速器。尽管最近已经广泛研究了PNP并取得了很大的经验成功,但理论分析甚至解决了最基本的收敛问题。在本文中,我们理论上建立了PNP-FBS和PnP-ADMM的收敛,在一定的Lipschitz条件下,在降噪器上不使用递减步长。然后我们提出真实的光谱正态化,这是一种训练基于深度学习的降噪器的技术,以满足所提出的Lipschitz条件。最后,我们提出验证该理论的实验结果。
translated by 谷歌翻译
“假动作”作为一种新型的APT攻击,已成为人们关注的焦点。它采用多阶段攻击模式,可以归结为虚拟攻击和真实攻击的组合。在虚拟攻击的掩护下,真正的攻击可以实现攻击者的真正目的,因为它往往会在不经意间造成巨大的损失。然而,据我们所知,以前的所有工作都使用常见的方法,如因果关系或基于Cased的方法来检测过时的多阶段攻击。由于检测的难度在于“假动作”概念的多样化以及缺乏专业数据集,因此很少有人注意检测“假动作”,因此许多检测方法忽略了攻击中的语义关系。针对现有挑战,本文探讨了解决问题的新方法。在攻击场景中,基于属性相似度的模糊聚类方法用于挖掘多阶段攻击链。然后我们使用afew-shot深度学习算法(SMOTE&CNN-SVM)和双向RecurrentNeural网络模型(Bi-RNN)来获得“Feint Attack”链。 “FeintAttack”是通过插入正常因果攻击链中的真实攻击来模拟的,并且真实攻击的加入破坏了原始攻击链的因果关系。因此我们使用Bi-RNN编码来获得“Feint Attack”链的隐藏特征。最后,我们的方法通过使用加拿大网络安全研究所的DARPA2000和CICIDS2017的LLDoS1.0和LLDoS2.0,实现了准确检测“Feint攻击”的目标。
translated by 谷歌翻译
代理辅助进化算法(SAEAs)是计算成本高昂的问题(CEP)的强大优化工具。然而,由于没有免费的午餐定理,随机选择的算法可能无法解决未知问题,如果我们重新运行算法或尝试其他算法来获得更多解决方案,这将导致更多的计算资源,这在CEP中更为严重。在本文中,我们考虑SAEA的算法组合,以降低为CEP选择不适当算法的风险。我们提出了两个非常昂贵的问题的框架,其中最大数量的异常评估只是问题维度的5倍。一个名为Par-IBSAEA的框架并行运行所有候选算法,一个名为UCB-IBSAEA的更复杂的框架采用强化学习的上置信区(UCB)策略来帮助在每次迭代中选择最合适的算法。为UCB政策提出了有效的奖励定义。我们考虑了三个最先进的基于个体的SAEA,针对不同的问题,并将它们与基于几个基准问题的实例建立的组合进行比较,给出了有限的计算预算。 Ourexperimental研究表明,我们提出的投资组合框架在基准问题集合上显着优于任何单一算法。
translated by 谷歌翻译
基于游戏的基准测试在人工智能(AI)技术的开发中发挥了重要作用。提供各种挑战是推动现代技术创新和理解研究的关键。 Rinascimento提供参数化的部分可观察的基于多人牌的棋盘游戏,这些参数可以轻松修改游戏中的规则,目标和物品。我们描述了所有功能的框架和游戏挑战,提供基线游戏AI和分析他们的技能。我们保留了代理商在实验中的超参数调整中心角色,突出了它如何能够严重影响性能。基线代理包含对统计前向规划算法的若干额外贡献。
translated by 谷歌翻译
在实际系统中非常昂贵的问题是非常普遍的,因为一个适合的评估花费几个小时甚至几天。在过去的几十年中,替代辅助进化算法(SAEAs)已被广泛用于解决这一关键问题。然而,大多数研究的SAEA专注于解决问题,至少十倍的问题维度,这在许多非常昂贵的现实问题中是不可接受的。在本文中,我们使用Voronoidiagram来提高SAEA的性能,并提出一个新的框架,名为基于Voronoi的有效代理协助进化算法(VESAEA),用于解决非常昂贵的问题,其中优化预算在fitnessevaluations方面仅为5倍。问题的维度。在提议的框架中,Voronoi图将整个搜索空间划分为若几个子空间,然后本地搜索在一些可能的更好的子空间中运行。此外,为了权衡勘探和开发,该框架涉及通过组合一次性交叉验证和径向基函数替代模型而开发的全局搜索阶段。性能选择器旨在在全局和本地搜索阶段之间动态和自动切换搜索。各种基准问题的实证结果表明,所提出的框架显着优于具有极其有限的适应性评估的几种最先进的算法。此外,还进一步分析了Voronoi图的功效,结果表明它有可能优化非常昂贵的问题。
translated by 谷歌翻译
本文介绍了一种简单快速的Planet Wars变体,作为基于统计规划的游戏AI代理的测试平台,以及嘈杂的超参数优化。 Planet Wars是一款实时策略游戏,具有简单的规则但复杂的游戏玩法。本文介绍的变体旨在实现高效实验,并且还可以通过固定动作空间实现与通用视频游戏AI代理的实际互操作性。如果将游戏作为一个输赢游戏(这是标准的)来进行游戏,那么这将导致在调整代理中玩游戏以及调整游戏参数时的嘈杂优化问题。在这里,我们关注调整代理的问题,并使用最近开发的N-Tuple Bandit EvolutionaryAlgorithm和许多其他优化器(包括基于顺序模型的算法配置(SMAC))来报告结果。结果表明,N-Tuple BanditEvolutionary提供了竞争性能以及对参数选择组合的影响的洞察力。
translated by 谷歌翻译
机器学习工作流程开发是一个反复试验的过程:开发人员通过测试小的修改来迭代工作流程,直到达到所需的准确性。不幸的是,现有的机器学习系统只关注模型训练 - 只占整个开发时间的一小部分 - 而忽略了解决迭代开发问题。我们建议使用Helix,amachine学习系统来优化执行情况 - 智能地缓存和重用,或者重新计算中间体。 Helix在其斯卡拉DSL中捕获了各种各样的应用程序需求,其简洁的语法定义了数据处理,模型规范和学习的统一过程。我们证明了重用问题可以被转换为Max-Flow问题,而缓存问题则是NP-Hard。我们为后者开发有效的轻量级启发式算法。 Empiricalevaluation显示Helix不仅能够在一个统一的工作流程中处理各种各样的用例,而且速度更快,在四个实际上提供比最先进系统(如DeepDive或KeystoneML)高达19倍的运行时间减少。世界在自然语言处理,计算机视觉,社会和自然科学中的应用。
translated by 谷歌翻译
近年来,作为神经网络的展开迭代算法已成为解决稀疏恢复问题的经验成功。然而,理论上的理解仍然不成熟,这使我们无法充分利用神经网络的力量。在这项工作中,我们研究了展开的ISTA(迭代收缩阈值算法),用于稀疏信号恢复。我们引入了渐近收敛对真实稀疏信号所必需的权重结构。利用这种结构,展开的ISTA可以获得线性收敛,这比一般情况下ISTA / FISTA的次线性收敛更好。此外,我们建议在网络中加入阈值来执行支持选择,这种支持选择易于实现,并且能够在理论上和经验上提高收敛速度。广泛的模拟,包括稀疏矢量恢复和对真实图像数据的压缩感知实验,证实了我们的理论结果,并证明了它们的实用性。
translated by 谷歌翻译
数据应用程序开发人员和数据科学家花费大量时间迭代机器学习(ML)工作流程 - 通过修改数据中心处理,模型训练和后处理步骤 - 通过心房和错误来实现所需的模型性能。加速机器学习的现有工作侧重于加快工作流程的一次性执行,未能解决典型ML开发的增量和动态性质。我们提出了Helix,一种声明式机器学习系统,通过优化端到端和跨迭代的工作流执行来加速迭代开发。 Helix通过程序分析和先前结果的智能重用最小化了每次迭代的运行时间,这些结果是选择性物质化的 - 为了潜在的未来利益而牺牲物化成本 - 加速未来的迭代。此外,Helix还提供了可视化工作流程DAG的图形界面,并比较了可以实现迭代开发的版本。通过两个ML应用程序,分类和结构化预测,与会者将体验Helix编程接口的模糊性以及使用Helix进行迭代开发的速度和简易性。在我们的评估中,与最先进的机器学习工具相比,Helix在累计运行时间方面实现了数量级的降低。
translated by 谷歌翻译
卷积稀疏表示是具有结构化翻译不变字典的稀疏表示形式。迄今为止,大多数卷积字典学习算法以批处理模式运行,需要在学习过程中同时访问所有训练图像,这会导致非常高的内存使用量并严重限制可以使用的训练数据。但是,最近很多作者都考虑过线性卷积字典学习算法的设计,其训练集大小比批处理方法提供更好的内存和计算成本。本文扩展了我们以前的工作,改进了以前算法的许多方面;提出一个全新的,具有更好的性能,并支持包含空间掩模,以便从不完整的数据中学习;并对这些方法进行严格的理论分析。
translated by 谷歌翻译