尽管在各个领域具有前所未有的性能,但在安全关键环境中使用深度神经网络(DNN)在存在甚至小的对抗性扰动时受到严重限制。目前的工作开发了一种随机方法来检测基于最小不确定性度量的这种扰动,这些度量依赖于在DNNinference阶段期间隐藏层的采样。采样概率旨在有效检测对侧损坏的输入。模块化,对手的新型探测器可以方便地由任何预先训练的DNN使用,不需要额外的训练费用。从贝叶斯神经网络的角度选择每个隐藏的layerentails采样的单位量化DNN输出不确定性的数量,其中整体不确定性以其分层组件表示 - 这也促进了可扩展性。然后通过逐层最小化不确定性度量来寻找采样概率,从而导致新的凸优化问题,其允许具有超线性收敛速率的非精确求解器。通过简化目标函数,还开发了低复杂度的近似求解器。除了宝贵的见解之外,这些近似还将新方法与最先进的随机对抗探测器联系起来。通过对具有不同强度水平的各种类型的对抗性攻击进行深入测试,强调了在竞争性替代方案中的物理探测器的有效性。
translated by 谷歌翻译
预期第五代(5G)蜂窝网络的小型基站(SB)具有存储设备,以通过在网络边缘对它们进行“高速缓存”来本地服务对可重用和流行内容的请求,从而接近最终用户。最终目标是将部分可预测负载转移到回程链路上,从高峰时段到非高峰时段,有助于提高整体网络性能和服务体验。为了使SB具有在动态设置中运行的高效\ textit {fetch-cache}决策方案,本文介绍了简单但灵活的通用时变提取和缓存成本,然后用于制定跨文件和时间的总成本的约束最小化。由于每个时隙的缓存决策影响未来时隙中的内容可用性,因此用于最佳获取 - 缓存决策的级别公式属于动态编程类。在这种通用公式中,首先通过考虑成本和文件流行度的固定分布,可以使用称为值迭代算法的基于有效增强学习的求解器来解决新出现的优化问题。后来,显示可以使用通用动态定价公式的特定实例来处理对高速缓存容量的实际限制。在此设置下,为相应的优化提供了轻量级在线求解器,采用了众所周知的强化学习算法$ Q $ -learning来寻找最佳的获取 - 缓存决策。证实所提方法的优点的数值试验结束了论文。
translated by 谷歌翻译
本文研究了分布式强化学习(DRL)问题,包括中央控制者和一组学习者。考虑广泛应用的两种DRL设置:多智能强化学习(RL)和并行RL。在这两种设置中,需要在学习者和控制器之间频繁地进行信息交换。然而,对于许多分布式系统,例如用于训练深度RL算法的并行机器,以及用于学习最佳协调策略的多机器人系统,由频繁通信引起的开销不可忽略并且成为整体性能的瓶颈。为了克服这一挑战,我们开发了一种新的政策梯度方法,可以在这种通信受限的环境中有效实施。通过自适应地跳过策略梯度通信,我们的方法可以减少通信开销而不降低学习准确性。从分析上看,我们可以确定i)算法的收敛速度与DRL任务的vanilla策略梯度相同;并且,ii)如果分布式计算单元在其奖励功能和初始陈述分布方面是不同的,则实现目标学习准确度所需的通信轮次的数量减少。对流行的多代理RLbenchmark的数值实验证实了我们的算法与替代方案相比显着的通信减少。
translated by 谷歌翻译
图形被广泛用于建模复杂系统,包括金融,生物和社交网络。网络中的节点通常需要属性,例如社交网络中用户的年龄或性别。然而,实际网络可以具有非常大的尺寸,并且例如由于隐私问题,节点属性对于多个节点是不可用的。此外,新节点可能会出现时间,这可能需要对其节点属性进行实时评估。在这种情况下,本文通过基于节点子集处的噪声观察来估计节点函数来处理节点属性的可扩展学习。开发了一种基于多核的方法,该方法可扩展到大型网络。与大多数现有方法不同,每当新节点加入网络时,重新解决所有现有节点上的函数估计问题,新方法能够提供对新加入节点上的函数值的实时评估,而无需求助于批处理求解器。有趣的是,新颖的方案只依赖于每个节点连接的加密版本,以便学习促进隐私的节点属性。合成数据集和真实数据集的实验证实了所提方法的有效性。
translated by 谷歌翻译
Multiview canonical correlation analysis (MCCA) seeks latent low-dimensional representations encountered with multiview data of shared entities (a.k.a. common sources). However , existing MCCA approaches do not exploit the geometry of the common sources, which may be available a priori, or can be constructed using certain domain knowledge. This prior information about the common sources can be encoded by a graph, and be invoked as a regularizer to enrich the maximum variance MCCA framework. In this context, the present paper's novel graph-regularized (G) MCCA approach minimizes the distance between the wanted canonical variables and the common low-dimensional representations, while accounting for graph-induced knowledge of the common sources. Relying on a function capturing the extent low-dimensional representations of the multiple views are similar, a generalization bound of GMCCA is established based on Rademacher's complexity. Tailored for setups where the number of data pairs is smaller than the data vector dimensions, a graph-regularized dual MCCA approach is also developed. To further deal with nonlinearities present in the data, graph-regularized kernel MCCA variants are put forward too. Interestingly, solutions of the graph-regularized linear, dual, and kernel MCCA, are all provided in terms of generalized eigenvalue decomposition. Several corroborating numerical tests using real datasets are provided to showcase the merits of the graph-regularized MCCA variants relative to several competing alternatives including MCCA, Laplacian-regularized MCCA, and (graph-regularized) PCA.
translated by 谷歌翻译
节点嵌入是在图的节点上提取信息性和描述性特征的任务。节点嵌入对于绘图分析的重要性,以及节点分类,链接预测和社区检测等学习任务,导致人们对该问题的兴趣增加,导致了一些最近的进展。与特征域中的PCA非常相似,节点嵌入是一种固有的\ emph {无监督}任务;由于缺乏用于验证的元数据,实际方法可能需要标准化并限制可调超参数的使用。最后,节点嵌入方法面临着在不断增加的大规模的大规模实际图形中保持可扩展性。在目前的工作中,我们提出了一种自适应节点嵌入框架,它以完全无监督的方式将嵌入过程调整到给定的图形。为了实现这一点,我们采用可调节点相似度矩阵的运算,该矩阵在不同长度的路径上分配权重。多长度相似性的设计确保了所得到的嵌入也继承了可解释的光谱特性。使用随机块模型仔细研究,解释和数值评估所提出的模型。此外,提出了一种算法方案,该算法方案以无人监督的方式有效地加工模型参数。在各个领域的许多真实世界图表上执行广泛的节点分类,链接预测和聚类实验,并与最先进的可扩展和无监督节点嵌入备选方案进行比较。所提出的方法在许多情况下享有优越的性能,同时还提供关于图的底层结构的可解释的信息。
translated by 谷歌翻译
由于可再生发电,电动车和需求响应计划的大规模部署,当代智能电网正受到快速电压波动的挑战。在这种情况下,实时监控电网的运行状况变得越来越重要。然而,随着大规模和非凸性的出现,基于过去优化的功率系统状态估计(PSSE)方案在计算上是昂贵的或者产生不理想的性能。为了绕过这些障碍,本文提出了用于实时电力系统监测的神经网络(DNN)。通过展开最先进的近似线性SE解算器,为实时PSSE开发了一种新颖的模型特定DNN,其需要最小的调整工作,并且易于完成。为了进一步在时间范围之前实现系统感知,以及赋予基于DNN的估计器弹性,深度递归神经网络(RNN)被用于电力系统状态预测。深度RNNsexpitit历史电压时间序列中存在的长期非线性依赖关系,以实现预测,并且它们易于实现。数字测试表明,与现有替代方案相比,所提出的基于DNN的估计和预测方法的性能得到改善。根据经验,在我们使用IEEE118总线基准系统上的实际负载数据进行的测试中,基于模型的特定基于DNN的PSSE在竞争替代方案中提供了几乎一个数量级的性能提升,包括广泛采用的Gauss-Newton PSSE求解器。
translated by 谷歌翻译
在本文中,我们提出了一类强大的随机次梯度方法,用于在存在未知数量的拜占庭工人的情况下从异构数据集中进行分布式学习。在学习过程中,拜占庭工作人员可能会因数据中断,通信失败或恶意攻击而向主人发送任意不正确的消息,从而避免学习模型。提出的方法的关键是正则化终止与目标函数,以便强化学习任务和减轻拜占庭攻击的负面影响。基于结果的基于子梯度的算法被称为拜占庭 - 鲁棒随机聚合方法,证明了我们今后使用的首字母缩略词RSA。与大多数现有算法相比,RSA不依赖于数据在工作者上独立且相同分布(i.i.d.)的假设,因此适用于更广泛的应用程序类。从理论上讲,我们证明:i)RSA收敛到接近最优的解,学习误差取决于拜占庭工人的数量; ii)拜占庭攻击下RSA的收敛速度与随机梯度下降法相同,后者是拜占庭攻击的自由度。在数值上,对真实数据集的实验证实了RSA的竞争性能和复杂性降低与最先进的替代方案相比。
translated by 谷歌翻译
数据泛滥的时代引发了人们对基于图形的学习方法的兴趣,这些方法涉及社会学,生物学,神经科学,工程学等多个学科。在本文中,我们介绍了一种图形递归神经网络(GRNN),用于从多关系数据中进行可扩展的半监督学习。新型GRNN架构的关键方面是使用多关系图,通过可学习的权重动态适应不同的关系,并考虑基于图的正则化器以促进平滑性和减少过度参数化。我们的最终目标是设计一个功能强大的学习架构,能够:发现复杂和高度非线性的数据关联,组合(和选择)多种类型的关系,并相对于图形的大小进行缩放。使用realdata集进行的数值测试证实了设计目标,并说明了与竞争对手相比的性能提升。
translated by 谷歌翻译
对来自多个信息库的数据进行联合分析有助于揭示异构数据集中的底层结构。单一和耦合矩阵 - 张量因子分解(CMTF)已经在这种情况下被广泛用于来自评级,社交网络和其他用户项目数据的基于插补的推荐。当这种辅助信息采用项目 - 项目相关矩阵或图形的形式时,现有的CMTF算法可能不尽如人意。为了减轻当前的局限性,我们引入了一种新的模型,它模拟了耦合图 - 张量因子分解(CGTF),明智地考虑了图形相关的信息。 CGTF模型具有克服实际挑战的潜力,例如来自张量的缺失板和/或来自相关矩阵的缺失行/列。还开发了一种新的交替方向的乘法器(ADMM),它恢复了CGTF的非负因子。我们的算法享有封闭形式的更新,导致计算复杂性降低并允许收敛声明。通过使用可解释的因子来检测具有张量作为辅助信息的图形社区,进一步探索了一种新的方向。即使图中的某些链接丢失,最终的社区检测方法也是成功的。具有实际数据集的结果证实了所提出的方法相对于提供建议和检测社区的最新竞争因子分解技术的优点。
translated by 谷歌翻译