本文基于从SCADA系统收集的数据,提出了一种新颖灵活的故障预测解决方案。基于数据驱动方法提供两种不同级别的故障预测:(a)通用故障/状态预测和(b)特定故障类预测,通过基于无监督聚类算法和模式识别神经网络的两种基于机器学习的模块实现分别是网络。模型已经在六个光伏(PV)工厂的公园进行了评估,该工厂的功率高达10兆瓦,而且还有三个不同技术品牌的一百个逆变器模块。结果表明,所提出的方法在以下方面是有效的:(a)提前7天预测受试者一般性故障,灵敏度高达95%;(b)预测特定故障类别的损坏,时间从几小时到7天不等。该模型可轻松部署,用于在新的光伏电站和技术上进行在线监测,只需要提供历史SCADA和故障数据,故障分类和逆变器电气数据表。关键词:数据挖掘,故障预测,逆变模块,KeyPerformance指标,丢失生产
translated by 谷歌翻译
本文提出了一种在自然法则的一般框架下理解感知学习过程的理论。神经网络被视为辅助系统,其连接是拉格朗日变量,即依赖于时间的函数。它们用于最小化认知行为,这是衡量代理与环境相互作用的适当功能指标。认知行为包含一个潜在的动力学术语,非常类似于机器学习中正则化的经典表述。功能指数的一个特殊选择,导致四阶微分方程 - 认知行为规律(CAL)---展示了一种反映机器学习的经典形式的结构。特别地,与机械的作用不同,平稳性条件对应于全局最小值。此外,证明了权重的典型渐近学习条件可以与初始化共存,条件是系统动力学在被称为信息过载控制的策略下被驱动。最后,该理论针对特征提取计算机视觉问题进行了实验。
translated by 谷歌翻译
总的来说,反向传播(BP)被认为是机器学习进程中最重要的神经计算算法之一,包括深度学习的最新进展。然而,它的计算结构已成为许多关于其可论证的生物学可行性的辩论的根源。在本文中,表明当在拉格朗日框架中构建监督学习时,虽然可以看到后传播的自然出现,但也可以设计出基于在权重,神经学组成的学习伴随空间中搜索鞍点的生物学似是而非的局部算法。输出和拉格朗日乘数。这可能打开了一个真正新颖的学习算法类型的大门,由于引入了支持神经元的概念,优化方案在构造体系结构中也发挥了重要作用。
translated by 谷歌翻译
深度神经架构的有效性得到了实验和基础原理的广泛支持。还有一种清晰的证据表明激活功能(例如整流器和LSTM单元)在学习的复杂性中起着至关重要的作用。基于这一说法,本文讨论了功能框架中神经元非线性的最佳选择,这是从经典正则化论证中得到启发的。结果表明,最佳激活函数由训练集中的核扩展表示,可以在建模1-D聚类的适当的点集上有效地近似。这个想法可以自然地扩展到循环网络,其中基于内核的激活功能的表现力被证明是捕获长期依赖性的关键因素。我们通过一系列具有挑战性的实验给出了这种性质的实验证据,其中我们将结果与基于现有技术LSTM细胞的神经结构进行比较。
translated by 谷歌翻译
当大多数成功的方法在图像层面工作时,计算机视觉的难题可能会找到新的具有挑战性的解决方案,这比直接处理视觉流更加困难,就像在自然界中一样。在本文中,我们声称它们的处理自然导致制定运动不变性原理,这使得能够构建基于卷积特征的新的视觉学习理论。该理论解决了许多引起自然视觉的有趣问题,并为在视网膜上发现卷积滤波器提供了良好的计算方案。它们是由最小认知行为原理推导出的欧拉 - 拉格朗日微分方程驱动的,它与力学定律相似。与需要大规模监督的传统卷积网络不同,所提出的理论提供了一种真正的新场景,其中通过无监督的视频信号处理来进行特征学习。我们展示了该理论的实验报告,其中我们表明在运动不变性下提取的特征产生了可以通过测量基于信息的指数来评估的改进。
translated by 谷歌翻译
总的来说,随机梯度的行为被认为是一个具有挑战性的问题,它经常出现在统计机器学习的框架中。本文提供了一种新的视角,分析了在处理基于耗散动力学的随机梯度的广义版本时出现的在线学习模型。为了面对这些模型的复杂演化,提出了一种基于单能平衡方程的系统处理方法,该方程是通过Caldirola-Kanai(CK)哈密顿量导出的。根据这些方程,学习可以看作是与损失函数递减相对应的无序过程。最后,本文建立的主要结果是在准周期环境中,模式新颖性随着时间的推移逐渐受到限制。通过,系统动力学在权重空间中产生渐近一致的解,即解决方案将相似的模式映射到相同的决策。
translated by 谷歌翻译
本文介绍了为SemEval-2019竞赛任务5hat-Eval Basile等开发的系统。 (2019)(团队名称:LU团队)和任务6 OffensEvalZampieri等。 (2019b)(团队名称:NLPR @ SRPOL),我们在子任务C中获得了第二个位置。系统在一个集合中组合了几个模型(LSTM,Transformer,OpenAI的GPT,随机森林,SVM)和各种嵌入(自定义,ELMo,fastText) ,Universal Encoder)以及其他语言功能(黑名单数量,特殊字符等)。该系统采用多层黑名单和大量爬行数据,注释为一般攻击性。在本文中,我们对结果进行了广泛的分析,并展示了特征和嵌入的组合如何影响模型的性能。
translated by 谷歌翻译
图像质量在基于CNN的图像分类性能中起着重要作用。使用扭曲的样本对网络进行精细调整对于大型网络来说可能成本太高。为了解决这个问题,我们提出了一种优化的转移学习方法,以便考虑到在CNN的每一层中,一些滤波器比其他滤波器更容易受到图像失真的影响。我们的方法识别最易受影响的过滤器,并仅对过滤器应用重新训练,这些过滤器显示干净图像和失真图像之间的最高激活图距离。使用Borda计数选择方法对过滤器进行排序,然后仅微调受影响的过滤器。这显着减少了重新训练的参数数量。我们在CIFAR-10和CIFAR-100数据集上评估这种方法,在两种不同的模型和两种不同类型的失真上进行测试。结果表明,由于减少了微调参数的数量,所提出的传递学习技术由于输入数据失真而以相当于现有方法的相当快的速度恢复了大部分丢失的性能。当为训练提供很少的噪声样本时,我们的滤波器级微调表现特别好,也优于现有技术的层级传输学习方法。
translated by 谷歌翻译
本文提出了采集汤普森采样(ATS),这是一种基于随机过程采样多采集函数的思想的批量贝叶斯优化算法(BO)。我们通过采集函数对一组模型参数的依赖来定义该过程。 ATS在概念上简单,直接实现,与其他批处理BO方法不同,它可以用于并行化任何顺序采集功能。为了提高多模态任务的性能,我们表明ATS可以与现有技术结合以实现不同探索 - 利用交易,并考虑未决的功能评估。我们在各种基准函数和流行的梯度增强树算法的超参数优化上进行了实验。这些证明了我们的算法与两个最先进的批量BO方法的竞争力,以及它对经典并行Thompson采样BO的优势。
translated by 谷歌翻译
神经网络在软件中变得越来越普遍,因此能够验证它们的行为是很重要的。因为验证神经网络的正确性极具挑战性,所以通常关注这些系统的其他属性的验证。特别是一个重要的特性是鲁棒性。然而,大多数现有的鲁棒性定义都集中在输入是对偶的最坏情况。这种鲁棒性的概念太强大,并且不太可能被实际的神经网络所满足和可验证。观察神经网络的实际输入是从非对抗性概率分布中得出的,我们提出了一种新的鲁棒性概念:概率鲁棒性,它要求神经网络具有至少$(1 - \ epsilon)$概率的鲁棒性。输入分布。这种概率方法是实用的,并提供了估计神经网络鲁棒性的原则方法。我们还提出了一种基于抽象解释和重要性抽样的算法,用于检查神经网络是否具有概率稳健性。我们的算法使用抽象解释来近似神经网络的行为,并计算违反鲁棒性的输入区域的近似。然后,它使用重要采样来抵消这种过度近似的影响,并计算出神经网络违反鲁棒性的概率的准确估计。
translated by 谷歌翻译