高维和不完整(HDI)数据在各种工业应用中具有巨大的交互信息。潜在因素(LF)模型在从具有随机梯度不错(SGD)算法的HDI数据中提取有价值的信息方面非常有效。但是,基于SGD的LFA模型患有缓慢的收敛性,因为它仅考虑当前的学习误差。为了解决这个关键问题,本文提出了一个非线性PID增强自适应潜在因素(NPALF)模型,具有两个折叠的想法:1)通过考虑过去的学习错误,按照非线性PID控制器的原理来重建学习错误;b)按照粒子群优化(PSO)算法的原理有效地实施所有参数适应。四个代表性HDI数据集的经验结果表明,与五个最先进的LFA模型相比,NPALF模型可实现HDI数据缺失数据的更好的收敛率和预测准确性。
translated by 谷歌翻译
随机梯度下降(SGD)算法是在高维和不完整(HDI)矩阵上建立潜在因子分析(LFA)模型的有效学习策略。通常采用粒子群优化(PSO)算法来制造基于SGD的LFA模型的超参数,即学习率和正则化系数,自我适应。但是,标准的PSO算法可能会遭受过早收敛引起的准确损失。为了解决这个问题,本文将更多的历史信息纳入了每个粒子的进化过程中,以避免遵循广义摩托明(GM)方法的原理过早收敛,从而创新了新型的GM合并PSO(GM-PSO)。有了它,基于GM-PSO的LFA(GMPL)模型将进一步实现高效参数的有效自适应。三个HDI矩阵的实验结果表明,GMPL模型可实现较高的预测准确性,用于工业应用中缺少数据估计。
translated by 谷歌翻译
在高维和不完整的矩阵中提取潜在信息是一个重要且具有挑战性的问题。潜在因子分析(LFA)模型可以很好地处理高维矩阵分析。最近,已经提出了粒子群优化(PSO)组合的LFA模型,以高效率调节超参数。但是,PSO的掺入会导致过早问题。为了解决这个问题,我们提出了一个顺序的Adam-unjusting-Antennae BAS(A2BAS)优化算法,该算法完善了由PSO成立的LFA模型获得的潜在因素。 A2BAS算法由两个子算法组成。首先,我们设计了一种改进的BAS算法,该算法可调节甲虫的触角并使用Adam进行尺寸。其次,我们实施了改进的BAS算法,以顺序优化所有行和列潜在​​因子。通过对两个实际高维矩阵的实验结果,我们证明我们的算法可以有效地解决过早的收敛问题。
translated by 谷歌翻译
大规模的无向加权网络通常在与大数据相关的研究领域中发现。自然可以将其量化为用于实施大数据分析任务的对称高维和不完整(SHDI)矩阵。对称非负潜在因素分析(SNL)模型能够从SHDI基质中有效提取潜在因子(LFS)。然而,它依赖于约束培训计划,这使其缺乏灵活性。为了解决这个问题,本文提出了一个不受限制的对称非负潜在因素分析(USNL)模型。它的主要思想是两个方面:1)通过将非负映射函数集成到SNL模型中,输出LFS与决策参数分开; 2)随机梯度下降(SGD)用于实施不受限制的模型训练,并确保输出LFS非负性。对由实际的大数据应用产生的四个SHDI矩阵的实证研究表明,与SNL模型相比,USNL模型可实现缺失数据的预测准确性,以及高度竞争性的计算效率。
translated by 谷歌翻译
潜在因子(LF)模型可有效地通过低级矩阵近似来表示高维和稀疏(HID)数据。Hessian无(HF)优化是利用LF模型目标函数的二阶信息的有效方法,并已用于优化二阶LF(SLF)模型。但是,SLF模型的低级表示能力在很大程度上取决于其多个超参数。确定这些超参数是耗时的,它在很大程度上降低了SLF模型的实用性。为了解决这个问题,在这项工作中提出了实用的SLF(PSLF)模型。它通过分布式粒子群优化器(DPSO)实现了超参数自加载,该粒子群(DPSO)无梯度且并行化。对真实HID数据集的实验表明,PSLF模型比在数据表示能力中的最先进模型具有竞争优势。
translated by 谷歌翻译
张量(NLFT)模型的非负潜在分解可以很好地模拟隐藏在非负服务质量(QOS)数据中的时间模式,以预测具有高精度的未观察到的时间模式。但是,现有的NLFT模型的目标函数基于欧几里得距离,这只是\ b {eta} devivergence的一种特殊情况。因此,我们可以通过采用\ b {eta} - 差异来构建广义的NLFT模型以实现预测准确性增益吗?为了解决此问题,本文提出了基于NLFT模型(\ b {eta} -nlft)的\ b {eta} -nlft)。它的想法是双重的1)用\ b {eta} - 差异来建立学习目标,以实现更高的预测准确性,2)实施对超参数的自适应以提高实用性。对两个动态QoS数据集的实证研究表明,与最先进的模型相比,所提出的\ b {eta} -NLFT模型可实现未观察到的QoS数据的较高预测准确性。
translated by 谷歌翻译
随着区块链技术的开发,基于区块链技术的加密货币越来越受欢迎。这给出了一个巨大的加密货币交易网络,引起了广泛关注。网络的链接预测学习结构有助于了解网络的机制,因此在加密货币网络中也广泛研究了网络的机制。但是,过去研究中忽略了加密货币交易网络的动态。我们使用图形正则方法将过去的交易记录与未来交易联系起来。基于此,我们提出了一种潜在因子依赖性,非负因子,乘法和图形正规化的已归合性更新(SLF-NMGRU)算法,并进一步提出了图形正则化的非负潜在因子分析(GRNLFA)模型。最后,在真实加密货币交易网络上进行的实验表明,提出的方法提高了准确性和计算效率
translated by 谷歌翻译
An undirected weighted graph (UWG) is frequently adopted to describe the interactions among a solo set of nodes from real applications, such as the user contact frequency from a social network services system. A graph convolutional network (GCN) is widely adopted to perform representation learning to a UWG for subsequent pattern analysis tasks such as clustering or missing data estimation. However, existing GCNs mostly neglects the latent collaborative information hidden in its connected node pairs. To address this issue, this study proposes to model the node collaborations via a symmetric latent factor analysis model, and then regards it as a node-collaboration module for supplementing the collaboration loss in a GCN. Based on this idea, a Node-collaboration-informed Graph Convolutional Network (NGCN) is proposed with three-fold ideas: a) Learning latent collaborative information from the interaction of node pairs via a node-collaboration module; b) Building the residual connection and weighted representation propagation to obtain high representation capacity; and c) Implementing the model optimization in an end-to-end fashion to achieve precise representation to the target UWG. Empirical studies on UWGs emerging from real applications demonstrate that owing to its efficient incorporation of node-collaborations, the proposed NGCN significantly outperforms state-of-the-art GCNs in addressing the task of missing weight estimation. Meanwhile, its good scalability ensures its compatibility with more advanced GCN extensions, which will be further investigated in our future studies.
translated by 谷歌翻译
电力消耗预测对于一个国家的能源计划至关重要。在启用机器学习模型中,支持向量回归(SVR)已被广泛用于设置预测模型,因为其对看不见的数据的卓越概括。但是,预测建模的一个关键过程是特征选择,如果选择不正确的功能,这可能会损害预测准确性。在这方面,在本研究中采用了修改的离散粒子群优化(MDPSO)进行特征选择,然后构建了MDPSO-SVR混合模式来预测未来的电力消耗。与其他完善的对应物相比,MDPSO-SVR模型在两个现实世界中的电力消耗数据集中始终如一地表现最好,这表明用于功能选择的MDPSO可以提高预测准确性,并且配备了MDPSO的SVR可以是电力替代方案。消费预测。
translated by 谷歌翻译
最近,深度神经网络(DNN)已被广泛引入协作过滤(CF),以产生更准确的建议结果,因为它们可以捕获项目和用户之间复杂的非线性关系的能力。计算复杂性,即消耗很长的培训时间并存储大量可训练的参数。为了解决这些问题,我们提出了一种新的广泛推荐系统,称为“广泛协作过滤”(BRODCF),这是一种有效的非线性协作过滤方法。广泛的学习系统(BLS)代替DNN,用作映射功能,以学习用户和项目之间复杂的非线性关系,这些功能可以避免上述问题,同时达到非常令人满意的建议性能。但是,直接将原始评级数据馈送到BLS不可行。为此,我们提出了一个用户项目评分协作矢量预处理程序,以生成低维用户信息输入数据,该数据能够利用最相似的用户/项目的质量判断。在七个基准数据集上进行的广泛实验证实了所提出的广播算法的有效性
translated by 谷歌翻译
矩阵的完成问题旨在从对其个别元素的观察中恢复低级$ r \ ll d $的$ d \ times d $地面真相矩阵。现实世界中的矩阵完成通常是一个巨大的优化问题,$ d $如此之大,以至于即使是$ O(d)$ o(d)$ o(d)$ o(d)$ o(d)$ o(d)$ o(d)$ o(d)$ o(d)$ o(d)$ o(d)$ o(d)$ o(d)$ d $的昂贵。随机梯度下降(SGD)是少数能够大规模求解矩阵完成的算法之一,也可以自然地通过不断发展的地面真相处理流数据。不幸的是,当底层地面真理不足时,SGD经历了戏剧性的减速。它至少需要$ o(\ kappa \ log(1/\ epsilon))$迭代才能获得$ \ epsilon $ -close $ \ epsilon $ -Close以接地真相矩阵,条件号$ \ kappa $。在本文中,我们提出了一个预处理的SGD版本,该版本保留了SGD的所有有利的实践素质用于大规模的在线优化,同时也使其不可知到$ \ kappa $。对于对称地面真相和根平方错误(RMSE)损失,我们证明预处理的SGD收敛到$ \ epsilon $ -Accuracy in $ o(\ log(1/\ epsilon))$ tererations $迭代,并具有快速的线性线性融合率好像地面真相是完美的条件,$ \ kappa = 1 $。在我们的数值实验中,我们观察到在1位跨透明拷贝损失下进行的不条件矩阵完成的加速度,以及贝叶斯个性化排名(BPR)损失等成对损失。
translated by 谷歌翻译
缺少数据是数据驱动的智能运输系统(ITS)中不可避免且常见的问题。在过去的十年中,学者们对丢失的流量数据的恢复进行了许多研究,但是如何充分利用时空交通模式以改善恢复性能仍然是一个开放的问题。针对流量速度数据的时空特征,本文将缺失数据的恢复视为矩阵完成问题,并根据隐藏的功能分析提出了一种时空的交通数据完成方法,该方法发现时空模式和基础模式从不完整数据的结构完成恢复任务。因此,我们引入空间和时间相关性,以捕获每个维度的主要基础特征。最后,这些潜在功能通过潜在功能分析应用于恢复流量数据。实验和评估结果表明,模型的评估标准值很小,这表明该模型具有更好的性能。结果表明该模型可以准确估计连续缺少的数据。
translated by 谷歌翻译
As the Internet developed rapidly, it is important to choose suitable web services from a wide range of candidates. Quality of service (QoS) describes the performance of a web service dynamically with respect to the service requested by the service consumer. Moreover, the latent factorization of tenors (LFT) is very effective for discovering temporal patterns in high dimensional and sparse (HiDS) tensors. However, current LFT models suffer from a low convergence rate and rarely account for the effects of outliers. To address the above problems, this paper proposes an Alternating direction method of multipliers (ADMM)-based Outlier-Resilient Nonnegative Latent-factorization of Tensors model. We maintain the non-negativity of the model by constructing an augmented Lagrangian function with the ADMM optimization framework. In addition, the Cauchy function is taken as the metric function to reduce the impact on the model training. The empirical work on two dynamic QoS datasets shows that the proposed method has faster convergence and better performance on prediction accuracy.
translated by 谷歌翻译
Recently, evolutionary multitasking (EMT) has been successfully used in the field of high-dimensional classification. However, the generation of multiple tasks in the existing EMT-based feature selection (FS) methods is relatively simple, using only the Relief-F method to collect related features with similar importance into one task, which cannot provide more diversified tasks for knowledge transfer. Thus, this paper devises a new EMT algorithm for FS in high-dimensional classification, which first adopts different filtering methods to produce multiple tasks and then modifies a competitive swarm optimizer to efficiently solve these related tasks via knowledge transfer. First, a diversified multiple task generation method is designed based on multiple filtering methods, which generates several relevant low-dimensional FS tasks by eliminating irrelevant features. In this way, useful knowledge for solving simple and relevant tasks can be transferred to simplify and speed up the solution of the original high-dimensional FS task. Then, a competitive swarm optimizer is modified to simultaneously solve these relevant FS tasks by transferring useful knowledge among them. Numerous empirical results demonstrate that the proposed EMT-based FS method can obtain a better feature subset than several state-of-the-art FS methods on eighteen high-dimensional datasets.
translated by 谷歌翻译
深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是,我们一般花费更长的培训时间,以更多的计算和沟通。在本调查中,我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法,详细阐述了大批量培训中出现的泛化差距的可辩论主题,并审查了解决通信开销并减少内存足迹的SOTA策略。
translated by 谷歌翻译
工业机器人在自动生产中起着至关重要的作用,该生产已在工业生产活动中广泛使用,例如处理和焊接。但是,由于未校准的机器人具有加工耐受性和组装耐受性,因此其绝对定位精度较低,无法满足高精度制造的要求。为了解决这个热门问题,我们提出了一种基于无味的卡尔曼过滤器和变量尺寸的levenberg-marquardt算法的新型校准方法。这项工作有三个想法:a)提出一种新颖的变量尺寸的levenberg-marquardt算法来解决Levenberg-Marquardt算法中本地最佳的问题; b)使用无气味的卡尔曼过滤器来减少测量噪声的影响; c)开发一种新型的校准方法,该方法结合了带有变量尺寸的levenberg-marquardt算法的无气体卡尔曼滤波器。此外,我们对ABB IRB 120工业机器人进行了足够的实验。从实验结果中,提出的方法比某些最新的校准方法获得了更高的校准精度。因此,这项工作是机器人校准领域的重要里程碑。
translated by 谷歌翻译
随着电子技术开发和生产技术的改进,工业机器人为社会服务和工业生产提供了优势。但是,由于长期机械磨损和结构变形,绝对定位精度较低,这极大地阻碍了制造业的发展。校准机器人的运动学参数是解决该机器人的有效方法。但是,主要的测量设备(例如激光跟踪器和坐标测量机)很昂贵,需要特殊人员才能操作。此外,在测量过程中,由于许多环境因素的影响,产生了测量噪声,这将影响机器人的校准精度。在这些基础上,我们完成了以下工作:a)基于平面约束的机器人校准方法,以简化测量步骤; b)采用平方根培养Kalman滤波器(SCKF)算法来减少测量噪声的影响; c)提出了一种新型算法,用于鉴定基于SCKF算法和Levenberg Marquardt(LM)算法的运动学参数以达到高校准精度; d)采用拨号指示器作为削减成本的测量设备。足够的实验验证了所提出的校准算法和实验平台的有效性。
translated by 谷歌翻译
Recommender systems provide users with personalized suggestions for products or services. These systems often rely on Collaborating Filtering (CF), where past transactions are analyzed in order to establish connections between users and products. The two more successful approaches to CF are latent factor models, which directly profile both users and products, and neighborhood models, which analyze similarities between products or users. In this work we introduce some innovations to both approaches. The factor and neighborhood models can now be smoothly merged, thereby building a more accurate combined model. Further accuracy improvements are achieved by extending the models to exploit both explicit and implicit feedback by the users. The methods are tested on the Netflix data. Results are better than those previously published on that dataset. In addition, we suggest a new evaluation metric, which highlights the differences among methods, based on their performance at a top-K recommendation task.
translated by 谷歌翻译
大多数现有推荐系统仅基于评级数据,并且他们忽略了可能会增加建议质量的其他信息来源,例如文本评论或用户和项目特征。此外,这些系统的大多数仅适用于小型数据集(数千个观察)并且无法处理大型数据集(具有数百万观察结果)。我们提出了一种推荐人算法,该算法将评级建模技术(即潜在因子模型)与基于文本评论(即潜在Dirichlet分配)的主题建模方法组合,并且我们扩展了算法,使其允许添加额外的用户和项目 - 对系统的特定信息。我们使用具有不同大小的Amazon.com数据集来评估算法的性能,对应于23个产品类别。将建筑模型与四种其他型号进行比较后,我们发现将患有评级的文本评语相结合,导致更好的建议。此外,我们发现为模型添加额外的用户和项目功能会提高其预测精度,这对于中型和大数据集尤其如此。
translated by 谷歌翻译
Point cloud registration (PCR) is a popular research topic in computer vision. Recently, the registration method in an evolutionary way has received continuous attention because of its robustness to the initial pose and flexibility in objective function design. However, most evolving registration methods cannot tackle the local optimum well and they have rarely investigated the success ratio, which implies the probability of not falling into local optima and is closely related to the practicality of the algorithm. Evolutionary multi-task optimization (EMTO) is a widely used paradigm, which can boost exploration capability through knowledge transfer among related tasks. Inspired by this concept, this study proposes a novel evolving registration algorithm via EMTO, where the multi-task configuration is based on the idea of solution space cutting. Concretely, one task searching in cut space assists another task with complex function landscape in escaping from local optima and enhancing successful registration ratio. To reduce unnecessary computational cost, a sparse-to-dense strategy is proposed. In addition, a novel fitness function robust to various overlap rates as well as a problem-specific metric of computational cost is introduced. Compared with 7 evolving registration approaches and 4 traditional registration approaches on the object-scale and scene-scale registration datasets, experimental results demonstrate that the proposed method has superior performances in terms of precision and tackling local optima.
translated by 谷歌翻译