在高维和不完整的矩阵中提取潜在信息是一个重要且具有挑战性的问题。潜在因子分析（LFA）模型可以很好地处理高维矩阵分析。最近，已经提出了粒子群优化（PSO）组合的LFA模型，以高效率调节超参数。但是，PSO的掺入会导致过早问题。为了解决这个问题，我们提出了一个顺序的Adam-unjusting-Antennae BAS（A2BAS）优化算法，该算法完善了由PSO成立的LFA模型获得的潜在因素。 A2BAS算法由两个子算法组成。首先，我们设计了一种改进的BAS算法，该算法可调节甲虫的触角并使用Adam进行尺寸。其次，我们实施了改进的BAS算法，以顺序优化所有行和列潜在​​因子。通过对两个实际高维矩阵的实验结果，我们证明我们的算法可以有效地解决过早的收敛问题。

随机梯度下降（SGD）算法是在高维和不完整（HDI）矩阵上建立潜在因子分析（LFA）模型的有效学习策略。通常采用粒子群优化（PSO）算法来制造基于SGD的LFA模型的超参数，即学习率和正则化系数，自我适应。但是，标准的PSO算法可能会遭受过早收敛引起的准确损失。为了解决这个问题，本文将更多的历史信息纳入了每个粒子的进化过程中，以避免遵循广义摩托明（GM）方法的原理过早收敛，从而创新了新型的GM合并PSO（GM-PSO）。有了它，基于GM-PSO的LFA（GMPL）模型将进一步实现高效参数的有效自适应。三个HDI矩阵的实验结果表明，GMPL模型可实现较高的预测准确性，用于工业应用中缺少数据估计。

高维和不完整（HDI）数据在各种工业应用中具有巨大的交互信息。潜在因素（LF）模型在从具有随机梯度不错（SGD）算法的HDI数据中提取有价值的信息方面非常有效。但是，基于SGD的LFA模型患有缓慢的收敛性，因为它仅考虑当前的学习误差。为了解决这个关键问题，本文提出了一个非线性PID增强自适应潜在因素（NPALF）模型，具有两个折叠的想法：1）通过考虑过去的学习错误，按照非线性PID控制器的原理来重建学习错误；b）按照粒子群优化（PSO）算法的原理有效地实施所有参数适应。四个代表性HDI数据集的经验结果表明，与五个最先进的LFA模型相比，NPALF模型可实现HDI数据缺失数据的更好的收敛率和预测准确性。

张量（NLFT）模型的非负潜在分解可以很好地模拟隐藏在非负服务质量（QOS）数据中的时间模式，以预测具有高精度的未观察到的时间模式。但是，现有的NLFT模型的目标函数基于欧几里得距离，这只是\ b {eta} devivergence的一种特殊情况。因此，我们可以通过采用\ b {eta} - 差异来构建广义的NLFT模型以实现预测准确性增益吗？为了解决此问题，本文提出了基于NLFT模型（\ b {eta} -nlft）的\ b {eta} -nlft）。它的想法是双重的1）用\ b {eta} - 差异来建立学习目标，以实现更高的预测准确性，2）实施对超参数的自适应以提高实用性。对两个动态QoS数据集的实证研究表明，与最先进的模型相比，所提出的\ b {eta} -NLFT模型可实现未观察到的QoS数据的较高预测准确性。

大规模的无向加权网络通常在与大数据相关的研究领域中发现。自然可以将其量化为用于实施大数据分析任务的对称高维和不完整（SHDI）矩阵。对称非负潜在因素分析（SNL）模型能够从SHDI基质中有效提取潜在因子（LFS）。然而，它依赖于约束培训计划，这使其缺乏灵活性。为了解决这个问题，本文提出了一个不受限制的对称非负潜在因素分析（USNL）模型。它的主要思想是两个方面：1）通过将非负映射函数集成到SNL模型中，输出LFS与决策参数分开； 2）随机梯度下降（SGD）用于实施不受限制的模型训练，并确保输出LFS非负性。对由实际的大数据应用产生的四个SHDI矩阵的实证研究表明，与SNL模型相比，USNL模型可实现缺失数据的预测准确性，以及高度竞争性的计算效率。

潜在因子（LF）模型可有效地通过低级矩阵近似来表示高维和稀疏（HID）数据。Hessian无（HF）优化是利用LF模型目标函数的二阶信息的有效方法，并已用于优化二阶LF（SLF）模型。但是，SLF模型的低级表示能力在很大程度上取决于其多个超参数。确定这些超参数是耗时的，它在很大程度上降低了SLF模型的实用性。为了解决这个问题，在这项工作中提出了实用的SLF（PSLF）模型。它通过分布式粒子群优化器（DPSO）实现了超参数自加载，该粒子群（DPSO）无梯度且并行化。对真实HID数据集的实验表明，PSLF模型比在数据表示能力中的最先进模型具有竞争优势。

随机梯度体面（SGD）是深神经网络成功背后的核心技术之一。梯度提供有关功能具有最陡变化率的方向的信息。基本SGD的主要问题是通过梯度行为而对所有参数的相等大小的步骤进行更改。因此，深度网络优化的有效方式是为每个参数进行自适应步骤尺寸。最近，已经进行了几次尝试，以改善梯度下降方法，例如Adagrad，Adadelta，RMSProp和Adam。这些方法依赖于平方过去梯度的指数移动平均线的平方根。因此，这些方法不利用梯度的局部变化。在本文中，基于当前和立即梯度（即，差异）之间的差异提出了一种新颖的优化器。在所提出的差异优化技术中，以这样的方式调整步长，使得它应该具有更大的梯度改变参数的较大步长，以及用于较低梯度改变参数的较低步长。收敛分析是使用在线学习框架的遗憾方法完成。在本文中进行严格的分析超过三种合成复合的非凸功能。图像分类实验也在CiFar10和CiFAR100数据集上进行，以观察漫反射的性能，相对于最先进的优化器，例如SGDM，Adagrad，Adadelta，RMSProp，Amsgrad和Adam。基于基于单元（Reset）的基于卷积神经网络（CNN）架构用于实验中。实验表明，Diffgrad优于其他优化器。此外，我们表明差异对使用不同的激活功能训练CNN的均匀良好。源代码在https://github.com/shivram1987/diffgrad公开使用。

缺少数据是数据驱动的智能运输系统（ITS）中不可避免且常见的问题。在过去的十年中，学者们对丢失的流量数据的恢复进行了许多研究，但是如何充分利用时空交通模式以改善恢复性能仍然是一个开放的问题。针对流量速度数据的时空特征，本文将缺失数据的恢复视为矩阵完成问题，并根据隐藏的功能分析提出了一种时空的交通数据完成方法，该方法发现时空模式和基础模式从不完整数据的结构完成恢复任务。因此，我们引入空间和时间相关性，以捕获每个维度的主要基础特征。最后，这些潜在功能通过潜在功能分析应用于恢复流量数据。实验和评估结果表明，模型的评估标准值很小，这表明该模型具有更好的性能。结果表明该模型可以准确估计连续缺少的数据。

最近，在推荐系统领域中，一个关键问题隐约可见 - 没有进行严格评估的有效基准 - 因此，这会导致不可再生的评估和不公平的比较。因此，我们从实践理论和实验的角度进行研究，目的是为严格的评估做出基准建议。关于理论研究，一系列影响整个评估链中建议性能的超级因素通过对2017 - 2020年在八个顶级会议上发表的141篇论文进行的详尽评价进行了系统的总结和分析。然后，我们将它们分类为独立于模型和模型依赖性的超因子，并相应地定义和讨论了不同的严格评估模式。在实验研究中，我们通过将这些超级因子整合以进行严格的评估来发布DaisyREC 2.0文库，从而进行了整体经验研究，以揭示不同超级效应器对建议性能的影响。在理论和实验研究的支持下，我们最终通过提出标准化程序并在六个数据集上的六个评估指标中提供10个最先进的方法来创建严格评估的基准，以作为以后研究的参考。总体而言，我们的工作阐明了建议评估中的问题，为严格的评估提供了潜在的解决方案，并为进一步调查提供了基础。

卷积神经网络（CNN）在许多计算机视觉应用中表现出非常吸引人的性能。通常使用基于随机梯度下降（SGD）优化技术进行CNN的训练。基于自适应动量的SGD优化器是最近的趋势。但是，现有的优化器无法在一阶时刻保持零平均值，并在优化方面挣扎。在本文中，我们提出了针对CNN的基于集中化的SGD优化器。具体而言，我们明确地将零均值约束强加于一阶力矩。提出的力矩集中化本质上是通用的，可以与任何现有的自适应动量优化器集成。提出的想法通过三种最先进的优化技术进行了测试，包括基准CIFAR10，CIFAR100和TINYIMAGENET数据集的ADAM，RADAM和ADABELIEF，用于图像分类。与建议的力矩集中化集成时，现有优化器的性能通常会提高。此外，提议的力矩集中化的结果也比现有的梯度集中化更好。使用玩具示例的分析分析表明，所提出的方法导致较短，更平滑的优化轨迹。源代码可在\ url {https://github.com/sumanthsadhu/mc-optimizer}中公开获得。

随着区块链技术的开发，基于区块链技术的加密货币越来越受欢迎。这给出了一个巨大的加密货币交易网络，引起了广泛关注。网络的链接预测学习结构有助于了解网络的机制，因此在加密货币网络中也广泛研究了网络的机制。但是，过去研究中忽略了加密货币交易网络的动态。我们使用图形正则方法将过去的交易记录与未来交易联系起来。基于此，我们提出了一种潜在因子依赖性，非负因子，乘法和图形正规化的已归合性更新（SLF-NMGRU）算法，并进一步提出了图形正则化的非负潜在因子分析（GRNLFA）模型。最后，在真实加密货币交易网络上进行的实验表明，提出的方法提高了准确性和计算效率

信息科学的快速发展引起的“维度诅咒”在处理大数据集时可能会产生负面影响。在本文中，我们提出了Sparrow搜索算法（SSA）的一种变体，称为帐篷L \'evy飞行麻雀搜索算法（TFSSA），并使用它来选择包装模式中最佳的特征子集以进行分类。 SSA是最近提出的算法，尚未系统地应用于特征选择问题。通过CEC2020基准函数进行验证后，TFSSA用于选择最佳功能组合，以最大化分类精度并最大程度地减少所选功能的数量。将拟议的TFSSA与文献中的九种算法进行了比较。 9个评估指标用于正确评估和比较UCI存储库中21个数据集上这些算法的性能。此外，该方法应用于冠状病毒病（COVID-19）数据集，分别获得最佳的平均分类精度和特征选择的平均数量，为93.47％和2.1。实验结果证实了所提出的算法在提高分类准确性和减少与其他基于包装器的算法相比的选定特征数量方面的优势。

计算响应表面模型的精确$ g $ - 最佳设计是一个困难的计算，在过去的两年中，通过算法开发获得了增量改进。这些最佳设计尚未在应用中被广泛考虑，部分原因是计算它们的困难和成本。文献中介绍了三种用于构建精确$ g $ - 最佳设计的主要算法：坐标交换（cexch），遗传算法（GA）和相对较新的$ g $ -optimar （$ g（i_ \ lambda）$ - cexch），部分是为了解决庞大的计算成本。粒子群优化（PSO）已在许多应用中实现了广泛的使用，但是迄今为止，尽管其广泛的成功，但在最佳设计问题中的应用相对较少。在本文中，我们开发了PSO的扩展，以使其适应最佳设计问题。然后，我们采用PSO来生成最佳设计，以覆盖$ k = 1、2、3、4、5 $设计因子，这是工业实验中常见的实验尺寸。我们将这些结果与过去二十年文献中发表的所有$ g $最佳设计进行了比较。由GA以$ k = 1、2、3 $因素生成的$ G $ - 最佳设计已经保持了14年的挑战。我们证明了PSO在这些情况下发现了改进的$ G $ - 最佳设计，并且它以与最先进的算法$ g（I_ \ lambda）$ -CEXCH相当的计算成本来实现。此外，我们表明PSO能够以$ k = 4，5 $的因素产生相等或更好的$ g $最佳设计。这些结果表明，PSO优于现有方法，可有效地生成高度$ G $最佳的设计。

深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是，我们一般花费更长的培训时间，以更多的计算和沟通。在本调查中，我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法，详细阐述了大批量培训中出现的泛化差距的可辩论主题，并审查了解决通信开销并减少内存足迹的SOTA策略。

Embedding tables are usually huge in click-through rate (CTR) prediction models. To train and deploy the CTR models efficiently and economically, it is necessary to compress their embedding tables at the training stage. To this end, we formulate a novel quantization training paradigm to compress the embeddings from the training stage, termed low-precision training (LPT). Also, we provide theoretical analysis on its convergence. The results show that stochastic weight quantization has a faster convergence rate and a smaller convergence error than deterministic weight quantization in LPT. Further, to reduce the accuracy degradation, we propose adaptive low-precision training (ALPT) that learns the step size (i.e., the quantization resolution) through gradient descent. Experiments on two real-world datasets confirm our analysis and show that ALPT can significantly improve the prediction accuracy, especially at extremely low bit widths. For the first time in CTR models, we successfully train 8-bit embeddings without sacrificing prediction accuracy. The code of ALPT is publicly available.

Point cloud registration (PCR) is a popular research topic in computer vision. Recently, the registration method in an evolutionary way has received continuous attention because of its robustness to the initial pose and flexibility in objective function design. However, most evolving registration methods cannot tackle the local optimum well and they have rarely investigated the success ratio, which implies the probability of not falling into local optima and is closely related to the practicality of the algorithm. Evolutionary multi-task optimization (EMTO) is a widely used paradigm, which can boost exploration capability through knowledge transfer among related tasks. Inspired by this concept, this study proposes a novel evolving registration algorithm via EMTO, where the multi-task configuration is based on the idea of solution space cutting. Concretely, one task searching in cut space assists another task with complex function landscape in escaping from local optima and enhancing successful registration ratio. To reduce unnecessary computational cost, a sparse-to-dense strategy is proposed. In addition, a novel fitness function robust to various overlap rates as well as a problem-specific metric of computational cost is introduced. Compared with 7 evolving registration approaches and 4 traditional registration approaches on the object-scale and scene-scale registration datasets, experimental results demonstrate that the proposed method has superior performances in terms of precision and tackling local optima.

Recently, evolutionary multitasking (EMT) has been successfully used in the field of high-dimensional classification. However, the generation of multiple tasks in the existing EMT-based feature selection (FS) methods is relatively simple, using only the Relief-F method to collect related features with similar importance into one task, which cannot provide more diversified tasks for knowledge transfer. Thus, this paper devises a new EMT algorithm for FS in high-dimensional classification, which first adopts different filtering methods to produce multiple tasks and then modifies a competitive swarm optimizer to efficiently solve these related tasks via knowledge transfer. First, a diversified multiple task generation method is designed based on multiple filtering methods, which generates several relevant low-dimensional FS tasks by eliminating irrelevant features. In this way, useful knowledge for solving simple and relevant tasks can be transferred to simplify and speed up the solution of the original high-dimensional FS task. Then, a competitive swarm optimizer is modified to simultaneously solve these relevant FS tasks by transferring useful knowledge among them. Numerous empirical results demonstrate that the proposed EMT-based FS method can obtain a better feature subset than several state-of-the-art FS methods on eighteen high-dimensional datasets.

在本文中，我们为多个变量的非凸问题提出了一种新颖的解决方案，尤其是对于通常通过交替最小化（AM）策略解决的方法，将原始优化问题拆分为一组与每个变量相对应的子问题，然后使用固定的更新规则迭代优化每个子问题。但是，由于原始优化问题的固有非凸性，即使在每次迭代中可以最佳地解决每个子问题时，优化通常也可以捕获到虚假的局部最小值中。同时，基于学习的方法，例如深层展开算法，受到缺乏标记的数据和有限的解释性的高度限制。为了解决这些问题，我们提出了一种基于元学习的交替最小化（MLAM）方法，该方法旨在最大程度地减少全球损失的部分损失，而不是在每个子问题上最小化，并且倾向于学习一种自适应策略，以学习一种自适应策略更换手工制作的对手，以提前表现出色。同时，拟议的Mlam仍然保持原始算法原则，这有助于更好的解释性。我们在两个代表性问题上评估了提出的方法，即双线性逆问题：矩阵完成和非线性问题：高斯混合模型。实验结果验证了我们所提出的方法在标准设置中的表现优于基于AM的方法，并且能够在具有挑战性的情况下实现有效的优化，而其他比较方法通常会失败。

异构综合学习粒子群优化（HCLPSO）是一种具有增强探索和开发能力的进化算法。与随机序列相比，覆盖搜索空间的低阶段序列（LDS）在覆盖搜索空间方面更均匀。在本文中，研究了利用LDS的良好均匀性来改善HCLPSO。进行数值实验以表明仅通过使用LDS生成初始种群，就不可能有效地提高HCLPSO的搜索能力。但是，如果我们从HCLPSO速度更新公式中正确选择一些随机序列并将其替换为确定性LDS，则可以获得更有效的算法。与原始的HCLPSO在相同的精度要求下相比，使用确定性LDS更新速度的HCLPSO可以显着降低找到最佳解决方案所需的迭代，而不会降低成功率。

As the Internet developed rapidly, it is important to choose suitable web services from a wide range of candidates. Quality of service (QoS) describes the performance of a web service dynamically with respect to the service requested by the service consumer. Moreover, the latent factorization of tenors (LFT) is very effective for discovering temporal patterns in high dimensional and sparse (HiDS) tensors. However, current LFT models suffer from a low convergence rate and rarely account for the effects of outliers. To address the above problems, this paper proposes an Alternating direction method of multipliers (ADMM)-based Outlier-Resilient Nonnegative Latent-factorization of Tensors model. We maintain the non-negativity of the model by constructing an augmented Lagrangian function with the ADMM optimization framework. In addition, the Cauchy function is taken as the metric function to reduce the impact on the model training. The empirical work on two dynamic QoS datasets shows that the proposed method has faster convergence and better performance on prediction accuracy.