潜在因子（LF）模型可有效地通过低级矩阵近似来表示高维和稀疏（HID）数据。Hessian无（HF）优化是利用LF模型目标函数的二阶信息的有效方法，并已用于优化二阶LF（SLF）模型。但是，SLF模型的低级表示能力在很大程度上取决于其多个超参数。确定这些超参数是耗时的，它在很大程度上降低了SLF模型的实用性。为了解决这个问题，在这项工作中提出了实用的SLF（PSLF）模型。它通过分布式粒子群优化器（DPSO）实现了超参数自加载，该粒子群（DPSO）无梯度且并行化。对真实HID数据集的实验表明，PSLF模型比在数据表示能力中的最先进模型具有竞争优势。

随机梯度下降（SGD）算法是在高维和不完整（HDI）矩阵上建立潜在因子分析（LFA）模型的有效学习策略。通常采用粒子群优化（PSO）算法来制造基于SGD的LFA模型的超参数，即学习率和正则化系数，自我适应。但是，标准的PSO算法可能会遭受过早收敛引起的准确损失。为了解决这个问题，本文将更多的历史信息纳入了每个粒子的进化过程中，以避免遵循广义摩托明（GM）方法的原理过早收敛，从而创新了新型的GM合并PSO（GM-PSO）。有了它，基于GM-PSO的LFA（GMPL）模型将进一步实现高效参数的有效自适应。三个HDI矩阵的实验结果表明，GMPL模型可实现较高的预测准确性，用于工业应用中缺少数据估计。

高维和不完整（HDI）数据在各种工业应用中具有巨大的交互信息。潜在因素（LF）模型在从具有随机梯度不错（SGD）算法的HDI数据中提取有价值的信息方面非常有效。但是，基于SGD的LFA模型患有缓慢的收敛性，因为它仅考虑当前的学习误差。为了解决这个关键问题，本文提出了一个非线性PID增强自适应潜在因素（NPALF）模型，具有两个折叠的想法：1）通过考虑过去的学习错误，按照非线性PID控制器的原理来重建学习错误；b）按照粒子群优化（PSO）算法的原理有效地实施所有参数适应。四个代表性HDI数据集的经验结果表明，与五个最先进的LFA模型相比，NPALF模型可实现HDI数据缺失数据的更好的收敛率和预测准确性。

在高维和不完整的矩阵中提取潜在信息是一个重要且具有挑战性的问题。潜在因子分析（LFA）模型可以很好地处理高维矩阵分析。最近，已经提出了粒子群优化（PSO）组合的LFA模型，以高效率调节超参数。但是，PSO的掺入会导致过早问题。为了解决这个问题，我们提出了一个顺序的Adam-unjusting-Antennae BAS（A2BAS）优化算法，该算法完善了由PSO成立的LFA模型获得的潜在因素。 A2BAS算法由两个子算法组成。首先，我们设计了一种改进的BAS算法，该算法可调节甲虫的触角并使用Adam进行尺寸。其次，我们实施了改进的BAS算法，以顺序优化所有行和列潜在​​因子。通过对两个实际高维矩阵的实验结果，我们证明我们的算法可以有效地解决过早的收敛问题。

多目标优化（MOO）旨在同时优化多个冲突的目标，并在机器学习中发现了重要的应用，例如最大程度地减少分类损失和差异，以在处理不同的人群方面以保持公平。最佳性，进一步优化一个目标至少将至少损害另一个目标，而决策者需要全面探索多个Optima（称为Pareto Front），以确定一个最终解决方案。我们解决了寻找帕累托阵线的效率。首先，使用随机多偏差下降（SMGD）从头开始寻找前部，对于大型神经网络和数据集很昂贵。我们建议基于预测器 - 校正方法来探索帕累托阵线作为一些初始Optima的歧管。其次，对于每个探索步骤，预测变量求解一个大规模的线性系统，该系统在模型参数数量中二次缩放，并且需要一个反向传播来评估求解器的二阶Hessian-vector产品。我们提出了一个只能线性缩放的高斯 - 纽顿近似，并且只需要每次迭代的一阶内产物。这还允许在大约求解线性系统时，在微小和共轭梯度方法之间进行选择。这些创新使大型网络成为可能的预测器 - 校准。关于多目标（公平和准确性）错误信息检测任务的实验表明，1）预测器 - 矫正器方法可以在更少的时间内找到比或与SMGD更好或与SMGD相似的方法； 2）提出的一阶方法不会损害二阶方法识别的帕累托前沿的质量，同时进一步缩短了运行时间。

张量（NLFT）模型的非负潜在分解可以很好地模拟隐藏在非负服务质量（QOS）数据中的时间模式，以预测具有高精度的未观察到的时间模式。但是，现有的NLFT模型的目标函数基于欧几里得距离，这只是\ b {eta} devivergence的一种特殊情况。因此，我们可以通过采用\ b {eta} - 差异来构建广义的NLFT模型以实现预测准确性增益吗？为了解决此问题，本文提出了基于NLFT模型（\ b {eta} -nlft）的\ b {eta} -nlft）。它的想法是双重的1）用\ b {eta} - 差异来建立学习目标，以实现更高的预测准确性，2）实施对超参数的自适应以提高实用性。对两个动态QoS数据集的实证研究表明，与最先进的模型相比，所提出的\ b {eta} -NLFT模型可实现未观察到的QoS数据的较高预测准确性。

大规模的无向加权网络通常在与大数据相关的研究领域中发现。自然可以将其量化为用于实施大数据分析任务的对称高维和不完整（SHDI）矩阵。对称非负潜在因素分析（SNL）模型能够从SHDI基质中有效提取潜在因子（LFS）。然而，它依赖于约束培训计划，这使其缺乏灵活性。为了解决这个问题，本文提出了一个不受限制的对称非负潜在因素分析（USNL）模型。它的主要思想是两个方面：1）通过将非负映射函数集成到SNL模型中，输出LFS与决策参数分开； 2）随机梯度下降（SGD）用于实施不受限制的模型训练，并确保输出LFS非负性。对由实际的大数据应用产生的四个SHDI矩阵的实证研究表明，与SNL模型相比，USNL模型可实现缺失数据的预测准确性，以及高度竞争性的计算效率。

Deep Learning optimization involves minimizing a high-dimensional loss function in the weight space which is often perceived as difficult due to its inherent difficulties such as saddle points, local minima, ill-conditioning of the Hessian and limited compute resources. In this paper, we provide a comprehensive review of 12 standard optimization methods successfully used in deep learning research and a theoretical assessment of the difficulties in numerical optimization from the optimization literature.

基于深度学习的方法，例如物理知识的神经网络（PINN）和DeepOnets已显示出解决PDE受约束优化（PDECO）问题的希望。但是，现有方法不足以处理对优化目标具有复杂或非线性依赖性的PDE约束。在本文中，我们提出了一个新颖的双层优化框架，以通过将目标和约束的优化解耦来解决挑战。对于内部循环优化，我们采用PINN仅解决PDE约束。对于外循环，我们通过基于隐式函数定理（IFT）使用Broyden的方法来设计一种新颖的方法，该方法对于近似高度级别而言是有效且准确的。我们进一步介绍了高度级计算的理论解释和误差分析。在多个大规模和非线性PDE约束优化问题上进行了广泛的实验表明，与强基础相比，我们的方法可实现最新的结果。

在本文中，我们提出了SC-REG（自助正规化）来学习过共同的前馈神经网络来学习\ EMPH {牛顿递减}框架的二阶信息进行凸起问题。我们提出了具有自助正规化（得分-GGN）算法的广义高斯 - 牛顿，其每次接收到新输入批处理时都会更新网络参数。所提出的算法利用Hessian矩阵中的二阶信息的结构，从而减少训练计算开销。虽然我们的目前的分析仅考虑凸面的情况，但数值实验表明了我们在凸和非凸面设置下的方法和快速收敛的效率，这对基线一阶方法和准牛顿方法进行了比较。

深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是，我们一般花费更长的培训时间，以更多的计算和沟通。在本调查中，我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法，详细阐述了大批量培训中出现的泛化差距的可辩论主题，并审查了解决通信开销并减少内存足迹的SOTA策略。

点击率（CTR）预测的目标是预测用户单击项目的可能性，在推荐系统中变得越来越重要。最近，一些具有自动从他/她的行为中提取用户兴趣的深度学习模型取得了巨大的成功。在这些工作中，注意机制用于选择用户在历史行为中感兴趣的项目，从而提高CTR预测指标的性能。通常，这些细心的模块可以通过使用梯度下降与基本预测变量共同训练。在本文中，我们将用户兴趣建模视为特征选择问题，我们称之为用户兴趣选择。对于这样一个问题，我们在包装法的框架下提出了一种新颖的方法，该方法被称为Meta-wrapper。更具体地说，我们使用可区分的模块作为包装运算符，然后将其学习问题重新提出为连续的二元优化。此外，我们使用元学习算法来求解优化并理论上证明其收敛性。同时，我们还提供了理论分析，以表明我们提出的方法1）效率基于包装器的特征选择，而2）可以更好地抵抗过度拟合。最后，在三个公共数据集上进行的广泛实验表明了我们方法在提高CTR预测的性能方面的优势。

多媒体分析，计算机视觉（CV）和人工智能（AI）算法的最新进步导致了几种有趣的工具，允许自动分析和检索用户利益的多媒体内容。但是，检索感兴趣的内容通常涉及语义特征的分析和提取，例如情感和兴趣级别。这种有意义的信息的提取是一项复杂的任务，通常，单个算法的性能非常低。增强单个算法性能的一种方法是使用融合方案结合多种算法的预测能力。这使各个算法可以相互补充，从而提高了性能。本文提出了有关媒体趣味性得分预测任务的几种融合方法。CLEFFusion 2022中引入了。所提出的方法既包括一个天真的融合方案，其中所有诱导剂均得到同等处理和基于功绩的融合方案，其中采用了多重重量优化方法为单个诱导者分配权重。我们总共使用了六种优化方法，包括粒子群优化（PSO），遗传算法（GA），Nelder Mead，信任区域约束（TRC）和有限的MEMORY BROYDEN FLECHER GOLDFARB SHANNO SHANNO算法（LBFGSA）以及截断的牛顿牛顿算法（TNA）。总体而言，通过PSO和TNA达到0.109的平均平均精度为10。任务是复杂的，通常得分很低。我们认为，提出的分析将为未来在领域的研究提供基准。

我们引入了一种降低尺寸的二阶方法（DRSOM），用于凸和非凸的不受约束优化。在类似信任区域的框架下，我们的方法保留了二阶方法的收敛性，同时仅在两个方向上使用Hessian-Vector产品。此外，计算开销仍然与一阶相当，例如梯度下降方法。我们证明该方法的复杂性为$ O（\ epsilon^{ - 3/2}）$，以满足子空间中的一阶和二阶条件。DRSOM的适用性和性能通过逻辑回归，$ L_2-L_P $最小化，传感器网络定位和神经网络培训的各种计算实验展示。对于神经网络，我们的初步实施似乎在训练准确性和迭代复杂性方面与包括SGD和ADAM在内的最先进的一阶方法获得了计算优势。

We explore the usage of the Levenberg-Marquardt (LM) algorithm for regression (non-linear least squares) and classification (generalized Gauss-Newton methods) tasks in neural networks. We compare the performance of the LM method with other popular first-order algorithms such as SGD and Adam, as well as other second-order algorithms such as L-BFGS , Hessian-Free and KFAC. We further speed up the LM method by using adaptive momentum, learning rate line search, and uphill step acceptance.

As the Internet developed rapidly, it is important to choose suitable web services from a wide range of candidates. Quality of service (QoS) describes the performance of a web service dynamically with respect to the service requested by the service consumer. Moreover, the latent factorization of tenors (LFT) is very effective for discovering temporal patterns in high dimensional and sparse (HiDS) tensors. However, current LFT models suffer from a low convergence rate and rarely account for the effects of outliers. To address the above problems, this paper proposes an Alternating direction method of multipliers (ADMM)-based Outlier-Resilient Nonnegative Latent-factorization of Tensors model. We maintain the non-negativity of the model by constructing an augmented Lagrangian function with the ADMM optimization framework. In addition, the Cauchy function is taken as the metric function to reduce the impact on the model training. The empirical work on two dynamic QoS datasets shows that the proposed method has faster convergence and better performance on prediction accuracy.

培训深度神经网络消耗了许多计算中心的计算资源份额。通常，采用蛮力的方法来获得高参数值。我们的目标是（1）通过启用对大型神经网络的二阶优化方法来增强此功能，以及（2）对特定任务进行性能优化器进行调查，以建议用户最适合他们的问题。我们介绍了一种新颖的二阶优化方法，该方法仅需要Hessian对向量的影响，并避免明确设置大型网络的Hessian的巨大成本。我们将提出的二阶方法与两个最先进的优化器进行了比较，这些方法在五个代表性的神经网络问题上进行了比较，包括回归和来自计算机视觉或变异自动编码器的非常深的网络。对于最大的设置，我们将优化器与HOROVOD有效平行，并将其应用于8 GPU NVIDIA P100（DGX-1）机器。

随着区块链技术的开发，基于区块链技术的加密货币越来越受欢迎。这给出了一个巨大的加密货币交易网络，引起了广泛关注。网络的链接预测学习结构有助于了解网络的机制，因此在加密货币网络中也广泛研究了网络的机制。但是，过去研究中忽略了加密货币交易网络的动态。我们使用图形正则方法将过去的交易记录与未来交易联系起来。基于此，我们提出了一种潜在因子依赖性，非负因子，乘法和图形正规化的已归合性更新（SLF-NMGRU）算法，并进一步提出了图形正则化的非负潜在因子分析（GRNLFA）模型。最后，在真实加密货币交易网络上进行的实验表明，提出的方法提高了准确性和计算效率

最近，深度神经网络（DNN）已被广泛引入协作过滤（CF），以产生更准确的建议结果，因为它们可以捕获项目和用户之间复杂的非线性关系的能力。计算复杂性，即消耗很长的培训时间并存储大量可训练的参数。为了解决这些问题，我们提出了一种新的广泛推荐系统，称为“广泛协作过滤”（BRODCF），这是一种有效的非线性协作过滤方法。广泛的学习系统（BLS）代替DNN，用作映射功能，以学习用户和项目之间复杂的非线性关系，这些功能可以避免上述问题，同时达到非常令人满意的建议性能。但是，直接将原始评级数据馈送到BLS不可行。为此，我们提出了一个用户项目评分协作矢量预处理程序，以生成低维用户信息输入数据，该数据能够利用最相似的用户/项目的质量判断。在七个基准数据集上进行的广泛实验证实了所提出的广播算法的有效性

Today, recommender systems have played an increasingly important role in shaping our experiences of digital environments and social interactions. However, as recommender systems become ubiquitous in our society, recent years have also witnessed significant fairness concerns for recommender systems. Specifically, studies have shown that recommender systems may inherit or even amplify biases from historical data, and as a result, provide unfair recommendations. To address fairness risks in recommender systems, most of the previous approaches to date are focused on modifying either the existing training data samples or the deployed recommender algorithms, but unfortunately with limited degrees of success. In this paper, we propose a new approach called fair recommendation with optimized antidote data (FairRoad), which aims to improve the fairness performances of recommender systems through the construction of a small and carefully crafted antidote dataset. Toward this end, we formulate our antidote data generation task as a mathematical optimization problem, which minimizes the unfairness of the targeted recommender systems while not disrupting the deployed recommendation algorithms. Extensive experiments show that our proposed antidote data generation algorithm significantly improve the fairness of recommender systems with a small amounts of antidote data.