在此评论中，我们为模糊C均值问题的“迭代重新加权算法”中提出了一个简单的替代推导。我们表明，对于IRW-FCM算法而得出的迭代步骤不过是流行的多数化最小化（MM）算法的步骤。本说明中提出的推导更简单明了，与IRW-FCM的推导不同，此处的推导不涉及引入任何辅助变量。此外，通过将IRW-FCM的步骤显示为MM算法，可以消除IRW-FCM算法的内环，并且可以有效地作为“单个环”算法运行算法。更确切地说，新的基于MM的推导推论IRW-FCM的单个内部环足够降低模糊C均值的目标函数，从而加快了IRW-FCM算法的速度。

本文介绍了针对非负矩阵分解的新的乘法更新，并使用$ \ beta $ -Divergence和两个因素之一的稀疏正则化（例如，激活矩阵）。众所周知，需要控制另一个因素（字典矩阵）的规范，以避免使用不良的公式。标准实践包括限制字典的列具有单位规范，这导致了非平凡的优化问题。我们的方法利用原始问题对等效规模不变的目标函数的优化进行了重新处理。从那里，我们得出了块状大量最小化算法，这些算法可为$ \ ell_ {1} $ - 正则化或更“激进的” log-regularization提供简单的乘法更新。与其他最先进的方法相反，我们的算法是通用的，因为它们可以应用于任何$ \ beta $ -Divergence（即任何$ \ beta $的任何值），并且它们具有融合保证。我们使用各种数据集报告了与现有的启发式和拉格朗日方法的数值比较：面部图像，音频谱图，高光谱数据和歌曲播放计数。我们表明，我们的方法获得了收敛时类似质量的溶液（相似的目标值），但CPU时间显着减少。

本文提出了具有$ \ Beta $ -divercent objectivent函数的非负面矩阵分组（NMF）的新乘法更新。我们的新更新来自联合大修 - 最小化（MM）方案，其中包括在每次迭代的两个因素中构建了两个因素的辅助功能（客观函数的紧密上限）。这与经典方法相反，其中主要是针对每个因素导出的主要方法。与那种经典方法一样，我们的关节MM算法也导致乘法更新易于实现。然而，它们产生了显着的计算时间（适用于同样的良好解决方案），特别是对于一些$ \β$ - 重要的申请兴趣，如平方欧几里德距离和kullback-Leibler或Itakura-Saito分歧。我们使用不同数据集报告实验结果：面部图像，音频谱图，高光谱数据和歌曲播放计数。根据$ \ beta $和dataSet的值，我们的关节MM方法可以与经典交替方案相比，从大约13 \％$ 78 \％$产生CPU时间减少。

非负矩阵分解（NMF）已被广泛用于学习数据的低维表示。但是，NMF对数据点的所有属性都同样关注，这不可避免地导致不准确的代表性。例如，在人面数据集中，如果图像在头上包含帽子，则应删除帽子，或者在矩阵分组期间应减少其对应属性的重要性。本文提出了一种名为熵权的NMF（EWNMF）的新型NMF，其为每个数据点的每个属性使用可优化的权重，以强调它们的重要性。通过向成本函数添加熵规范器来实现此过程，然后使用拉格朗日乘法器方法来解决问题。具有若干数据集的实验结果证明了该方法的可行性和有效性。我们在https://github.com/poisson-em/entropy-weighted-nmf提供我们的代码。

We investigate the problem of recovering a partially observed high-rank matrix whose columns obey a nonlinear structure such as a union of subspaces, an algebraic variety or grouped in clusters. The recovery problem is formulated as the rank minimization of a nonlinear feature map applied to the original matrix, which is then further approximated by a constrained non-convex optimization problem involving the Grassmann manifold. We propose two sets of algorithms, one arising from Riemannian optimization and the other as an alternating minimization scheme, both of which include first- and second-order variants. Both sets of algorithms have theoretical guarantees. In particular, for the alternating minimization, we establish global convergence and worst-case complexity bounds. Additionally, using the Kurdyka-Lojasiewicz property, we show that the alternating minimization converges to a unique limit point. We provide extensive numerical results for the recovery of union of subspaces and clustering under entry sampling and dense Gaussian sampling. Our methods are competitive with existing approaches and, in particular, high accuracy is achieved in the recovery using Riemannian second-order methods.

在许多机器学习应用程序中出现了非convex-concave min-max问题，包括最大程度地减少一组非凸函数的最大程度，并对神经网络的强大对抗训练。解决此问题的一种流行方法是梯度下降（GDA）算法，不幸的是，在非凸性的情况下可以表现出振荡。在本文中，我们引入了一种“平滑”方案，该方案可以与GDA结合以稳定振荡并确保收敛到固定溶液。我们证明，稳定的GDA算法可以实现$ O（1/\ epsilon^2）$迭代复杂性，以最大程度地减少有限的非convex函数收集的最大值。此外，平滑的GDA算法达到了$ O（1/\ epsilon^4）$ toseration复杂性，用于一般的nonconvex-concave问题。提出了这种稳定的GDA算法的扩展到多块情况。据我们所知，这是第一个实现$ o（1/\ epsilon^2）$的算法，用于一类NonConvex-Concave问题。我们说明了稳定的GDA算法在健壮训练中的实际效率。

模糊或柔软$ k $ -means目标是众所周知的$ k $ -means问题的流行泛化，将$ k $ -means扩展到不确定，模糊和否则难以群集的数据集的聚类能力。在本文中，我们提出了一个半监督的主动聚类框架，其中允许学习者与Oracle（域专家）进行交互，询问一组所选项目之间的相似性。我们研究了本框架中的聚类查询和计算复杂性。我们证明具有一些这样的相似性查询使得一个人能够将多项式时间近似算法获得到另外的辅助NP难题。特别是，我们提供了在此设置中的模糊聚类的算法，该算法询问$ O（\ mathsf {poly}（k）\ log n）$相似查询并使用多项式 - 时间复杂度运行，其中$ n $是项目的数量。模糊$ k $ -means目标是非渗透，$ k $ -means作为一个特殊情况，相当于一些其他通用非核解问题，如非负矩阵分解。普遍存在的LLOYD型算法（或交替的最小化算法）可以以局部最小粘在一起。我们的结果表明，通过制作一些相似性查询，问题变得更加易于解决。最后，我们通过现实世界数据集测试我们的算法，展示了其在现实世界应用中的有效性。

非负矩阵分解（NMF）广泛用于聚类，具有强大的解释性。在一般的NMF问题中，对称NMF是一个特殊的问题，它在图形聚类中起着重要作用，其中每个元素都测量数据点之间的相似性。大多数现有的对称NMF算法都需要因子矩阵为非负数，并且仅着眼于最大程度地减少原始矩阵之间的差距及其进行聚类的近似值，而无需考虑其他潜在的正则化项，从而产生更好的聚类。在本文中，我们探索以分解不必不需要的对称矩阵，并具有带有正则化项的有效分解算法以提高聚类性能。此外，提出了一个更普遍的框架来解决对称矩阵的对称矩阵分解问题，并在因子矩阵上限制了不同。

我们提出了一种使用平滑数值方法来构建大型数据集的模糊簇的新方法。通常会放宽方面的标准，因此在连续的空间上进行了良好的模糊分区的搜索，而不是像经典方法\ cite {hartigan}那样的组合空间。平滑性可以通过使用无限类别的可区分函数，从强烈的非差异问题转换为优化的可区别子问题。为了实现算法，我们使用了统计软件$ r $，并将获得的结果与Bezdek提出的传统模糊$ C $ - 表示方法进行了比较。

FCM和PCM聚类方法都被广泛应用于模式识别和数据聚类。尽管如此，FCM对噪声和PCM偶尔会产生一致的簇。 PFCM是通过组合FCM和PCM的PCM模型的扩展，但这种方法仍然遭受PCM和FCM的弱点。在目前的纸张中，校正了PFCM算法的弱点，并提出了增强的可能性模糊C-MATIOM（EPFCM）聚类算法。 EPFCM仍然对噪音敏感。因此，我们通过利用模糊成员资格和两个fuzzifers $（{\ theta} _1，{\ theta} _2 ）$的可能性典型。我们的计算结果表明，与文献中的几种最先进的技术相比，拟议方法的优势。最后，实施了所提出的方法，用于分析微阵列基因表达数据。

基于中心的聚类算法的最新进展通过隐式退火来打击贫穷的本地最小值，并使用一系列普遍的手段来打击。这些方法是劳埃德（Lloyd）著名的$ k $ -MEANS算法的变体，最适合于球形簇，例如由高斯数据引起的簇。在本文中，我们将这些算法的进步桥接为布雷格曼（Bregman）差异下的硬聚类的经典工作，这些工作享有指数级家庭分布的培养，因此非常适合由数据生成机制的广度引起的聚类对象。布雷格曼分歧的优雅特性使我们能够以简单透明的算法维护封闭的表单更新，此外，还引发了新的理论论点，以建立有限的样本范围，以放松在现有的艺术状态下做出的有限支持假设。此外，我们考虑对模拟实验进行彻底的经验分析和降雨数据的案例研究，发现所提出的方法在各种非高斯数据设置中都优于现有的同行方法。

本文涉及低级矩阵恢复问题的$ \ ell_ {2,0} $ \ ell_ {2,0} $ - 正则化分解模型及其计算。引入了Qual $ \ ell_ {2,0} $ - 因子矩阵的规范，以促进因素和低级别解决方案的柱稀疏性。对于这种不透露的不连续优化问题，我们开发了一种具有外推的交替的多种化 - 最小化（AMM）方法，以及一个混合AMM，其中提出了一种主要的交替的近端方法，以寻找与较少的非零列和带外推的AMM的初始因子对。然后用于最小化平滑的非凸损失。我们为所提出的AMM方法提供全局收敛性分析，并使用非均匀采样方案将它们应用于矩阵完成问题。数值实验是用综合性和实际数据示例进行的，并且与核形态正则化分解模型的比较结果和MAX-NORM正则化凸模型显示柱$ \ ell_ {2,0} $ - 正则化分解模型具有优势在更短的时间内提供较低误差和排名的解决方案。

我们考虑分布式姿势图优化（PGO）的问题，该问题在多机器人同时定位和映射（SLAM）中具有重要的应用。我们提出了用于分布式PGO（$ \ mathsf {mm \！\！\！\！\！pgo} $）的大量最小化方法（mm）方法，该方法适用于一类宽类强大的损失内核。 $ \ mathsf {mm \！\！ - \！\！pgo} $方法可以在轻度条件下收敛到一阶关键点。此外，请注意$ \ mathsf {mm \！\！ - ！ - \！\！pgo} $方法是让人联想到近端方法，我们利用Nesterov的方法并采用自适应重启来加速收敛。生成的分布式PGO的加速MM方法 - 既有网络中的主节点（$ \ Mathsf {amm \！\！\！\！\！\！ ！ - \！\！pgo}^{＃} $） - 与$ \ mathsf {mm \！\！\！ - \！\！pgo} $相比，收敛速度更快，而无需牺牲理论保证。特别是，$ \ mathsf {amm \！\！\！ - \！\！ $ \ mathsf {amm \！\！\！\！pgo}^*$使用主节点从所有其他节点汇总信息。这项工作的功效通过对2D和3D SLAM基准数据集的广泛应用以及与现有最新方法的全面比较来验证，这表明我们的MM方法更快地收敛，并为分布式PGO提供更好的解决方案。

高斯混合还原（GMR）是通过较低订单近似高阶高斯混合物的问题。它广泛用于隐藏马尔可夫模型中的密度估计，递归跟踪和信念传播。在这项工作中，我们表明GMR可以作为优化问题，最小化两个混合物之间的复合输送分流（CTD）。优化问题可以通过易于实现的大多数 - 最小化（MM）算法来解决。我们表明MM算法在一般条件下收敛。 GMR的一种流行的计算有效方法是基于聚类的迭代算法。然而，这些算法缺乏理论保证它们是否在他们何时收敛或获得一些最佳目标。我们表明，现有的基于聚类的算法是我们MM算法的特殊情况，因此可以建立其理论属性。我们进一步示出了通过在CTD中选择各种成本函数，可以进一步提高基于聚类的算法的性能。进行数值实验以说明我们所提出的延伸的有效性。

K-Subspaces（KSS）方法是用于子空间聚类的K-均值方法的概括。在这项工作中，我们介绍了KSS的本地收敛分析和恢复保证，假设数据是由Smari-random的子空间模型生成的，其中$ n $点是从$ k \ ge 2 $重叠子空间随机采样的。我们表明，如果KSS方法的初始分配位于真实聚类的邻域内，则它以高等的速率收敛，并在$ \ theta（\ log \ log \ log n）$迭代中找到正确的群集。此外，我们提出了一种基于阈值的基于内部产品的光谱方法来初始化，并证明它在该社区中产生了一个点。我们还提出了研究方法的数值结果，以支持我们的理论发展。

目前的论文研究了最小化损失$ f（\ boldsymbol {x}）$的问题，而在s $ \ boldsymbol {d} \ boldsymbol {x} \的约束，其中$ s $是一个关闭的集合，凸面或非，$ \ boldsymbol {d} $是熔化参数的矩阵。融合约束可以捕获平滑度，稀疏或更一般的约束模式。为了解决这个通用的问题，我们将Beltrami-Courant罚球方法与近距离原则相结合。后者是通过最小化惩罚目标的推动$ f（\ boldsymbol {x}）+ \ frac {\ rho} {2} \ text {dist}（\ boldsymbol {d} \ boldsymbol {x}，s）^ 2 $涉及大型调整常量$ \ rho $和$ \ boldsymbol {d} \ boldsymbol {x} $的平方欧几里德距离$ s $。通过最小化大多数代理函数$ f（\ boldsymbol {x}，从当前迭代$ \ boldsymbol {x} _n $构建相应的近距离算法的下一个迭代$ \ boldsymbol {x} _ {n + 1} $。 ）+ \ frac {\ rho} {2} \ | \ boldsymbol {d} \ boldsymbol {x} - \ mathcal {p} _ {s}（\ boldsymbol {d} \ boldsymbol {x} _n）\ | ^ 2 $。对于固定$ \ rho $和subanalytic损失$ f（\ boldsymbol {x}）$和子质约束设置$ s $，我们证明了汇聚点。在更强大的假设下，我们提供了收敛速率并展示线性本地收敛性。我们还构造了一个最陡的下降（SD）变型，以避免昂贵的线性系统解决。为了基准我们的算法，我们比较乘法器（ADMM）的交替方向方法。我们广泛的数值测试包括在度量投影，凸回归，凸聚类，总变化图像去噪和矩阵的投影到良好状态数的问题。这些实验表明了我们在高维问题上最陡的速度和可接受的准确性。

This study investigates clustered federated learning (FL), one of the formulations of FL with non-i.i.d. data, where the devices are partitioned into clusters and each cluster optimally fits its data with a localized model. We propose a novel clustered FL framework, which applies a nonconvex penalty to pairwise differences of parameters. This framework can automatically identify clusters without a priori knowledge of the number of clusters and the set of devices in each cluster. To implement the proposed framework, we develop a novel clustered FL method called FPFC. Advancing from the standard ADMM, our method is implemented in parallel, updates only a subset of devices at each communication round, and allows each participating device to perform a variable amount of work. This greatly reduces the communication cost while simultaneously preserving privacy, making it practical for FL. We also propose a new warmup strategy for hyperparameter tuning under FL settings and consider the asynchronous variant of FPFC (asyncFPFC). Theoretically, we provide convergence guarantees of FPFC for general nonconvex losses and establish the statistical convergence rate under a linear model with squared loss. Our extensive experiments demonstrate the advantages of FPFC over existing methods.

最近已扩展了最小方形聚类（MSSC）或K-均值类型聚类的最小总和，以利用每个群集的基数的先验知识。这种知识用于提高性能以及解决方案质量。在本文中，我们提出了一种基于分支和切割技术的精确方法，以解决基数受限的MSSC。对于下边界的例程，我们使用Rujeerapaiboon等人最近提出的半决赛编程（SDP）放松。 [Siam J. Optim。 29（2），1211-1239，（2019）]。但是，这种放松只能用于小型实例中的分支和切割方法。因此，我们得出了一种新的SDP松弛，该松弛随着实例大小和簇的数量更好。在这两种情况下，我们都通过添加多面体切割来增强结合。从量身定制的分支策略中受益，该策略会实施成对的约束，我们减少了儿童节点中出现的问题的复杂性。相反，对于上限，我们提出了一个本地搜索过程，该过程利用在每个节点上求解的SDP松弛的解。计算结果表明，所提出的算法在全球范围内首次求解了大小的现实实例，比通过最新精确方法求解的算法大10倍。

在本文中，我们介绍了泰坦（Titan），这是一种新型的惯性块最小化框架，用于非平滑非凸优化问题。据我们所知，泰坦是块坐标更新方法的第一个框架，该方法依赖于大型最小化框架，同时将惯性力嵌入到块更新的每个步骤中。惯性力是通过外推算子获得的，该操作员累积了重力和Nesterov型加速度，以作为特殊情况作为块近端梯度方法。通过选择各种替代功能，例如近端，Lipschitz梯度，布雷格曼，二次和复合替代功能，并通过改变外推操作员来生成一组丰富的惯性块坐标坐标更新方法。我们研究了泰坦生成序列的子顺序收敛以及全局收敛。我们说明了泰坦对两个重要的机器学习问题的有效性，即稀疏的非负矩阵分解和矩阵完成。

最小的平方和群集（MSSC）或K-Means型聚类，传统上被认为是无监督的学习任务。近年来，使用背景知识来提高集群质量，促进聚类过程的可解释性已成为数学优化和机器学习研究的热门研究课题。利用数据群集中的背景信息的问题称为半监督或约束群集。在本文中，我们为半监控MSSC提供了一种新的分支和绑定算法，其中背景知识被包含为成对必须 - 链接和无法链接约束。对于较低的界限，我们解决了MSSC离散优化模型的Semidefinite编程宽松，并使用了用于加强界限的纤维平面程序。相反，通过使用整数编程工具，我们提出了将K-Means算法适应受约束的情况。这是第一次，所提出的全局优化算法有效地管理，以解决现实世界的情况，最高可达800个数据点，具有必要的必须 - 链接和无法链接约束以及通用数量的功能。这个问题大小大约比最先进的精确算法解决的实例大约四倍。