基于Centroid的聚类方法，例如K-均值，K-Medoids和K-Centers在探索性数据分析中被大量应用作为首选工具。在许多情况下，这些方法用于获得数据歧管的代表性质心，以可视化或摘要数据集。现实世界的数据集通常包含固有的异常情况，例如重复样本和采样偏见，表现出不平衡的聚类。我们建议通过对质心形成的群集引入最大半径约束$ r $来纠正这种情况，即，从同一集群中的样本则不应以$ \ ell_2 $距离的价格分开超过$ 2R $。我们通过求解半明确程序来实现此约束，然后是二次约束的线性分配问题。通过定性结果，我们表明我们提出的方法对数据集的不平衡和采样伪像是可靠的。据我们所知，我们的是第一个受到严格半径约束的约束K-均值聚类方法。 https://bit.ly/kmeans限制的代码

最近已扩展了最小方形聚类（MSSC）或K-均值类型聚类的最小总和，以利用每个群集的基数的先验知识。这种知识用于提高性能以及解决方案质量。在本文中，我们提出了一种基于分支和切割技术的精确方法，以解决基数受限的MSSC。对于下边界的例程，我们使用Rujeerapaiboon等人最近提出的半决赛编程（SDP）放松。 [Siam J. Optim。 29（2），1211-1239，（2019）]。但是，这种放松只能用于小型实例中的分支和切割方法。因此，我们得出了一种新的SDP松弛，该松弛随着实例大小和簇的数量更好。在这两种情况下，我们都通过添加多面体切割来增强结合。从量身定制的分支策略中受益，该策略会实施成对的约束，我们减少了儿童节点中出现的问题的复杂性。相反，对于上限，我们提出了一个本地搜索过程，该过程利用在每个节点上求解的SDP松弛的解。计算结果表明，所提出的算法在全球范围内首次求解了大小的现实实例，比通过最新精确方法求解的算法大10倍。

最小的平方和群集（MSSC）或K-Means型聚类，传统上被认为是无监督的学习任务。近年来，使用背景知识来提高集群质量，促进聚类过程的可解释性已成为数学优化和机器学习研究的热门研究课题。利用数据群集中的背景信息的问题称为半监督或约束群集。在本文中，我们为半监控MSSC提供了一种新的分支和绑定算法，其中背景知识被包含为成对必须 - 链接和无法链接约束。对于较低的界限，我们解决了MSSC离散优化模型的Semidefinite编程宽松，并使用了用于加强界限的纤维平面程序。相反，通过使用整数编程工具，我们提出了将K-Means算法适应受约束的情况。这是第一次，所提出的全局优化算法有效地管理，以解决现实世界的情况，最高可达800个数据点，具有必要的必须 - 链接和无法链接约束以及通用数量的功能。这个问题大小大约比最先进的精确算法解决的实例大约四倍。

聚类是一个流行的无监督学习工具，通常用于发现较大的人口中的群体，例如客户段或患者亚型。但是，尽管它用作子组发现的工具和描述 - 很少有最先进的算法提供了发现的群集后面的任何理由或描述。我们提出了一种用于可解释聚类的新方法，即群集数据点和构建在被发现的集群周围的多个群体来解释它们。我们的框架允许在多台上进行额外的约束 - 包括确保构建多托的超平面是轴平行的或稀疏，具有整数系数。我们制定通过多拓构造群集作为混合整数非线性程序（MINLP）的问题。要解决我们的配方，我们提出了一种两相方法，我们首先使用交替的最小化初始化群集和多核酸，然后使用坐标下降来提升聚类性能。我们在一套综合和真实的世界聚类问题上基准测试方法，其中我们的算法优于艺术可解释和不可解释的聚类算法的状态。

基于中心的聚类（例如，$ k $ -means，$ k $ -Medians）和使用线性子空间的聚类是两种最受欢迎的技术，可以将真实数据分配到较小的群集中。但是，当数据由敏感人群组组成时，不同敏感组的每点的聚集成本显着不同，可能会导致与公平相关的危害（例如，服务质量不同）。社会公平聚类的目的是最大程度地降低所有组中每点聚类的最大成本。在这项工作中，我们提出了一个统一的框架，以解决社会公平的基于中心的聚类和线性子空间聚类，并为这些问题提供实用，高效的近似算法。我们进行了广泛的实验，以表明在多个基准数据集上，我们的算法要么紧密匹配或超越最先进的基线。

This paper presents a practical global optimization algorithm for the K-center clustering problem, which aims to select K samples as the cluster centers to minimize the maximum within-cluster distance. This algorithm is based on a reduced-space branch and bound scheme and guarantees convergence to the global optimum in a finite number of steps by only branching on the regions of centers. To improve efficiency, we have designed a two-stage decomposable lower bound, the solution of which can be derived in a closed form. In addition, we also propose several acceleration techniques to narrow down the region of centers, including bounds tightening, sample reduction, and parallelization. Extensive studies on synthetic and real-world datasets have demonstrated that our algorithm can solve the K-center problems to global optimal within 4 hours for ten million samples in the serial mode and one billion samples in the parallel mode. Moreover, compared with the state-of-the-art heuristic methods, the global optimum obtained by our algorithm can averagely reduce the objective function by 25.8% on all the synthetic and real-world datasets.

我们介绍了$（p，q）$ - 公平集群问题。在这个问题中，我们给出了一组点数$ p $和不同重量函数的集合$ w $。我们想找到一个群集，最小化$ \ ell_q $ -norm的$ \ ell_p $-norm的$ \ ell_p $ -norms的$ p $从中心。这概括了各种聚类问题，包括社会博览会$ k $ -Median和$ k $ - emeans，并且与其他问题紧密相连，如Densest $ K $ -subgraph和Min $ K $ -Union。我们利用凸编程技术来估计$（p，q）$ - 为$ p $和$ q $的不同价值观达到公平的聚类问题。当$ p \ geq q $时，我们得到$ o（k ^ {（pq）/（2pq）}）$，它几乎匹配$ k ^ {\ omega（（pq）/（pq））} $低于基于Min $ K $ -Union和其他问题的猜想硬度的束缚。当$ q \ geq p $时，我们得到一个近似，它与界限$ p，q $的输入的大小无关，也与最近的$ o相匹配（（\ log n /（\ log \ log n）） ^ {1 / p}）$ - $（p，\ infty）$ - makarychev和vakilian（colt 2021）的公平聚类。

通过简明地表示许多变量的联合功能作为小功能的组合，离散图形模型（GMS）提供了一个强大的框架来分析交互变量的随机和确定性系统。这些模型的主要查询之一是识别该联合功能的极值。这被称为在确定性成本函数网络上的加权约束满足问题（WCSP），以及在随机马尔可夫随机字段上的最大后验（MAP）推断。近似WCSP推理的算法通常依赖于局部一致性算法或信念传播。这些方法与线性编程（LP）弛豫密切相关，并且通常与由相关LP的双解定义的Reparamization耦合。自从Goemans和Williamson的开创性工作以来，据了解，凸软膏放松可以为LP提供优质的保证。但内部点方法的固有计算成本限制了他们的应用。这种情况有所改善，引入了非凸毛蒙特罗风格方法，这些方法非常适合处理与二进制变量的组合问题的SDP放松（例如MaxCut，MaxSAT或地图/ ising）。我们将低等级SDP上限和下限计算具有任意数量的数量和任意二进制成本函数的离散对图形模型，通过基于逐行的更新扩展毛刺蒙特罗样式方法。我们考虑一种传统的两化约束方法和专用块坐标序列方法，避免对配方引入大的惩罚系数。在越来越坚硬和致密的WCSP / CFN实例上，我们观察到BCD方法可以优于两种方法，并提供比本地常量/收敛消息传递方法更严格的边界。

形状约束，例如非负，单调性，凸度或超模型性，在机器学习和统计的各种应用中都起着关键作用。但是，将此方面的信息以艰苦的方式（例如，在间隔的所有点）纳入预测模型，这是一个众所周知的具有挑战性的问题。我们提出了一个统一和模块化的凸优化框架，依赖于二阶锥（SOC）拧紧，以编码属于矢量值重现的载体内核Hilbert Spaces（VRKHSS）的模型对函数衍生物的硬仿射SDP约束。所提出的方法的模块化性质允许同时处理多个形状约束，并将无限数量的约束限制为有限的许多。我们证明了所提出的方案的收敛及其自适应变体的收敛性，利用VRKHSS的几何特性。由于基于覆盖的拧紧构造，该方法特别适合具有小到中等输入维度的任务。该方法的效率在形状优化，机器人技术和计量经济学的背景下进行了说明。

We study a multi-factor block model for variable clustering and connect it to the regularized subspace clustering by formulating a distributionally robust version of the nodewise regression. To solve the latter problem, we derive a convex relaxation, provide guidance on selecting the size of the robust region, and hence the regularization weighting parameter, based on the data, and propose an ADMM algorithm for implementation. We validate our method in an extensive simulation study. Finally, we propose and apply a variant of our method to stock return data, obtain interpretable clusters that facilitate portfolio selection and compare its out-of-sample performance with other clustering methods in an empirical study.

聚类是基于它们的相似性对组对象的重要探索性数据分析技术。广泛使用的$ k $ -MEANS聚类方法依赖于一些距离的概念将数据划分为较少数量的组。在欧几里得空间中，$ k $ -Means的基于质心和基于距离的公式相同。在现代机器学习应用中，数据通常是作为概率分布而出现的，并且可以使用最佳运输指标来处理测量值数据。由于瓦斯坦斯坦空间的非负亚历山德罗夫曲率，巴里中心遭受了规律性和非舒适性问题。 Wasserstein Barycenters的特殊行为可能使基于质心的配方无法代表集群内的数据点，而基于距离的$ K $ -MEANS方法及其半决赛计划（SDP）可以恢复真实的方法集群标签。在聚集高斯分布的特殊情况下，我们表明SDP放松的Wasserstein $ k $ - 金钱可以实现精确的恢复，因为这些集群按照$ 2 $ - WASSERSTEIN MERTRIC进行了良好的分离。我们的仿真和真实数据示例还表明，基于距离的$ K $ -Means可以比基于标准的基于质心的$ k $ -Means获得更好的分类性能，用于聚类概率分布和图像。

在聚类问题中，中央决策者通过顶点给出完整的公制图，并且必须提供最小化某些目标函数的顶点的聚类。在公平的聚类问题中，顶点以颜色（例如，组中的成员身份）赋予，并且有效群集的功能也可能包括该群集中的颜色的表示。在公平集群中的事先工作假设完全了解集团成员资格。在本文中，我们通过假设通过概率分配不完美了解集团成员资格的知识。我们在此具有近似率保证的更常规设置中呈现聚类算法。我们还解决了“公制成员资格”的问题，其中不同的群体的概念和距离。使用我们所提出的算法以及基线进行实验，以验证我们的方法，并且当组成员资格不确定时，验证我们的方法以及表面细微的问题。

Several clustering methods (e.g., Normalized Cut and Ratio Cut) divide the Min Cut cost function by a cluster dependent factor (e.g., the size or the degree of the clusters), in order to yield a more balanced partitioning. We, instead, investigate adding such regularizations to the original cost function. We first consider the case where the regularization term is the sum of the squared size of the clusters, and then generalize it to adaptive regularization of the pairwise similarities. This leads to shifting (adaptively) the pairwise similarities which might make some of them negative. We then study the connection of this method to Correlation Clustering and then propose an efficient local search optimization algorithm with fast theoretical convergence rate to solve the new clustering problem. In the following, we investigate the shift of pairwise similarities on some common clustering methods, and finally, we demonstrate the superior performance of the method by extensive experiments on different datasets.

We consider a semi-supervised $k$-clustering problem where information is available on whether pairs of objects are in the same or in different clusters. This information is either available with certainty or with a limited level of confidence. We introduce the PCCC algorithm, which iteratively assigns objects to clusters while accounting for the information provided on the pairs of objects. Our algorithm can include relationships as hard constraints that are guaranteed to be satisfied or as soft constraints that can be violated subject to a penalty. This flexibility distinguishes our algorithm from the state-of-the-art in which all pairwise constraints are either considered hard, or all are considered soft. Unlike existing algorithms, our algorithm scales to large-scale instances with up to 60,000 objects, 100 clusters, and millions of cannot-link constraints (which are the most challenging constraints to incorporate). We compare the PCCC algorithm with state-of-the-art approaches in an extensive computational study. Even though the PCCC algorithm is more general than the state-of-the-art approaches in its applicability, it outperforms the state-of-the-art approaches on instances with all hard constraints or all soft constraints both in terms of running time and various metrics of solution quality. The source code of the PCCC algorithm is publicly available on GitHub.

模糊或柔软$ k $ -means目标是众所周知的$ k $ -means问题的流行泛化，将$ k $ -means扩展到不确定，模糊和否则难以群集的数据集的聚类能力。在本文中，我们提出了一个半监督的主动聚类框架，其中允许学习者与Oracle（域专家）进行交互，询问一组所选项目之间的相似性。我们研究了本框架中的聚类查询和计算复杂性。我们证明具有一些这样的相似性查询使得一个人能够将多项式时间近似算法获得到另外的辅助NP难题。特别是，我们提供了在此设置中的模糊聚类的算法，该算法询问$ O（\ mathsf {poly}（k）\ log n）$相似查询并使用多项式 - 时间复杂度运行，其中$ n $是项目的数量。模糊$ k $ -means目标是非渗透，$ k $ -means作为一个特殊情况，相当于一些其他通用非核解问题，如非负矩阵分解。普遍存在的LLOYD型算法（或交替的最小化算法）可以以局部最小粘在一起。我们的结果表明，通过制作一些相似性查询，问题变得更加易于解决。最后，我们通过现实世界数据集测试我们的算法，展示了其在现实世界应用中的有效性。

对于一般二次约束二次编程（QCQP），我们提出了一种用凸二次约束描述的抛物线弛豫。抛物线弛豫的一个有趣的特性是原始的非凸起可行集包含在抛物线弛豫的边界上。在某些假设下，该财产使人们能够通过客观惩罚恢复近乎最理想的可行点。此外，通过对需要一次性计算的最佳基础计算的适当更改，可以使易于解决的抛物线释放放松与半决赛编程（SDP）放松一样强大，这可以有效地意识到算法，这些算法可以使得算法有效需要解决一系列凸替代物。这项工作的下一部分给出了大多数理论和计算结果[57]。

我们研究了在存在$ \ epsilon $ - 对抗异常值的高维稀疏平均值估计的问题。先前的工作为此任务获得了该任务的样本和计算有效算法，用于辅助性Subgaussian分布。在这项工作中，我们开发了第一个有效的算法，用于强大的稀疏平均值估计，而没有对协方差的先验知识。对于$ \ Mathbb r^d $上的分布，带有“认证有限”的$ t $ tum-矩和足够轻的尾巴，我们的算法达到了$ o（\ epsilon^{1-1/t}）$带有样品复杂性$的错误（\ epsilon^{1-1/t}） m =（k \ log（d））^{o（t）}/\ epsilon^{2-2/t} $。对于高斯分布的特殊情况，我们的算法达到了$ \ tilde o（\ epsilon）$的接近最佳错误，带有样品复杂性$ m = o（k^4 \ mathrm {polylog}（d）（d））/\ epsilon^^ 2 $。我们的算法遵循基于方形的总和，对算法方法的证明。我们通过统计查询和低度多项式测试的下限来补充上限，提供了证据，表明我们算法实现的样本时间 - 错误权衡在质量上是最好的。

我们考虑指标变量和指标上的任意约束的凸二次优化问题。我们表明，在扩展空间中设置的凸壳描述，其具有二次数量的附加变量包括单个正半纤维限制（明确规定）和线性约束。特别地，对这类问题的凸起减少了描述在扩展制剂中的多面体集。我们还在变量的原始空间中说明：我们提供了基于无限数量的圆锥二次不等式的描述，这些锥形二次不等式是“有限地产生的”。特别地，可以表征给定的不等式是否需要描述凸船。这里介绍了新的理论统一了若干以前建立的结果，并铺平了利用多面体方法来分析混合整数非线性集的凸壳。

随着机器学习变得普遍，减轻培训数据中存在的任何不公平性变得至关重要。在公平的各种概念中，本文的重点是众所周知的个人公平，该公平规定应该对类似的人进行类似的对待。虽然在训练模型（对处理）时可以提高个人公平性，但我们认为在模型培训（预处理）之前修复数据是一个更基本的解决方案。特别是，我们表明标签翻转是改善个人公平性的有效预处理技术。我们的系统IFLIPPER解决了限制了个人公平性违规行为的最小翻转标签的优化问题，当培训数据中的两个类似示例具有不同的标签时，发生违规情况。我们首先证明问题是NP-HARD。然后，我们提出了一种近似的线性编程算法，并提供理论保证其结果与标签翻转数量有关的结果与最佳解决方案有多近。我们还提出了使线性编程解决方案更加最佳的技术，而不会超过违规限制。实际数据集上的实验表明，在看不见的测试集的个人公平和准确性方面，IFLIPPER显着优于其他预处理基线。此外，IFLIPPER可以与处理中的技术结合使用，以获得更好的结果。

混合模型的学习可以看作是聚类问题。实际上，给定根据分布混合物独立生成的数据样本，我们经常希望根据样品的{\ IT正确靶向群集}，根据它们从哪个组件分布中生成的样品。对于聚类问题，从业人员通常选择使用简单的$ k $ -MEANS算法。 $ k $ -Means试图找到一个{\ it最佳聚类}，该{\ it clustering}将每个点与其群集中心之间的平方距离最小化。在本文中，我们考虑通过优化方形距离获得的解决方案（群集）的基本（即信息理论）极限。特别是，假设数据样本是从球形高斯分布的混合物中生成的，我们为任何最佳聚类和正确的目标聚类提供了足够的条件。我们还将结果概括为对数符号分布。此外，我们表明，在混合模型上相似甚至较弱的条件下，具有降低尺寸的样品的任何最佳聚类也接近正确的目标群集。这些结果为$ k $ -Means（有或没有降低尺寸降低）的信息提供了直觉，作为学习混合模型的算法。