我们考虑分布式姿势图优化（PGO）的问题，该问题在多机器人同时定位和映射（SLAM）中具有重要的应用。我们提出了用于分布式PGO（$ \ mathsf {mm \！\！\！\！\！pgo} $）的大量最小化方法（mm）方法，该方法适用于一类宽类强大的损失内核。 $ \ mathsf {mm \！\！ - \！\！pgo} $方法可以在轻度条件下收敛到一阶关键点。此外，请注意$ \ mathsf {mm \！\！ - ！ - \！\！pgo} $方法是让人联想到近端方法，我们利用Nesterov的方法并采用自适应重启来加速收敛。生成的分布式PGO的加速MM方法 - 既有网络中的主节点（$ \ Mathsf {amm \！\！\！\！\！\！ ！ - \！\！pgo}^{＃} $） - 与$ \ mathsf {mm \！\！\！ - \！\！pgo} $相比，收敛速度更快，而无需牺牲理论保证。特别是，$ \ mathsf {amm \！\！\！ - \！\！ $ \ mathsf {amm \！\！\！\！pgo}^*$使用主节点从所有其他节点汇总信息。这项工作的功效通过对2D和3D SLAM基准数据集的广泛应用以及与现有最新方法的全面比较来验证，这表明我们的MM方法更快地收敛，并为分布式PGO提供更好的解决方案。

本文提出了Kimera-Multi，第一个多机器人系统，（i）是强大的，并且能够识别和拒绝由感知混叠产生的不正确和内部机器人循环闭合，（ii）完全分布，仅依赖于本地（点对点）通信实现分布式本地化和映射，（iii）实时构建环境的全球一致的度量标准三维网状模型，其中网格的面部用语义标签注释。 Kimera-Multi由配备有视觉惯性传感器的机器人团队实现。每个机器人都构建了局部轨迹估计和使用Kimera的本地网格。当通信可用时，机器人基于一种基于新型分布式刻度非凸性算法发起分布式地点识别和鲁棒姿态图优化协议。所提出的协议允许机器人通过利用机器人间循环闭合而鲁棒到异常值来改善其局部轨迹估计。最后，每个机器人使用其改进的轨迹估计来使用网格变形技术来校正本地网格。我们在光逼真模拟，SLAM基准测试数据集中展示了Kimera-Multi，以及使用地机器人收集的靠户外数据集。真实和模拟实验都涉及长轨迹（例如，每个机器人高达800米）。实验表明，在鲁棒性和准确性方面，kimera-multi（i）优于现有技术，（ii）在完全分布的同时实现与集中式大满贯系统相当的估计误差，（iii）在通信带宽方面是显着的（iv）产生精确的公制语义3D网格，并且（v）是模块化的，也可以用于标准3D重建（即，没有语义标签）或轨迹估计（即，不重建3D网格）。

我们介绍了第一个分布式优化算法，该算法具有懒惰的通信，以进行协作几何估计，现代协作同时本地化和映射（SLAM）和结构 - 莫特 - 莫蒂（SFM）应用程序的骨干。我们的方法允许代理通过融合单个观察结果在中央服务器上合作重建共享的几何模型，但无需传输有关代理本身（例如其位置）的潜在敏感信息。此外，为了减轻迭代优化期间的通信负担，我们设计了一组通信触发条件，使代理能够选择性地上传针对性的本地信息的目标子集，该信息对全球优化有用。因此，我们的方法可实现大量的沟通减少，对优化性能的影响最小。作为我们的主要理论贡献，我们证明我们的方法以全球sublinear收敛速率收敛到一阶关键点。关于合作SLAM和SFM数据集的捆绑调整问题的数值评估表明，我们的方法在现有的分布式技术方面具有竞争力，同时达到了多达78％的总沟通减少。

我们研究无限制的黎曼优化的免投影方法。特别是，我们提出了黎曼弗兰克 - 沃尔夫（RFW）方法。我们将RFW的非渐近收敛率分析为最佳（高音）凸起问题，以及非凸起目标的临界点。我们还提出了一种实用的设置，其中RFW可以获得线性收敛速度。作为一个具体的例子，我们将RFW专用于正定矩阵的歧管，并将其应用于两个任务：（i）计算矩阵几何平均值（riemannian质心）; （ii）计算Bures-Wasserstein重心。这两个任务都涉及大量凸间间隔约束，为此，我们表明RFW要求的Riemannian“线性”Oracle承认了闭合形式的解决方案;该结果可能是独立的兴趣。我们进一步专门从事RFW到特殊正交组，并表明这里也可以以封闭形式解决riemannian“线性”甲骨文。在这里，我们描述了数据矩阵同步的应用程序（促使问题）。我们补充了我们的理论结果，并对RFW对最先进的riemananian优化方法进行了实证比较，并观察到RFW竞争性地对计算黎曼心质的任务进行竞争性。

我们为正规化优化问题$ g（\ boldsymbol {x}） + h（\ boldsymbol {x}）$提供了有效的解决方案，其中$ \ boldsymbol {x} $在单位sphere $ \ vert \ vert \ boldsymbol { x} \ vert_2 = 1 $。在这里$ g（\ cdot）$是lipschitz连续梯度的平稳成本）$通常是非平滑的，但凸出并且绝对同质，\ textit {ef。，}〜规范正则化及其组合。我们的解决方案基于Riemannian近端梯度，使用我们称为\ textIt {代理步骤}}的想法 - 一个标量变量，我们证明，与间隔内的实际步骤大小相对于实际的步骤。对于凸面和绝对均匀的$ h（\ cdot）$，替代步骤尺寸存在，并确定封闭形式中的实际步骤大小和切线更新，因此是完整的近端梯度迭代。基于这些见解，我们使用代理步骤设计了Riemannian近端梯度方法。我们证明，我们的方法仅基于$ g（\ cdot）$成本的线条搜索技术而收敛到关键点。提出的方法可以用几行代码实现。我们通过应用核规范，$ \ ell_1 $规范和核谱规则正规化来显示其有用性。这些改进是一致的，并得到数值实验的支持。

现代统计应用常常涉及最小化可能是非流动和/或非凸起的目标函数。本文侧重于广泛的Bregman-替代算法框架，包括本地线性近似，镜像下降，迭代阈值，DC编程以及许多其他实例。通过广义BREGMAN功能的重新发出使我们能够构建合适的误差测量并在可能高维度下建立非凸起和非凸起和非球形目标的全球收敛速率。对于稀疏的学习问题，在一些规律性条件下，所获得的估算器作为代理人的固定点，尽管不一定是局部最小化者，但享受可明确的统计保障，并且可以证明迭代顺序在所需的情况下接近统计事实准确地快速。本文还研究了如何通过仔细控制步骤和放松参数来设计基于适应性的动力的加速度而不假设凸性或平滑度。

我们为平面姿势图优化提供了一个强大的框架，该框架被环闭合离群值污染。我们的框架首先将截短的最小二乘内核包裹的强大的PGO问题拒绝了异常值，从而拒绝了异常值。然后，该框架引入了线性角度表示，以重写最初用旋转矩阵配制的第一个子问题。该框架配置为渐变的非凸度（GNC）算法，以连续解决两个非凸子问题，而无需初始猜测。得益于两个子问题的线性属性，我们的框架只需要线性求解器才能最佳地解决GNC中遇到的优化问题。我们在平面PGO基准中广泛验证了所提出的框架，称为Degnc-Laf（脱钩的非跨性别量均具有线性角度公式）。事实证明，它比标准和通用GNC的速度显着（有时达到30倍以上），同时导致高质量的估计值。

在这项工作中，我们介绍了配备有明确性能的第一个初始化方法，该方法适用于姿势图同时定位和映射（SLAM）和旋转平均（RA）问题。 SLAM和旋转平均通常正义为大规模的非渗透点估计问题，具有许多糟糕的本地最小值，可以捕获通常应用的平滑优化方法来解决它们;因此，标准SLAM和RA算法的性能至关重要取决于用于初始化该本地搜索的估计的质量。虽然在文献中出现了SLAM和RA的许多初始化方法，但通常可以获得纯粹的启发式近似值，这使得难以确定是否（或在什么情况下）这些技术可以可靠地部署这些技术。相比之下，在这项工作中，我们研究通过光谱松弛镜头初始化的问题。具体而言，我们推出了SLAM和RA的简单谱弛豫，其形式使我们能够利用经典的线性代数技术（特征向量扰动界限）来控制从我们的光谱估计到（未知）地基实际和该距离作为测量噪声的函数的估计问题的全局最小化器。我们的结果揭示了测量网络在控制估计精度下播放的光谱图 - 理论性能的关键作用;此外，作为我们分析的副产物，我们在估计误差上获得了最大似然估计的估计误差，这可能具有独立兴趣。最后，我们在实验上展示了我们的光谱估计器在实践中非常有效，与现有的最先进技术相比，在较低的计算成本下生产可比或优异质量的初始化。

在本文中，我们介绍了泰坦（Titan），这是一种新型的惯性块最小化框架，用于非平滑非凸优化问题。据我们所知，泰坦是块坐标更新方法的第一个框架，该方法依赖于大型最小化框架，同时将惯性力嵌入到块更新的每个步骤中。惯性力是通过外推算子获得的，该操作员累积了重力和Nesterov型加速度，以作为特殊情况作为块近端梯度方法。通过选择各种替代功能，例如近端，Lipschitz梯度，布雷格曼，二次和复合替代功能，并通过改变外推操作员来生成一组丰富的惯性块坐标坐标更新方法。我们研究了泰坦生成序列的子顺序收敛以及全局收敛。我们说明了泰坦对两个重要的机器学习问题的有效性，即稀疏的非负矩阵分解和矩阵完成。

Outier-bubust估计是一个基本问题，已由统计学家和从业人员进行了广泛的研究。在过去的几年中，整个研究领域的融合都倾向于“算法稳定统计”，该统计数据的重点是开发可拖动的异常体 - 固定技术来解决高维估计问题。尽管存在这种融合，但跨领域的研究工作主要彼此断开。本文桥接了有关可认证的异常抗衡器估计的最新工作，该估计是机器人技术和计算机视觉中的几何感知，并在健壮的统计数据中并行工作。特别是，我们适应并扩展了最新结果对可靠的线性回归（适用于<< 50％异常值的低外壳案例）和列表可解码的回归（适用于>> 50％异常值的高淘汰案例）在机器人和视觉中通常发现的设置，其中（i）变量（例如旋转，姿势）属于非convex域，（ii）测量值是矢量值，并且（iii）未知的异常值是先验的。这里的重点是绩效保证：我们没有提出新算法，而是为投入测量提供条件，在该输入测量值下，保证现代估计算法可以在存在异常值的情况下恢复接近地面真相的估计值。这些条件是我们所谓的“估计合同”。除了现有结果的拟议扩展外，我们认为本文的主要贡献是（i）通过指出共同点和差异来统一平行的研究行，（ii）在介绍先进材料（例如，证明总和证明）中的统一行为。对从业者的可访问和独立的演讲，（iii）指出一些即时的机会和开放问题，以发出异常的几何感知。

在分散的学习中，节点网络协作以最小化通常是其本地目标的有限总和的整体目标函数，并结合了非平滑的正则化术语，以获得更好的泛化能力。分散的随机近端梯度（DSPG）方法通常用于培训这种类型的学习模型，而随机梯度的方差延迟了收敛速率。在本文中，我们提出了一种新颖的算法，即DPSVRG，通过利用方差减少技术来加速分散的训练。基本思想是在每个节点中引入估计器，该节点周期性地跟踪本地完整梯度，以校正每次迭代的随机梯度。通过将分散的算法转换为具有差异减少的集中内隙近端梯度算法，并控制错误序列的界限，我们证明了DPSVRG以o（1 / t）$的速率收敛于一般凸起目标加上非平滑术语以$ t $作为迭代的数量，而dspg以$ o（\ frac {1} {\ sqrt {t}}）$汇聚。我们对不同应用，网络拓扑和学习模型的实验表明，DPSVRG会收敛于DSPG的速度要快得多，DPSVRG的损耗功能与训练时期顺利降低。

We investigate the problem of recovering a partially observed high-rank matrix whose columns obey a nonlinear structure such as a union of subspaces, an algebraic variety or grouped in clusters. The recovery problem is formulated as the rank minimization of a nonlinear feature map applied to the original matrix, which is then further approximated by a constrained non-convex optimization problem involving the Grassmann manifold. We propose two sets of algorithms, one arising from Riemannian optimization and the other as an alternating minimization scheme, both of which include first- and second-order variants. Both sets of algorithms have theoretical guarantees. In particular, for the alternating minimization, we establish global convergence and worst-case complexity bounds. Additionally, using the Kurdyka-Lojasiewicz property, we show that the alternating minimization converges to a unique limit point. We provide extensive numerical results for the recovery of union of subspaces and clustering under entry sampling and dense Gaussian sampling. Our methods are competitive with existing approaches and, in particular, high accuracy is achieved in the recovery using Riemannian second-order methods.

在本文中，我们提出了一个算法框架，称为乘数的惯性交替方向方法（IADMM），用于求解与线性约束线性约束的一类非convex非conmooth多块复合优化问题。我们的框架采用了一般最小化 - 更大化（MM）原理来更新每个变量块，从而不仅统一了先前在MM步骤中使用特定替代功能的AMDM的收敛分析，还导致新的有效ADMM方案。据我们所知，在非convex非平滑设置中，ADMM与MM原理结合使用，以更新每个变量块，而ADMM与\ emph {Primal变量的惯性术语结合在一起}尚未在文献中研究。在标准假设下，我们证明了生成的迭代序列的后续收敛和全局收敛性。我们说明了IADMM对一类非凸低级别表示问题的有效性。

This study investigates clustered federated learning (FL), one of the formulations of FL with non-i.i.d. data, where the devices are partitioned into clusters and each cluster optimally fits its data with a localized model. We propose a novel clustered FL framework, which applies a nonconvex penalty to pairwise differences of parameters. This framework can automatically identify clusters without a priori knowledge of the number of clusters and the set of devices in each cluster. To implement the proposed framework, we develop a novel clustered FL method called FPFC. Advancing from the standard ADMM, our method is implemented in parallel, updates only a subset of devices at each communication round, and allows each participating device to perform a variable amount of work. This greatly reduces the communication cost while simultaneously preserving privacy, making it practical for FL. We also propose a new warmup strategy for hyperparameter tuning under FL settings and consider the asynchronous variant of FPFC (asyncFPFC). Theoretically, we provide convergence guarantees of FPFC for general nonconvex losses and establish the statistical convergence rate under a linear model with squared loss. Our extensive experiments demonstrate the advantages of FPFC over existing methods.

在本文中，我们专注于Stiefel歧管上的分散优化问题，该问题在$ D $代理的连接网络上定义。目标是D $本地函数的平均值，并且每个函数由代理私下持有并编码其数据。代理商只能以合作努力与邻居沟通以解决这个问题。在现有方法中，需要多轮通信来保证收敛，从而产生高通信成本。相比之下，本文提出了一种被称为命运的分散算法，该算法仅调用每次迭代的单一轮通信。命运结合了梯度跟踪技术，具有新颖的近似增强拉格朗日函数。全球收敛到静止点是严格建立的。综合数值实验表明，命运具有强大的潜力，可以在解决各种测试问题方面提供尖端性能。

本文涉及低级矩阵恢复问题的$ \ ell_ {2,0} $ \ ell_ {2,0} $ - 正则化分解模型及其计算。引入了Qual $ \ ell_ {2,0} $ - 因子矩阵的规范，以促进因素和低级别解决方案的柱稀疏性。对于这种不透露的不连续优化问题，我们开发了一种具有外推的交替的多种化 - 最小化（AMM）方法，以及一个混合AMM，其中提出了一种主要的交替的近端方法，以寻找与较少的非零列和带外推的AMM的初始因子对。然后用于最小化平滑的非凸损失。我们为所提出的AMM方法提供全局收敛性分析，并使用非均匀采样方案将它们应用于矩阵完成问题。数值实验是用综合性和实际数据示例进行的，并且与核形态正则化分解模型的比较结果和MAX-NORM正则化凸模型显示柱$ \ ell_ {2,0} $ - 正则化分解模型具有优势在更短的时间内提供较低误差和排名的解决方案。

非刚性注册以非刚性方式与目标形状保持一致的源形状变形，是计算机视觉中的经典问题。由于数据（噪声，离群值和部分重叠）和高度自由度，因此此类问题可能具有挑战性。现有方法通常采用$ \ ell_ {p} $键入鲁棒标准来测量对齐误差并规范变形的平滑度，并使用近端算法来解决所得的非平滑优化问题。但是，这种算法的缓慢收敛性限制了其广泛的应用。在本文中，我们提出了一种基于全球平稳的稳健标准进行对齐和正则化的稳健非刚性登记的公式，该规范可以有效地处理异常值和部分重叠。使用大型最小化算法解决了该问题，该算法将每次迭代减少到使用封闭形式的解决方案的凸二次问题。我们进一步应用安德森加速度以加快求解器的收敛性，使求解器能够在具有有限的计算能力的设备上有效运行。广泛的实验证明了我们方法在两种形状之间具有异常值和部分重叠的形状之间的非刚性比对的有效性，并进行定量评估表明，就注册准确性和计算速度而言，它的表现优于最先进的方法。源代码可从https://github.com/yaoyx689/amm_nrr获得。

我们提出了Theseus，这是一个有效的应用程序不合时宜的开源库，用于在Pytorch上构建的可区分非线性最小二乘（DNL）优化，为机器人技术和视觉中的端到端结构化学习提供了一个共同的框架。现有的DNLS实施是特定应用程序的，并且并不总是纳入许多对效率重要的成分。 Theseus是应用程序不可静止的，正如我们使用的几个示例应用程序所用的，这些应用程序是使用相同的基础可区分组件构建的，例如二阶优化器，标准成本功能和Lie组。为了提高效率，TheseUS纳入了对稀疏求解器，自动矢量化，批处理，GPU加速度和梯度计算的支持，并具有隐式分化和直接损耗最小化。我们在一组应用程序中进行了广泛的性能评估，显示出这些功能时显示出明显的效率提高和更好的可扩展性。项目页面：https：//sites.google.com/view/theseus-ai

Projection robust Wasserstein (PRW) distance, or Wasserstein projection pursuit (WPP), is a robust variant of the Wasserstein distance. Recent work suggests that this quantity is more robust than the standard Wasserstein distance, in particular when comparing probability measures in high-dimensions. However, it is ruled out for practical application because the optimization model is essentially non-convex and non-smooth which makes the computation intractable. Our contribution in this paper is to revisit the original motivation behind WPP/PRW, but take the hard route of showing that, despite its non-convexity and lack of nonsmoothness, and even despite some hardness results proved by~\citet{Niles-2019-Estimation} in a minimax sense, the original formulation for PRW/WPP \textit{can} be efficiently computed in practice using Riemannian optimization, yielding in relevant cases better behavior than its convex relaxation. More specifically, we provide three simple algorithms with solid theoretical guarantee on their complexity bound (one in the appendix), and demonstrate their effectiveness and efficiency by conducing extensive experiments on synthetic and real data. This paper provides a first step into a computational theory of the PRW distance and provides the links between optimal transport and Riemannian optimization.

目前的论文研究了最小化损失$ f（\ boldsymbol {x}）$的问题，而在s $ \ boldsymbol {d} \ boldsymbol {x} \的约束，其中$ s $是一个关闭的集合，凸面或非，$ \ boldsymbol {d} $是熔化参数的矩阵。融合约束可以捕获平滑度，稀疏或更一般的约束模式。为了解决这个通用的问题，我们将Beltrami-Courant罚球方法与近距离原则相结合。后者是通过最小化惩罚目标的推动$ f（\ boldsymbol {x}）+ \ frac {\ rho} {2} \ text {dist}（\ boldsymbol {d} \ boldsymbol {x}，s）^ 2 $涉及大型调整常量$ \ rho $和$ \ boldsymbol {d} \ boldsymbol {x} $的平方欧几里德距离$ s $。通过最小化大多数代理函数$ f（\ boldsymbol {x}，从当前迭代$ \ boldsymbol {x} _n $构建相应的近距离算法的下一个迭代$ \ boldsymbol {x} _ {n + 1} $。 ）+ \ frac {\ rho} {2} \ | \ boldsymbol {d} \ boldsymbol {x} - \ mathcal {p} _ {s}（\ boldsymbol {d} \ boldsymbol {x} _n）\ | ^ 2 $。对于固定$ \ rho $和subanalytic损失$ f（\ boldsymbol {x}）$和子质约束设置$ s $，我们证明了汇聚点。在更强大的假设下，我们提供了收敛速率并展示线性本地收敛性。我们还构造了一个最陡的下降（SD）变型，以避免昂贵的线性系统解决。为了基准我们的算法，我们比较乘法器（ADMM）的交替方向方法。我们广泛的数值测试包括在度量投影，凸回归，凸聚类，总变化图像去噪和矩阵的投影到良好状态数的问题。这些实验表明了我们在高维问题上最陡的速度和可接受的准确性。