我们考虑具有稀疏限制的缓慢变化回归模型中参数估计问题。我们将问题标制作混合整数优化问题，并证明可以通过新颖的精确放松来完全作为二元凸优化问题的重整。放松利用摩洛队的逆转录的新平等渗透了非凸面目标函数，同时与所有可行的二进制点上的原始目标重合。这使我们能够通过切割平面型算法更有效地更有效地解决问题并以优化的优化。我们开发了一种高度优化的这种算法的实现，这基本上提高了直接实现的渐近计算复杂性。我们进一步开发了一种启发式方法，保证生产可行的解决方案，并且正如我们经验说明的那样，为二进制优化问题产生高质量的热启动解决方案。我们在合成和现实世界数据集上展示了所得算法优于各种度量的可比时期的竞争配方，包括采样超出预测性能，支持恢复精度和假阳性率。该算法使我们能够培训具有10,000个参数的模型，对噪声具有鲁棒，并且能够有效地捕获数据生成过程的潜在缓慢改变支持。

We study a multi-factor block model for variable clustering and connect it to the regularized subspace clustering by formulating a distributionally robust version of the nodewise regression. To solve the latter problem, we derive a convex relaxation, provide guidance on selecting the size of the robust region, and hence the regularization weighting parameter, based on the data, and propose an ADMM algorithm for implementation. We validate our method in an extensive simulation study. Finally, we propose and apply a variant of our method to stock return data, obtain interpretable clusters that facilitate portfolio selection and compare its out-of-sample performance with other clustering methods in an empirical study.

约束的张量和矩阵分子化模型允许从多道数据中提取可解释模式。因此，对于受约束的低秩近似度的可识别性特性和有效算法是如此重要的研究主题。这项工作涉及低秩近似的因子矩阵的列，以众所周知的和可能的过度顺序稀疏，该模型包括基于字典的低秩近似（DLRA）。虽然早期的贡献集中在候选列字典内的发现因子列，即一稀疏的近似值，这项工作是第一个以大于1的稀疏性解决DLRA。我建议专注于稀疏编码的子问题，在解决DLRA时出现的混合稀疏编码（MSC）以交替的优化策略在解决DLRA时出现。提供了基于稀疏编码启发式的几种算法（贪婪方法，凸起放松）以解决MSC。在模拟数据上评估这些启发式的性能。然后，我展示了如何基于套索来调整一个有效的MSC求解器，以计算高光谱图像处理和化学测量学的背景下的基于词典的基于矩阵分解和规范的多adic分解。这些实验表明，DLRA扩展了低秩近似的建模能力，有助于降低估计方差并提高估计因子的可识别性和可解释性。

我们提出了一种估计具有标称分类数据的高维线性模型的方法。我们的估算器，称为范围，通过使其相应的系数完全相等来融合水平。这是通过对分类变量的系数的阶数统计之间的差异之间的差异来实现这一点，从而聚类系数。我们提供了一种算法，用于精确和有效地计算在具有潜在许多级别的单个变量的情况下的总体上的最小值的全局最小值，并且在多变量情况下在块坐标血管下降过程中使用它。我们表明，利用未知级别融合的Oracle最小二乘解决方案是具有高概率的坐标血缘的极限点，只要真正的级别具有一定的最小分离;已知这些条件在单变量案例中最小。我们展示了在一系列实际和模拟数据集中的范围的有利性能。 R包的R包Catreg实现线性模型的范围，也可以在CRAN上提供逻辑回归的版本。

从多任务学习到稀疏的加性建模到分层选择，尊重群体结构的稀疏回归和分类估计器将其应用于各种统计和机器学习问题。这项工作引入了结构化稀疏估计器，将小组子集选择与收缩结合在一起。为了适应复杂的结构，我们的估计器允许组之间任意重叠。我们开发了一个优化框架，用于拟合非凸正则化表面并呈现有限样本误差界，以估计回归函数。作为一个需要结构的应用程序，我们研究了稀疏的半参数建模，该过程允许每个预测器的效果为零，线性或非线性。对于此任务，与替代方案相比，新的估计器对合成数据的几个指标有所改善。最后，我们证明了它们在使用许多预测因素的超市人流交通和经济衰退中建模的功效。这些演示表明，使用新估计量拟合的稀疏半参数模型是完全线性和完全非参数替代方案之间的出色折衷。我们所有的算法都可以在可扩展的实现GRPSEL中提供。

在依赖添加剂线性组合的模型中，出现了多个右侧（MNNL）的非负平方问题。特别是，它们是大多数非负矩阵分解算法的核心，并且具有许多应用。已知非负约束自然有利于稀疏性，即几乎没有零条目的解决方案。但是，它通常可以进一步增强这种稀疏性很有用，因为它可以提高结果的解释性并有助于减少噪声，从而导致稀疏的MNNL问题。在本文中，与大多数实施稀疏柱或行的大多数作品相反，我们首先引入了稀疏MNNL的新颖配方，并具有矩阵的稀疏性约束。然后，我们提出了一种两步算法来解决这个问题。第一步将稀疏的MNNL划分为子问题，每列的原始问题一列。然后，它使用不同的算法来确切或大约为每个子问题产生一个帕累托正面，即产生一组代表重建误差和稀疏性之间不同权衡的解决方案。第二步选择了这些帕累托前部之间的解决方案，以构建一个稀疏约束矩阵，以最大程度地减少重建误差。我们对面部和高光谱图像进行实验，我们表明我们提出的两步方法比最新的稀疏编码启发式方法提供了更准确的结果。

这项工作解决了逆线优化，其中目标是推断线性程序的未知成本向量。具体地，我们考虑数据驱动的设置，其中可用数据是对应于线性程序的不同实例的最佳解决方案的嘈杂的观察。我们介绍了一个问题的新配方，与其他现有方法相比，允许恢复较少的限制性和一般更适当的可允许成本估算。可以表明，该逆优化问题产生有限数量的解决方案，并且我们开发了一个精确的两相算法来确定所有此类解决方案。此外，我们提出了一种有效的分解算法来解决问题的大实例。该算法自然地扩展到在线学习环境，可以用于提供成本估计的快速更新，因为新数据随着时间的推移可用。对于在线设置，我们进一步开发了一种有效的自适应采样策略，指导下一个样本的选择。所提出的方法的功效在涉及两种应用，客户偏好学习和生产计划的成本估算的计算实验中进行了证明。结果表明计算和采样努力的显着减少。

该博士学位论文的中心对象是在计算机科学和统计力学领域的不同名称中以不同名称而闻名的。在计算机科学中，它被称为“最大切割问题”，这是著名的21个KARP的原始NP硬性问题之一，而物理学的相同物体称为Ising Spin Glass模型。这种丰富的结构的模型通常是减少或重新制定计算机科学，物理和工程学的现实问题。但是，准确地求解此模型（查找最大剪切或基态）可能会留下一个棘手的问题（除非$ \ textit {p} = \ textit {np} $），并且需要为每一个开发临时启发式学特定的实例家庭。离散和连续优化之间的明亮而美丽的连接之一是一种基于半限定编程的圆形方案，以最大程度地切割。此过程使我们能够找到一个近乎最佳的解决方案。此外，该方法被认为是多项式时间中最好的。在本论文的前两章中，我们研究了旨在改善舍入方案的局部非凸照。在本文的最后一章中，我们迈出了一步，并旨在控制我们想要在前几章中解决的问题的解决方案。我们在Ising模型上制定了双层优化问题，在该模型中，我们希望尽可能少地调整交互作用，以使所得ISING模型的基态满足所需的标准。大流行建模出现了这种问题。我们表明，当相互作用是非负的时，我们的双层优化是在多项式时间内使用凸编程来解决的。

In model selection problems for machine learning, the desire for a well-performing model with meaningful structure is typically expressed through a regularized optimization problem. In many scenarios, however, the meaningful structure is specified in some discrete space, leading to difficult nonconvex optimization problems. In this paper, we connect the model selection problem with structure-promoting regularizers to submodular function minimization with continuous and discrete arguments. In particular, we leverage the theory of submodular functions to identify a class of these problems that can be solved exactly and efficiently with an agnostic combination of discrete and continuous optimization routines. We show how simple continuous or discrete constraints can also be handled for certain problem classes and extend these ideas to a robust optimization framework. We also show how some problems outside of this class can be embedded within the class, further extending the class of problems our framework can accommodate. Finally, we numerically validate our theoretical results with several proof-of-concept examples with synthetic and real-world data, comparing against state-of-the-art algorithms.

基于梯度的高参数调整的优化方法可确保理论收敛到固定解决方案时，对于固定的上层变量值，双光线程序的下层级别强烈凸（LLSC）和平滑（LLS）。对于在许多机器学习算法中调整超参数引起的双重程序，不满足这种情况。在这项工作中，我们开发了一种基于不精确度（VF-IDCA）的基于依次收敛函数函数算法。我们表明，该算法从一系列的超级参数调整应用程序中实现了无LLSC和LLS假设的固定解决方案。我们的广泛实验证实了我们的理论发现，并表明，当应用于调子超参数时，提出的VF-IDCA会产生较高的性能。

本文考虑了在分解正常形式（DNF，ANDS的DNF，ANDS，相当于判定规则集）或联合正常形式（CNF，ORS）作为分类模型的联合正常形式的学习。为规则简化，将整数程序配制成最佳贸易分类准确性。我们还考虑公平设定，并扩大制定，以包括对两种不同分类措施的明确限制：机会平等和均等的赔率。列生成（CG）用于有效地搜索候选条款（连词或剖钉）的指数数量，而不需要启发式规则挖掘。此方法还会绑定所选规则集之间的间隙和培训数据上的最佳规则集。要处理大型数据集，我们建议使用随机化的近似CG算法。与三个最近提出的替代方案相比，CG算法主导了16个数据集中的8个中的精度简单折衷。当最大限度地提高精度时，CG与为此目的设计的规则学习者具有竞争力，有时发现明显更简单的解决方案，这些解决方案不太准确。与其他公平和可解释的分类器相比，我们的方法能够找到符合较严格的公平概念的规则集，以适度的折衷准确性。

Decision-making problems are commonly formulated as optimization problems, which are then solved to make optimal decisions. In this work, we consider the inverse problem where we use prior decision data to uncover the underlying decision-making process in the form of a mathematical optimization model. This statistical learning problem is referred to as data-driven inverse optimization. We focus on problems where the underlying decision-making process is modeled as a convex optimization problem whose parameters are unknown. We formulate the inverse optimization problem as a bilevel program and propose an efficient block coordinate descent-based algorithm to solve large problem instances. Numerical experiments on synthetic datasets demonstrate the computational advantage of our method compared to standard commercial solvers. Moreover, the real-world utility of the proposed approach is highlighted through two realistic case studies in which we consider estimating risk preferences and learning local constraint parameters of agents in a multiplayer Nash bargaining game.

Outier-bubust估计是一个基本问题，已由统计学家和从业人员进行了广泛的研究。在过去的几年中，整个研究领域的融合都倾向于“算法稳定统计”，该统计数据的重点是开发可拖动的异常体 - 固定技术来解决高维估计问题。尽管存在这种融合，但跨领域的研究工作主要彼此断开。本文桥接了有关可认证的异常抗衡器估计的最新工作，该估计是机器人技术和计算机视觉中的几何感知，并在健壮的统计数据中并行工作。特别是，我们适应并扩展了最新结果对可靠的线性回归（适用于<< 50％异常值的低外壳案例）和列表可解码的回归（适用于>> 50％异常值的高淘汰案例）在机器人和视觉中通常发现的设置，其中（i）变量（例如旋转，姿势）属于非convex域，（ii）测量值是矢量值，并且（iii）未知的异常值是先验的。这里的重点是绩效保证：我们没有提出新算法，而是为投入测量提供条件，在该输入测量值下，保证现代估计算法可以在存在异常值的情况下恢复接近地面真相的估计值。这些条件是我们所谓的“估计合同”。除了现有结果的拟议扩展外，我们认为本文的主要贡献是（i）通过指出共同点和差异来统一平行的研究行，（ii）在介绍先进材料（例如，证明总和证明）中的统一行为。对从业者的可访问和独立的演讲，（iii）指出一些即时的机会和开放问题，以发出异常的几何感知。

最近已扩展了最小方形聚类（MSSC）或K-均值类型聚类的最小总和，以利用每个群集的基数的先验知识。这种知识用于提高性能以及解决方案质量。在本文中，我们提出了一种基于分支和切割技术的精确方法，以解决基数受限的MSSC。对于下边界的例程，我们使用Rujeerapaiboon等人最近提出的半决赛编程（SDP）放松。 [Siam J. Optim。 29（2），1211-1239，（2019）]。但是，这种放松只能用于小型实例中的分支和切割方法。因此，我们得出了一种新的SDP松弛，该松弛随着实例大小和簇的数量更好。在这两种情况下，我们都通过添加多面体切割来增强结合。从量身定制的分支策略中受益，该策略会实施成对的约束，我们减少了儿童节点中出现的问题的复杂性。相反，对于上限，我们提出了一个本地搜索过程，该过程利用在每个节点上求解的SDP松弛的解。计算结果表明，所提出的算法在全球范围内首次求解了大小的现实实例，比通过最新精确方法求解的算法大10倍。

We extend best-subset selection to linear Multi-Task Learning (MTL), where a set of linear models are jointly trained on a collection of datasets (``tasks''). Allowing the regression coefficients of tasks to have different sparsity patterns (i.e., different supports), we propose a modeling framework for MTL that encourages models to share information across tasks, for a given covariate, through separately 1) shrinking the coefficient supports together, and/or 2) shrinking the coefficient values together. This allows models to borrow strength during variable selection even when the coefficient values differ markedly between tasks. We express our modeling framework as a Mixed-Integer Program, and propose efficient and scalable algorithms based on block coordinate descent and combinatorial local search. We show our estimator achieves statistically optimal prediction rates. Importantly, our theory characterizes how our estimator leverages the shared support information across tasks to achieve better variable selection performance. We evaluate the performance of our method in simulations and two biology applications. Our proposed approaches outperform other sparse MTL methods in variable selection and prediction accuracy. Interestingly, penalties that shrink the supports together often outperform penalties that shrink the coefficient values together. We will release an R package implementing our methods.

在稀疏线性建模 - 最佳子集选择中，研究了一个看似意外的，相对不太理解的基本工具的过度选择，这最小化了对非零系数的约束的限制的剩余平方和。虽然当信噪比（SNR）高时，最佳子集选择过程通常被视为稀疏学习中的“黄金标准”，但是当SNR低时，其预测性能会恶化。特别是，它通过连续收缩方法而言，例如脊回归和套索。我们研究了高噪声制度中最佳子集选择的行为，并提出了一种基于最小二乘标准的正则化版本的替代方法。我们提出的估算员（a）在很大程度上减轻了高噪声制度的最佳次集选择的可预测性能差。 （b）相对于通过脊回归和套索的最佳预测模型，通常递送大幅稀疏模型的同时表现出有利的。我们对所提出的方法的预测性质进行广泛的理论分析，并在噪声水平高时提供相对于最佳子集选择的优越预测性能的理由。我们的估算器可以表达为混合整数二阶圆锥优化问题的解决方案，因此，来自数学优化的现代计算工具可供使用。

本文提出了弗兰克 - 沃尔夫（FW）的新变种​​，称为$ k $ fw。标准FW遭受缓慢的收敛性：迭代通常是Zig-zag作为更新方向振荡约束集的极端点。新变种，$ k $ fw，通过在每次迭代中使用两个更强的子问题oracelles克服了这个问题。第一个是$ k $线性优化Oracle（$ k $ loo），计算$ k $最新的更新方向（而不是一个）。第二个是$ k $方向搜索（$ k $ ds），最大限度地减少由$ k $最新更新方向和之前迭代表示的约束组的目标。当问题解决方案承认稀疏表示时，奥克斯都易于计算，而且$ k $ FW会迅速收敛，以便平滑凸起目标和几个有趣的约束集：$ k $ fw实现有限$ \ frac {4l_f ^ 3d ^} { \ Gamma \ Delta ^ 2} $融合在多台和集团规范球上，以及光谱和核规范球上的线性收敛。数值实验验证了$ k $ fw的有效性，并展示了现有方法的数量级加速。

给定数据点之间的一组差异测量值，确定哪种度量表示与输入测量最“一致”或最能捕获数据相关几何特征的度量是许多机器学习算法的关键步骤。现有方法仅限于特定类型的指标或小问题大小，因为在此类问题中有大量的度量约束。在本文中，我们提供了一种活跃的集合算法，即项目和忘记，该算法使用Bregman的预测，以解决许多（可能是指数）不平等约束的度量约束问题。我们提供了\ textsc {project and Hoses}的理论分析，并证明我们的算法会收敛到全局最佳解决方案，并以指数速率渐近地渐近地衰减了当前迭代的$ L_2 $距离。我们证明，使用我们的方法，我们可以解决三种类型的度量约束问题的大型问题实例：一般体重相关聚类，度量近距离和度量学习；在每种情况下，就CPU时间和问题尺寸而言，超越了艺术方法的表现。

我们研究了估计多元高斯分布中的精度矩阵的问题，其中所有部分相关性都是非负面的，也称为多变量完全阳性的顺序阳性（$ \ mathrm {mtp} _2 $）。近年来，这种模型得到了重大关注，主要是由于有趣的性质，例如，无论底层尺寸如何，最大似然估计值都存在于两个观察。我们将此问题作为加权$ \ ell_1 $ -norm正常化高斯的最大似然估计下$ \ mathrm {mtp} _2 $约束。在此方向上，我们提出了一种新颖的预计牛顿样算法，该算法包含精心设计的近似牛顿方向，这导致我们具有与一阶方法相同的计算和内存成本的算法。我们证明提出的预计牛顿样算法会聚到问题的最小值。从理论和实验中，我们进一步展示了我们使用加权$ \ ell_1 $ -norm的制剂的最小化器能够正确地恢复基础精密矩阵的支持，而无需在$ \ ell_1 $ -norm中存在不连贯状态方法。涉及合成和实世界数据的实验表明，我们所提出的算法从计算时间透视比最先进的方法显着更有效。最后，我们在金融时序数据中应用我们的方法，这些数据对于显示积极依赖性，在那里我们在学习金融网络上的模块间值方面观察到显着性能。

最小的平方和群集（MSSC）或K-Means型聚类，传统上被认为是无监督的学习任务。近年来，使用背景知识来提高集群质量，促进聚类过程的可解释性已成为数学优化和机器学习研究的热门研究课题。利用数据群集中的背景信息的问题称为半监督或约束群集。在本文中，我们为半监控MSSC提供了一种新的分支和绑定算法，其中背景知识被包含为成对必须 - 链接和无法链接约束。对于较低的界限，我们解决了MSSC离散优化模型的Semidefinite编程宽松，并使用了用于加强界限的纤维平面程序。相反，通过使用整数编程工具，我们提出了将K-Means算法适应受约束的情况。这是第一次，所提出的全局优化算法有效地管理，以解决现实世界的情况，最高可达800个数据点，具有必要的必须 - 链接和无法链接约束以及通用数量的功能。这个问题大小大约比最先进的精确算法解决的实例大约四倍。