正则化方法已被广泛应用于没有已知模型结构的系统识别问题。本文提出了基于原子规范正则化的无限差稀疏学习算法。原子规范正则化将传递函数分解为一阶原子模型，并解决了一个组套索问题，该问题选择了一组稀疏的极点并识别相应的系数。解决问题的困难在于，存在无限数量的原子模型。这项工作提出了一种贪婪的算法，该算法生成了新的候选原子模型，从而最大程度地违反了现有问题的最佳条件。该算法能够以高精度来解决无限二维组的套索问题。该算法进一步扩展以减少偏差，并分别通过迭代的自适应组套索和互补对稳定性选择在极点位置估计中拒绝误报。数值结果表明，就脉冲响应拟合和极点位置估计而言，所提出的算法的性能优于基准参数化和正则方法。

约束的张量和矩阵分子化模型允许从多道数据中提取可解释模式。因此，对于受约束的低秩近似度的可识别性特性和有效算法是如此重要的研究主题。这项工作涉及低秩近似的因子矩阵的列，以众所周知的和可能的过度顺序稀疏，该模型包括基于字典的低秩近似（DLRA）。虽然早期的贡献集中在候选列字典内的发现因子列，即一稀疏的近似值，这项工作是第一个以大于1的稀疏性解决DLRA。我建议专注于稀疏编码的子问题，在解决DLRA时出现的混合稀疏编码（MSC）以交替的优化策略在解决DLRA时出现。提供了基于稀疏编码启发式的几种算法（贪婪方法，凸起放松）以解决MSC。在模拟数据上评估这些启发式的性能。然后，我展示了如何基于套索来调整一个有效的MSC求解器，以计算高光谱图像处理和化学测量学的背景下的基于词典的基于矩阵分解和规范的多adic分解。这些实验表明，DLRA扩展了低秩近似的建模能力，有助于降低估计方差并提高估计因子的可识别性和可解释性。

High-dimensional linear regression model is the most popular statistical model for high-dimensional data, but it is quite a challenging task to achieve a sparse set of regression coefficients. In this paper, we propose a simple heuristic algorithm to construct sparse high-dimensional linear regression models, which is adapted from the shortest solution-guided decimation algorithm and is referred to as ASSD. This algorithm constructs the support of regression coefficients under the guidance of the least-squares solution of the recursively decimated linear equations, and it applies an early-stopping criterion and a second-stage thresholding procedure to refine this support. Our extensive numerical results demonstrate that ASSD outperforms LASSO, vector approximate message passing, and two other representative greedy algorithms in solution accuracy and robustness. ASSD is especially suitable for linear regression problems with highly correlated measurement matrices encountered in real-world applications.

在本文中，我们提出了一个被称为Rkhsmetamod的R包，其实现了估计复杂模型的元模型的过程。元模型近似于复杂模型的Hoeffding分解，并允许我们对其进行灵敏度分析。它属于一个再现内核希尔伯特空间，该空间被构造成作为希尔伯特空间的直接总和。元模型的估计是用Hilbert标准的总和和经验L ^ 2-Norm的最小化最小化的抵抗的经验性最小平方。此过程称为RKHS Ridge Group Sparse，允许选择和估算Hoeffding分解中的术语，因此选择和估计非零的Sobol指数。 RKHSMetamod包提供从R统计计算环境到C ++库EIGEN和GSL的接口。为了加快执行时间并优化存储内存，除了用R写入R的函数，可以使用RCPPeigen和RCPPGSL软件包使用高效的C ++库写入此包的所有功能。然后，这些功能在R环境中接通，以提出用户友好的包装。

我们提出了终止淘汰（T敲击）滤波器，是用于高维数据的快速变量选择方法。 T型爆频过滤器控制用户定义的目标假发现速率（FDR），同时最大化所选变量的数量。这是通过融合多次早期终止随机实验的解决方案来实现的。实验是在原始预测因子和多组随机产生的截止预测器的组合上进行的。提供了基于Martingale理论的FDR控制属性的有限样品证明。数值模拟表明FDR在目标水平上控制，同时允许高功率。我们在温和条件下证明了淘汰赛可以从任何单变量分布中取样。推导出所提出的方法的计算复杂性，并且通过数值模拟来说明顺序计算时间比稀疏高维设置中最强的基准方法的数量级多的数量次数。 T型爆震滤波器优于用于模拟基因组关联研究（GWAS）的FDR控制的最先进方法，而其计算时间比最强的基准方法的计算时间超过两个数量级。

在本文中，我们解决了在涉及大规模数据的设置中进行统计推断的问题，这些数据可能是高度的，并且被异常值污染。数据的大量和维度需要分布式处理和存储解决方案。我们提出了一个两阶段分布和强大的统计推断程序，通过促进稀疏性来应对高维模型。在第一阶段（称为模型选择）中，相关预测因子是通过将强大的LASSO估计器应用于不同数据子集的局部选择。然后，从每个计算节点中的变量选择通过投票方案融合，以找到完整数据集的稀疏基础。它以强大的方式识别相关变量。在第二阶段，采用了开发的统计上健壮的和计算高效的引导方法。实际推断构建体间隔，找到参数估计并量化标准偏差。与第1阶段类似，将局部推理的结果传达给融合中心并在此组合。通过使用分析方法，我们建立了鲁棒和计算有效的引导方法的有利统计特性，包括固定数量的预测因子和鲁棒性的一致性。提出的两阶段的鲁棒和分布式推理程序在变量选择中表现出可靠的性能和鲁棒性，即使数据是高度且受异常值污染的，找到置信区间和标准偏差的自举近似。

我们考虑具有稀疏限制的缓慢变化回归模型中参数估计问题。我们将问题标制作混合整数优化问题，并证明可以通过新颖的精确放松来完全作为二元凸优化问题的重整。放松利用摩洛队的逆转录的新平等渗透了非凸面目标函数，同时与所有可行的二进制点上的原始目标重合。这使我们能够通过切割平面型算法更有效地更有效地解决问题并以优化的优化。我们开发了一种高度优化的这种算法的实现，这基本上提高了直接实现的渐近计算复杂性。我们进一步开发了一种启发式方法，保证生产可行的解决方案，并且正如我们经验说明的那样，为二进制优化问题产生高质量的热启动解决方案。我们在合成和现实世界数据集上展示了所得算法优于各种度量的可比时期的竞争配方，包括采样超出预测性能，支持恢复精度和假阳性率。该算法使我们能够培训具有10,000个参数的模型，对噪声具有鲁棒，并且能够有效地捕获数据生成过程的潜在缓慢改变支持。

Data-driven neighborhood definitions and graph constructions are often used in machine learning and signal processing applications. k-nearest neighbor~(kNN) and $\epsilon$-neighborhood methods are among the most common methods used for neighborhood selection, due to their computational simplicity. However, the choice of parameters associated with these methods, such as k and $\epsilon$, is still ad hoc. We make two main contributions in this paper. First, we present an alternative view of neighborhood selection, where we show that neighborhood construction is equivalent to a sparse signal approximation problem. Second, we propose an algorithm, non-negative kernel regression~(NNK), for obtaining neighborhoods that lead to better sparse representation. NNK draws similarities to the orthogonal matching pursuit approach to signal representation and possesses desirable geometric and theoretical properties. Experiments demonstrate (i) the robustness of the NNK algorithm for neighborhood and graph construction, (ii) its ability to adapt the number of neighbors to the data properties, and (iii) its superior performance in local neighborhood and graph-based machine learning tasks.

路径跟踪算法经常用于复合优化问题，其中一系列具有不同正则化超参数的子问题，顺序解决。通过将以前的解决方案重用为初始化，在数值上观察到更好的收敛速度。这使得它成为加速机器学习中优化算法的执行的相当有用的启发式。我们提出了路径跟踪算法的原始双重分析，并探索了如何设计其超参数，以及确定每个子问题的解决方案应该如何解决，以保证目标问题的线性收敛速度。此外，考虑用稀疏诱导惩罚的优化，我们分析了关于正则化参数的活动集的变化。然后可以自适应地校准后者以精细地确定沿解决方案路径选择的特征的数量。这导致简单的启发式校准主动集方法的超级参数，以降低他们的复杂性并提高他们的执行时间。

动态网络的识别方法通常需要先前的网络和干扰拓扑的知识，并且通常依赖于解决可扩展的不可达到的非凸优化问题。虽然在文献中可获得用于估计网络拓扑的方法，但是估计干扰拓扑的缺少的注意力不太注意，即扰动信号的过滤的白噪声表示中的（空间）噪声相关结构和噪声等级。在这项工作中，我们提出了一种动态网络的识别方法，其中干扰拓扑的估计在具有已知网络拓扑的全动态网络的识别之前。为此，我们扩展了多步顺序线性回归和加权空隙空间拟合方法来处理降低的排名噪声，并使用这些方法在完全测量情况下估计干扰拓扑和网络动态。结果，我们提供了一种具有并行计算能力的多步骤最小二乘算法，并且仅依赖于显式分析解决方案，从而避免涉及通常的非凸的优化。因此，我们始终如一地估算了箱子詹金斯模型结构的动态网络，同时保持计算负担低。我们提供了一种一致性证据，包括基于路径的数据信息性条件，用于在实验设计中分配激励信号。在具有减少的排名噪声的动态网络上执行的数值模拟清楚地说明了这种方法的潜力。

我们引入了一种新的经验贝叶斯方法，用于大规模多线性回归。我们的方法结合了两个关键思想：（i）使用灵活的“自适应收缩”先验，该先验近似于正常分布的有限混合物，近似于正常分布的非参数家族； （ii）使用变分近似来有效估计先前的超参数并计算近似后期。将这两个想法结合起来，将快速，灵活的方法与计算速度相当，可与快速惩罚的回归方法（例如Lasso）相当，并在各种场景中具有出色的预测准确性。此外，我们表明，我们方法中的后验平均值可以解释为解决惩罚性回归问题，并通过直接解决优化问题（而不是通过交叉验证来调整）从数据中学到的惩罚函数的精确形式。 。我们的方法是在r https://github.com/stephenslab/mr.ash.ash.alpha的r软件包中实现的

现代统计应用常常涉及最小化可能是非流动和/或非凸起的目标函数。本文侧重于广泛的Bregman-替代算法框架，包括本地线性近似，镜像下降，迭代阈值，DC编程以及许多其他实例。通过广义BREGMAN功能的重新发出使我们能够构建合适的误差测量并在可能高维度下建立非凸起和非凸起和非球形目标的全球收敛速率。对于稀疏的学习问题，在一些规律性条件下，所获得的估算器作为代理人的固定点，尽管不一定是局部最小化者，但享受可明确的统计保障，并且可以证明迭代顺序在所需的情况下接近统计事实准确地快速。本文还研究了如何通过仔细控制步骤和放松参数来设计基于适应性的动力的加速度而不假设凸性或平滑度。

现代技术正在生成越来越多的数据。利用这些数据需要既有统计学上的声音又有效率的方法。通常，统计和计算方面会分别处理。在本文中，我们提出了一种在正规化估计的背景下纠缠这两个方面的方法。将我们的方法应用于稀疏和小组的回归，我们表明它可以在统计和计算上对标准管道进行改进。

我们提出了一种估计具有标称分类数据的高维线性模型的方法。我们的估算器，称为范围，通过使其相应的系数完全相等来融合水平。这是通过对分类变量的系数的阶数统计之间的差异之间的差异来实现这一点，从而聚类系数。我们提供了一种算法，用于精确和有效地计算在具有潜在许多级别的单个变量的情况下的总体上的最小值的全局最小值，并且在多变量情况下在块坐标血管下降过程中使用它。我们表明，利用未知级别融合的Oracle最小二乘解决方案是具有高概率的坐标血缘的极限点，只要真正的级别具有一定的最小分离;已知这些条件在单变量案例中最小。我们展示了在一系列实际和模拟数据集中的范围的有利性能。 R包的R包Catreg实现线性模型的范围，也可以在CRAN上提供逻辑回归的版本。

在稀疏线性建模 - 最佳子集选择中，研究了一个看似意外的，相对不太理解的基本工具的过度选择，这最小化了对非零系数的约束的限制的剩余平方和。虽然当信噪比（SNR）高时，最佳子集选择过程通常被视为稀疏学习中的“黄金标准”，但是当SNR低时，其预测性能会恶化。特别是，它通过连续收缩方法而言，例如脊回归和套索。我们研究了高噪声制度中最佳子集选择的行为，并提出了一种基于最小二乘标准的正则化版本的替代方法。我们提出的估算员（a）在很大程度上减轻了高噪声制度的最佳次集选择的可预测性能差。 （b）相对于通过脊回归和套索的最佳预测模型，通常递送大幅稀疏模型的同时表现出有利的。我们对所提出的方法的预测性质进行广泛的理论分析，并在噪声水平高时提供相对于最佳子集选择的优越预测性能的理由。我们的估算器可以表达为混合整数二阶圆锥优化问题的解决方案，因此，来自数学优化的现代计算工具可供使用。

异常值广泛发生在大数据应用中，可能严重影响统计估计和推理。在本文中，引入了抗强估计的框架，以强制任意给出的损耗函数。它与修剪方法密切连接，并且包括所有样本的显式外围参数，这反过来促进计算，理论和参数调整。为了解决非凸起和非体性的问题，我们开发可扩展的算法，以实现轻松和保证快速收敛。特别地，提出了一种新的技术来缓解对起始点的要求，使得在常规数据集上，可以大大减少数据重采样的数量。基于组合的统计和计算处理，我们能够超越M估计来执行非因思分析。所获得的抗性估算器虽然不一定全局甚至是局部最佳的，但在低维度和高维度中享有最小的速率最优性。回归，分类和神经网络的实验表明，在总异常值发生的情况下提出了拟议方法的优异性能。

我们讨论了具有未知IV有效性的线性仪器变量（IV）模型中识别的基本问题。我们重新审视了流行的多数和多元化规则，并表明通常没有识别条件是“且仅在总体上”。假设“最稀少的规则”，该规则等同于多数规则，但在计算算法中变得运作，我们研究并证明了基于两步选择的其他IV估计器的非convex惩罚方法的优势，就两步选择而言选择一致性和单独弱IV的适应性。此外，我们提出了一种与识别条件保持一致的替代较低的惩罚，并同时提供甲骨文稀疏结构。与先前的文献相比，针对静脉强度较弱的估计仪得出了理想的理论特性。使用模拟证明了有限样本特性，并且选择和估计方法应用于有关贸易对经济增长的影响的经验研究。

Koopman运算符是无限维的运算符，可全球线性化非线性动态系统，使其光谱信息可用于理解动态。然而，Koopman运算符可以具有连续的光谱和无限维度的子空间，使得它们的光谱信息提供相当大的挑战。本文介绍了具有严格融合的数据驱动算法，用于从轨迹数据计算Koopman运算符的频谱信息。我们引入了残余动态模式分解（ResDMD），它提供了第一种用于计算普通Koopman运算符的Spectra和PseudtoStra的第一种方案，无需光谱污染。使用解析器操作员和RESDMD，我们还计算与测量保存动态系统相关的光谱度量的平滑近似。我们证明了我们的算法的显式收敛定理，即使计算连续频谱和离散频谱的密度，也可以实现高阶收敛即使是混沌系统。我们展示了在帐篷地图，高斯迭代地图，非线性摆，双摆，洛伦茨系统和11美元延长洛伦兹系统的算法。最后，我们为具有高维状态空间的动态系统提供了我们的算法的核化变体。这使我们能够计算与具有20,046维状态空间的蛋白质分子的动态相关的光谱度量，并计算出湍流流过空气的误差界限的非线性Koopman模式，其具有雷诺数为$> 10 ^ 5 $。一个295,122维的状态空间。

在选择组套索（或普遍的变体，例如重叠，稀疏或标准化的组套索）之后，在没有选择偏见的调整的情况下，对所选参数的推断是不可靠的。在受惩罚的高斯回归设置中，现有方法为选择事件提供了调整，这些事件可以表示为数据变量中的线性不平等。然而，这种表示未能与组套索一起选择，并实质上阻碍了随后的选择后推断的范围。推论兴趣的关键问题 - 例如，推断选定变量对结果的影响 - 仍未得到解答。在本文中，我们开发了一种一致的，选择性的贝叶斯方法，通过得出似然调整因子和近似值来解决现有差距，从而消除了组中的偏见。对模拟数据和人类Connectome项目数据的实验表明，我们的方法恢复了所选组中参数的影响，同时仅支付较小的偏差调整价格。

本文涉及使用多项式的有限样品的平滑，高维函数的近似。这项任务是计算科学和工程中许多应用的核心 - 尤其是由参数建模和不确定性量化引起的。通常在此类应用中使用蒙特卡洛（MC）采样，以免屈服于维度的诅咒。但是，众所周知，这种策略在理论上是最佳的。尺寸$ n $有许多多项式空间，样品复杂度尺度划分为$ n $。这种有据可查的现象导致了一致的努力，以设计改进的，实际上是近乎最佳的策略，其样本复杂性是线性的，甚至线性地缩小了$ n $。自相矛盾的是，在这项工作中，我们表明MC实际上是高维度中的一个非常好的策略。我们首先通过几个数值示例记录了这种现象。接下来，我们提出一个理论分析，该分析能够解决这种悖论，以实现无限多变量的全体形态功能。我们表明，基于$ M $ MC样本的最小二乘方案，其错误衰减为$ m/\ log（m）$，其速率与最佳$ n $ term的速率相同多项式近似。该结果是非构造性的，因为它假定了进行近似的合适多项式空间的知识。接下来，我们提出了一个基于压缩感应的方案，该方案达到了相同的速率，除了较大的聚类因子。该方案是实用的，并且在数值上，它的性能和比知名的自适应最小二乘方案的性能和更好。总体而言，我们的发现表明，当尺寸足够高时，MC采样非常适合平滑功能近似。因此，改进的采样策略的好处通常仅限于较低维度的设置。