布尔矩阵分解（BMF）旨在找到给定二进制基质作为两个低级二进制矩阵的布尔产物的近似值。二进制数据在许多领域都无处不在，并且通过二进制矩阵代表数据在医学，自然语言处理，生物信息学，计算机图形等方面很常见。不幸的是，BMF在计算方面是硬性的，并且使用启发式算法来计算布尔分解。最近，理论突破是由两个研究小组独立获得的。 Ban等。 （Soda 2019）和Fomin等。 （Trans。2020算法）表明，BMF接受有效的多项式近似方案（EPTAS）。然而，尽管理论上的重要性，但从等级的运行时间的高指数依赖性使这些算法在实践中无法实现。促使我们工作的主要研究问题是BMF的理论进步是否可能导致实用算法。我们工作的主要概念性贡献是以下内容。尽管BMF的EPTA是纯粹的理论进步，但这些算法背后的一般方法可以作为设计更好的启发式方法的基础。我们还使用此策略来为相关的$ \ mathbb {f} _p $ -matrix分解开发新算法。在这里，给定有限的字段GF（$ p $）的矩阵$ a $，其中$ p $是素数，而整数$ r $，我们的目标是在与GF的同一字段上找到一个矩阵$ b $（ $ p $） - 最多排名$ r $最小化$ a-b $的一些规范。我们对合成和现实世界数据的实证研究证明了新算法比以前的作品在BMF和$ \ Mathbb {f} _p $ -matrix分解方面的优势。

Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.

在这项工作中，我们研究了一个非负矩阵分解的变体，我们希望找到给定输入矩阵的对称分解成稀疏的布尔矩阵。正式说话，给定$ \ mathbf {m} \ in \ mathbb {z} ^ {m \ times m} $，我们想找到$ \ mathbf {w} \ in \ {0,1 \} ^ {m \ times $} $这样$ \ | \ mathbf {m} - \ mathbf {w} \ mathbf {w} ^ \ top \ | _0 $在所有$ \ mathbf {w} $中最小化为$ k $ -parse。这个问题结果表明与恢复线图中的超图以及私人神经网络训练的重建攻击相比密切相关。由于这个问题在最坏的情况下，我们研究了在这些重建攻击的背景下出现的自然平均水平变体：$ \ mathbf {m} = \ mathbf {w} \ mathbf {w} ^ {\ top $ \ mathbf {w} $ \ mathbf {w} $ k $ -parse行的随机布尔矩阵，目标是恢复$ \ mathbf {w} $上列排列。等效，这可以被认为是从其线图中恢复均匀随机的k $ k $。我们的主要结果是基于对$ \ MATHBF {W} $的引导高阶信息的此问题的多项式算法，然后分解适当的张量。我们分析中的关键成分，可能是独立的兴趣，是表示这种矩阵$ \ mathbf {w} $在$ m = \ widetilde {\ omega}（r）时，这一矩阵$ \ mathbf {w} $具有高概率。 $，我们使用Littlewood-Offord理论的工具和二进制Krawtchouk多项式的估算。

数据挖掘中的许多基本问题可以减少到一个或多个NP-Colly组合优化问题。诸如量子和量子启发硬件的新技术的最新进展承诺，与使用通用计算机相比，诸如使用通用计算机而且需要以特殊形式进行建模的问题，例如以特殊形式建模的问题，例如诸如ising或二次无约会二进制优化的问题，以解决这些问题的大量加速（qubo）模型，以利用这些设备。在这项工作中，我们专注于重要的二进制矩阵分解（BMF）问题，这些问题在数据挖掘中具有许多应用。我们为BMF提出了两种QubBo配方。我们展示了如何容易地将聚类约束纳入这些配方。我们考虑的特殊用途硬件有限于它可以处理的变量数量，这在分解大矩阵时呈现出挑战。我们提出了一种基于采样的方法来克服这一挑战，允许我们分解大型矩形矩阵。除了这些方法之外，我们还提出了一种简单的基线算法，这些算法优于我们在几种情况下更复杂的方法。我们在富士通数字退火器中运行实验，在合成和实数据上，包括基因表达数据的量子启发的互补金属氧化物半导体（CMOS）退火器。这些实验表明，我们的方法能够生产比竞争方法更准确的BMF。

腔是总结数据的最受欢迎的范例之一。特别是，存在许多用于聚类问题的高性能核心，例如理论和实践中的$ k $ - 均值。奇怪的是，没有进行比较可用$ k $ - 均值核心的质量的工作。在本文中，我们进行了这样的评估。目前尚无算法来测量候选核心的失真。我们提供了一些证据，表明为什么这可能在计算上很难。为了补充这一点，我们提出了一个基准，我们认为计算核心具有挑战性，这也使我们对核心的评估很容易（启发式）评估。使用此基准和现实世界数据集，我们对理论和实践中最常用的核心算法进行了详尽的评估。

基于中心的聚类（例如，$ k $ -means，$ k $ -Medians）和使用线性子空间的聚类是两种最受欢迎的技术，可以将真实数据分配到较小的群集中。但是，当数据由敏感人群组组成时，不同敏感组的每点的聚集成本显着不同，可能会导致与公平相关的危害（例如，服务质量不同）。社会公平聚类的目的是最大程度地降低所有组中每点聚类的最大成本。在这项工作中，我们提出了一个统一的框架，以解决社会公平的基于中心的聚类和线性子空间聚类，并为这些问题提供实用，高效的近似算法。我们进行了广泛的实验，以表明在多个基准数据集上，我们的算法要么紧密匹配或超越最先进的基线。

我们研究了用$ q $ modes $ a \ in \ mathbb {r}^{n \ times \ ldots \ times n} $的近似给定张量的问题。图$ g =（v，e）$，其中$ | v | = q $，以及张张量的集合$ \ {u_v \ mid v \ in v \} $，以$ g $指定的方式收缩以获取张量$ t $。对于$ u_v $的每种模式，对应于$ v $的边缘事件，尺寸为$ k $，我们希望找到$ u_v $，以便最小化$ t $和$ a $之间的frobenius norm距离。这概括了许多众所周知的张量网络分解，例如张量列，张量环，塔克和PEPS分解。我们大约是二进制树网络$ t'$带有$ o（q）$核的大约$ a $，因此该网络的每个边缘上的尺寸最多是$ \ widetilde {o}（k^{o（dt） } \ cdot q/\ varepsilon）$，其中$ d $是$ g $的最大度，$ t $是其树宽，因此$ \ | a -t'-t'\ | _f^2 \ leq（1 + \ Varepsilon）\ | a -t \ | _f^2 $。我们算法的运行时间为$ o（q \ cdot \ text {nnz}（a）） + n \ cdot \ text {poly}（k^{dt} q/\ varepsilon）$，其中$ \ text {nnz }（a）$是$ a $的非零条目的数量。我们的算法基于一种可能具有独立感兴趣的张量分解的新维度降低技术。我们还开发了固定参数可处理的$（1 + \ varepsilon）$ - 用于张量火车和塔克分解的近似算法，改善了歌曲的运行时间，Woodruff和Zhong（Soda，2019），并避免使用通用多项式系统求解器。我们表明，我们的算法对$ 1/\ varepsilon $具有几乎最佳的依赖性，假设没有$ O（1）$ - 近似算法的$ 2 \至4 $ norm，并且运行时间比蛮力更好。最后，我们通过可靠的损失函数和固定参数可拖动CP分解给出了塔克分解的其他结果。

我们考虑测定点过程（DPP）的产物，该点过程，其概率质量与多矩阵的主要成本的产物成比例，作为DPP的天然有希望的推广。我们研究计算其归一化常量的计算复杂性，这是最重要的概率推理任务。我们的复杂性 - 理论结果（差不多）排除了该任务的有效算法的存在，除非输入矩阵被迫具有有利的结构。特别是，我们证明了以下内容：（1）计算$ \ sum_s \ det（{\ bf a} _ {s，s，s}）^ p $完全针对每个（固定）阳性甚至整数$ p $ up-hard和Mod $ _3 $ p-hard，它给Kulesza和Taskar提出的打开问题给出了否定答案。 （2）$ \ sum_s \ det（{\ bf a} _ {s，s}）\ det（{\ bf b} _ {s，s}）\ det（{\ bf c} _ {s，s} ）$ IS难以在2 ^ {o（| i | i | ^ {1- \ epsilon}）} $或$ 2 ^ {o（n ^ {1 / epsilon}）} $的任何一个$ \ epsilon> 0 $，其中$ | i | $是输入大小，$ n $是输入矩阵的顺序。这种结果比Gillenwater导出的两个矩阵的#P硬度强。 （3）有$ k ^ {o（k）} n ^ {o（1）} $ - 计算$ \ sum_s \ det的时间算法（{\ bf a} _ {s，s}）\ det（ {\ bf b} _ {s，s}）$，其中$ k $是$ \ bf a $和$ \ bf b $的最大等级，或者由$ \ bf a $的非零表项形成的图表的树宽和$ \ bf b $。据说这种参数化算法是固定参数的易解。这些结果可以扩展到固定尺寸的情况。此外，我们介绍了两个固定参数批量算法的应用程序给定矩阵$ \ bf a $ treewidth $ w $：（4）我们可以计算$ 2 ^ {\ frac {n} {2p-1} $ - 近似值到$ \ sum_s \ det（{\ bf a} _ {s，s}）^ p $ for任何分数$ p> 1 $以$ w ^ {o（wp）} n ^ {o（1）} $时间。 （5）我们可以在$ w ^ {o（w \ sqrt n）} n ^ {

kronecker回归是一个高度结构的最小二乘问题$ \ min _ {\ mathbf {x}}} \ lvert \ mathbf {k} \ mathbf {x} - \ mathbf {b} \ rvert_ \ rvert_ {2}^2 $矩阵$ \ mathbf {k} = \ mathbf {a}^{（1）} \ otimes \ cdots \ cdots \ otimes \ mathbf {a}^{（n）} $是因子矩阵的Kronecker产品。这种回归问题是在广泛使用的最小二乘（ALS）算法的每个步骤中都出现的，用于计算张量的塔克分解。我们介绍了第一个用于求解Kronecker回归的子次数算法，以避免在运行时间中避免指数项$ o（\ varepsilon^{ - n}）$的$（1+ \ varepsilon）$。我们的技术结合了利用分数抽样和迭代方法。通过扩展我们对一个块是Kronecker产品的块设计矩阵的方法，我们还实现了（1）Kronecker Ridge回归的亚次级时间算法，并且（2）更新ALS中Tucker分解的因子矩阵，这不是一个不是一个纯Kronecker回归问题，从而改善了Tucker ALS的所有步骤的运行时间。我们证明了该Kronecker回归算法在合成数据和现实世界图像张量上的速度和准确性。

Kernel matrices, as well as weighted graphs represented by them, are ubiquitous objects in machine learning, statistics and other related fields. The main drawback of using kernel methods (learning and inference using kernel matrices) is efficiency -- given $n$ input points, most kernel-based algorithms need to materialize the full $n \times n$ kernel matrix before performing any subsequent computation, thus incurring $\Omega(n^2)$ runtime. Breaking this quadratic barrier for various problems has therefore, been a subject of extensive research efforts. We break the quadratic barrier and obtain $\textit{subquadratic}$ time algorithms for several fundamental linear-algebraic and graph processing primitives, including approximating the top eigenvalue and eigenvector, spectral sparsification, solving linear systems, local clustering, low-rank approximation, arboricity estimation and counting weighted triangles. We build on the recent Kernel Density Estimation framework, which (after preprocessing in time subquadratic in $n$) can return estimates of row/column sums of the kernel matrix. In particular, we develop efficient reductions from $\textit{weighted vertex}$ and $\textit{weighted edge sampling}$ on kernel graphs, $\textit{simulating random walks}$ on kernel graphs, and $\textit{importance sampling}$ on matrices to Kernel Density Estimation and show that we can generate samples from these distributions in $\textit{sublinear}$ (in the support of the distribution) time. Our reductions are the central ingredient in each of our applications and we believe they may be of independent interest. We empirically demonstrate the efficacy of our algorithms on low-rank approximation (LRA) and spectral sparsification, where we observe a $\textbf{9x}$ decrease in the number of kernel evaluations over baselines for LRA and a $\textbf{41x}$ reduction in the graph size for spectral sparsification.

本文涉及低级矩阵恢复问题的$ \ ell_ {2,0} $ \ ell_ {2,0} $ - 正则化分解模型及其计算。引入了Qual $ \ ell_ {2,0} $ - 因子矩阵的规范，以促进因素和低级别解决方案的柱稀疏性。对于这种不透露的不连续优化问题，我们开发了一种具有外推的交替的多种化 - 最小化（AMM）方法，以及一个混合AMM，其中提出了一种主要的交替的近端方法，以寻找与较少的非零列和带外推的AMM的初始因子对。然后用于最小化平滑的非凸损失。我们为所提出的AMM方法提供全局收敛性分析，并使用非均匀采样方案将它们应用于矩阵完成问题。数值实验是用综合性和实际数据示例进行的，并且与核形态正则化分解模型的比较结果和MAX-NORM正则化凸模型显示柱$ \ ell_ {2,0} $ - 正则化分解模型具有优势在更短的时间内提供较低误差和排名的解决方案。

Graph clustering is a fundamental problem in unsupervised learning, with numerous applications in computer science and in analysing real-world data. In many real-world applications, we find that the clusters have a significant high-level structure. This is often overlooked in the design and analysis of graph clustering algorithms which make strong simplifying assumptions about the structure of the graph. This thesis addresses the natural question of whether the structure of clusters can be learned efficiently and describes four new algorithmic results for learning such structure in graphs and hypergraphs. All of the presented theoretical results are extensively evaluated on both synthetic and real-word datasets of different domains, including image classification and segmentation, migration networks, co-authorship networks, and natural language processing. These experimental results demonstrate that the newly developed algorithms are practical, effective, and immediately applicable for learning the structure of clusters in real-world data.

我们提出了一个算法框架，用于近距离矩阵上的量子启发的经典算法，概括了Tang的突破性量子启发算法开始的一系列结果，用于推荐系统[STOC'19]。由量子线性代数算法和gily \'en，su，low和wiebe [stoc'19]的量子奇异值转换（SVT）框架[SVT）的动机[STOC'19]，我们开发了SVT的经典算法合适的量子启发的采样假设。我们的结果提供了令人信服的证据，表明在相应的QRAM数据结构输入模型中，量子SVT不会产生指数量子加速。由于量子SVT框架基本上概括了量子线性代数的所有已知技术，因此我们的结果与先前工作的采样引理相结合，足以概括所有有关取消量子机器学习算法的最新结果。特别是，我们的经典SVT框架恢复并经常改善推荐系统，主成分分析，监督聚类，支持向量机器，低秩回归和半决赛程序解决方案的取消结果。我们还为汉密尔顿低级模拟和判别分析提供了其他取消化结果。我们的改进来自识别量子启发的输入模型的关键功能，该模型是所有先前量子启发的结果的核心：$ \ ell^2 $ -Norm采样可以及时近似于其尺寸近似矩阵产品。我们将所有主要结果减少到这一事实，使我们的简洁，独立和直观。

The affine rank minimization problem consists of finding a matrix of minimum rank that satisfies a given system of linear equality constraints. Such problems have appeared in the literature of a diverse set of fields including system identification and control, Euclidean embedding, and collaborative filtering. Although specific instances can often be solved with specialized algorithms, the general affine rank minimization problem is NP-hard, because it contains vector cardinality minimization as a special case.In this paper, we show that if a certain restricted isometry property holds for the linear transformation defining the constraints, the minimum rank solution can be recovered by solving a convex optimization problem, namely the minimization of the nuclear norm over the given affine space. We present several random ensembles of equations where the restricted isometry property holds with overwhelming probability, provided the codimension of the subspace is Ω(r(m + n) log mn), where m, n are the dimensions of the matrix, and r is its rank.The techniques used in our analysis have strong parallels in the compressed sensing framework. We discuss how affine rank minimization generalizes this pre-existing concept and outline a dictionary relating concepts from cardinality minimization to those of rank minimization. We also discuss several algorithmic approaches to solving the norm minimization relaxations, and illustrate our results with numerical examples.

数据驱动的算法可以通过从输入的训练样本中学习，可以使其内部结构或参数适应来自未知应用程序特定分布的输入。最近的一些作品将这种方法应用于数值线性代数中的问题，获得了绩效的显着经验增长。然而，尚无理论上的成功解释。在这项工作中，我们证明了这些算法的概括范围，在Gupta和Roughgarden提出的数据驱动算法选择的PAC学习框架内（Sicomp 2017）。我们的主要结果与Indyk等人的基于学习的低级近似算法的脂肪破碎维度紧密匹配（Neurips 2019）。我们的技术是一般的，并为数值线性代数中的许多其他最近提出的数据驱动算法提供了概括，涵盖了基于草图的基于草图的方法和基于多机的方法。这大大扩展了可用的PAC学习分析的数据驱动算法类别。

本文展示了如何适应$ k $ -MEANS问题的几种简单和经典的基于采样的算法，以使用离群值设置。最近，Bhaskara等人。 （Neurips 2019）展示了如何将古典$ K $ -MEANS ++算法适应与异常值的设置。但是，他们的算法需要输出$ o（\ log（k）\ cdot z）$ outiers，其中$ z $是true Outliers的数量，以匹配$ o（\ log k）$ - 近似值的$ k的近似保证$ -Means ++。在本文中，我们以他们的想法为基础，并展示了如何适应几个顺序和分布式的$ k $ - 均值算法，但使用离群值来设置，但具有更强的理论保证：我们的算法输出$（1+ \ VAREPSILON）z $ OUTLIERS Z $ OUTLIERS在实现$ o（1 / \ varepsilon）$ - 近似目标函数的同时。在顺序世界中，我们通过改编Lattanzi和Sohler的最新算法来实现这一目标（ICML 2019）。在分布式设置中，我们适应了Guha等人的简单算法。 （IEEE Trans。知道和数据工程2003）以及Bahmani等人的流行$ K $ -Means $ \ | $。 （PVLDB 2012）。我们技术的理论应用是一种具有运行时间$ \ tilde {o}（nk^2/z）$的算法，假设$ k \ ll z \ ll n $。这与Omacle模型中此问题的$ \ Omega（NK^2/z）$的匹配下限相互补。

$ k $ -means和$ k $ -median集群是强大的无监督机器学习技术。但是，由于对所有功能的复杂依赖性，解释生成的群集分配是挑战性的。 Moshkovitz，Dasgupta，Rashtchian和Frost [ICML 2020]提出了一个优雅的可解释$ K $ -means和$ K $ -Median聚类型号。在此模型中，具有$ k $叶子的决策树提供了集群中的数据的直接表征。我们研究了关于可解释的聚类的两个自然算法问题。 （1）对于给定的群集，如何通过使用$ k $叶的决策树找到“最佳解释”？ （2）对于一套给定的点，如何找到一个以美元的决策树，最小化$ k $ -means / median目标的可解释的聚类？要解决第一个问题，我们介绍了一个新的可解释群集模型。我们的型号受到强大统计数据的异常值概念的启发，是以下情况。我们正在寻求少数积分（异常值），其删除使现有的聚类良好可解释。为了解决第二个问题，我们开始研究Moshkovitz等人的模型。从多元复杂性的角度来看。我们严格的算法分析揭示了参数的影响，如数据的输入大小，尺寸，异常值的数量，簇数，近似比，呈现可解释的聚类的计算复杂度。

由于机器学习，统计和科学的应用，多边缘最佳运输（MOT）引起了极大的兴趣。但是，在大多数应用中，MOT的成功受到缺乏有效算法的严重限制。实际上，MOT一般需要在边际K及其支撑大小n的数量中指数时间n。本文开发了一个关于“结构”在poly（n，k）时间中可溶解的一般理论。我们开发了一个统一的算法框架，用于通过表征不同算法所需的“结构”来解决poly（n，k）时间中的MOT，这是根据双重可行性甲骨文的简单变体所需的。该框架有几个好处。首先，它使我们能够证明当前是最流行的MOT算法的Sinkhorn算法比其他算法要在poly（n，k）时间中求解MOT所需的结构更严格。其次，我们的框架使得为给定的MOT问题开发poly（n，k）时间算法变得更加简单。特别是（大约）解决双重可行性Oracle是必要和足够的 - 这更适合标准算法技术。我们通过为三个通用类成本结构类别的poly（n，k）时间算法开发poly（n，k）时间算法来说明这种易用性：（1）图形结构； （2）设定优化结构； （3）低阶和稀疏结构。对于结构（1），我们恢复了Sindhorn具有poly（n，k）运行时的已知结果；此外，我们为计算精确且稀疏的解决方案提供了第一个poly（n，k）时间算法。对于结构（2） - （3），我们给出了第一个poly（n，k）时间算法，甚至用于近似计算。这三个结构一起涵盖了许多MOT的当前应用。

The Forster transform is a method of regularizing a dataset by placing it in {\em radial isotropic position} while maintaining some of its essential properties. Forster transforms have played a key role in a diverse range of settings spanning computer science and functional analysis. Prior work had given {\em weakly} polynomial time algorithms for computing Forster transforms, when they exist. Our main result is the first {\em strongly polynomial time} algorithm to compute an approximate Forster transform of a given dataset or certify that no such transformation exists. By leveraging our strongly polynomial Forster algorithm, we obtain the first strongly polynomial time algorithm for {\em distribution-free} PAC learning of halfspaces. This learning result is surprising because {\em proper} PAC learning of halfspaces is {\em equivalent} to linear programming. Our learning approach extends to give a strongly polynomial halfspace learner in the presence of random classification noise and, more generally, Massart noise.

该博士学位论文的中心对象是在计算机科学和统计力学领域的不同名称中以不同名称而闻名的。在计算机科学中，它被称为“最大切割问题”，这是著名的21个KARP的原始NP硬性问题之一，而物理学的相同物体称为Ising Spin Glass模型。这种丰富的结构的模型通常是减少或重新制定计算机科学，物理和工程学的现实问题。但是，准确地求解此模型（查找最大剪切或基态）可能会留下一个棘手的问题（除非$ \ textit {p} = \ textit {np} $），并且需要为每一个开发临时启发式学特定的实例家庭。离散和连续优化之间的明亮而美丽的连接之一是一种基于半限定编程的圆形方案，以最大程度地切割。此过程使我们能够找到一个近乎最佳的解决方案。此外，该方法被认为是多项式时间中最好的。在本论文的前两章中，我们研究了旨在改善舍入方案的局部非凸照。在本文的最后一章中，我们迈出了一步，并旨在控制我们想要在前几章中解决的问题的解决方案。我们在Ising模型上制定了双层优化问题，在该模型中，我们希望尽可能少地调整交互作用，以使所得ISING模型的基态满足所需的标准。大流行建模出现了这种问题。我们表明，当相互作用是非负的时，我们的双层优化是在多项式时间内使用凸编程来解决的。