单调可行的算法的开发，受基数约束（SMCC）的基本最大化产生了两个单独的研究方向：具有低自适应复杂性的集中算法，需要随机访问整个数据集；并分布式MAPREDUCE（MR）模型算法，这些算法使用少量的MR回合计算。目前，众所周知，没有MR Model算法使用均值的自适应回合，从而限制了其实际性能。我们在分布式设置中研究了SMCC问题，并介绍了三种单独的MR模型算法，这些算法在分布式设置中引入了sublinear适应性。我们的主要算法，Dash实现了$ \ frac {1} {2} {2}（1-1/e- \ varepsilon）$的近似值，而使用一个MR圆形，而其多轮变体元数据启用MR模型算法可以在大型上运行。以前不可能的基数约束。使用一个和$（$ \ frac {3} {8} {8} - \ varepsilon $）和（$ 1-1/e- \ varepsilon $）的两种附加算法T-DASH和G-DASH提供了改进的比率为（$ \ frac {3} {8} - \ varepsilon $） 1/\ Varepsilon）$ MR ROUNDS。我们所有提出的算法都具有肌关系的自适应复杂性，我们提供了广泛的经验证据来确定：仪表率是比最先进的分布式算法快的数量级，同时产生了几乎相同的溶液值；并验证仪表板在集中和分布式数据上获得可行解决方案时的多功能性。

对于最大化单调的问题，子模块功能相对于基数限制为$ K $ k $ k $ k $ $ n $ n $，我们提供了一种在其经验性能和其上实现最先进的算法理论属性，就适应性复杂性，查询复杂性和近似率而言;也就是说，它获得了高概率，查询复杂度$ O（n）$的期望，适应$ o（\ log（n））$，近似1-1 / e $的近似比。主要算法由可能是独立兴趣的两个组件组装。我们的算法的第一个组件LineArseq，可用作提高许多算法的查询复杂性的预处理算法。此外，LineArseq的变体显示为具有O $ O（n / k））$的自适应复杂性，其小于文献中的任何先前算法的自适应复杂性。第二组件是一个并行阈值处理过程阈值问题，用于添加具有高于恒定阈值的增益的元素。最后，我们展示了我们的主要算法在运行时，自适应轮次，总查询和客观值方面经验胜过，以前的最先进的算法，以六个子模块物理函数快速评估。

我们研究动态算法，以便在$ N $插入和删除流中最大化单调子模块功能的问题。我们显示任何维护$（0.5+ epsilon）$ - 在基数约束下的近似解决方案的算法，对于任何常数$ \ epsilon> 0 $，必须具有$ \ mathit {polynomial} $的摊销查询复杂性$ n $。此外，需要线性摊销查询复杂性，以维持0.584美元 - 批量的解决方案。这与近期[LMNF + 20，MON20]的最近动态算法相比，达到$（0.5- \ epsilon）$ - 近似值，与$ \ mathsf {poly} \ log（n）$摊销查询复杂性。在正面，当流是仅插入的时候，我们在基数约束下的问题和近似的Matroid约束下提供有效的算法，近似保证$ 1-1 / e-\ epsilon $和摊销查询复杂性$ \ smash {o （\ log（k / \ epsilon）/ \ epsilon ^ 2）} $和$ \ smash {k ^ {\ tilde {o}（1 / \ epsilon ^ 2）} \ log n} $，其中$ k $表示基数参数或Matroid的等级。

在机器学习中最大化的是一项基本任务，在本文中，我们研究了经典的Matroid约束下的删除功能强大版本。在这里，目标是提取数据集的小尺寸摘要，即使在对手删除了一些元素之后，该数据集包含高价值独立集。我们提出了恒定因素近似算法，其空间复杂性取决于矩阵的等级$ k $和已删除元素的数字$ d $。在集中式设置中，我们提出$（4.597+o（\ varepsilon））$ - 近似算法，带有摘要大小$ o（\ frac {k+d} {\ varepsilon^2} \ log \ log \ frac \ frac {k} }）$将$（3.582 + o（\ varepsilon））$（k + \ frac {d} {\ varepsilon^2} \ log \ frac {k} {k} {\ varepsilon}） $摘要大小是单调的。在流设置中，我们提供$（9.435 + o（\ varepsilon））$ - 带有摘要大小和内存$ o的近似算法$（k + \ frac {d} {\ varepsilon^2} \ log \ log \ frac {k} {k} {k} {k} {k} {k} { \ varepsilon}）$;然后，将近似因子提高到单调盒中的$（5.582+o（\ varepsilon））$。

多样性最大化是数据汇总，Web搜索和推荐系统中广泛应用的基本问题。给定$ n $元素的$ x $元素，它要求选择一个$ k \ ll n $元素的子集$ s $，具有最大\ emph {多样性}，这是由$ s $中元素之间的差异量化的。在本文中，我们关注流媒体环境中公平限制的多样性最大化问题。具体而言，我们考虑了最大值的多样性目标，该目标选择了一个子集$ s $，该子集$ s $最大化了其中任何一对不同元素之间的最小距离（不同）。假设集合$ x $通过某些敏感属性（例如性别或种族）将$ m $ discoint组分为$ m $ discoint组，确保\ emph {fairness}要求所选的子集$ s $包含每个组$ i的$ k_i $ e元素\在[1，m] $中。流算法应在一个通过中顺序处理$ x $，并返回具有最大\ emph {多样性}的子集，同时保证公平约束。尽管对多样性的最大化进行了广泛的研究，但唯一可以与最大值多样性目标和公平性约束的唯一已知算法对数据流非常低效。由于多样性最大化通常是NP-HARD，因此我们提出了两个在数据流中最大化的公平多样性的近似算法，其中第一个是$ \ frac {1- \ varepsilon} {4} {4} $ - 近似于$ m = 2 $，其中$ \ varepsilon \ in（0,1）$，第二个实现了$ \ frac {1- \ varepsilon} {3m+2} $ - 任意$ m $的近似值。现实世界和合成数据集的实验结果表明，两种算法都提供了与最新算法相当的质量解决方案，同时在流式设置中运行多个数量级。

本文展示了如何适应$ k $ -MEANS问题的几种简单和经典的基于采样的算法，以使用离群值设置。最近，Bhaskara等人。 （Neurips 2019）展示了如何将古典$ K $ -MEANS ++算法适应与异常值的设置。但是，他们的算法需要输出$ o（\ log（k）\ cdot z）$ outiers，其中$ z $是true Outliers的数量，以匹配$ o（\ log k）$ - 近似值的$ k的近似保证$ -Means ++。在本文中，我们以他们的想法为基础，并展示了如何适应几个顺序和分布式的$ k $ - 均值算法，但使用离群值来设置，但具有更强的理论保证：我们的算法输出$（1+ \ VAREPSILON）z $ OUTLIERS Z $ OUTLIERS在实现$ o（1 / \ varepsilon）$ - 近似目标函数的同时。在顺序世界中，我们通过改编Lattanzi和Sohler的最新算法来实现这一目标（ICML 2019）。在分布式设置中，我们适应了Guha等人的简单算法。 （IEEE Trans。知道和数据工程2003）以及Bahmani等人的流行$ K $ -Means $ \ | $。 （PVLDB 2012）。我们技术的理论应用是一种具有运行时间$ \ tilde {o}（nk^2/z）$的算法，假设$ k \ ll z \ ll n $。这与Omacle模型中此问题的$ \ Omega（NK^2/z）$的匹配下限相互补。

在本文中，我们研究了经典的少量最大化问题，但在非自适应和适应性环境下都受到群体公平限制。已经表明，许多机器学习应用程序的效用函数，包括数据汇总，影响社交网络中的最大化和个性化建议，都满足了子义的属性。因此，在许多应用程序的核心中可以找到受到各种限制的最大化函数。在高水平上，少量最大化旨在选择一组大多数代表性项目（例如，数据点）。但是，大多数现有算法的设计并未包含公平的约束，从而导致某些特定组的不足或过分代表。这激发了我们研究公平的supsodular最大化问题，我们旨在选择一组项目，以最大化（可能是非单调的）suppodular效用功能，但要受群体公平约束。为此，我们为此问题开发了第一个常数因子近似算法。我们的算法的设计足够强大，可以扩展到更复杂的自适应设置下解决suppodular的最大化问题。此外，我们将研究进一步扩展到整合全球基础性约束。

信号处理和机器学习中的许多问题都可以正面被形式化为弱子模块优化任务。对于此类问题，保证了一种简单的贪婪算法（\ textsc {greedy}），以找到实现目标的解决方案，其中值不到1-e ^ { - 1 / c} $的最佳值，其中$ c $乘法弱潜水解度常数。由于查询大规模系统的高成本，在当代应用中，\ Textsc {贪婪}的复杂性变得令人望而却步。在这项工作中，我们研究了随机采样策略的绩效和复杂性之间的权衡，以减少\ textsc的查询复杂性{greedy}。具体而言，我们通过两个度量来量化统一采样策略对\ textsc {贪婪}的性能的影响：（i）识别最佳子集的概率，（ii）相对于最佳解决方案的次优。后者意味着具有固定采样尺寸的均匀采样策略实现了非平凡的近似因子;但是，我们表明，通过压倒性概率，这些方法无法找到最佳子集。我们的分析表明，通过连续增加搜索空间的大小，可以避免具有固定样本大小的均匀采样策略的失败。建立这种洞察力，我们提出了一种简单的渐进式随机贪婪算法，并研究其近似保证。此外，我们展示了提出的方法在维度减少应用中的提出方法以及用于聚类和对象跟踪的特征选择任务。

设置子模块目标函数的优化问题具有许多现实世界应用。在离散场景中，在可以选择同一项目的情况下，域通过设置到有界整数格的2元素概括。在这项工作中，我们考虑最大化界限整数晶格上的单调子模块功能的问题，受到基数约束。特别是，我们专注于最大化D​​R-SubsoDular函数，即在整数格中定义的函数，该函数展示递减返回属性。给定任何epsilon> 0，我们介绍了一种随机算法的概率保证o（1 - 1 / e-epsilon）近似，使用由Mirzasoleiman等人开发的随机贪婪算法启发的框架。然后，我们表明，在合成DR-IMODOOMULAL功能上，在整数晶格上应用我们的建议算法比替代方案快，包括将目标问题还原到集合域，然后应用于最快的已知的集合子态最大化算法。

在随着时间变化的组合环境中的在线决策激励，我们研究了将离线算法转换为其在线对应物的问题。我们专注于使用贪婪算法对局部错误的贪婪算法进行恒定因子近似的离线组合问题。对于此类问题，我们提供了一个通用框架，该框架可有效地将稳健的贪婪算法转换为使用Blackwell的易近算法。我们证明，在完整信息设置下，由此产生的在线算法具有$ O（\ sqrt {t}）$（近似）遗憾。我们进一步介绍了Blackwell易接近性的强盗扩展，我们称之为Bandit Blackwell的可接近性。我们利用这一概念将贪婪的稳健离线算法转变为匪（t^{2/3}）$（近似）$（近似）的遗憾。展示了我们框架的灵活性，我们将脱机之间的转换应用于收入管理，市场设计和在线优化的几个问题，包括在线平台中的产品排名优化，拍卖中的储备价格优化以及supperular tossodular最大化。 。我们还将还原扩展到连续优化的类似贪婪的一阶方法，例如用于最大化连续强的DR单调下调功能，这些功能受到凸约束的约束。我们表明，当应用于这些应用程序时，我们的转型会导致新的后悔界限或改善当前已知界限。我们通过为我们的两个应用进行数值模拟来补充我们的理论研究，在这两种应用中，我们都观察到，转换的数值性能在实际情况下优于理论保证。

我们研究了通过边缘检测查询学习超图的问题。在此问题中，学习者查询隐藏超图的顶点的子集，并观察这些子集是否包含边缘。通常，学习具有最大尺寸$ d $的$ m $边缘的超图需要$ \ omega（（2m/d）^{d/2}）$ queries。在本文中，我们旨在确定可以学习的超图族的家庭，而不会遭受查询复杂性，该查询复杂性在边缘的大小上呈指数增长。我们表明，使用Poly $（n）$ Queries可以学习高度匹配和低度近均匀的超图。对于学习超匹配（最大程度的超图$ 1 $），我们给出$ O（\ log^3 n）$ - 圆形算法，使用$ o（n \ log^5 n）$查询。我们通过表明没有算法的poly $（n）$查询来补充这种上限，这些算法在$ o（\ log \ log n）$自适应回合中学习超匹配。对于具有最大度$ \ delta $和边缘大小比率$ \ rho $的超级图形，我们给出了一种非自适应算法，并使用$ o（（2n）^{\ rho \ delta+1} \ log^2 n）$ queries。据我们所知，这些是使用Poly $（n，m）$查询复杂性的第一批算法，用于学习具有超恒定尺寸的超稳定数量边缘的非平凡家族。

我们重新审视了Chierichetti等人首先引入的公平聚类问题，该问题要求每个受保护的属性在每个集群中具有近似平等的表示。即，余额财产。现有的公平聚类解决方案要么是不可扩展的，要么无法在聚类目标和公平之间实现最佳权衡。在本文中，我们提出了一种新的公平概念，我们称之为$ tau $ $ $ - fair公平，严格概括了余额财产，并实现了良好的效率与公平折衷。此外，我们表明，简单的基于贪婪的圆形算法有效地实现了这一权衡。在更一般的多价受保护属性的设置下，我们严格地分析了算法的理论特性。我们的实验结果表明，所提出的解决方案的表现优于所有最新算法，即使对于大量簇，也可以很好地工作。

我们在$ d $ dimensional Euclidean Space中研究私人$ k $ -Median和$ k $ -means聚集问题。通过利用树的嵌入，我们提供了一种有效且易于实现的算法，该算法在非私人方法的经验上具有竞争力。我们证明我们的方法计算一个最多$ o（d^{3/2} \ log n）\ cdot opt + o（k d^2 \ log^2 n / \ epsilon^2）$的解决方案，其中$ \ Epsilon $是隐私担保。 （使用标准尺寸缩小技术可以用$ o（\ log k）$替换尺寸项，$ d $。）尽管最坏的案例保证比最先进的私人聚类方法的状态更糟糕，但算法是我们建议是实用的，以接近线性的方式运行，$ \ tilde {o}（nkd）$，时间和比例为数千万分。我们还表明，我们的方法适合在大规模分布式计算环境中并行化。特别是我们表明，我们的私人算法可以在sublinear内存制度中的对数MPC弹奏数中实现。最后，我们通过经验评估来补充理论分析，证明了该算法与其他隐私聚类基线相比的效率和准确性。

图形上的分层聚类是数据挖掘和机器学习中的一项基本任务，并在系统发育学，社交网络分析和信息检索等领域中进行了应用。具体而言，我们考虑了由于Dasgupta引起的层次聚类的最近普及的目标函数。以前（大约）最小化此目标函数的算法需要线性时间/空间复杂性。在许多应用程序中，底层图的大小可能很大，即使使用线性时间/空间算法，也可以在计算上具有挑战性。结果，人们对设计只能使用sublinear资源执行全局计算的算法有浓厚的兴趣。这项工作的重点是在三个经过良好的sublinear计算模型下研究大量图的层次聚类，分别侧重于时空，时间和通信，作为要优化的主要资源：（1）（动态）流模型。边缘作为流，（2）查询模型表示，其中使用邻居和度查询查询图形，（3）MPC模型，其中图边缘通过通信通道连接的几台机器进行了分区。我们在上面的所有三个模型中设计用于层次聚类的sublinear算法。我们算法结果的核心是图表中的剪切方面的视图，这使我们能够使用宽松的剪刀示意图进行分层聚类，同时仅引入目标函数中的较小失真。然后，我们的主要算法贡献是如何在查询模型和MPC模型中有效地构建所需形式的切割稀疏器。我们通过建立几乎匹配的下限来补充我们的算法结果，该界限排除了在每个模型中设计更好的算法的可能性。

在本文中，我们介绍了对非对称确定点处理（NDPP）的在线和流媒体地图推断和学习问题，其中数据点以任意顺序到达，并且算法被约束以使用单次通过数据以及子线性存储器。在线设置有额外要求在任何时间点维护有效的解决方案。为了解决这些新问题，我们提出了具有理论担保的算法，在几个真实的数据集中评估它们，并显示它们对最先进的离线算法提供了可比的性能，该算法将整个数据存储在内存中并采取多次传递超过它。

Evolutionary algorithms (EAs) are a kind of nature-inspired general-purpose optimization algorithm, and have shown empirically good performance in solving various real-word optimization problems. During the past two decades, promising results on the running time analysis (one essential theoretical aspect) of EAs have been obtained, while most of them focused on isolated combinatorial optimization problems, which do not reflect the general-purpose nature of EAs. To provide a general theoretical explanation of the behavior of EAs, it is desirable to study their performance on general classes of combinatorial optimization problems. To the best of our knowledge, the only result towards this direction is the provably good approximation guarantees of EAs for the problem class of maximizing monotone submodular functions with matroid constraints. The aim of this work is to contribute to this line of research. Considering that many combinatorial optimization problems involve non-monotone or non-submodular objective functions, we study the general problem classes, maximizing submodular functions with/without a size constraint and maximizing monotone approximately submodular functions with a size constraint. We prove that a simple multi-objective EA called GSEMO-C can generally achieve good approximation guarantees in polynomial expected running time.

顺序决策中的一个核心问题是开发实用且计算上有效的算法，但支持灵活的通用模型的使用。关注上下文匪徒问题，最近的进度在可能的替代品数量（“动作”）很小时提供了可证明的有效算法，并具有很强的经验性能，但是在大型，连续的行动空间中进行决策的保证仍然难以捉摸，导致了重要的重要性理论与实践之间的差距。我们介绍了具有连续线性结构化作用空间的上下文匪徒的第一个有效的通用算法。我们的算法利用了（i）监督学习的计算序列，以及（ii）在动作空间上进行优化，并实现样本复杂性，运行时和内存，独立于动作空间的大小。此外，这是简单而实用的。我们进行大规模的经验评估，并表明我们的方法通常比标准基准相比具有较高的性能和效率。

确定点过程（DPP）的最大后验（MAP）推断对于在许多机器学习应用中选择多种项目至关重要。尽管DPP地图推断是NP-HARD，但贪婪的算法通常会发现高质量的解决方案，许多研究人员已经研究了其有效的实施。一种经典且实用的方法是懒惰的贪婪算法，适用于一般的下函数最大化，而基于Cholesky的最新快速贪婪算法对于DPP MAP推断更有效。本文介绍了如何结合“懒惰”和“快速”的想法，这些思想在文献中被认为是不兼容的。我们懒惰且快速的贪婪算法与当前最好的算法几乎具有相同的时间复杂性，并且在实践中运行速度更快。 “懒惰 +快速”的想法可扩展到其他贪婪型算法。我们还为无约束的DPP地图推断提供了双贪婪算法的快速版本。实验验证了我们加速思想的有效性。

在使用提供明确定义的隐私保证的用户数据时，至关重要。在这项工作中，我们旨在与第三方私下操纵和分享整个稀疏数据集。实际上，差异隐私已成为隐私的黄金标准，但是，当涉及到稀疏数据集时，作为我们的主要结果之一，我们证明\ emph {any}与最初的私人机制有差异化的私人机制数据集注定要拥有非常薄弱的隐私保证。因此，我们需要选择其他隐私概念，例如$ k $ - 匿名性更好地在这种情况下保存实用程序。在这项工作中，我们介绍了$ k $ - 匿名的变体，我们称之为平滑$ k $ - 匿名和设计简单算法，可有效地提供平滑的$ k $ - 匿名性。我们进一步执行经验评估以支持我们的理论保证，并表明我们的算法改善了匿名数据下游机器学习任务的性能。

顺序决策问题的目的是设计一种自适应选择一组项目的交互式策略，每个选择都是基于过去的反馈，以最大程度地提高所选项目的预期效用。已经表明，许多现实世界应用的实用程序功能都是自适应的。但是，大多数关于自适应下调优化的现有研究都集中在平均案例上。不幸的是，在最糟糕的案例实现下，具有良好平均表现的政策可能表现较差。在这项研究中，我们建议研究两种自适应下调优化问题的变体，即最坏情况下的自适应下二一个最大化和鲁棒的下二一个最大化。第一个问题旨在找到一项最大化最坏情况的政策，后者旨在找到一项政策（如果有的话），同时可以同时实现接近最佳的平均效用和最差的效用。我们引入了一类新的随机函数，称为\ emph {worst-case subsodular函数}。对于最严重的自适应性次传导性最大化问题，但要受到$ p $系统约束的约束，我们制定了一种自适应的最坏情况贪婪的贪婪政策，该政策实现了$ \ frac {1} {p+1} $近似值案例实用程序如果效用函数是最差的子模型。对于稳健的自适应下调最大化问题，但受到基数约束（分区矩阵约束），如果效用函数既是最坏情况下的casase subsodular and Adaptive subsodular，否 - \ frac {1} {2}}} $（分别$ 1/3 $）在最坏情况下和平均案例设置下同时。我们还描述了我们的理论结果的几种应用，包括池碱积极学习，随机的下套装覆盖和自适应病毒营销。