在许多应用程序的动机上，我们以错误的甲骨文研究聚类。在此问题中，有$ n $的项目属于$ k $未知群集，允许算法询问甲骨文是否属于同一群集。但是，Oracle的答案仅使用概率$ \ frac {1} {2}+\ frac {\ delta} {2} $正确。目的是恢复最少数量嘈杂的查询的隐藏群集。以前的作品表明，可以用$ o（\ frac {nk \ log n} {\ delta^2} + \ text {poly}（k，\ frac {1} {\ delta}，\ log n ）$ QUERIES，而$ \ Omega（\ frac {nk} {\ delta^2}）$ queries是必要的。因此，对于任何$ k $和$ \ \ delta $的值，上限和下限之间仍然存在非平凡的差距。在这项工作中，我们获得了广泛参数的第一个匹配上限和下限。特别是，具有$ o（\ frac {n（k + \ log n）} {\ delta^2} + \ text {poly}（k，\ frac {1} {\ delta}， n））提出了$查询。此外，我们证明了$ \ omega（\ frac {n \ log n} {\ delta^2}）$的新下限，它与现有$ \ omega（\ frac {nk} {\ delta^2结合在一起） }）$绑定，将我们的上限匹配到添加$ \ text {poly}（k，\ frac {1} {\ delta}，\ log n）$ term。为了获得新的结果，我们的主要成分是我们的问题与多臂强盗之间的有趣联系，这可能为其他类似问题提供有用的见解。

The stochastic block model (SBM) is a fundamental model for studying graph clustering or community detection in networks. It has received great attention in the last decade and the balanced case, i.e., assuming all clusters have large size, has been well studied. However, our understanding of SBM with unbalanced communities (arguably, more relevant in practice) is still very limited. In this paper, we provide a simple SVD-based algorithm for recovering the communities in the SBM with communities of varying sizes. We improve upon a result of Ailon, Chen and Xu [ICML 2013] by removing the assumption that there is a large interval such that the sizes of clusters do not fall in. Under the planted clique conjecture, the size of the clusters that can be recovered by our algorithm is nearly optimal (up to polylogarithmic factors) when the probability parameters are constant. As a byproduct, we obtain a polynomial-time algorithm with sublinear query complexity for a clustering problem with a faulty oracle, which finds all clusters of size larger than $\tilde{\Omega}({\sqrt{n}})$ even if $\Omega(n)$ small clusters co-exist in the graph. In contrast, all the previous efficient algorithms that makes sublinear number of queries cannot recover any large cluster, if there are more than $\tilde{\Omega}(n^{2/5})$ small clusters.

Mazumdar和Saha \ Cite {MS17A}的开创性论文引入了有关聚类的广泛工作，并带有嘈杂的查询。然而，尽管在问题上取得了重大进展，但所提出的方法至关重要地取决于了解基础全随随随之而来的甲骨文错误的确切概率。在这项工作中，我们开发了可靠的学习方法，这些方法可以忍受一般的半随机噪声，从而在定性上获得与全随机模型中最佳方法相同的保证。更具体地说，给定一组$ n $点带有未知的基础分区，我们可以查询点$ u，v $检查它们是否在同一群集中，但是有了概率$ p $，答案可能可以受到对抗的选择。我们在理论上显示信息$ o \ left（\ frac {nk \ log n} {（1-2p）^2} \ right）$查询足以学习任何足够大尺寸的群集。我们的主要结果是一种计算高效算法，可以用$ o \ left（\ frac {nk \ log n} {（1-2p）^2} \ right） + \ text {poly} \ left（\ log（\ log） n，k，\ frac {1} {1-2p} \ right）$查询，与完全随机模型中最知名算法的保证相匹配。作为我们方法的推论，我们为全随机模型开发了第一个无参数算法，并通过\ cite {ms17a}回答一个空的问题。

Consider the following abstract coin tossing problem: Given a set of $n$ coins with unknown biases, find the most biased coin using a minimal number of coin tosses. This is a common abstraction of various exploration problems in theoretical computer science and machine learning and has been studied extensively over the years. In particular, algorithms with optimal sample complexity (number of coin tosses) have been known for this problem for quite some time. Motivated by applications to processing massive datasets, we study the space complexity of solving this problem with optimal number of coin tosses in the streaming model. In this model, the coins are arriving one by one and the algorithm is only allowed to store a limited number of coins at any point -- any coin not present in the memory is lost and can no longer be tossed or compared to arriving coins. Prior algorithms for the coin tossing problem with optimal sample complexity are based on iterative elimination of coins which inherently require storing all the coins, leading to memory-inefficient streaming algorithms. We remedy this state-of-affairs by presenting a series of improved streaming algorithms for this problem: we start with a simple algorithm which require storing only $O(\log{n})$ coins and then iteratively refine it further and further, leading to algorithms with $O(\log\log{(n)})$ memory, $O(\log^*{(n)})$ memory, and finally a one that only stores a single extra coin in memory -- the same exact space needed to just store the best coin throughout the stream. Furthermore, we extend our algorithms to the problem of finding the $k$ most biased coins as well as other exploration problems such as finding top-$k$ elements using noisy comparisons or finding an $\epsilon$-best arm in stochastic multi-armed bandits, and obtain efficient streaming algorithms for these problems.

我们提出了改进的算法，并为身份测试$ n $维分布的问题提供了统计和计算下限。在身份测试问题中，我们将作为输入作为显式分发$ \ mu $，$ \ varepsilon> 0 $，并访问对隐藏分布$ \ pi $的采样甲骨文。目标是区分两个分布$ \ mu $和$ \ pi $是相同的还是至少$ \ varepsilon $ -far分开。当仅从隐藏分布$ \ pi $中访问完整样本时，众所周知，可能需要许多样本，因此以前的作品已经研究了身份测试，并额外访问了各种有条件采样牙齿。我们在这里考虑一个明显弱的条件采样甲骨文，称为坐标Oracle，并在此新模型中提供了身份测试问题的相当完整的计算和统计表征。我们证明，如果一个称为熵的分析属性为可见分布$ \ mu $保留，那么对于任何使用$ \ tilde {o}（n/\ tilde {o}），有一个有效的身份测试算法Varepsilon）$查询坐标Oracle。熵的近似张力是一种经典的工具，用于证明马尔可夫链的最佳混合时间边界用于高维分布，并且最近通过光谱独立性为许多分布族建立了最佳的混合时间。我们将算法结果与匹配的$ \ omega（n/\ varepsilon）$统计下键进行匹配的算法结果补充，以供坐标Oracle下的查询数量。我们还证明了一个计算相变：对于$ \ {+1，-1，-1 \}^n $以上的稀疏抗抗铁磁性模型，在熵失败的近似张力失败的状态下，除非RP = np，否则没有有效的身份测试算法。

我们研究了通过边缘检测查询学习超图的问题。在此问题中，学习者查询隐藏超图的顶点的子集，并观察这些子集是否包含边缘。通常，学习具有最大尺寸$ d $的$ m $边缘的超图需要$ \ omega（（2m/d）^{d/2}）$ queries。在本文中，我们旨在确定可以学习的超图族的家庭，而不会遭受查询复杂性，该查询复杂性在边缘的大小上呈指数增长。我们表明，使用Poly $（n）$ Queries可以学习高度匹配和低度近均匀的超图。对于学习超匹配（最大程度的超图$ 1 $），我们给出$ O（\ log^3 n）$ - 圆形算法，使用$ o（n \ log^5 n）$查询。我们通过表明没有算法的poly $（n）$查询来补充这种上限，这些算法在$ o（\ log \ log n）$自适应回合中学习超匹配。对于具有最大度$ \ delta $和边缘大小比率$ \ rho $的超级图形，我们给出了一种非自适应算法，并使用$ o（（2n）^{\ rho \ delta+1} \ log^2 n）$ queries。据我们所知，这些是使用Poly $（n，m）$查询复杂性的第一批算法，用于学习具有超恒定尺寸的超稳定数量边缘的非平凡家族。

本文展示了如何适应$ k $ -MEANS问题的几种简单和经典的基于采样的算法，以使用离群值设置。最近，Bhaskara等人。 （Neurips 2019）展示了如何将古典$ K $ -MEANS ++算法适应与异常值的设置。但是，他们的算法需要输出$ o（\ log（k）\ cdot z）$ outiers，其中$ z $是true Outliers的数量，以匹配$ o（\ log k）$ - 近似值的$ k的近似保证$ -Means ++。在本文中，我们以他们的想法为基础，并展示了如何适应几个顺序和分布式的$ k $ - 均值算法，但使用离群值来设置，但具有更强的理论保证：我们的算法输出$（1+ \ VAREPSILON）z $ OUTLIERS Z $ OUTLIERS在实现$ o（1 / \ varepsilon）$ - 近似目标函数的同时。在顺序世界中，我们通过改编Lattanzi和Sohler的最新算法来实现这一目标（ICML 2019）。在分布式设置中，我们适应了Guha等人的简单算法。 （IEEE Trans。知道和数据工程2003）以及Bahmani等人的流行$ K $ -Means $ \ | $。 （PVLDB 2012）。我们技术的理论应用是一种具有运行时间$ \ tilde {o}（nk^2/z）$的算法，假设$ k \ ll z \ ll n $。这与Omacle模型中此问题的$ \ Omega（NK^2/z）$的匹配下限相互补。

为了捕获许多社区检测问题的固有几何特征，我们建议使用一个新的社区随机图模型，我们称之为\ emph {几何块模型}。几何模型建立在\ emph {随机几何图}（Gilbert，1961）上，这是空间网络的随机图的基本模型之一，就像在ERD \ H上建立的良好的随机块模型一样{o} s-r \'{en} yi随机图。它也是受到社区发现中最新的理论和实际进步启发的随机社区模型的自然扩展。为了分析几何模型，我们首先为\ emph {Random Annulus图}提供新的连接结果，这是随机几何图的概括。自引入以来，已经研究了几何图的连通性特性，并且由于相关的边缘形成而很难分析它们。然后，我们使用随机环形图的连接结果来提供必要的条件，以有效地为几何块模型恢复社区。我们表明，一种简单的三角计数算法来检测几何模型中的社区几乎是最佳的。为此，我们考虑了两个图密度方案。在图表的平均程度随着顶点的对数增长的状态中，我们表明我们的算法在理论上和实际上都表现出色。相比之下，三角计数算法对于对数学度方案中随机块模型远非最佳。我们还查看了图表的平均度与顶点$ n $的数量线性增长的状态，因此要存储一个需要$ \ theta（n^2）$内存的图表。我们表明，我们的算法需要在此制度中仅存储$ o（n \ log n）$边缘以恢复潜在社区。

我们研究动态算法，以便在$ N $插入和删除流中最大化单调子模块功能的问题。我们显示任何维护$（0.5+ epsilon）$ - 在基数约束下的近似解决方案的算法，对于任何常数$ \ epsilon> 0 $，必须具有$ \ mathit {polynomial} $的摊销查询复杂性$ n $。此外，需要线性摊销查询复杂性，以维持0.584美元 - 批量的解决方案。这与近期[LMNF + 20，MON20]的最近动态算法相比，达到$（0.5- \ epsilon）$ - 近似值，与$ \ mathsf {poly} \ log（n）$摊销查询复杂性。在正面，当流是仅插入的时候，我们在基数约束下的问题和近似的Matroid约束下提供有效的算法，近似保证$ 1-1 / e-\ epsilon $和摊销查询复杂性$ \ smash {o （\ log（k / \ epsilon）/ \ epsilon ^ 2）} $和$ \ smash {k ^ {\ tilde {o}（1 / \ epsilon ^ 2）} \ log n} $，其中$ k $表示基数参数或Matroid的等级。

我们研究列表可解码的稀疏平均估计问题。具体来说，对于（0，1/2）$的参数$ \ alpha \，我们获得了$ \ mathbb {r}^n $，$ \ lfloor \ alpha m \ rfloor $的$ m $点。来自分销$ d $的样品，带有未知$ k $ -sparse的平均$ \ mu $。没有对剩余点的假设，该点构成了数据集的大多数。目标是返回包含矢量$ \ widehat \ mu $的候选人列表，以便$ \ | \ widehat \ mu - \ mu \ | _2 $很小。先前的工作研究了在密集设置中可列表可调式估计的问题。在这项工作中，我们开发了一种新颖的，概念上的简单技术，用于列表可解码的均值估计。作为我们方法的主要应用，我们为列表可解码的稀疏平均值估计提供了第一个样本和计算有效算法。特别是，对于带有``认证有限的''$ t $ t $ thements in $ k $ -sparse方向和足够轻的尾巴的发行版，我们的算法达到了$（1/\ alpha）^{o（1/t）的错误（1/\ alpha） } $带有示例复杂性$ m =（k \ log（n））^{o（t）}/\ alpha $和运行时间$ \ mathrm {poly}（mn^t）$。对于高斯嵌入式的特殊情况，我们的算法实现了$ \ theta（\ sqrt {\ log（1/\ alpha）}）$的最佳错误保证，并具有Quasi-PolyNomial样本和计算复杂性。我们通过几乎匹配的统计查询和低度多项式测试的下限来补充上限。

图形上的分层聚类是数据挖掘和机器学习中的一项基本任务，并在系统发育学，社交网络分析和信息检索等领域中进行了应用。具体而言，我们考虑了由于Dasgupta引起的层次聚类的最近普及的目标函数。以前（大约）最小化此目标函数的算法需要线性时间/空间复杂性。在许多应用程序中，底层图的大小可能很大，即使使用线性时间/空间算法，也可以在计算上具有挑战性。结果，人们对设计只能使用sublinear资源执行全局计算的算法有浓厚的兴趣。这项工作的重点是在三个经过良好的sublinear计算模型下研究大量图的层次聚类，分别侧重于时空，时间和通信，作为要优化的主要资源：（1）（动态）流模型。边缘作为流，（2）查询模型表示，其中使用邻居和度查询查询图形，（3）MPC模型，其中图边缘通过通信通道连接的几台机器进行了分区。我们在上面的所有三个模型中设计用于层次聚类的sublinear算法。我们算法结果的核心是图表中的剪切方面的视图，这使我们能够使用宽松的剪刀示意图进行分层聚类，同时仅引入目标函数中的较小失真。然后，我们的主要算法贡献是如何在查询模型和MPC模型中有效地构建所需形式的切割稀疏器。我们通过建立几乎匹配的下限来补充我们的算法结果，该界限排除了在每个模型中设计更好的算法的可能性。

我们开发了一种高效的随机块模型中的弱恢复算法。该算法与随机块模型的Vanilla版本的最佳已知算法的统计保证匹配。从这个意义上讲，我们的结果表明，随机块模型没有稳健性。我们的工作受到最近的银行，Mohanty和Raghavendra（SODA 2021）的工作，为相应的区别问题提供了高效的算法。我们的算法及其分析显着脱离了以前的恢复。关键挑战是我们算法的特殊优化景观：种植的分区可能远非最佳意义，即完全不相关的解决方案可以实现相同的客观值。这种现象与PCA的BBP相转变的推出效应有关。据我们所知，我们的算法是第一个在非渐近设置中存在这种推出效果的鲁棒恢复。我们的算法是基于凸优化的框架的实例化（与平方和不同的不同），这对于其他鲁棒矩阵估计问题可能是有用的。我们的分析的副产物是一种通用技术，其提高了任意强大的弱恢复算法的成功（输入的随机性）从恒定（或缓慢消失）概率以指数高概率。

在这项工作中，我们研究了具有对抗性节点损坏的随机块模型中社区发现的问题。我们的主要结果是一种有效的算法，该算法可以忍受$ \ epsilon $ - 损坏和达到错误$ o（\ epsilon） + e^{ - \ frac {c} {2} {2}（1 \ pm o（1））} $其中$ c =（\ sqrt {a} - \ sqrt {b}）^2 $是信噪比，$ a/n $和$ b/n $是互发和intra-intra-intra-社区连接概率分别。这些界限基本上与无损坏的SBM的最小值相匹配。我们还为$ \ mathbb {z} _2 $ -Synchronization提供了可靠的算法。我们算法的核心是一个新的半决赛程序，它使用全局信息来鲁棒提高粗糙聚类的准确性。此外，我们表明我们的算法是双重的，因为它们在更具挑战性的噪声模型中起作用，该模型将对抗性腐败与无限制的单调变化混合在一起，从半随机模型中。

我们考虑激励探索：一种多臂匪徒的版本，其中武器的选择由自私者控制，而算法只能发布建议。该算法控制信息流，信息不对称可以激励代理探索。先前的工作达到了最佳的遗憾率，直到乘法因素，这些因素根据贝叶斯先验而变得很大，并在武器数量上成倍规模扩展。采样每只手臂的一个更基本的问题一旦遇到了类似的因素。我们专注于激励措施的价格：出于激励兼容的目的，绩效的损失，广泛解释为。我们证明，如果用足够多的数据点初始化，则标准的匪徒汤普森采样是激励兼容的。因此，当收集这些数据点时，由于激励措施的绩效损失仅限于初始回合。这个问题主要降低到样本复杂性的问题：需要多少个回合？我们解决了这个问题，提供了匹配的上限和下限，并在各种推论中实例化。通常，最佳样品复杂性在“信念强度”中的武器数量和指数中是多项式。

我们在非均匀超图随机块模型（HSBM）下的稀疏随机超图中的社区检测问题，是社区结构的随机网络的一般模型和高阶交互。当随机超图具有界定的预期度时，我们提供了一种频谱算法，该频谱算法输出分区，其中至少有$ \ gamma $分数正确分类，其中$ \ gamma \ in（0.5,1）$取决于信号 - 模型的噪声比（SNR）。当SNR随着顶点的数量转到无限的时，SNR慢慢地增长，我们的算法达到了弱的一致性，这改善了Ghoshdastidar和Dukkipati（2017）的上一个结果，用于非均匀的HSBMS。我们的谱算法由三个主要步骤组成：（1）HIFFEGE选择：选择某些尺寸的超高率，为诱导的子图像提供最大信噪比; （2）光谱分区：构造正则化邻接矩阵，并基于奇异向量获得近似分区; （3）纠正和合并：将超代表信息从邻接张于升级升级错误率保证。我们的算法的理论分析依赖于稀疏非均匀随机超图的邻接矩阵的浓度和正则化，这可以是独立的兴趣。

我们给出了\ emph {list-codobable协方差估计}的第一个多项式时间算法。对于任何$ \ alpha> 0 $，我们的算法获取输入样本$ y \ subseteq \ subseteq \ mathbb {r}^d $ size $ n \ geq d^{\ mathsf {poly}（1/\ alpha）} $获得通过对抗损坏I.I.D的$（1- \ alpha）n $点。从高斯分布中的样本$ x $ size $ n $，其未知平均值$ \ mu _*$和协方差$ \ sigma _*$。在$ n^{\ mathsf {poly}（1/\ alpha）} $ time中，它输出$ k = k（\ alpha）=（1/\ alpha）^{\ mathsf {poly}的常数大小列表（1/\ alpha）} $候选参数，具有高概率，包含$（\ hat {\ mu}，\ hat {\ sigma}）$，使得总变化距离$ tv（\ Mathcal {n}（n}）（n}（n}）（ \ mu _*，\ sigma _*），\ Mathcal {n}（\ hat {\ mu}，\ hat {\ sigma}））<1-o _ {\ alpha}（1）$。这是距离的统计上最强的概念，意味着具有独立尺寸误差的参数的乘法光谱和相对Frobenius距离近似。我们的算法更普遍地适用于$（1- \ alpha）$ - 任何具有低度平方总和证书的分布$ d $的损坏，这是两个自然分析属性的：1）一维边际和抗浓度2）2度多项式的超收缩率。在我们工作之前，估计可定性设置的协方差的唯一已知结果是针对Karmarkar，Klivans和Kothari（2019），Raghavendra和Yau（2019和2019和2019和2019和2019年）的特殊情况。 2020年）和巴克西（Bakshi）和科塔里（Kothari）（2020年）。这些结果需要超级物理时间，以在基础维度中获得任何子构误差。我们的结果意味着第一个多项式\ emph {extcect}算法，用于列表可解码的线性回归和子空间恢复，尤其允许获得$ 2^{ - \ Mathsf { - \ Mathsf {poly}（d）} $多项式时间错误。我们的结果还意味着改进了用于聚类非球体混合物的算法。

分层聚类研究将数据集的递归分区设置为连续较小尺寸的簇，并且是数据分析中的基本问题。在这项工作中，我们研究了Dasgupta引入的分层聚类的成本函数，并呈现了两个多项式时间近似算法：我们的第一个结果是高度电导率图的$ O（1）$ - 近似算法。我们简单的建筑绕过了在文献中已知的稀疏切割的复杂递归常规。我们的第二个和主要结果是一个US（1）$ - 用于展示群集明确结构的宽族图形的近似算法。该结果推出了以前的最先进的，该现有技术仅适用于从随机模型产生的图表。通过对合成和现实世界数据集的实证分析，我们所呈现的算法的实证分析表明了我们的工作的重要性，以其具有明确定义的集群结构的先前所提出的图表算法。

在[Mannor和Shamir，Neurips 2011]中提出的图表反馈的强盗问题由指向图$ G =（v，e）$，其中$ v $是强盗臂的集合，并且一旦触发臂一旦触发，所有入射武器都被观察到。基本问题是图形的结构如何影响Min-Max后悔。我们提出了分数分别捕捉上限和下限的美元弱统治号码$ \ delta ^ * $和$ k $ -packing独立号码的概念。我们表明，两种概念通过将它们与弱主导集合的线性程序和其双分数顶点包装组对齐，通过对齐它们通过对齐它们是固有的连接。基于这一联系，我们利用了强大的二元定理来证明一般遗憾的上限$ o \ left（\ left（\ delta ^ * \ log | v | \右）^ {\ frac {1} {3}} t ^ {\ frac {2} {3}} \右）$和一个下限$ \ oomega \ left（\ left（\ delta ^ * / \ alpha \ over）^ {\ frac {1} {3}} t ^ {\ frac {2} {3}}右）$ where $ \ alpha $是双线性程序的完整性差距。因此，我们的界限紧紧达到一个$ \左（\ log | v | \ over）^ {\ frac {1} {3}} $ thace，其中顶点包装问题包括树和图表有限度。此外，我们表明，对于几个特殊的图形，我们可以摆脱$ \左（\ log | v | \右）^ {\ frac {1} {3}} $ factor并建立最佳遗憾。

我们研究了测试有序域上的离散概率分布是否是指定数量的垃圾箱的直方图。$ k $的简洁近似值的最常见工具之一是$ k $ [n] $，是概率分布，在一组$ k $间隔上是分段常数的。直方图测试问题如下：从$ [n] $上的未知分布中给定样品$ \ mathbf {p} $，我们想区分$ \ mathbf {p} $的情况从任何$ k $ - 组织图中，总变化距离的$ \ varepsilon $ -far。我们的主要结果是针对此测试问题的样本接近最佳和计算有效的算法，以及几乎匹配的（在对数因素内）样品复杂性下限。具体而言，我们表明直方图测试问题具有样品复杂性$ \ widetilde \ theta（\ sqrt {nk} / \ varepsilon + k / \ varepsilon^2 + \ sqrt {n} / \ varepsilon^2）$。

混合模型被广泛用于拟合复杂和多模式数据集。在本文中，我们研究了具有高维稀疏潜在参数矢量的混合物，并考虑了支持这些向量的恢复的问题。尽管对混合模型中的参数学习进行了充分研究，但稀疏性约束仍然相对尚未探索。参数向量的稀疏性是各种设置的自然约束，支持恢复是参数估计的主要步骤。我们为支持恢复提供有效的算法，该算法具有对数样品的复杂性依赖于潜在空间的维度。我们的算法非常笼统，即它们适用于1）许多不同规范分布的混合物，包括统一，泊松，拉普拉斯，高斯人等。2）在统一参数的不同假设下，线性回归和线性分类器与高斯协变量的混合物与高斯协变量的混合物。在大多数这些设置中，我们的结果是对问题的首先保证，而在其余部分中，我们的结果为现有作品提供了改进。