套索和山脊是机器学习和统计数据中重要的最小化问题。它们是线性回归的版本，具有平方损耗，其中$ \ theta \ in \ mathbb {r}^d $ of系数的$ \ ell_1 $ -norm（对于lasso）或$ \ ell_2 $ norm（in $ \ ell_2 $ norm）（对于山脊）。我们研究了针对这些最小化问题的$ \ varepsilon $ - 二聚体的量子算法的复杂性。我们表明，对于拉索，我们可以通过加快弗兰克 - 沃尔夫算法的每题来获得$ d $的二次量子加速，而对于ridge来说，最好的量子算法是$ d $的线性，就像$ d $一样最好的古典算法。作为套索的量子下限的副产品，我们还证明了套索的第一个经典下限，该结构紧密地属于polyg因子。
translated by 谷歌翻译
我们研究了用于线性回归的主动采样算法，该算法仅旨在查询目标向量$ b \ in \ mathbb {r} ^ n $的少量条目，并将近最低限度输出到$ \ min_ {x \ In \ mathbb {r} ^ d} \ | ax-b \ | $，其中$ a \ in \ mathbb {r} ^ {n \ times d} $是一个设计矩阵和$ \ | \ cdot \ | $是一些损失函数。对于$ \ ell_p $ norm回归的任何$ 0 <p <\ idty $，我们提供了一种基于Lewis权重采样的算法，其使用只需$ \ tilde {o}输出$（1+ \ epsilon）$近似解决方案（d ^ {\ max（1，{p / 2}）} / \ mathrm {poly}（\ epsilon））$查询到$ b $。我们表明，这一依赖于$ D $是最佳的，直到对数因素。我们的结果解决了陈和Derezi的最近开放问题，陈和Derezi \'{n} Ski，他们为$ \ ell_1 $ norm提供了附近的最佳界限，以及$ p \中的$ \ ell_p $回归的次优界限（1,2） $。我们还提供了$ O的第一个总灵敏度上限（D ^ {\ max \ {1，p / 2 \} \ log ^ 2 n）$以满足最多的$ p $多项式增长。这改善了Tukan，Maalouf和Feldman的最新结果。通过将此与我们的技术组合起来的$ \ ell_p $回归结果，我们获得了一个使$ \ tilde o的活动回归算法（d ^ {1+ \ max \ {1，p / 2 \}} / \ mathrm {poly}。 （\ epsilon））$疑问，回答陈和德里兹的另一个打开问题{n}滑雪。对于Huber损失的重要特殊情况，我们进一步改善了我们对$ \ tilde o的主动样本复杂性的绑定（d ^ {（1+ \ sqrt2）/ 2} / \ epsilon ^ c）$和非活跃$ \ tilde o的样本复杂性（d ^ {4-2 \ sqrt 2} / \ epsilon ^ c）$，由于克拉克森和伍德拉夫而改善了Huber回归的以前的D ^ 4 $。我们的敏感性界限具有进一步的影响，使用灵敏度采样改善了各种先前的结果，包括orlicz规范子空间嵌入和鲁棒子空间近似。最后，我们的主动采样结果为每种$ \ ell_p $ norm提供的第一个Sublinear时间算法。
translated by 谷歌翻译
我们提出了两个关于量子计算机精确学习的新结果。首先，我们展示了如何从$ o（k ^ {1.5}（\ log k）^ 2）$统一量子示例的$ o（k ^ {1.5}（\ log k）^ 2）的$ k $ -fourier-sparse $ n $ -fourier-sparse $ n $ k $ -fourier-sparse $ n $ couber boolean函数。这改善了$ \ widetilde {\ theta}（kn）$统一的randuly \ emph {classical}示例（haviv和regev，ccc'15）。此外，我们提供了提高我们的$ \ widetilde {o}（k ^ {1.5}）美元的可能方向，通过证明k $-$ -fourier-稀疏的布尔函数的改进，通过提高Chang的Lemma。其次，如果可以使用$ q $量子会员查询可以完全学习概念类$ \ mathcal {c} $，则也可以使用$ o o \ left（\ frac {q ^ 2} {\ logq} \ log | \ mathcal {c} | \右）$ \ emph {classical}会员查询。这通过$ \ log q $ -factor来改善最佳的仿真结果（Servedio和Gortler，Sicomp'04）。
translated by 谷歌翻译
我们提出了第一近最优量子算法，用于估计欧几里德的规范，与有限均值和协方差的矢量值随机变量的平均值。我们的结果旨在将多元子高斯估计的理论延伸到量子设置。与经典上不同，如果任何单变量估计器都可以在维度中最多的对数开销转换为多变量估计器，则不会在量子设置中证明类似的结果。实际上，当样品复杂性小于尺寸时，Heinrich排除了平均估计问题的量子优势。我们的主要结果是表明，在这种低精度的方案之外，有一个量子估计值优于任何经典估算器。我们的方法比单变量设置大致涉及，大多数量子估计人员依赖于相位估计。我们利用各种额外的算法技术，如幅度放大，伯恩斯坦 - Vazirani算法和量子奇异值转换。我们的分析还使用多元截断统计的浓度不等式。我们以前在文献中出现的两个不同输入模型中的Quantum估算器。第一个提供对随机变量的二进制表示的相干访问，并且它包含经典设置。在第二模型中，随机变量直接编码到量子寄存器的相位中。该模型在许多量子算法中自然出现，但常常具有古典样品通常是无与伦比的。我们将我们的技术调整为这两个设置，我们表明第二种模型严格较弱，以解决平均估计问题。最后，我们描述了我们的算法的几个应用，特别是在测量通勤可观察到的期望值和机器学习领域时。
translated by 谷歌翻译
我们研究了在存在$ \ epsilon $ - 对抗异常值的高维稀疏平均值估计的问题。先前的工作为此任务获得了该任务的样本和计算有效算法，用于辅助性Subgaussian分布。在这项工作中，我们开发了第一个有效的算法，用于强大的稀疏平均值估计，而没有对协方差的先验知识。对于$ \ Mathbb r^d $上的分布，带有“认证有限”的$ t $ tum-矩和足够轻的尾巴，我们的算法达到了$ o（\ epsilon^{1-1/t}）$带有样品复杂性$的错误（\ epsilon^{1-1/t}） m =（k \ log（d））^{o（t）}/\ epsilon^{2-2/t} $。对于高斯分布的特殊情况，我们的算法达到了$ \ tilde o（\ epsilon）$的接近最佳错误，带有样品复杂性$ m = o（k^4 \ mathrm {polylog}（d）（d））/\ epsilon^^ 2 $。我们的算法遵循基于方形的总和，对算法方法的证明。我们通过统计查询和低度多项式测试的下限来补充上限，提供了证据，表明我们算法实现的样本时间 - 错误权衡在质量上是最好的。
translated by 谷歌翻译
我们提出了一个算法框架，用于近距离矩阵上的量子启发的经典算法，概括了Tang的突破性量子启发算法开始的一系列结果，用于推荐系统[STOC'19]。由量子线性代数算法和gily \'en，su，low和wiebe [stoc'19]的量子奇异值转换（SVT）框架[SVT）的动机[STOC'19]，我们开发了SVT的经典算法合适的量子启发的采样假设。我们的结果提供了令人信服的证据，表明在相应的QRAM数据结构输入模型中，量子SVT不会产生指数量子加速。由于量子SVT框架基本上概括了量子线性代数的所有已知技术，因此我们的结果与先前工作的采样引理相结合，足以概括所有有关取消量子机器学习算法的最新结果。特别是，我们的经典SVT框架恢复并经常改善推荐系统，主成分分析，监督聚类，支持向量机器，低秩回归和半决赛程序解决方案的取消结果。我们还为汉密尔顿低级模拟和判别分析提供了其他取消化结果。我们的改进来自识别量子启发的输入模型的关键功能，该模型是所有先前量子启发的结果的核心：$ \ ell^2 $ -Norm采样可以及时近似于其尺寸近似矩阵产品。我们将所有主要结果减少到这一事实，使我们的简洁，独立和直观。
translated by 谷歌翻译
我们建立了量子算法设计与电路下限之间的第一一般连接。具体来说，让$ \ mathfrak {c} $是一类多项式大小概念，假设$ \ mathfrak {c} $可以在统一分布下的成员查询，错误$ 1/2 - \ gamma $通过时间$ t $量子算法。我们证明如果$ \ gamma ^ 2 \ cdot t \ ll 2 ^ n / n $，则$ \ mathsf {bqe} \ nsubseteq \ mathfrak {c} $，其中$ \ mathsf {bqe} = \ mathsf {bque} [2 ^ {o（n）}] $是$ \ mathsf {bqp} $的指数时间模拟。在$ \ gamma $和$ t $中，此结果是最佳的，因为它不难学习（经典）时间$ t = 2 ^ n $（没有错误） ，或在Quantum Time $ t = \ mathsf {poly}（n）$以傅立叶采样为单位为1/2美元（2 ^ { - n / 2}）$。换句话说，即使对这些通用学习算法的边际改善也会导致复杂性理论的主要后果。我们的证明在学习理论，伪随机性和计算复杂性的几个作品上构建，并且至关重要地，在非凡的经典学习算法与由Oliveira和Santhanam建立的电路下限之间的联系（CCC 2017）。扩展他们对量子学习算法的方法，结果产生了重大挑战。为此，我们展示了伪随机发电机如何以通用方式意味着学习到较低的连接，构建针对均匀量子计算的第一个条件伪随机发生器，并扩展了Impagliazzo，JaiSwal的本地列表解码算法。 ，Kabanets和Wigderson（Sicomp 2010）通过微妙的分析到量子电路。我们认为，这些贡献是独立的兴趣，可能会发现其他申请。
translated by 谷歌翻译
我们探索稀疏优化问题的算法和局限性，例如稀疏线性回归和稳健的线性回归。稀疏线性回归问题的目的是确定少数关键特征，而强大的线性回归问题的目标是确定少量错误的测量值。具体而言，稀疏线性回归问题寻求$ k $ -sparse vector $ x \ in \ mathbb {r}^d $以最小化$ \ | ax-b \ | _2 $，给定输入矩阵$ a \ in \ mathbb in \ mathbb {r}^{n \ times d} $和一个目标向量$ b \ in \ mathbb {r}^n $，而强大的线性回归问题寻求一个$ s $ s $，最多可以忽略$ k $行和a向量$ x $最小化$ \ |（ax-b）_s \ | _2 $。我们首先显示了在[OWZ15]工作上稳健回归构建的近似近似值的双晶格，这意味着稀疏回归的结果相似。我们通过减少$ k $ clique的猜想，进一步显示出稳健回归的精细颗粒硬度。在正面，我们给出了一种鲁棒回归的算法，该算法可实现任意准确的添加误差，并使用运行时与从细粒硬度结果中的下界紧密匹配的运行时，以及与类似运行时稀疏回归的算法。我们的上限和下限都依赖于从鲁棒线性回归到我们引入的稀疏回归的一般减少。我们的算法受到3SUM问题的启发，使用大约最近的邻居数据结构，并且可能具有独立的兴趣来解决稀疏优化问题。例如，我们证明我们的技术也可以用于研究稀疏的PCA问题。
translated by 谷歌翻译
量子计算有可能彻底改变和改变我们的生活和理解世界的方式。该审查旨在提供对量子计算的可访问介绍，重点是统计和数据分析中的应用。我们从介绍了了解量子计算所需的基本概念以及量子和经典计算之间的差异。我们描述了用作量子算法的构建块的核心量子子程序。然后，我们审查了一系列预期的量子算法，以便在统计和机器学习中提供计算优势。我们突出了将量子计算应用于统计问题的挑战和机遇，并讨论潜在的未来研究方向。
translated by 谷歌翻译
我们表明，具有“低稳定器复杂性”的量子状态可以有效地与HAAR随机区分开。具体而言，给定$ n $ qubit的纯状态$ | \ psi \ rangle $，我们给出了一种有效的算法，以区分$ | \ psi \ rangle $是（i）haar-random或（ii）具有稳定器保真度的状态至少$ \ frac {1} {k} $（即，具有一些稳定器状态的保真度至少$ \ frac {1} {k} $），保证就是其中之一。使用Black-box访问$ | \ psi \ rangle $，我们的算法使用$ o \！\ left（k^{12} \ log（1/\ delta）\ right）$ copies $ | \ psi \ rangle $和$ o \！\ left（n k^{12} \ log（1/\ delta）\ right）$ $时间以概率至少$ 1- \ delta $成功，并且随着访问状态准备统一，以$ | | \ psi \ rangle $（及其倒数），$ o \！\ left（k^{3} \ log（1/\ delta）\ right）$ queries和$ o \！\！ log（1/\ delta）\ right）$时间就足够了。作为推论，我们证明$ \ omega（\ log（n））$ $ t $ - 盖特对于任何Clifford+$ t $ circile都是必不可少的，以准备计算上的pseudorandom Quantum Quantum state，这是一种首要的下限。
translated by 谷歌翻译
我们研究了学习哈密顿$ h $ to precision $ \ varepsilon $的问题，假设我们将获得其gibbs state $ \ rho = \ exp（ - \ beta h）/\ operatoratorname {tr}（\ exp（\ exp）（ - \ beta h））$在已知的反温度$ \ beta $处。 Anshu，Arunachalam，Kuwahara和Soleimanifar（Nature Physics，2021，Arxiv：2004.07266）最近研究了此问题的样品复杂性（需要$ \ rho $的副本数量）。在高温（低$ \ beta $）制度中，他们的算法具有样品复杂性poly poly $（n，1/\ beta，1/\ varepsilon）$，并且可以用多项式但次优的时间复杂性实现。在本文中，我们研究了更一般的哈密顿人的同样问题。我们展示了如何学习哈密顿量的系数到错误$ \ varepsilon $带有样本复杂性$ s = o（\ log n/（\ beta \ varepsilon）^{2}）$和样本大小的时间复杂性，$ o（s n）$。此外，我们证明了匹配的下限，表明我们算法的样品复杂性是最佳的，因此我们的时间复杂性也是最佳的。在附录中，我们证明，几乎可以使用相同的算法来从实时进化的统一$ e^{ - it H} $中学习$ h $，其中具有相似的示例和时间复杂性的小$ t $制度。
translated by 谷歌翻译
分类是机器学习中的常见任务。随机特征（RFS）作为基于内核方法的可扩展学习算法的中心技术，并且最近提出的优化随机特征取决于模型和数据分布，可以显着减少并证明最小化所需的功能数量。但是，现有的对使用优化RF的分类研究在对每个优化的RF进行采样时都遭受了计算硬度。此外，它未能达到其他最先进的内核方法在低噪声条件下实现的指数快速误差速度。为了克服这些放缓，我们在这里构建了一种通过量子机学习加速的优化RF的分类算法（QML），并研究其运行时以阐明整体优势。我们证明，即使使用优化的RFS，我们的算法也可以在低噪声条件下达到指数误差的收敛。同时，我们的算法可以利用由于QML而没有计算硬度的特征数量的显着减少的优势。这些结果发现了QML在基于领先的内核分类算法加速的有前途的应用，而不会破坏其广泛的适用性和指数误差速度。
translated by 谷歌翻译
We study the relationship between adversarial robustness and differential privacy in high-dimensional algorithmic statistics. We give the first black-box reduction from privacy to robustness which can produce private estimators with optimal tradeoffs among sample complexity, accuracy, and privacy for a wide range of fundamental high-dimensional parameter estimation problems, including mean and covariance estimation. We show that this reduction can be implemented in polynomial time in some important special cases. In particular, using nearly-optimal polynomial-time robust estimators for the mean and covariance of high-dimensional Gaussians which are based on the Sum-of-Squares method, we design the first polynomial-time private estimators for these problems with nearly-optimal samples-accuracy-privacy tradeoffs. Our algorithms are also robust to a constant fraction of adversarially-corrupted samples.
translated by 谷歌翻译
我们显示出与错误（LWE）问题的经典学习之间的直接和概念上的简单减少，其连续类似物（Bruna，Regev，Song and Tang，STOC 2021）。这使我们能够将基于LWE的密码学的强大机械带到Clwe的应用中。例如，我们在GAP最短矢量问题的经典最坏情况下获得了Clwe的硬度。以前，这仅在晶格问题的量子最坏情况下才知道。更广泛地说，随着我们在两个问题之间的减少，LWE的未来发展也将适用于CLWE及其下游应用程序。作为一种具体的应用，我们显示了高斯混合物密度估计的硬度结果改善。在此计算问题中，给定样品访问高斯人的混合物，目标是输出估计混合物密度函数的函数。在经典LWE问题的（合理且被广泛相信的）指数硬度下，我们表明高斯混合物密度估计$ \ Mathbb {r}^n $，大约$ \ log n $ gaussian组件给定$ \ mathsf {poly}（poly}（poly}（poly}）） n）$样品需要$ n $的时间准分线性。在LWE的（保守）多项式硬度下，我们显示出$ n^{\ epsilon} $高斯的密度估计，对于任何常数$ \ epsilon> 0 $，它可以改善Bruna，Regev，Song和Tang（Stoc 2021） ，在多项式（量子）硬度假设下，他们至少以$ \ sqrt {n} $高斯的表现表现出硬度。我们的关键技术工具是从古典LWE到LWE的缩短，并使用$ k $ -sparse Secrets，其中噪声的乘法增加仅为$ o（\ sqrt {k}）$，与环境尺寸$ n $无关。
translated by 谷歌翻译
我们给出了一种基于草图的迭代算法，该算法计算$ 1 +\ varepsilon $近似解决方案，用于脊回归问题$ \ min_x \ | ax-b \ | ax-b \ | _2^2 +\ lambda \ lambda \ | x \ | x \ | _2^2 $ were $ a \ in r^{n \ times d} $带有$ d \ ge n $。我们的算法对于恒定数量的迭代（需要输入量的恒定通过），通过要求素描矩阵仅具有较弱的近似矩阵乘法（AMM）保证，可以改善早期工作（Chowdhury等人）（Chowdhury等人）。在$ \ varepsilon $上，以及恒定的子空间嵌入保证。相反，较早的工作要求素描矩阵具有取决于$ \ varepsilon $的子空间嵌入保证。例如，要在$ 1 $迭代中生产$ 1+\ varepsilon $近似解决方案，需要$ 2 $通过输入，我们的算法需要OSNAP嵌入$ m = o（n \ sigma^2/\ lambda \ lambda \ varepsilon \ varepsilon ）带有稀疏参数$ s = o（\ log（n））$的$行，而Chowdhury等人的早期算法。使用相同数量的OSNAP行需要稀疏$ s = o（\ sqrt {\ sigma^2/\ lambda \ varepsilon} \ cdot \ log（n））$，其中$ \ sigma = \ opnorm = \ opnorm {a}是矩阵$ a $的光谱规范。我们还表明，该算法可用于为内核脊回归提供更快的算法。最后，我们表明，我们的算法所需的草图大小实质上对于山脊回归算法的自然框架实质上是最佳的，它通过证明AMM的遗漏素描矩阵上的下限。 AMM的草图大小的下限可能具有独立的兴趣。
translated by 谷歌翻译
我们考虑最小化高维目标函数的问题，该功能可以包括正则化术语，使用（可能的噪声）评估该功能。这种优化也称为无衍生，零阶或黑匣子优化。我们提出了一个新的$ \ textbf {z} $ feroth - $ \ textbf {o} $ rder $ \ textbf {r} $ ptimization方法，称为zoro。当潜在的梯度大致稀疏时，Zoro需要很少的客观函数评估，以获得降低目标函数的新迭代。我们通过自适应，随机梯度估计器实现这一点，然后是不精确的近端梯度方案。在一个新颖的大致稀疏梯度假设和各种不同的凸面设置下，我们显示了zoro的（理论和实证）收敛速率仅对对数依赖于问题尺寸。数值实验表明，Zoro在合成和实际数据集中优于具有相似假设的现有方法。
translated by 谷歌翻译
我们开发机器以设计有效的可计算和一致的估计，随着观察人数而达到零的估计误差，因为观察的次数增长，当面对可能损坏的答复，除了样本的所有品，除了每种量之外的ALL。作为具体示例，我们调查了两个问题：稀疏回归和主成分分析（PCA）。对于稀疏回归，我们实现了最佳样本大小的一致性$ n \ gtrsim（k \ log d）/ \ alpha ^ $和最佳错误率$ o（\ sqrt {（k \ log d）/（n \ cdot \ alpha ^ 2））$ N $是观察人数，$ D $是尺寸的数量，$ k $是参数矢量的稀疏性，允许在数量的数量中为逆多项式进行逆多项式样品。在此工作之前，已知估计是一致的，当Inliers $ \ Alpha $ IS $ O（1 / \ log \ log n）$，即使是（非球面）高斯设计矩阵时也是一致的。结果在弱设计假设下持有，并且在这种一般噪声存在下仅被D'Orsi等人最近以密集的设置（即一般线性回归）显示。 [DNS21]。在PCA的上下文中，我们在参数矩阵上的广泛尖端假设下获得最佳错误保证（通常用于矩阵完成）。以前的作品可以仅在假设下获得非琐碎的保证，即与最基于的测量噪声以$ n $（例如，具有方差1 / n ^ 2 $的高斯高斯）。为了设计我们的估算，我们用非平滑的普通方（如$ \ ell_1 $ norm或核规范）装备Huber丢失，并以一种新的方法来分析损失的新方法[DNS21]的方法[DNS21]。功能。我们的机器似乎很容易适用于各种估计问题。
translated by 谷歌翻译
我们研究了称为“乐观速率”（Panchenko 2002; Srebro等，2010）的统一收敛概念，用于与高斯数据的线性回归。我们的精致分析避免了现有结果中的隐藏常量和对数因子，这已知在高维设置中至关重要，特别是用于了解插值学习。作为一个特殊情况，我们的分析恢复了Koehler等人的保证。（2021年），在良性过度的过度条件下，严格地表征了低规范内插器的人口风险。但是，我们的乐观速度绑定还分析了具有任意训练错误的预测因子。这使我们能够在随机设计下恢复脊和套索回归的一些经典统计保障，并有助于我们在过度参数化制度中获得精确了解近端器的过度风险。
translated by 谷歌翻译
量子技术有可能彻底改变我们如何获取和处理实验数据以了解物理世界。一种实验设置，将来自物理系统的数据转换为稳定的量子存储器，以及使用量子计算机的数据的处理可以具有显着的优点，这些实验可以具有测量物理系统的传统实验，并且使用经典计算机处理结果。我们证明，在各种任务中，量子机器可以从指数较少的实验中学习而不是传统实验所需的实验。指数优势在预测物理系统的预测属性中，对噪声状态进行量子主成分分析，以及学习物理动态的近似模型。在一些任务中，实现指数优势所需的量子处理可能是适度的;例如，可以通过仅处理系统的两个副本来同时了解许多非信息可观察。我们表明，可以使用当今相对嘈杂的量子处理器实现大量超导QUBITS和1300个量子门的实验。我们的结果突出了量子技术如何能够实现强大的新策略来了解自然。
translated by 谷歌翻译
我们研究了用$ q $ modes $ a \ in \ mathbb {r}^{n \ times \ ldots \ times n} $的近似给定张量的问题。图$ g =（v，e）$，其中$ | v | = q $，以及张张量的集合$ \ {u_v \ mid v \ in v \} $，以$ g $指定的方式收缩以获取张量$ t $。对于$ u_v $的每种模式，对应于$ v $的边缘事件，尺寸为$ k $，我们希望找到$ u_v $，以便最小化$ t $和$ a $之间的frobenius norm距离。这概括了许多众所周知的张量网络分解，例如张量列，张量环，塔克和PEPS分解。我们大约是二进制树网络$ t'$带有$ o（q）$核的大约$ a $，因此该网络的每个边缘上的尺寸最多是$ \ widetilde {o}（k^{o（dt） } \ cdot q/\ varepsilon）$，其中$ d $是$ g $的最大度，$ t $是其树宽，因此$ \ | a -t'-t'\ | _f^2 \ leq（1 + \ Varepsilon）\ | a -t \ | _f^2 $。我们算法的运行时间为$ o（q \ cdot \ text {nnz}（a）） + n \ cdot \ text {poly}（k^{dt} q/\ varepsilon）$，其中$ \ text {nnz }（a）$是$ a $的非零条目的数量。我们的算法基于一种可能具有独立感兴趣的张量分解的新维度降低技术。我们还开发了固定参数可处理的$（1 + \ varepsilon）$ - 用于张量火车和塔克分解的近似算法，改善了歌曲的运行时间，Woodruff和Zhong（Soda，2019），并避免使用通用多项式系统求解器。我们表明，我们的算法对$ 1/\ varepsilon $具有几乎最佳的依赖性，假设没有$ O（1）$ - 近似算法的$ 2 \至4 $ norm，并且运行时间比蛮力更好。最后，我们通过可靠的损失函数和固定参数可拖动CP分解给出了塔克分解的其他结果。
translated by 谷歌翻译