解决Littlestone和Warmuth的猜想，我们展示了任何VC-Dimension $ D $的概念类别具有尺寸$ D $的样本压缩方案。

我们检查机器学习中出现的组合概念与立方/单纯几何形状中的拓扑概念之间的连接。这些连接使得从几何形状导出到机器学习的结果。我们的第一个主要结果是基于Tracy Hall（2004）的几何结构，其局部炮击的交叉多容院不能延伸。我们使用它来得出最大类别的VC尺寸3，没有角落。从过去11年来，这反驳了在机器学习中的几个工作。特别地，它意味着最佳类别的最佳未标记的样本压缩方案的所有先前结构都是错误的。在积极的一面，我们为最大类提供了一个未标记的样品压缩方案的新建。我们打开我们的未标记的样品压缩方案是否延伸到充足（A.K.A.不平衡或极值）课程，这代表了最大类的自然和深远的概括。在解决这个问题方面，我们就关联立方体复合物的1骷髅的独特宿前方向提供了几何特征。

This paper presents a construction of a proper and stable labelled sample compression scheme of size $O(\VCD^2)$ for any finite concept class, where $\VCD$ denotes the Vapnik-Chervonenkis Dimension. The construction is based on a well-known model of machine teaching, referred to as recursive teaching dimension. This substantially improves on the currently best known bound on the size of sample compression schemes (due to Moran and Yehudayoff), which is exponential in $\VCD$. The long-standing open question whether the smallest size of a sample compression scheme is in $O(\VCD)$ remains unresolved, but our results show that research on machine teaching is a promising avenue for the study of this open problem. As further evidence of the strong connections between machine teaching and sample compression, we prove that the model of no-clash teaching, introduced by Kirkpatrick et al., can be used to define a non-trivial lower bound on the size of stable sample compression schemes.

在这项工作中，我们调查了Steinke和Zakynthinou（2020）的“条件互信息”（CMI）框架的表现力，以及使用它来提供统一框架，用于在可实现的环境中证明泛化界限。我们首先证明可以使用该框架来表达任何用于从一类界限VC维度输出假设的任何学习算法的非琐碎（但是次优）界限。我们证明了CMI框架在用于学习半个空间的预期风险上产生最佳限制。该结果是我们的一般结果的应用，显示稳定的压缩方案Bousquet al。 （2020）尺寸$ k $有统一有限的命令$ o（k）$。我们进一步表明，适当学习VC类的固有限制与恒定的CMI存在适当的学习者的存在，并且它意味着对Steinke和Zakynthinou（2020）的开放问题的负面分辨率。我们进一步研究了价值最低限度（ERMS）的CMI的级别$ H $，并表明，如果才能使用有界CMI输出所有一致的分类器（版本空间），只有在$ H $具有有界的星号（Hanneke和杨（2015）））。此外，我们证明了一般性的减少，表明“休假”分析通过CMI框架表示。作为推论，我们研究了Haussler等人提出的一包图算法的CMI。 （1994）。更一般地说，我们表明CMI框架是通用的，因为对于每一项一致的算法和数据分布，当且仅当其评估的CMI具有样品的载位增长时，预期的风险就会消失。

A classical result in learning theory shows the equivalence of PAC learnability of binary hypothesis classes and the finiteness of VC dimension. Extending this to the multiclass setting was an open problem, which was settled in a recent breakthrough result characterizing multiclass PAC learnability via the DS dimension introduced earlier by Daniely and Shalev-Shwartz. In this work we consider list PAC learning where the goal is to output a list of $k$ predictions. List learning algorithms have been developed in several settings before and indeed, list learning played an important role in the recent characterization of multiclass learnability. In this work we ask: when is it possible to $k$-list learn a hypothesis class? We completely characterize $k$-list learnability in terms of a generalization of DS dimension that we call the $k$-DS dimension. Generalizing the recent characterization of multiclass learnability, we show that a hypothesis class is $k$-list learnable if and only if the $k$-DS dimension is finite.

机器学习中的一个开放问题之一是，是否有VC-Dimension $ d $的任何设置家庭均承认尺寸〜$ O（d）$的样本压缩方案。在本文中，我们研究了图中的球。对于任意半径$ r $的球，我们设计了适当的样品压缩方案$ 2 $ $ 2 $的树木的尺寸$ 3 $ $ 3 $，尺寸为$ 4 $的间隔图，尺寸$ 6 $ 6 $的循环树木和22美元$用于无立方的中位图。对于给定半径的球，我们设计了适当的标记的样品压缩方案，树木的尺寸为$ 2 $，间隔图的尺寸为$ 4 $。我们还设计了$ \ delta $ - 液压图的球的大小2的近似样品压缩方案。

给定真实的假设类$ \ mathcal {h} $，我们在什么条件下调查有一个差异的私有算法，它从$ \ mathcal {h} $给出的最佳假设.I.i.d.数据。灵感来自最近的成果的二进制分类的相关环境（Alon等，2019; Bun等，2020），其中显示了二进制类的在线学习是必要的，并且足以追随其私人学习，Jung等人。 （2020）显示，在回归的设置中，$ \ mathcal {h} $的在线学习是私人可读性所必需的。这里的在线学习$ \ mathcal {h} $的特点是其$ \ eta $-sequentient胖胖子的优势，$ {\ rm sfat} _ \ eta（\ mathcal {h}）$，适用于所有$ \ eta> 0 $。就足够的私人学习条件而言，Jung等人。 （2020）显示$ \ mathcal {h} $私下学习，如果$ \ lim _ {\ eta \ downarrow 0} {\ rm sfat} _ \ eta（\ mathcal {h}）$是有限的，这是一个相当限制的健康）状况。我们展示了在轻松的条件下，\ LIM \ INF _ {\ eta \ downarrow 0} \ eta \ cdot {\ rm sfat} _ \ eta（\ mathcal {h}）= 0 $，$ \ mathcal {h} $私人学习，为\ \ rm sfat} _ \ eta（\ mathcal {h}）$ \ eta \ dockarrow 0 $ divering建立第一个非参数私人学习保证。我们的技术涉及一种新颖的过滤过程，以输出非参数函数类的稳定假设。

Boosting是一种著名的机器学习方法，它基于将弱和适度不准确假设与强烈而准确的假设相结合的想法。我们研究了弱假设属于界限能力类别的假设。这个假设的灵感来自共同的惯例，即虚弱的假设是“易于学习的类别”中的“人数规则”。 （Schapire和Freund〜 '12，Shalev-Shwartz和Ben-David '14。）正式，我们假设弱假设类别具有有界的VC维度。我们关注两个主要问题：（i）甲骨文的复杂性：产生准确的假设需要多少个弱假设？我们设计了一种新颖的增强算法，并证明它绕过了由Freund和Schapire（'95，'12）的经典下限。虽然下限显示$ \ omega（{1}/{\ gamma^2}）$弱假设有时是必要的，而有时则需要使用$ \ gamma $ -margin，但我们的新方法仅需要$ \ tilde {o}（{1}）（{1}） /{\ gamma}）$弱假设，前提是它们属于一类有界的VC维度。与以前的增强算法以多数票汇总了弱假设的算法不同，新的增强算法使用了更复杂（“更深”）的聚合规则。我们通过表明复杂的聚合规则实际上是规避上述下限是必要的，从而补充了这一结果。 （ii）表现力：通过提高有限的VC类的弱假设可以学习哪些任务？可以学到“遥远”的复杂概念吗？为了回答第一个问题，我们{介绍组合几何参数，这些参数捕获增强的表现力。}作为推论，我们为认真的班级的第二个问题提供了肯定的答案，包括半空间和决策树桩。一路上，我们建立并利用差异理论的联系。

我们研究了三个看似不同的组合结构之间的联系 - 在统计和概率理论中的“统一”括号，“在线和分布式学习理论”和“组合MacBeath地区”，或者在离散和计算几何中的MNET。我们表明这三个概念是单一组合物业的表现，可以在沿着VAPNIK-Chervonenkis型理论的统一框架中表达的统一收敛性。这些新连接有助于我们带来来自离散和计算几何的工具，以证明这些对象的改进界限。我们改进的界限有助于获得半个空间的分布式学习的最佳算法，一种改进的分布式凸起脱节问题，以及对大类半代数阈值函数的平滑对手的在线算法的改进的后悔界限。

We study the generalization capacity of group convolutional neural networks. We identify precise estimates for the VC dimensions of simple sets of group convolutional neural networks. In particular, we find that for infinite groups and appropriately chosen convolutional kernels, already two-parameter families of convolutional neural networks have an infinite VC dimension, despite being invariant to the action of an infinite group.

我们系统地研究了拓扑空间的理论的基本属性，例如预先底座，子空间，分离，关联等的公理等前拓扑在知识结构理论中也称为知识空间。我们讨论知识空间理论，亚历山大空间和准序数空间的关系分离的公理语言，以及知识空间的主要项目中拓扑空间密度的应用。特别是，我们给出了技能多猿类的表征，使得描绘知识结构是一个知识空间，它在\ cite {falmagne2011 learning}或\ cite {xglj}中的问题答案，每当每个项目都有很多竞争力时;此外，我们提供了一个算法，用于找到任何有限知识空间的Atom主项目。

The one-inclusion graph algorithm of Haussler, Littlestone, and Warmuth achieves an optimal in-expectation risk bound in the standard PAC classification setup. In one of the first COLT open problems, Warmuth conjectured that this prediction strategy always implies an optimal high probability bound on the risk, and hence is also an optimal PAC algorithm. We refute this conjecture in the strongest sense: for any practically interesting Vapnik-Chervonenkis class, we provide an in-expectation optimal one-inclusion graph algorithm whose high probability risk bound cannot go beyond that implied by Markov's inequality. Our construction of these poorly performing one-inclusion graph algorithms uses Varshamov-Tenengolts error correcting codes. Our negative result has several implications. First, it shows that the same poor high-probability performance is inherited by several recent prediction strategies based on generalizations of the one-inclusion graph algorithm. Second, our analysis shows yet another statistical problem that enjoys an estimator that is provably optimal in expectation via a leave-one-out argument, but fails in the high-probability regime. This discrepancy occurs despite the boundedness of the binary loss for which arguments based on concentration inequalities often provide sharp high probability risk bounds.

经典的算法adaboost允许转换一个弱学习者，这是一种算法，它产生的假设比机会略好，成为一个强大的学习者，在获得足够的培训数据时，任意高精度。我们提出了一种新的算法，该算法从弱学习者中构建了一个强大的学习者，但比Adaboost和所有其他弱者到强大的学习者使用训练数据少，以实现相同的概括界限。样本复杂性下限表明我们的新算法使用最小可能的训练数据，因此是最佳的。因此，这项工作解决了从弱学习者中构建强大学习者的经典问题的样本复杂性。

我们为在测试时间内对对抗性示例进行了学习预测的问题，为学习预测的问题提供了最小的最佳学习者。有趣的是，我们发现这需要新的算法思想和方法来实现对抗性的学习。特别是，我们从强烈的负面意义上表明，蒙塔瑟（Montasser），Hanneke和Srebro（2019）提出的强大学习者的次级临时性以及我们确定为本地学习者的更广泛的学习者。我们的结果是通过通过关键技术贡献采用全球视角来实现的：可能具有独立利益的全球单包含图，它概括了由于Haussler，Littlestone和Warminguth引起的经典单包含图（1994年）（1994年） ）。最后，作为副产品，我们确定了一个定性和定量表征哪些类别的预测因子$ \ mathcal {h} $的维度。由于Montasser等人，这解决了一个空旷的问题。 （2019年），并在固定稳健学习的样品复杂性上，在已建立的上限和下限之间结束了一个（潜在的）无限差距。

众所周知，现代神经网络容易受到对抗例子的影响。为了减轻这个问题，已经提出了一系列强大的学习算法。但是，尽管通过某些方法可以通过某些方法接近稳定的训练误差，但所有现有的算法都会导致较高的鲁棒概括误差。在本文中，我们从深层神经网络的表达能力的角度提供了对这种令人困惑的现象的理论理解。具体而言，对于二进制分类数据，我们表明，对于Relu网络，虽然轻度的过度参数足以满足较高的鲁棒训练精度，但存在持续的稳健概括差距，除非神经网络的大小是指数的，却是指数的。数据维度$ d $。即使数据是线性可分离的，这意味着要实现低清洁概括错误很容易，我们仍然可以证明$ \ exp（{\ omega}（d））$下限可用于鲁棒概括。通常，只要它们的VC维度最多是参数数量，我们的指数下限也适用于各种神经网络家族和其他功能类别。此外，我们为网络大小建立了$ \ exp（{\ mathcal {o}}（k））$的改进的上限，当数据放在具有内在尺寸$ k $的歧管上时，以实现低鲁棒的概括错误（$） k \ ll d $）。尽管如此，我们也有一个下限，相对于$ k $成倍增长 - 维度的诅咒是不可避免的。通过证明网络大小之间的指数分离以实现较低的鲁棒训练和泛化错误，我们的结果表明，鲁棒概括的硬度可能源于实用模型的表现力。

We first prove that Littlestone classes, those which model theorists call stable, characterize learnability in a new statistical model: a learner in this new setting outputs the same hypothesis, up to measure zero, with probability one, after a uniformly bounded number of revisions. This fills a certain gap in the literature, and sets the stage for an approximation theorem characterizing Littlestone classes in terms of a range of learning models, by analogy to definability of types in model theory. We then give a complete analogue of Shelah's celebrated (and perhaps a priori untranslatable) Unstable Formula Theorem in the learning setting, with algorithmic arguments taking the place of the infinite.

在本文中，我们通过图形函数的关键代数条件（称为\ textIt {置换兼容性}）完全回答上述问题，该函数将图形和图形的特征​​与功能约束相关联。我们证明：（i）GNN作为图形函数必然是兼容的； （ii）相反，当限制具有不同节点特征的输入图上时，任何置换兼容函数都可以由GNN生成； （iii）对于任意节点特征（不一定是不同），一个简单的功能增强方案足以生成GNN置换兼容函数； （iv）可以通过仅检查二次功能约束，而不是对所有排列的详尽搜索来验证置换兼容性； （v）GNN可以生成\ textIt {any}图形函数，一旦我们以节点身份增强节点特征，从而超越了图同构和置换兼容性。上面的表征铺平了正式研究GNN和其他算法程序之间复杂联系的路径。例如，我们的表征意味着许多自然图问题，例如最小值值，最大流量值，最大值尺寸和最短路径，可以使用简单的功能增强来生成GNN。相比之下，每当GNN无法生成具有相同特征的置换函数时，著名的Weisfeiler-Lehman图形测试就会失败。我们分析的核心是一种新的表示定理，它标识了GNN的基础函数。这使我们能够将目标图函数的属性转化为GNN聚合函数的属性。

给定一个单词二进制关系$ \ tau $我们在有限的语言x上定义一个$ \ tau $ -gray周期，以置换w [i] 0 $ \ le $ i $ \ le $ | x | --1的x这样，每个单词wi是前一词wi - 1的图像，由$ \ tau $ 1。在该框架中，我们介绍了复杂性测量$ \ lambda $（n），等于具有最多长度的语言x的最大基数，使得$ \ tau $-gray周期存在于x上。本文涉及与\ tau $ = $ \ sigma $ k，所谓的k字符替代，其中（v）属于$ \ sigma $ k，如果汉明距离你和v是k。我们为所有字母基数和Argument n计算绑定$ \ lambda $（n）。

Li，Long和Srinivasan对设定系统近似的基本结果已成为多个社区的关键工具，例如学习理论，算法，计算几何，组合学和数据分析。本文的目的是为有限设置系统提供模块化，独立的，直观的证明。我们假设的唯一成分是标准Chernoff的浓度结合。这使得更广泛的受众可以访问证明，读者不熟悉统计学习理论的技术，并可以在几何学，算法或组合学课程中进行单个独立的演讲中涵盖。

学习曲线将学习算法的预期误差绘制为标记输入样本数量的函数。它们被机器学习实践者广泛使用，以衡量算法的性能，但是经典的PAC学习理论无法解释其行为。在本文中，我们介绍了一种称为VCL维度的新组合表征，该表征改进并完善了Bousquet等人的最新结果。 （2021）。我们的表征通过提供细粒度的边界来展示学习曲线的结构，并表明对于有限VCL的类，可以将衰减的速率分解为仅取决于假设类别和指数成分的线性组件，该成分是指数的成分。还取决于目标分布。特别是，VCL维度的细微差别意味着比Bousquet等人的边界更强大的下限。 （2021年），比经典的“无免费午餐”下界强。 VCL表征解决了Antos and Lugosi（1998）研究的一个开放问题，他们询问在哪些情况下存在这种下限。作为推论，我们在$ \ mathbb {r}^d $中恢复了其下限，并以原则性的方式也适用于其他情况。最后，为了对我们的工作以及与传统PAC学习界的比较提供另一个观点，我们还以一种更接近PAC环境的语言展示了结果的替代表述。