结构设计中的一项重要任务是量化物体在其使用过程中可能遇到的外力作用下的结构性能。由于外力的接触位置和大小可能表现出显着的变化,因此该问题在计算上非常具有挑战性。我们提出了一种有效的分析方法,以确定在力位置不确定性等问题中最关键的力接触位置。给定输入3D模型和其任意法向力可能接触的边界上的区域,我们的算法预测最坏情况下的力配置,负责在对象内创建最高应力。我们的方法采用计算易处理的实验设计方法,仅根据几何形状选择多个样本力位置,而不检查需要计算昂贵的有限元分析的应力响应。然后,我们在这些样本和相应的最大应力上构建一个简单的回归模型。结合简单的基于排序的后处理步骤,我们的方法为最坏情况的结构分析问题提供了实用的解决方案。结果表明,我们的方法在现有工作和蛮力方法上取得了显着的改进。我们证明,当允许最大应力的少量误差容限时,可以获得进一步的加速。
translated by 谷歌翻译
我们认为向审稿人自动分配论文的问题不同意同行评审,重点是公平性和统计准确性。我们的公平目标是最大限度地提高最不利的纸张的审查质量,与通常使用最大化所有纸张质量的目标相反。我们设计了一种基于增量最大流程的分配算法,我们证明该算法接近最优公平。 Ourstatistical准确性目标是确保正确恢复应该被接受的论文。我们对流行的客观评分模型以及我们在论文中提出的小说主观评分模型的同一评审过程的准确性提供了一个尖锐的极小极大分析。我们的分析证明了所提出的分配算法也导致了近乎最优的统计精度。最后,我们设计了一个新的实验,允许对各种分配算法进行客观比较,并克服了在同行评审实验中缺乏基本事实所带来的固有困难。该实验的结果证实了我们的算法的理论保证。
translated by 谷歌翻译
在监督学习中,我们利用标记数据集来设计功能估计方法。在许多实际情况中,我们能够以低成本获得替代反馈。一个广泛的目标是了解这种替代反馈的有用性和设计算法。我们专注于半监督设置,我们获得可能未标记样本的额外序数(或比较)信息。我们考虑不同质量的ordinalfeedback,其中我们有样本的完美排序,样本的噪声排序或样本之间的噪声成对比较。我们提供了非参数回归中这些序数反馈类型的有用性的精确量化,表明在许多情况下,可以用一个真实的标记集准确地估计基础函数,有效地逃避维数的诅咒。我们开发了一种名为Ranking-Regression(RR)的算法,并将其精度分析为标记和未标记数据集的大小以及各种噪声参数的函数。我们还提出了下限,为任务建立了基本限制,并表明RR在各种环境中都是最佳的。最后,我们展示了显示RR功效的实验,并研究了其对各种噪声源和模型错误指定的鲁棒性。
translated by 谷歌翻译
A widespread folklore for explaining the success of Convolutional Neural Networks (CNNs) is that CNNs use a more compact representation than the Fully-connected Neural Network (FNN) and thus require fewer training samples to accurately estimate their parameters. We initiate the study of rigorously characterizing the sample complexity of estimating CNNs. We show that for an m-dimensional convolutional filter with linear activation acting on a d-dimensional input, the sample complexity of achieving population prediction error of is r Opm{ 2 q 2 , whereas the sample-complexity for its FNN counterpart is lower bounded by Ωpd{ 2 q samples. Since, in typical settings m ! d, this result demonstrates the advantage of using a CNN. We further consider the sample complexity of estimating a one-hidden-layer CNN with linear activation where both the m-dimensional convolu-tional filter and the r-dimensional output weights are unknown. For this model, we show that the sample complexity is r O ` pm`rq{pm`pm`rq{ 2 ˘ when the ratio between the stride size and the filter size is a constant. For both models, we also present lower bounds showing our sample complexities are tight up to logarithmic factors. Our main tools for deriving these results are a localized empirical process analysis and a new lemma characterizing the convolutional structure. We believe that these tools may inspire further developments in understanding CNNs.
translated by 谷歌翻译
大束有髓鞘的轴突,称为白质,解剖学上将不同的大脑区域连接在一起,构成了人类连接体的结构核心。我们最近提出了一种测量每个白质束的长度的局部完整性的方法,称为局部连接组。如果通信效率从根本上受到白质束整个长度的完整性的限制,那么脑网络的功能动力学的可变性应该与局部连接组的可变性相关联。我们使用两种能够处理数据高维度的统计方法来测试这种预测。首先,通过对基于距离的相关性进行统计推断,我们证明了个体之间局部连接组的相似性与其功能连接模式的相似性显着相关。其次,通过使用稀疏典型相关分析和交叉验证的可变选择,我们显示局部连接组的片段可预测某些功能性脑动力学模式。这些结果与假设一致,即轴突束的结构变异性限制了不同脑区之间的通信。
translated by 谷歌翻译
我们考虑学习具有非重叠卷积层和ReLU激活的单隐层神经网络的问题,即$ f(\ mathbf {Z},\ mathbf {w},\ mathbf {a})= \ sum_j a_j \ sigma(\ mathbf {w} ^ T \ mathbf {Z} _j)$,其中卷积权重$ \ mathbf {w} $和输出权重$ \ mathbf {a} $是要学习的参数。当标签是具有固定权重$(\ mathbf {w} ^ *,\ mathbf {a} ^ *)$的相同架构的教师网络的输出时,我们用高斯输入$ \ mathbf {Z} $证明,有一个有害的局部最小化器。令人惊讶的是,在存在虚假局部最小化的情况下,随机初始化权重的权重归一化的梯度下降仍然可以证明恢复具有恒定概率的真实参数,可以通过多次重启来提升到1美元的概率。 Wealso表明,在恒定的概率下,相同的程序也可以归结为虚假的局部最小值,表明局部最小值在梯度下降的动力学中起着重要的作用。此外,水平分析表明梯度下降动力学有两个阶段:它开始缓慢,但在几次迭代后收敛得更快。
translated by 谷歌翻译
This paper studies the problem of estimating the covariance of a collection of vectors using only highly compressed measurements of each vector. An estimator based on back-projections of these compressive samples is proposed and analyzed. A distribution-free analysis shows that by observing just a single linear measurement of each vector, one can consistently estimate the covariance matrix, in both infinity and spectral norm, and this same analysis leads to precise rates of convergence in both norms. Via information-theoretic techniques, lower bounds showing that this estimator is minimax-optimal for both infinity and spectral norm estimation problems are established. These results are also specialized to give matching upper and lower bounds for estimating the population covariance of a collection of Gaussian vectors, again in the compressive measurement model. The analysis conducted in this paper shows that the effective sample complexity for this problem is scaled by a factor of m 2 /d 2 where m is the compression dimension and d is the ambient dimension. Applications to subspace learning (Principal Components Analysis) and learning over distributed sensor networks are also discussed.
translated by 谷歌翻译
This paper is about two related decision theoretic problems, nonparametrictwo-sample testing and independence testing. There is a belief that tworecently proposed solutions, based on kernels and distances between pairs ofpoints, behave well in high-dimensional settings. We identify different sourcesof misconception that give rise to the above belief. Specifically, wedifferentiate the hardness of estimation of test statistics from the hardnessof testing whether these statistics are zero or not, and explicitly discuss anotion of "fair" alternative hypotheses for these problems as dimensionincreases. We then demonstrate that the power of these tests actually dropspolynomially with increasing dimension against fair alternatives. We end withsome theoretical insights and shed light on the \textit{median heuristic} forkernel bandwidth selection. Our work advances the current understanding of thepower of modern nonparametric hypothesis tests in high dimensions.
translated by 谷歌翻译
神经网络很容易受到对抗性攻击 - 视觉上不易察觉的小噪声,当加到输入端时会大大改变输出。防御这些敌对攻击的最有效方法是使用对抗性训练的方法。我们分析了经过对侧训练的强大模型,以研究它们在潜层层面对抗对抗性攻击的脆弱性。我们的分析揭示了与对抗性攻击具有鲁棒性的输入层相反,这些鲁棒模型的特征层非常容易受到小幅度的对抗性扰动。利用这些信息,我们引入了一种新技术潜在对抗训练(LAT),其中包括对经过对侧训练的模型进行微调,以确保在特征层中的稳健性。我们还提出潜在攻击(LA),一种用于构建对抗性示例的新算法。 LAT导致测试精度的微小改进,并导致针对MNIST,CIFAR-10,CIFAR-100数据集显示的通用一阶对抗性PGD攻击的最新对抗精度。
translated by 谷歌翻译
虽然卷积神经网络(CNN)在各种分类/识别任务上取得了令人瞩目的成绩,但它们通常包含大量参数。这导致显着的存储器需求以及计算开销。因此,需要用于压缩基于CNN的模型的过滤器级修剪方法,这不仅减少了参数的总数,而且还减少了整体计算。我们提出了一个新的min-max框架,用于CNN的过滤级修剪。我们的框架,称为Play和Prune(PP),通过自适应修剪,共同修剪和微调CNN模型参数,同时保持模型的预测性能。我们的框架由两个模块组成:(1)自适应滤波器修剪(AFP)模块,它最大限度地减少了模型中滤波器的数量; (2)修剪率控制器(PRC)模块,其在修剪期间最大化精确度。此外,与以前的方法不同,我们的方法允许直接指定欲望差异而不是修剪级别。我们的压缩模​​型可以在运行时进行部署,无需任何特殊的库或硬件。我们的方法减少了VGG-16的参数数量,令人印象深刻的因子为17.5倍,FLOPS的数量减少了6.43倍,没有精度损失,显着优于其他最先进的滤波器修剪方法。
translated by 谷歌翻译