Iterative regularization is a classic idea in regularization theory, that has recently become popular in machine learning. On the one hand, it allows to design efficient algorithms controlling at the same time numerical and statistical accuracy. On the other hand it allows to shed light on the learning curves observed while training neural networks. In this paper, we focus on iterative regularization in the context of classification. After contrasting this setting with that of regression and inverse problems, we develop an iterative regularization approach based on the use of the hinge loss function. More precisely we consider a diagonal approach for a family of algorithms for which we prove convergence as well as rates of convergence. Our approach compares favorably with other alternatives, as confirmed also in numerical simulations.
translated by 谷歌翻译
我们分析了经过微型批量随机梯度下降(SGD)和重量衰减的深层恢复神经网络。我们研究了SGD噪声的来源,并证明当重量衰减训练时,收敛时唯一的SGD解决方案是零功能。此外,我们在理论和经验上都表明,当使用重量衰减和小批量尺寸的SGD训练神经网络时,预计所得的重量矩阵的排名将很小。我们的分析依赖于最小的假设集,神经网络可能是任意宽或深的,并且可能包括剩余连接以及批处理标准化层。
translated by 谷歌翻译
数字资产(DAS)(例如比特币(BTC))的采用越来越多地提高了对准确的期权定价模型的需求。然而,现有的方法无法应付新兴DAS的挥发性。已经提出了许多模型来解决非平稳性和特殊统计在DA市场中引起的微观结构的非传统市场动态和频繁的破坏。但是,它们要么容易受到维度的诅咒,因为采用传统理论需要额外的复杂性,要​​么过分拟合可能永远不会重复的历史模式。取而代之的是,我们利用隐含的随机波动率模型(ISVM)利用市场制度(MR)聚类的最新进展。时间计时聚类是一种时间聚类方法,它将市场的历史演变簇为不同的波动期。 ISVM可以通过使用隐含波动率(IV)数据在每个情绪驱动的时期内纳入投资者的期望。在本文中,我们将此集成的时间注册聚类和ISVM方法(称为MR-ISVM)应用于流行的交易平台Deribit上的BTC选项上的高频数据。我们证明,MR-ISVM有助于克服复杂适应的负担,以使选择定价模型的高阶特征跳跃。这使我们可以根据其适应性方式根据其参与者的期望为市场定价。
translated by 谷歌翻译