在插值方面,我们为平滑损失(可能是非lipschitz,可能是非convex)提供了急剧依赖路径依赖的概括和多余的风险保证。我们分析的核心是确定性对称算法绑定的新的概括误差,这意味着平均输出稳定性和终止时有界的预期优化误差导致概括。该结果表明,沿着优化路径发生小的概括误差,并使我们能够绕过Lipschitz或以前作品中普遍存在的损失的假设。对于非convex,polyak-lojasiewicz(PL),凸面和强烈凸丢失,我们在累积的路径依赖性优化误差,终端优化误差,样本数量和迭代数方面显示了概括误差的明确依赖性。 For nonconvex smooth losses, we prove that full-batch GD efficiently generalizes close to any stationary point at termination, under the proper choice of a decreasing step size.此外,如果损失是非convex但目标是PL,我们将在概括误差和相应的多余风险上四次消失,以选择大型常数步长大小。对于(分别 - 强 - )凸平的平滑损失,我们证明,全批GD还概括了较大的恒定步骤尺寸,并且在快速训练的同时,(分别是四次)的多余风险。在所有情况下,我们通过显示匹配的概括和优化错误率来缩小概括误差差距。当损失平稳时(但可能是非lipschitz)时,我们的全批GD概括误差和多余的风险界限严格比(随机)GD的现有范围更紧密。
translated by 谷歌翻译