The extragradient method has recently gained increasing attention, due to its convergence behavior on smooth games. In $n$-player differentiable games, the eigenvalues of the Jacobian of the vector field are distributed on the complex plane, exhibiting more convoluted dynamics compared to classical (i.e., single player) minimization. In this work, we take a polynomial-based analysis of the extragradient with momentum for optimizing games with \emph{cross-shaped} Jacobian spectrum on the complex plane. We show two results. First, based on the hyperparameter setup, the extragradient with momentum exhibits three different modes of convergence: when the eigenvalues are distributed $i)$ on the real line, $ii)$ both on the real line along with complex conjugates, and $iii)$ only as complex conjugates. Then, we focus on the case $ii)$, i.e., when the eigenvalues of the Jacobian have \emph{cross-shaped} structure, as observed in training generative adversarial networks. For this problem class, we derive the optimal hyperparameters of the momentum extragradient method, and show that it achieves an accelerated convergence rate.
translated by 谷歌翻译
计算优化问题解决方案解决方案的雅各布是机器学习中的一个核心问题，其应用程序在超参数优化，元学习，优化为层和数据集蒸馏中的应用程序，仅举几例。展开的分化是一种流行的启发式方法，它使用迭代求解器近似溶液，并通过计算路径区分它。这项工作提供了对梯度下降和Chebyshev方法的二次目标的这种方法的非反应收敛速率分析。我们表明，为了确保雅各布的融合，我们可以1）选择较大的学习率，导致快速渐近地收敛，但接受该算法可能具有任意长的燃烧阶段或2）选择较小的学习率直接但较慢的收敛性。我们将这种现象称为展开的诅咒。最后，我们讨论了相对于这种方法的开放问题，例如为最佳展开策略得出实用的更新规则，并与Sobolev正交多项式领域建立了新的联系。
translated by 谷歌翻译
我们描述了ICML表达性发声竞争的生成性情感声乐爆发任务（EXVO生成）的方法。我们在音频样品的预处理版本中训练有条件的stylegan2架构。然后将模型生成的MEL光谱图倒回音频域。结果，我们生成的样品从竞争所提供的基线从定性和定量的观点上对所有情绪的基线进行了显着改善。更确切地说，即使对于我们表现最差的情绪（敬畏），我们也获得了1.76的时尚，而基线则为4.81（作为参考，敬畏的火车/验证集之间的淡出为0.776）。
translated by 谷歌翻译
现实世界中的竞争游戏，例如国际象棋，GO或Starcraft II，依靠ELO模型来衡量球员的力量。由于这些游戏不是完全传递的，因此使用ELO隐式假设它们具有可以正确识别和提取的强透射组件。在这项研究中，我们研究了识别游戏中及传递组件强度的挑战。首先，我们证明ELO模型即使在基本的透明游戏中也无法提取此传递组件。然后，基于此观察，我们提出了ELO分数的扩展：我们最终获得了一个圆盘排名系统，该系统分配了每个玩家两个分数，我们将其称为技能和一致性。最后，我们提出了关于机器人和人类玩的现实世界游戏的回报矩阵的经验验证。
translated by 谷歌翻译
最近开发的优化方法的平均案例分析可以比通常的最坏情况结果进行更细粒度和代表性的收敛分析。作为交换，该分析需要对数据生成过程的更精确的假设，即假定与问题相关的随机矩阵的预期光谱分布（ESD）的知识。这项工作表明，ESD边缘附近的特征值的浓度决定了问题的渐近平均复杂性。与ESD的完整知识相比，有关此浓度的先验信息是一个更扎实的假设。这种近似浓度实际上是最严重的场景收敛的粗糙性与限制性的先前平均案例分析之间的中间立场。我们还引入了广义的Chebyshev方法，该方法在该浓度的假设下渐近最佳，当ESD遵循β分布时，全球最佳。我们将其性能与经典优化算法（例如梯度下降或Nesterov的方案）进行了比较，我们表明，在平均情况下，Nesterov的方法在渐近差异上几乎是最佳的。
translated by 谷歌翻译
我们考虑光滑的凸孔concave双线性耦合的鞍点问题，$ \ min _ {\ mathbf {x}}} \ max _ {\ mathbf {y Mathbf {y}} 〜f（\ mathbf {x}} }，\ mathbf {y}） - g（\ mathbf {y}）$，其中一个人可以访问$ f $，$ g $的随机一阶oracles以及biinear耦合函数$ h $。基于标准的随机外部分析，我们提出了随机\ emph {加速梯度 - extragradient（ag-eg）}下降的算法，该算法在一般随机设置中结合了外部和Nesterov的加速度。该算法利用计划重新启动以接收一种良好的非震动收敛速率，该算法与\ citet {ibrahim202020linear}和\ citet {zhang2021lower}相匹配，并在其相应的设置中，还有一个额外的统计误差期限，以及\ citet {zhang2021lower}最多达到恒定的预取子。这是在鞍点优化中实现这种相对成熟的最佳表征的第一个结果。
translated by 谷歌翻译
强有力的彩票假说（SLTH）规定了足够过度参数（密集的）神经网络中的子网的存在，当随机初始化并且没有任何培训时，可以实现受过全面训练的目标网络的准确性。 \ citet {da2022 -proving}的最新工作表明，SLTH也可以扩展到翻译模棱两可的网络（即CNNS），具有与密集网络中SLT相同的过多叠加级化。但是，现代神经网络能够不仅纳入翻译对称性，而且开发一般的模棱两可的体系结构（例如旋转和排列）一直是一个有力的设计原理。在本文中，我们将slth推广到保留$ g $（即$ g $ equivariant网络）的函数，并以很高的概率证明，可以修剪随机初始初始初始化的过度透明$ g $ - $ g $ - $ g $ equivariant子网网络近似于固定宽度和深度的另一个完全训练的$ g $ equivariant网络。我们进一步证明，我们规定的过透明方案也是误差耐受性的函数。我们为各个组开发了我们的理论，包括重要的理论，例如欧几里得组的子组$ \ text {e}（n）$和对称组的子群体$ g \ leq \ leq \ mathcal {s} _n _n $ - 允许我们找到用于MLP，CNN，$ \ text {e}（2）$的SLTS，并以$ \ text {e}（2）$ - 通知CNN和置换量表等度性网络作为我们统一框架的特定实例，该框架完全扩展了先前的工作。从经验上讲，我们通过修剪过度叠加的$ \ text {e}（2）$来验证我们的理论，并传达CNN和消息传递GNN，以匹配给定的错误耐受性内受过训练的目标网络的性能。
translated by 谷歌翻译
ICML表达性发声（EXVO）的竞争重点是理解和产生声音爆发：笑声，喘息，哭泣和其他非语言发声，这是情感表达和交流至关重要的。 EXVO 2022，包括三个竞赛曲目，使用来自1,702位扬声器的59,201个发声的大规模数据集。首先是Exvo-Multitask，要求参与者训练多任务模型，以识别声音爆发中表达的情绪和人口特征。第二个，即exvo生成，要求参与者训练一种生成模型，该模型产生声音爆发，传达了十种不同的情绪。第三个exvo-fewshot要求参与者利用少量的学习融合说话者身份来训练模型，以识别声音爆发传达的10种情感。本文描述了这三个曲目，并使用最先进的机器学习策略为基线模型提供了绩效指标。每个曲目的基线如下，对于exvo-multitask，一个组合得分，计算一致性相关系数的谐波平均值（CCC），未加权的平均召回（UAR）和反向平均绝对错误（MAE）（MAE）（$ s_ {mtl） } $）充其量是0.335 $ s_ {mtl} $;对于exvo生成，我们报告了Fr \'Echet Inception距离（FID）的得分范围为4.81至8.27（取决于情绪），在训练集和生成的样品之间。然后，我们将倒置的FID与生成样品的感知评级（$ s_ {gen} $）相结合，并获得0.174 $ s_ {gen} $;对于Exvo-Fewshot，获得平均CCC为0.444。
translated by 谷歌翻译
随机以外的（SEG）方法是解决各种机器学习任务中出现的最小最大优化和变分不等式问题（VIP）的最流行算法之一。然而，有关SEG的收敛性质的几个重要问题仍然是开放的，包括随机梯度的采样，迷你批量，用于单调有限和变分不等式的单调有限和变分别不等式，以及其他问题。为了解决这些问题，在本文中，我们开发了一种新颖的理论框架，使我们能够以统一的方式分析赛季的几种变体。除了标准设置之外，与均有界差异下的LipsChitzness和单调性或独立样本SEG相同 - 样本SEG，我们的方法可以分析之前从未明确考虑过的SEG的变体。值得注意的是，我们用任意抽样分析SEG，其中包括重要性采样和各种批量批量策略作为特殊情况。我们为SEG的新变种的率优于目前最先进的融合保证并依赖于更少的限制性假设。
translated by 谷歌翻译
我们提出了一个互动艺术项目，使Covid-19危机不可见的项目，并通过欢迎旋律的欢迎孤独，通过高级笑声综合方法创造和探索的联系。然而，在高质量听觉综合中的人类情绪反应的无条件产生仍然是一个公开问题，对艺术环境中这些方法的应用具有重要意义。我们开发了利用生成对抗网络（GANS）再现人笑声多样性的方法。当培训在不同笑声样本的数据集时，Lockganter会产生多样化，高质量的笑声样本，并学习适合情绪分析和新颖的艺术应用的潜在空间，如潜在混合/插值和情绪转移。
translated by 谷歌翻译