ELO评级系统被广泛采用来评估(国际象棋)游戏和体育运动者的技能。最近,它还集成到了评估计算机化AI代理的性能时的机器学习算法中。然而,精确估计ELO评级(对于顶级球员)通常需要许多轮竞争,这可能是昂贵的。在本文中,为了提高ELO评估的样本效率(对于顶级球员),我们提出了一种有效的在线匹配调度算法。具体而言,我们通过Dueling Birits框架识别并匹配顶级播放器并将强盗算法定制到ELO的梯度更新。我们表明它减少了每一步记忆和时间复杂度来恒定,与需要$ O(t)$时间的传统似然最大化方法相比。我们的算法对$ \ tilde {o}(\ sqrt {t})$,Sublinear在竞争回合的数量中有遗憾的保证,并且已经扩展到多维ELO评级,用于处理风情游戏。我们经验证明我们的方法在各种游戏任务上实现了卓越的收敛速度和时间效率。
translated by 谷歌翻译
在联合学习(FL)问题中,客户采样在训练算法的收敛速度中起着关键作用。然而,虽然是FL中的一个重要问题,但客户采样缺乏研究。在本文中,我们提出了在线学习,使用强盗反馈框架来了解FL中的客户采样问题。通过调整在线随机镜血清序列算法,以最小化梯度估计的方差,我们提出了一种新的自适应客户端采样算法。此外,我们使用在线集合方法和加倍技巧来自动选择算法中的调整参数。从理论上讲,我们将动态遗憾与比较器相结合,作为理论上最佳采样序列;我们还包括在我们的上限中的该序列的总变化,这是对问题的内在难度的自然度量。据我们所知,这些理论贡献对现有文献进行了新颖。此外,通过实施合成和真实数据实验,我们展示了我们所提出的算法在广泛使用的统一采样中的优势以及以前研究的其他在线学习的采样策略的实证证据。我们还检查其对调谐参数的选择的鲁棒性。最后,我们讨论其可能的延伸,而无需更换和个性化的流动。虽然原始目标是解决客户的采样问题,但这项工作在随机梯度下降和随机坐标序列方法上具有更大的应用。
translated by 谷歌翻译
在riemannian歧管中,Ricci流是用于发展度量的部分微分方程,以便更加规则。我们希望来自此类指标的拓扑结构可用于帮助机器学习的任务。然而,这部分工作仍然缺失。在本文中,我们通过动态稳定的Poincar eMinddings来弥合Ricci流和深神经网络之间的这种差距。结果,我们证明,如果初始指标有$ L ^ 2 $ -norm扰动,它偏离了Poincar \'E球上的双曲度量,这种度量的缩放RICCI-DECurck流程平滑,并将其归因于双曲测量。具体地,Ricci流的作用是用作稳定的Poincar的EAll自然地发展,然后将被映射回欧几里德空间。对于在RICCI流下的这种动态稳定的神经歧管中,嵌入这种歧管的神经网络的收敛性不易受到扰动。我们表明,这种RICCI流动辅助神经网络与其在图像分类任务(CIFAR数据集)上的所有欧几里德版本胜过。
translated by 谷歌翻译
由于其误差传播,延迟较少和更少的参数较少的潜力,端到端语音到文本翻译〜(e2e-st)变得越来越受欢迎。鉴于三联培训语料库$ \ langle演讲,转录,翻译\ rangle $,传统的高质量E2E-ST系统利用$ \ langle演讲,转录\ rangle $配对预先培训模型,然后利用$ \ Langle演讲,翻译\ rangle $配对进一步优化它。然而,该过程仅涉及每个阶段的两个元组数据,并且该松散耦合不能完全利用三重态数据之间的关联。在本文中,我们试图基于语音输入模拟转录和翻译的联合概率,以直接利用这种三重态数据。基于此,我们提出了一种新的正规化方法,用于改进三重态数据中双路分解协议的模型培训,理论上应该是相等的。为实现这一目标,我们将两个Kullback-Leibler发散正规化术语介绍到模型培训目的中,以减少双路径输出概率之间的不匹配。然后,训练有素的模型可以通过预定义的早期停止标签自然地被视为E2E-ST模型。 Must-C基准测试的实验表明,我们所提出的方法在所有8个语言对上显着优于最先进的E2E-ST基线,同时在自动语音识别任务中实现更好的性能。我们的代码在https://github.com/duyichao/e2e -st-tda开放。
translated by 谷歌翻译
图形神经网络(GNNS)将深度神经网络(DNN)的成功扩展到非欧几里德图数据,实现了各种任务的接地性能,例如节点分类和图形属性预测。尽管如此,现有系统效率低,培训数十亿节点和GPU的节点和边缘训练大图。主要瓶颈是准备GPU数据的过程 - 子图采样和特征检索。本文提出了一个分布式GNN培训系统的BGL,旨在解决一些关键思想的瓶颈。首先,我们提出了一种动态缓存引擎,以最小化特征检索流量。通过协同设计缓存政策和抽样顺序,我们发现低开销和高缓存命中率的精美斑点。其次,我们改善了曲线图分区算法,以减少子图采样期间的交叉分区通信。最后,仔细资源隔离减少了不同数据预处理阶段之间的争用。关于各种GNN模型和大图数据集的广泛实验表明,BGL平均明显优于现有的GNN训练系统20.68倍。
translated by 谷歌翻译
今天的VIDSGG模型是基于建议的方法,即,它们首先生成众多配对的主题对象片段作为提案,然后对每个提案进行谓词分类。在本文中,我们认为这种普遍的基于建议的框架有三个固有的缺点:1)建议的地面真理谓词标签部分是正确的。 2)他们打破了相同主题对象对的不同谓词实例之间的高阶关系。 3)Vidsgg性能是由提案质量的大约。为此,我们向Vidsgg提出了一个新的分类 - 然后接地框架,可以避免所有三个被忽视的缺点。同时,在此框架下,我们将视频场景图形为临时二分形图形,其中实体和谓词是具有时隙的两种类型的节点,并且边缘在这些节点之间表示不同的语义角色。此配方充分利用了我们的新框架。因此,我们进一步提出了一种基于新的二分曲线图的SGG模型:大。具体而言,大由两部分组成:分类阶段和接地阶段,前者旨在对所有节点和边缘的类别进行分类,并且后者试图本地化每个关系实例的时间位置。两个Vidsgg数据集上的广泛消融已证明我们框架和大的有效性。
translated by 谷歌翻译
我们提出了一种小说的无参考质量评估度量,图像转移点云质量评估(IT-PCQA),用于3D点云。对于质量评估,深度神经网络(DNN)在无参考度量设计上显示了令人信服的性能。但是,无引用PCQA最具挑战性的问题是我们缺乏大规模的主观数据库来驱动强大的网络。我们的动机是人类视觉系统(HVS)是决策者,无论质量评估的媒体类型如何。利用自然图像的丰富主观评分,我们可以通过DNN探讨人类感知的评估标准,并将预测的能力转移到3D点云。特别是,我们将自然图像视为源域和点云作为目标域,并通过无监督的对抗域适应推断云质量。为了提取有效的潜在特征并最小化域差异,我们提出了分层特征编码器和条件鉴别网络。考虑到最终目的是回归客观评分,我们在条件鉴别网络中引入了一种新的条件跨熵损失,以惩罚阻碍质量回归网络的收敛的负样本。实验结果表明,该方法可以实现比传统的无参考度量更高的性能,甚至与全引用度量的相当结果。该方法还表明,在没有昂贵和繁琐的主观评估的情况下评估特定媒体内容质量的可行性。
translated by 谷歌翻译
逆势培训可针对特异性对抗性扰动有用,但它们也证明旨在展示偏离用于培训的攻击的攻击。然而,我们观察到这种无效性是本质上与域的适应性,深度学习中的另一个关键问题似乎是一个有希望的解决方案。因此,我们提出了ADV-4-ADV作为一种新的逆势培训方法,旨在保持针对看不见的对抗性扰动的鲁棒性。基本上,ADV-4-ADV将攻击产生不同的扰动作为不同的域,并且通过利用逆势域适应的力量,它旨在消除域/攻击特定的功能。这迫使训练有素的模型来学习强大的域名不变的表示,这反过来增强了其泛化能力。对时尚 - MNIST,SVHN,CIFAR-10和CIFAR-100的广泛评估表明,基于由简单攻击(例如,FGSM)制备的样本训练的模型可以推广到更高级的攻击(例如, PGD​​),性能超过了这些数据集的最先进的提案。
translated by 谷歌翻译
作为一个有前途的分布式机器学习范式,联合学习(FL)在不影响用户隐私的情况下培训具有分散数据的中央模型,这使得其被人工智能互联网(AIT)应用程序广泛使用。然而,传统的流体遭受了模型不准确,因为它会使用数据硬标签培训本地模型,并忽略与小概率不正确的预测的有用信息。虽然各种解决方案尽量解决传统流域的瓶颈,但大多数人都引入了显着的通信和记忆开销,使大规模的AIOT设备部署成为一个巨大的挑战。为了解决上述问题,本文提出了一种基于蒸馏的新型联合学习(DFL)架构,可实现AIT应用的高效准确。灵感来自知识蒸馏(KD),可以提高模型准确性,我们的方法将KD使用的软目标添加到FL模型培训,占用可忽略不计的网络资源。在每轮本地训练之后,通过每种充气设备的局部样品预测生成软目标,并用于下一轮模型训练。在DFL的本地培训期间,软目标和硬质标签都被用作模型预测的近似目标,以通过补充软目标的知识来提高模型准确性。为了进一步提高DFL模型的性能,我们设计了一种动态调整策略,用于调整KD中使用的两个损耗功能的比率,这可以最大限度地利用软目标和硬质标签。众所周知的基准测试的全面实验结果表明,我们的方法可以显着提高独立和相同分布(IID)和非IID数据的FL的模型精度。
translated by 谷歌翻译
用于深度卷积神经网络的视频插值的现有方法,因此遭受其内在限制,例如内部局限性核心权重和受限制的接收领域。为了解决这些问题,我们提出了一种基于变换器的视频插值框架,允许内容感知聚合权重,并考虑具有自我关注操作的远程依赖性。为避免全球自我关注的高计算成本,我们将当地注意的概念引入视频插值并将其扩展到空间域。此外,我们提出了一个节省时间的分离策略,以节省内存使用,这也提高了性能。此外,我们开发了一种多尺度帧合成方案,以充分实现变压器的潜力。广泛的实验证明了所提出的模型对最先进的方法来说,定量和定性地在各种基准数据集上进行定量和定性。
translated by 谷歌翻译