基于DNN的框架插值从两个连续的帧中生成中间帧,通常取决于具有大量功能的模型体系结构,从而阻止其在具有有限资源的系统(例如移动设备)上部署。我们提出了一种用于框架插值的压缩驱动的网络设计,该设计通过稀疏性诱导优化来利用模型,以大大降低模型大小,同时达到更高的性能。具体而言,我们首先压缩了最近提出的ADACOF模型,并证明了10次压缩ADACOF的性能类似于其原始对应物,在各种超参数设置下,对使用layerwise稀疏信息作为指导的不同策略进行了全面研究。然后,我们通过引入一个多分辨率翘曲模块来增强这种压缩模型,从而提高了视觉一致性,并通过多层次的细节来提高视觉一致性。结果,我们通过原始AdaCof的四分之一获得了可观的性能增长。此外,我们的模型在各种数据集上对其他最先进的方法都表现出色。我们注意到,建议的压缩驱动框​​架是通用的,可以轻松地传输到其他基于DNN的框架插值算法中。源代码可在https://github.com/tding1/cdfi上获得。
translated by 谷歌翻译
元学习在有限的监督数据中表现出了几次学习的巨大成功。在这些设置中,元模型通常被过度参数化。尽管常规的统计学习理论表明,过度参数化的模型倾向于过度合适,但经验证据表明,过度参数化的元学习方法仍然很好地工作 - 这种现象通常称为``良性过度拟合''。我们了解这种现象,我们专注于元学习设置,我们将具有挑战性的嵌套结构称为嵌套的元学习,并在过度参数化的元学习模型下分析其泛化性能。尽管我们的分析使用了相对可牵引的线性模型,但我们的理论有助于理解数据异质性,模型适应和良性过度适应嵌套元学习任务之间的微妙相互作用。我们通过数值模拟证实了我们的理论主张。
translated by 谷歌翻译
为了减少旅行延迟并提高能源效率的策略,在非信号交叉点上连接和自动驾驶汽车(CAV)的排在学术界越来越流行。但是,很少有研究试图建模最佳排大小与交叉路口周围的交通状况之间的关系。为此,这项研究提出了一个基于自动排的基于自主的交叉控制模型,该模型由深钢筋学习(DRL)技术提供动力。该模型框架具有以下两个级别:第一级采用了第一次发球(FCFS)基于预订的策略,该政策与非冲突的车道选择机制集成在一起,以确定车辆的通过优先级;第二级应用深度Q-Network算法来根据交叉路口的实时交通状况识别最佳排尺寸。在交通微模拟器进行测试时,我们提出的模型与最先进的方法相比,在旅行效率和燃料保护方面表现出卓越的性能。
translated by 谷歌翻译
具有多个耦合序列的随机近似(SA)在机器学习中发现了广泛的应用,例如双光线学习和增强学习(RL)。在本文中,我们研究了具有多个耦合序列的非线性SA的有限时间收敛。与现有的多时间分析不同,我们寻求方案,在这些方案中,细粒度分析可以为多序列单次尺度SA(STSA)提供严格的性能保证。我们分析的核心是在许多应用中具有多序列SA中固定点的平滑度。当所有序列都具有强烈的单调增量时,我们就建立了$ \ Mathcal {o}(\ epsilon^{ - 1})$的迭代复杂性,以实现$ \ epsilon $ -Accuracy,从而改善了现有的$ \ Mathcal {O} {O}(O}(O})(O}(O}(O})) \ epsilon^{ - 1.5})$对于两个耦合序列的复杂性。当除了主序列外具有强烈单调增量时,我们建立了$ \ Mathcal {o}(\ epsilon^{ - 2})$的迭代复杂性。我们的结果的优点在于,将它们应用于随机的二聚体和组成优化问题,以及RL问题会导致对其现有性能保证的放松假设或改进。
translated by 谷歌翻译
应用零订单(ZO)方法的主要挑战是高查询复杂性,尤其是当查询成本高昂时。我们根据我们称为Lazo的自适应懒惰查询,为ZO方法提出了一种新颖的梯度估计技术。与经典的单点或两点梯度估计方法不同,Lazo开发了两种替代方法来检查以前迭代中旧查询的有用性,然后自适应地重新恢复它们以构建低变义梯度估计。我们严格地确定,通过明智地重用旧查询,Lazo可以减少随机梯度估计的差异,从而使它不仅节省了每次迭代的查询,而且还可以实现对称对称的两点方法的遗憾。我们评估了Lazo的数值性能,并证明了相对于几种现有的ZO方法的遗憾和查询复杂性,Lazo的低变义属性和绩效增长。 Lazo的想法是一般的,可以应用于ZO方法的其他变体。
translated by 谷歌翻译
模型不合时宜的元学习(MAML)目前是少量元学习的主要方法之一。尽管它具有有效性,但由于先天的二聚体问题结构,MAML的优化可能具有挑战性。具体而言,MAML的损失格局比其经验风险最小化的对应物更为复杂,可能的鞍点和局部最小化可能更复杂。为了应对这一挑战,我们利用了最近发明的清晰度最小化的最小化,并开发出一种清晰感的MAML方法,我们称其为Sharp MAML。我们从经验上证明,Sharp-MAML及其计算有效的变体可以胜过流行的现有MAML基准(例如,Mini-Imagenet上的$+12 \%$ $精度)。我们通过收敛速率分析和尖锐MAML的概括结合进行了经验研究。据我们所知,这是在双层学习背景下对清晰度感知最小化的第一个经验和理论研究。该代码可在https://github.com/mominabbass/sharp-maml上找到。
translated by 谷歌翻译
训练基金会模型(例如GPT-3和Palm)可能非常昂贵,通常涉及数以万计的GPU连续运行数月。这些模型通常经过专门的群集培训,这些群集具有快速,均匀的互连,并使用精心设计的软件系统来支持数据并行性和模型/管道并行性。这样的专用集群可能是昂贵且难以获得的。我们可以相反,可以利用更大量的分散,异质和较低的互连计算?先前的工作研究了可以纯粹以数据并行方式训练的相对较小模型的异质,分散的设置重点。模型平行基础模型培训(例如威震天)的最先进的方案仅考虑均匀的数据中心设置。在本文中,我们介绍了第一个研究大型基础模型的研究,该模型在异质网络上的去中心化制度中进行了模型并行性。我们的主要技术贡献是一种调度算法,该算法将不同的计算“任务”在培训基础模型中分配给通过缓慢的异质网络连接的一组分散的GPU设备。我们提供了正式的成本模型,并进一步提出了一种有效的进化算法,以找到最佳分配策略。我们进行了广泛的实验,这些实验代表了使用现实世界网络测量模拟的地理分布设备进行学习的不同方案。在最极端的情况下,在跨越3大洲的8个不同的城市中,我们的方法比以前的最新培训系统(Megatron)快4.8倍。
translated by 谷歌翻译
犯罪预测对于公共安全和资源优化至关重要,但由于两个方面而言,这是非常具有挑战性的:i)犯罪活动的刑事模式的动态,犯罪事件在空间和时间域之间不均匀分布; ii)延时依赖于不同类型的犯罪(例如,盗窃,抢劫,攻击,损害),其揭示了犯罪的细粒度语义。为了解决这些挑战,我们提出了空间时间顺序超图网络(ST-SHN),以集体编码复杂的犯罪空间模式以及潜在的类别明智犯罪语义关系。具体而言,在长期和全局上下文下处理空间 - 时间动态,我们设计了一个具有超图学习范例的集成的图形结构化消息传递架构。为了在动态环境中捕获类别方面的犯罪异构关系,我们介绍了多通道路由机制,以了解犯罪类型的时间不断发展的结构依赖性。我们对两个现实世界数据集进行了广泛的实验,表明我们所提出的ST-SHN框架可以显着提高与各种最先进的基线相比的预测性能。源代码可用于:https://github.com/akaxlh/st-hn。
translated by 谷歌翻译
大多数现有的视觉语言预训练方法侧重于在预先绘制期间了解解决任务并使用伯特样目标(屏蔽语言建模和图像 - 文本匹配)。虽然它们在许多理解下游任务中表现良好,但是,例如,视觉问题应答,图像文本检索和视觉存在,它们没有生成的能力。为了解决这个问题,我们为视觉语言理解和一代(UNIVL)提出了统一的多模式预培训。建议的UNIVL能够处理理解任务和生成任务。我们增强了现有的预押范例,只使用带有因果面罩的随机掩模,即掩盖未来令牌的三角面具,使得预先接受的模型可以通过设计具有自动发育能力。我们将几个以前的理解任务作为文本生成任务制定,并建议使用基于提示的方法来进行不同的下游任务进行微调。我们的实验表明,在使用相同型号的同时了解任务和生成任务之间存在权衡,以及改善两个任务的可行方式是使用更多数据。我们的UNIVL框架可以在近似验证任务和生成任务中获得最近的愿景预培训方法的性能。此外,我们开展了基于及时的FineTuning更具数据效率 - 在几次拍摄场景中表现出差异的方法。
translated by 谷歌翻译
联邦机器学习是一种多功能和灵活的工具,可以利用来自不同来源的分布式数据,特别是当通信技术快速发展并且现在可以在移动设备上收集前所未有的数据。联邦学习方法不仅利用数据而且挖掘了网络中所有设备的计算能力,以实现更有效的模型培训。尽管如此,虽然大多数传统的联邦学习方法适用于同类数据和任务,但将方法适应不同的异构数据和任务分配是具有挑战性的。这种限制限制了联合学习在现实世界环境中的应用,特别是在医疗保健环境中。灵感来自Meta-Learning的基本思想,在这项研究中,我们提出了一种新的算法,这是联邦学习和荟萃学习的一体化,解决这个问题。此外,由于转移学习的模型泛化的优点,我们通过引入部分参数共享进一步提高了我们的算法。我们命名该方法部分Meta联合学习(PMFL)。最后,我们将算法应用于两个医疗数据集。我们表明我们的算法可以获得最快的训练速度,并在处理异构医疗数据集时实现最佳性能。
translated by 谷歌翻译