我们提出了GraphTSNE,一种基于t-SNE的图形结构数据的新型可视化技术。对图形结构数据越来越感兴趣,增加了通过可视化获得人类对这些数据集的洞察力的重要性。然而,在最流行的可视化技术中,经典t-SNE不适用于此类数据集,因为它没有机制来使用来自图形连接的信息。另一方面,标准图可视化技术,例如拉普拉斯算子特征图,没有机制来利用来自节点特征的信息。我们提出的方法GraphTSNE可以产生可视化,其可以解释图形连接和节点特征。它基于对改进的t-SNE损失的图形卷积网络的可扩展和无监督训练。通过汇总一套评估指标,我们证明了我们的方法在三个基准数据集上产生了理想的可视化。
translated by 谷歌翻译
机器学习是粒子物理学中的一个重要研究领域,从20世纪90年代和21世纪初的高级物理分析应用开始,随后在2010年的粒子和事件识别和重建应用爆炸式增长。在本文档中,我们将讨论粒子物理学中机器学习的未来未来研究和开发领域,其中包括实施,软件和硬件资源需求,与数据科学界,学术界和工业界的协作计划,以及数据科学中粒子物理学社区的培训。该文件的主要目的是通过High-Luminosity Large HadronCollider的物理驱动程序和未来的中微子实验来连接和激发这些研究领域的发展,并确定实施的资源需求。此外,我们还确定了与六大社区合作将带来巨大利益的领域。
translated by 谷歌翻译
利用梯度协方差信息的优化算法,例如自然梯度下降的变体(Amari,1998),提供了产生更有效的下降方向的前景。对于具有许多参数的模型,它们所基于的协方差矩阵变得巨大,使得它们能够以其原始形式应用。这促使研究了简单的对角线近似和更复杂的因素近似,如KFAC(Heskes,2000; Martens&Grosse,2015; Grosse&Martens,2016)。在目前的工作中,我们从两者中汲取灵感,提出一种新颖的近似,它可以证明比KFAC更好,并且可以修改为便宜的部分更新。它包括跟踪对角线方差,而不是在参数坐标中,而是在Kronecker因子特征基中,其中对角线近似可能更有效。实验表明,对于几种深度网络架构,优化速度优于KFAC。
translated by 谷歌翻译
生物进化提供了复杂和微妙的适应性的创造性源泉,通常令发现它们的科学家感到惊讶。然而,因为进化是一种超越其发生的基质的算法过程,所以进化的创造力不仅限于自然。实际上,数字进化领域的许多研究人员已经观察到他们的进化算法和有机体颠覆了他们的意图,在他们的代码中暴露了未被识别的局部,产生了意想不到的适应性,或者表现出与自然界中的结果一致的结果。这些故事通常会在这些数字世界中通过进化来揭示创造力,但它们很少符合标准的科学叙事。相反,它们通常被视为仅仅被克服的障碍,而不是需要自己研究的结果。故事本身通过口头传统在研究人员之间进行交易,但信息传播方式效率低下,容易出错和直接损失。而且,这些故事往往只与实践者共享这一事实意味着许多自然科学家并没有意识到有趣的数字生物是多么有趣,他们的进化是多么自然。据我们所知,此前没有出版过这类轶事的集合。本文是研究人员在人工生命和进化计算领域的众包产品,他们提供了这类案件的第一手资料。因此,它可以作为一个经过实际检验的书面文集,收集科学上重要的,甚至是有趣的故事。在这样做的同时,我们在这里也有大量的证据表明,进化意外的存在和重要性超越了自然界,并且可能确实是所有复杂演化系统的通用属性。
translated by 谷歌翻译
我们考虑具有任意凸可微分损失的深度线性网络。如果隐藏层是1)至少与输入层一样宽,或者2)至少宽度,我们提供了一个简短的基本证明,即所有局部最小值都是全局最小值。作为输出层。这个结果在以下意义上是最强的:如果损失是凸的并且Lipschitz但不是不同的,则深度线性网络可以具有次优的局部最小值。
translated by 谷歌翻译
我们采用新颖的视角来看待数据不是作为概率分布而是作为当前。主要研究几何测量理论领域,$ k $ -currents是连续线性泛函,作用于紧凑支持的平滑微分形式,可以理解为定向$ k $ - 维数流形的广义注记。通过从分布($ 0 $ -currents)移动到$ k $ -currents,我们可以通过在每个采​​样点上附加一个$ k $的三维切平面来明确定位数据。基于作为电流之间的基本距离的平坦度量,我们推导出了平面GAN,这是一种在生成对抗网络的精神中的公式,但是一般化为$ k $ -currents。在我们的理论贡献中,我们证明参数化电流和参考电流之间的平衡度量在参数中是Lipschitzcontinuous。在实验中,我们证明了建议的shift $ k> 0 $导致可解释和解开的潜在表示与指定的定向切平面等效。
translated by 谷歌翻译
在从个人智能手机到边境安全的不同领域中,可靠地确定个人身份的需求至关重要;从自动驾驶汽车到电子投票;从追踪儿童便利到预防人口贩运;从犯罪现场调查到客户服务个性化。生物识别技术需要使用诸如面部,指纹和语音之类的生物属性来识别人,这种生物识别技术正在越来越多地用于几种此类应用中。虽然生物识别技术在过去十年中取得了快速发展,但仍有一些基本问题尚未得到令人满意的解决。在本文中,我们将讨论其中的一些问题,并列举该领域的一些激动人心的挑战。
translated by 谷歌翻译
引入内在奖励来模拟人类智能如何运作,这通常通过内在动机的游戏来评估,即没有外在奖励的游戏,但是用外在奖励进行评估。然而,在这种非常具有挑战性的内在动机游戏环境下,现有的内在奖励方法都不能达到人类水平的表现。在这项工作中,我们提出了一种新颖的狂妄自大驱动的内在奖励(大奖励),据我们所知,这是第一种在内在动机游戏中实现可比较的人类表现的方法。超级奖励的出发来自于婴儿的智力在他们试图获得对环境中的实体的更多控制时的发展;因此,超级奖励旨在最大化特定环境中代理人的实体控制能力。为了形成大型奖励,提出了一种关系转换模型来弥合直接控制和潜在控制之间的差距。实验研究表明,超级奖励可以(i)大大超越最先进的内在奖励方法,(ii)通常达到与Ex-PPO和专业人类级别得分相同的表现水平; (iii)在与外在进展相结合时也具有优越的表现。
translated by 谷歌翻译
我们提出了一种快速设计方法,将自动超参数训练与半监督训练相结合,为语音命令分类建立高度准确和稳健的模型。提出的方法允许快速评估网络架构,以适应可用硬件的性能和功率限制,同时确保在现实世界场景中为每个网络选择良好的超参数。利用基于astudent / teacher的半监督方法利用大量未标记数据,验证集中的分类准确率从84%提高到94%。对于模型优化,我们通过基于人口的训练探索超参数空间,并在训练单个模型的同一时间框架内获得优化模型。
translated by 谷歌翻译
在自然界中,在许多物种中观察到植绒或群体行为,因为它具有有益的特性,例如降低被捕食者捕获的可能性。在本文中,我们提出了SELFish(Swarm Emergent Learning Fish),一种具有多个自主代理的方法,可以在连续空间中自由移动,目的是避免被现有的捕食者捕获。 Thepredator具有可能被附近的多个可能的注意力分散注意力的特性。我们表明,这个属性与自我感兴趣的代理人进行交互,这些代理人通过强化学习进行训练,以便尽可能长时间地进行,这会导致类似于Boids的植绒行为,对于植绒行为进行共同模拟。此外,我们提出了有关群集行为的有趣见解以及代理人在模拟环境中被捕获的过程。
translated by 谷歌翻译