A prominent approach to solving combinatorial optimization problems on parallel hardware is Ising machines, i.e., hardware implementations of networks of interacting binary spin variables. Most Ising machines leverage second-order interactions although important classes of optimization problems, such as satisfiability problems, map more seamlessly to Ising networks with higher-order interactions. Here, we demonstrate that higher-order Ising machines can solve satisfiability problems more resource-efficiently in terms of the number of spin variables and their connections when compared to traditional second-order Ising machines. Further, our results show on a benchmark dataset of Boolean \textit{k}-satisfiability problems that higher-order Ising machines implemented with coupled oscillators rapidly find solutions that are better than second-order Ising machines, thus, improving the current state-of-the-art for Ising machines.
translated by 谷歌翻译
我们介绍了一种通过使用高维随机向量计算来识别说话者的方法。它的优势是简单和速度。只有1.02k的活动参数和128分钟的通过训练数据，我们在1,251位扬声器的Voxceleb1数据集上获得了前1位和前5个分数，为31％和52％。这与CNN模型相反，CNN模型需要数百万个参数和数量级较高的计算复杂性，仅在相互信息中衡量的判别功率2 $ \ times $获得的判别能力。额外的92秒训练和广义学习矢量量化（GLVQ）将分数提高到48％和67％。训练有素的分类器在5.7毫秒内分类1秒。所有处理均在标准基于CPU的机器上进行。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
2021-12-06
数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。
translated by 谷歌翻译
这是第两部分综合调查的第二部分，专门用于计算框架，最常见于名称超高规范计算和矢量符号架构（HDC / VSA）。这两个名称都指的是一系列使用高维分布式表示的计算模型，并依赖于其关键操作的代数属性来结合结构化符号表示和矢量分布式表示的优点。全息减少的表示是一种有影响力的HDC / VSA模型，在机器学习域中是众所周知的，通常用于指整个家庭。但是，为了一致性，我们使用HDC / VSA来参考该区域。该调查的第I部分涵盖了该地区的基本方面，例如历史背景，导致HDC / VSA的开发，任何HDC / VSA模型的关键要素，已知的HDC / VSA模型，以及将各种类型的输入数据转换为高 - 适用于HDC / VSA的尺寸载体。第二部分调查现有的应用程序，HDC / VSA在认知计算和架构中的作用，以及未来工作的方向。大多数应用程序位于机器学习/人工智能域内，但我们还涵盖其他应用程序来提供彻底的照片。该调查是对新人和从业者有用的。
translated by 谷歌翻译
这项两部分的综合调查专门用于计算框架，该计算框架最常见于名称超高规范计算和矢量符号架构（HDC / VSA）。这两个名称都指的是一系列使用高维分布式表示的计算模型，并依赖于其关键操作的代数属性来结合结构化符号表示和矢量分布式表示的优点。 HDC / VSA系列中的显着型号是张解产品表示，全息减少表示，乘法添加释放，二进制喷溅码和稀疏二进制分布式表示，但也有其他型号。 HDC / VSA是一个高度跨学科的地区，与计算机科学，电气工程，人工智能，数学和认知科学有关。这一事实使得创造了彻底概述了该地区的挑战。然而，由于近年来加入了该地区的新研究人员的激增，对该地区综合调查的必要性变得非常重要。因此，在该地区的其他方面中，该部分我调查了以下几个方面，例如：HDC / VSA的已知计算模型以及各种输入数据类型的转换为高维分布式表示。本调查的第II部分致力于应用，认知计算和架构，以及未来工作的方向。该调查是对新人和从业者有用的。
translated by 谷歌翻译
本文以生物学启发的神经形态硬件进行了最新创新，本文介绍了一种新颖的无监督机器学习算法，名为Hyperseed，该算法借鉴了矢量符号体系结构（VSA）的原理，用于快速学习保存未标记数据的拓扑图。它依靠VSA的两个主要操作，具有约束力和捆绑。 Hyperseed的算法部分在傅立叶全息降低表示模型中表达，该模型特别适合于尖峰神经形态硬件实现。 Hyperseed算法的两个主要贡献是很少的学习和基于单个向量操作的学习规则。这些属性在合成数据集以及说明性基准用例，IRIS分类以及使用N-Gram统计信息的语言标识任务上进行了经验评估。这些实验的结果证实了Hyperseed及其在神经形态硬件中的应用。
translated by 谷歌翻译
从理论和应用的角度来看，机器学习算法在资源受限的边缘设备上的部署是一个重要的挑战。在本文中，我们关注的是资源有效的随机连接神经网络，称为随机矢量功能链路（RVFL）网络，因为它们的简单设计和非常快速的训练时间使它们在解决许多应用分类任务方面非常有吸引力。我们建议通过在随机计算区域已知的基于密度的编码来表示输入特征，并利用从高维计算区域的结合和捆绑的操作，以获取隐藏神经元的激活。使用UCI机器学习存储库中的121个现实世界数据集的集合，我们从经验上表明，所提出的方法比常规RVFL表现出更高的平均准确性。我们还证明，只能使用有限范围内的整数表示读数矩阵，精度的损失最小。在这种情况下，所提出的方法仅在小的N位整数上运行，这导致了计算高效的体系结构。最后，通过硬件现场可编程的门阵列（FPGA）实现，我们表明，这种方法的消耗大约比常规RVFL的能量少约11倍。
translated by 谷歌翻译
Probabilistic Law Discovery (PLD) is a logic based Machine Learning method, which implements a variant of probabilistic rule learning. In several aspects, PLD is close to Decision Tree/Random Forest methods, but it differs significantly in how relevant rules are defined. The learning procedure of PLD solves the optimization problem related to the search for rules (called probabilistic laws), which have a minimal length and relatively high probability. At inference, ensembles of these rules are used for prediction. Probabilistic laws are human-readable and PLD based models are transparent and inherently interpretable. Applications of PLD include classification/clusterization/regression tasks, as well as time series analysis/anomaly detection and adaptive (robotic) control. In this paper, we outline the main principles of PLD, highlight its benefits and limitations and provide some application guidelines.
translated by 谷歌翻译
We study the multiclass classification problem where the features come from the mixture of time-homogeneous diffusions. Specifically, the classes are discriminated by their drift functions while the diffusion coefficient is common to all classes and unknown. In this framework, we build a plug-in classifier which relies on nonparametric estimators of the drift and diffusion functions. We first establish the consistency of our classification procedure under mild assumptions and then provide rates of cnvergence under different set of assumptions. Finally, a numerical study supports our theoretical findings.
translated by 谷歌翻译