Neural networks have revolutionized the area of artificial intelligence and introduced transformative applications to almost every scientific field and industry. However, this success comes at a great price; the energy requirements for training advanced models are unsustainable. One promising way to address this pressing issue is by developing low-energy neuromorphic hardware that directly supports the algorithm's requirements. The intrinsic non-volatility, non-linearity, and memory of spintronic devices make them appealing candidates for neuromorphic devices. Here we focus on the reservoir computing paradigm, a recurrent network with a simple training algorithm suitable for computation with spintronic devices since they can provide the properties of non-linearity and memory. We review technologies and methods for developing neuromorphic spintronic devices and conclude with critical open issues to address before such devices become widely used.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
数据是现代机器学习系统的命脉，包括音乐信息检索中的命脉（MIR）。但是，MIR长期以来一直被小型数据集和不可靠的标签所困扰。在这项工作中，我们建议使用生成建模打破这种瓶颈。通过使用室内合奏的结构化合成模型（在URMP上训练的MIDI-DDSP）的结构化合成模型，通过管道说明（在巴赫合唱上训练的椰子）模型，我们演示了一个能够生成无限量的逼真的合唱音乐的系统，其中包括丰富的结合音乐，包括混合，包括混合，，，包括混合，茎，MIDI，笔记级性能属性（Staccato，Vibrato等），甚至是细粒的合成参数（音高，振幅等）。我们称此系统为室内集合发生器（CEG），并使用它来生成来自四个不同腔室合奏（cocochorales）的大型合唱数据集。我们证明，使用我们的方法生成的数据改善了音乐转录和源分离的最新模型，并且我们均发布了系统和数据集作为MIR社区未来工作的开源基础。
translated by 谷歌翻译
理想的音乐合成器应具有互动性和表现力，并实时产生高保真音频，以进行任意组合仪器和音符。最近的神经合成器在特定于域的模型之间表现出了折衷，这些模型仅对特定仪器或可以训练所有音乐训练但最小的控制和缓慢发电的原始波形模型提供了详细的控制。在这项工作中，我们专注于神经合成器的中间立场，这些基础可以从MIDI序列中产生音频，并实时使用仪器的任意组合。这使得具有单个模型的各种转录数据集的培训，这又提供了对各种仪器的组合和仪器的控制级别的控制。我们使用一个简单的两阶段过程：MIDI到具有编码器变压器的频谱图，然后使用生成对抗网络（GAN）频谱图逆变器将频谱图到音频。我们将训练解码器作为自回归模型进行了比较，并将其视为一种脱氧扩散概率模型（DDPM），并发现DDPM方法在定性上是优越的，并且通过音频重建和fr \'echet距离指标来衡量。鉴于这种方法的互动性和普遍性，我们发现这是迈向互动和表达性神经综合的有前途的第一步，以实现工具和音符的任意组合。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
2022-02-15
现实世界中的数据是高维的：即使在压缩后，书籍，图像或音乐表演也很容易包含数十万个元素。但是，最常用的自回归模型，变压器非常昂贵，以缩放捕获这种远程结构所需的输入和层数。我们开发了感知者AR，这是一种自回归的模态 - 不合骨架构，它使用交叉注意力将远程输入映射到少数潜在的潜在，同时还可以维护端到端的因果关系掩盖。感知器AR可以直接进行十万个令牌，从而实现了实用的长篇小写密度估计，而无需手工制作的稀疏模式或记忆机制。当对图像或音乐进行培训时，感知器AR会生成具有清晰长期连贯性和结构的输出。我们的架构还获得了长期基准测试的最新可能性，包括64 x 64个Imagenet图像和PG-19书籍。
translated by 谷歌翻译
2021-12-06
数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。
translated by 谷歌翻译
自动音乐转录（AMT），从原始音频推断出音符，是音乐理解核心的具有挑战性的任务。与通常专注于单个扬声器的单词的自动语音识别（ASR）不同，AMT通常需要同时转换多个仪器，同时保留微量间距和定时信息。此外，许多AMT数据集是“低资源”，甚至甚至专家音乐家发现音乐转录困难和耗时。因此，事先工作专注于任务特定的架构，对每个任务的个体仪器量身定制。在这项工作中，通过对低资源自然语言处理（NLP）的序列到序列转移学习的有前途的结果，我们证明了通用变压器模型可以执行多任务AMT，共同转录音乐的任意组合跨几个转录数据集的仪器。我们展示了统一培训框架在一系列数据集中实现了高质量的转录结果，大大提高了低资源仪器（如吉他）的性能，同时为丰富的仪器（如钢琴）保持了强大的性能。最后，通过扩大AMT的范围，我们揭示了更加一致的评估指标和更好的数据集对齐，并为这个新的多任务AMT的新方向提供了强的基线。
translated by 谷歌翻译
基于分数的生成模型和扩散概率模型已经成功地在连续域中产生高质量样本，例如图像和音频。然而，由于他们的LangeVin启发了采样机制，它们对离散和顺序数据的应用受到限制。在这项工作中，我们通过参数化在预先训练的变化性AutiaceOder的连续潜空间中的离散域参数，介绍了一种用于训练延伸模型的技术。我们的方法是非自回归的，并学习通过反向过程生成潜在嵌入的序列，并通过恒定数量的迭代细化步骤提供并行生成。与在相同连续嵌入的自回归语言模型相比，我们将这种技术应用于建模符号音乐，并显示出强大的无条件生成和后HOC条件缺陷结果。
translated by 谷歌翻译
隐私敏感数据的培训机器学习模型已成为一种流行的练习，在不断扩大的田野中推动创新。这已经向新攻击打开了门，这可能会产生严重的隐私含义。一个这样的攻击，会员推导攻击（MIA），暴露了特定数据点是否用于训练模型。一种越来越多的文献使用差异的私人（DP）训练算法作为反对这种攻击的辩护。但是，这些作品根据限制假设评估防御，即所有培训集以及非成员的所有成员都是独立的并相同分布的。这种假设没有在文献中的许多真实用例中占据。由此激励，我们评估隶属于样本之间的统计依赖性，并解释为什么DP不提供有意义的保护（在这种更常规的情况下，培训集尺寸$ N $的隐私参数$ \ epsilon $ scales）。我们使用从现实世界数据构建的培训集进行了一系列实证评估，其中包括示出样品之间的不同类型依赖性的培训集。我们的结果表明，培训集依赖关系可能会严重增加MIS的性能，因此假设数据样本在统计上独立，可以显着低估均撒的性能。
translated by 谷歌翻译