In this paper, we propose a novel architecture called Composition Attention Grammars (CAGs) that recursively compose subtrees into a single vector representation with a composition function, and selectively attend to previous structural information with a self-attention mechanism. We investigate whether these components -- the composition function and the self-attention mechanism -- can both induce human-like syntactic generalization. Specifically, we train language models (LMs) with and without these two components with the model sizes carefully controlled, and evaluate their syntactic generalization performance against six test circuits on the SyntaxGym benchmark. The results demonstrated that the composition function and the self-attention mechanism both play an important role to make LMs more human-like, and closer inspection of linguistic phenomenon implied that the composition function allowed syntactic features, but not semantic features, to percolate into subtree representations.
translated by 谷歌翻译
Hopfield networks and Boltzmann machines (BMs) are fundamental energy-based neural network models. Recent studies on modern Hopfield networks have broaden the class of energy functions and led to a unified perspective on general Hopfield networks including an attention module. In this letter, we consider the BM counterparts of modern Hopfield networks using the associated energy functions, and study their salient properties from a trainability perspective. In particular, the energy function corresponding to the attention module naturally introduces a novel BM, which we refer to as attentional BM (AttnBM). We verify that AttnBM has a tractable likelihood function and gradient for a special case and is easy to train. Moreover, we reveal the hidden connections between AttnBM and some single-layer models, namely the Gaussian--Bernoulli restricted BM and denoising autoencoder with softmax units. We also investigate BMs introduced by other energy functions, and in particular, observe that the energy function of dense associative memory models gives BMs belonging to Exponential Family Harmoniums.
translated by 谷歌翻译
超级解决全球气候模拟的粗略产出，称为缩减，对于需要长期气候变化预测的系统做出政治和社会决策至关重要。但是，现有的快速超分辨率技术尚未保留气候数据的空间相关性，这在我们以空间扩展（例如运输基础设施的开发）处理系统时尤其重要。本文中，我们展示了基于对抗性的网络的机器学习，使我们能够在降尺度中正确重建区域间空间相关性，并高达五十，同时保持像素统计的一致性。与测量的温度和降水分布的气象数据的直接比较表明，整合气候上重要的物理信息对于准确的缩减至关重要，这促使我们称我们的方法称为$ \ pi $ srgan（物理学知情的超级分辨率生成生成的对手网络）。本方法对气候变化影响的区域间一致评估具有潜在的应用。
translated by 谷歌翻译
ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列，该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战，这是由于探测器的几何形状，不均匀的散射和冰中光的吸收，并且低于100 GEV的光，每个事件产生的信号光子数量相对较少。为了应对这一挑战，可以将ICECUBE事件表示为点云图形，并将图形神经网络（GNN）作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开，对不同的中微子事件类型进行分类，并重建沉积的能量，方向和相互作用顶点。基于仿真，我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术，包括已知系统不确定性的影响。对于中微子事件分类，与当前的IceCube方法相比，GNN以固定的假阳性速率（FPR）提高了信号效率的18％。另外，GNN在固定信号效率下将FPR的降低超过8（低于半百分比）。对于能源，方向和相互作用顶点的重建，与当前最大似然技术相比，分辨率平均提高了13％-20％。当在GPU上运行时，GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件，这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。
translated by 谷歌翻译
黑盒优化在许多应用中具有潜力，例如在实验设计中的机器学习和优化中的超参数优化。 ISING机器对二进制优化问题很有用，因为变量可以由Ising机器的单个二进制变量表示。但是，使用ISING机器的常规方法无法处理具有非二进制值的黑框优化问题。为了克服这一限制，我们通过与三种不同的整数编码方法合作，通过使用ISING/退火计算机和分解计算机来提出一种用于整数变量的黑盒优化问题的方法。使用不同的编码方法，使用一个简单的问题来计算最稳定状态下的氢分子能量，以不同的编码方法进行数值评估。提出的方法可以使用任何整数编码方法来计算能量。但是，单次编码对于小尺寸的问题很有用。
translated by 谷歌翻译
我们介绍RealityTalk，该系统通过语音驱动的互动虚拟元素来增强实时实时演示。增强演示文稿利用嵌入式视觉效果和动画来吸引和表现力。但是，现有的实时演示工具通常缺乏互动性和即兴创作，同时在视频编辑工具中产生这种效果需要大量的时间和专业知识。RealityTalk使用户能够通过实时语音驱动的交互创建实时增强演示文稿。用户可以通过实时语音和支持方式进行交互提示，移动和操纵图形元素。根据我们对177个现有视频编辑的增强演示文稿的分析，我们提出了一套新颖的互动技术，然后将它们纳入真人秀。我们从主持人的角度评估我们的工具，以证明系统的有效性。
translated by 谷歌翻译
本文介绍了素描的现实，这种方法结合了AR素描和驱动的有形用户界面（TUI），用于双向素描交互。双向草图使虚拟草图和物理对象通过物理驱动和数字计算相互影响。在现有的AR素描中，虚拟世界和物理世界之间的关系只是一个方向 - 虽然物理互动会影响虚拟草图，但虚拟草图对物理对象或环境没有返回效果。相反，双向素描相互作用允许草图和驱动的tuis之间的无缝耦合。在本文中，我们采用桌面大小的小型机器人（Sony Toio）和基于iPad的AR素描工具来演示该概念。在我们的系统中，在iPad上绘制和模拟的虚拟草图（例如，线，墙壁，摆和弹簧）可以移动，动画，碰撞和约束物理Toio机器人，就像虚拟草图和物理对象存在于同一空间中一样通过AR和机器人运动之间的无缝耦合。本文贡献了一组新型的互动和双向AR素描的设计空间。我们展示了一系列潜在的应用，例如有形的物理教育，可探索的机制，儿童有形游戏以及通过素描的原位机器人编程。
translated by 谷歌翻译
本文介绍了一种生成高度选择性编码的方法，这些编码可以在物理模块上磁性地“编程”，以使其能够以所选的配置自组装。我们基于Hadamard矩阵生成这些编码，并展示如何设计模块的面孔，以对其预期的伴侣具有最大吸引力，同时对其他面孔保持最大不可知论。我们得出这些界限的保证，并通过实验验证它们的吸引力和不可知论。使用其面部已被软磁性材料覆盖的立方模块，我们显示了如何使用带有平面面的廉价的被动模块来选择性地自组装成目标形状，而无需几何指南。我们表明，这些模块可以使用基于CNC的磁性绘图仪轻松地重新编程，以用于新的目标形状，并证明水箱中8个立方体的自组装。
translated by 谷歌翻译
最近，针对各种实际应用，例如操纵学习，已经广泛探索了触觉手套。以前的手套设备具有不同的力驱动系统，例如形状记忆合金，伺服电动机和气动执行器；但是，这些提议的设备在快速运动，易于繁殖和安全问题方面可能难以置信。在这项研究中，我们提出了Magglove，这是一种具有线性电动机的可移动磁铁机制的新型触觉手套，以解决这些问题。拟议的Magglove设备是佩戴者手背面紧凑的系统，具有很高的响应性，易用性和良好的安全性。提出的设备是自适应的，随着电流流过线圈的大小的修饰。基于我们的评估研究，可以证实所提出的设备可以在给定任务中实现手指运动。因此，Magglove可以为操纵学习任务中的佩戴者学习水平提供量身定制的灵活支持。
translated by 谷歌翻译
本文介绍了基于立方体的可重构机器人，该机器人利用基于电磁体的驱动框架通过枢轴在三个维度重新配置。尽管已经探索了各种可自我配置机器人的驱动机制，但它们通常会遭受成本，复杂性，组装和尺寸要求，以阻止这种机器人的生产规模。为了应对这一挑战，我们使用基于嵌入每个立方体边缘的电磁体的驱动机制来互换创建相同或相反极化的电磁体对，分别产生排斥或吸引力。通过利用铰链形成的吸引力，并以驱动旋转操作的排斥力，我们可以通过电磁磁性磁极磁极的旋转旋转来重新配置机器人，并使其构成模块（称为电动员）。为了证明这一点，我们开发了完全不受限制的三维自我恢复的机器人，并在抛物线能飞行中使用枢轴和横向动作展示了2D和3D自我调查的方法。本文介绍了我们机器人的硬件设计，其旋转框架，我们的重新配置计划软件以及对系统的动态和电气特性的评估，以告知可扩展的自我可控机器人的设计。
translated by 谷歌翻译