流量预测是智能交通系统中时空学习任务的规范示例。现有方法在图形卷积神经操作员中使用预定的矩阵捕获空间依赖性。但是,显式的图形结构损失了节点之间关系的一些隐藏表示形式。此外,传统的图形卷积神经操作员无法在图上汇总远程节点。为了克服这些限制,我们提出了一个新型的网络,空间 - 周期性自适应图卷积,并通过注意力网络(Staan)进行交通预测。首先,我们采用自适应依赖性矩阵,而不是在GCN处理过程中使用预定义的矩阵来推断节点之间的相互依存关系。其次,我们集成了基于图形注意力网络的PW注意,该图形是为全局依赖性设计的,而GCN作为空间块。更重要的是,在我们的时间块中采用了堆叠的散布的1D卷积,具有长期预测的效率,用于捕获不同的时间序列。我们在两个现实世界数据集上评估了我们的Staan,并且实验验证了我们的模型优于最先进的基线。
translated by 谷歌翻译
我们解决了从一般标记(例如电影海报)估计对应关系到捕获这种标记的图像的问题。通常,通过拟合基于稀疏特征匹配的同型模型来解决此问题。但是,他们只能处理类似平面的标记,而稀疏功能不能充分利用外观信息。在本文中,我们提出了一个新颖的框架神经标记器,训练神经网络估计在各种具有挑战性的条件下(例如标记变形,严格的照明等)估算密集标记的对应关系。此外,我们还提出了一种新颖的标记通信评估方法,对真实标记的注释进行了注释。 - 图像对并创建一个新的基准测试。我们表明,神经标记的表现明显优于以前的方法,并实现了新的有趣应用程序,包括增强现实(AR)和视频编辑。
translated by 谷歌翻译
基于文本描述的高分辨率遥感图像的合成在许多实际应用方案中具有巨大的潜力。尽管深度神经网络在许多重要的遥感任务中取得了巨大的成功,但是从文本描述中生成现实的遥感图像仍然非常困难。为了应对这一挑战,我们提出了一个新颖的文本形象现代霍普菲尔德网络(TXT2IMG-MHN)。 TXT2IMG-MHN的主要思想是在具有现代Hopfield层的文本和图像嵌入方式上进行层次原型学习。 TXT2IMG-MHN并没有直接学习具体但高度多样化的文本图像联合特征表示,而是旨在从文本图像嵌入中学习最具代表性的原型,从而实现一种粗略的学习策略。然后可以利用这些学到的原型来代表文本到图像生成任务中更复杂的语义。为了更好地评估生成图像的现实主义和语义一致性,我们使用对合成图像训练的分类模型对真实遥感数据进行零击分类。尽管它很简单,但我们发现,零弹性分类的总体准确性可以作为评估从文本生成图像的能力的良好指标。基准遥感文本图像数据集上的广泛实验表明,所提出的TXT2IMG-MHN比现有方法可以生成更现实的遥感图像。代码和预培训模型可在线获得(https://github.com/yonghaoxu/txt2img-mhn)。
translated by 谷歌翻译
可激发的光电设备代表了在神经形态(脑启发)光子系统中实施人工尖峰神经元的关键构件之一。这项工作介绍并实验研究了用谐振隧穿二极管(RTD)构建的光电 - 光学(O/E/O)人工神经元,该神经元(RTD)耦合到光电探测器作为接收器和垂直腔表面发射激光器作为发射机。我们证明了一个明确定义的兴奋性阈值,在此上面,该神经元在该神经元中产生100 ns的光学尖峰反应,具有特征性的神经样耐受性。我们利用其粉丝功能来执行设备中的重合检测(逻辑和)以及独家逻辑或(XOR)任务。这些结果提供了基于RTD的Spiking光电神经元的确定性触发和任务的首次实验验证,并具有输入和输出光学(I/O)终端。此外,我们还从理论上研究了拟议系统的纳米光子实施的前景,并结合了纳米级RTD元素和纳米剂的整体设计。因此,在未来的神经形态光子硬件中,证明了基于RTD的综合兴奋节点对低足迹,高速光电尖峰神经元的潜力。
translated by 谷歌翻译
在过去的十年中,机器学习取得了巨大的成功,其应用程序从面部识别到自然语言处理不等。同时,在量子计算领域已经取得了快速的进步,包括开发强大的量子算法和高级量子设备。机器学习与量子物理学之间的相互作用具有将实际应用带给现代社会的有趣潜力。在这里,我们以参数化量子电路的形式关注量子神经网络。我们将主要讨论各种结构和编码量子神经网络的策略,以进行监督学习任务,并利用Yao.jl进行基准测试,这是用朱莉娅语言编写的量子模拟软件包。这些代码是有效的,旨在为科学工作中的初学者提供便利,例如开发强大的变分量子学习模型并协助相应的实验演示。
translated by 谷歌翻译
可推广的对象操纵技能对于智能和多功能机器人在现实世界中的复杂场景中工作至关重要。尽管在强化学习方面取得了最新进展,但学习可以处理一类几何多样的铰接物体的可推广的操纵政策仍然非常具有挑战性。在这项工作中,我们通过以任务不合时宜的方式模仿学习来解决此类别级别的对象操纵政策学习问题,我们假设没有手工制作的密集奖励,而只是最终的奖励。鉴于这个新颖且具有挑战性的概括性政策学习问题,我们确定了几个关键问题,这些问题可能使以前的模仿学习算法失败,并阻碍了概括是看不见的实例。然后,我们提出了几种一般但至关重要的技术,包括从演示中学习的生成性对抗性自我象征学习,歧视者的逐步增长以及对专家缓冲区的实例平衡,可以准确地指出和解决这些问题,并可以受益于类别级别的操纵政策学习,而不管有什么问题任务。我们对Maniskill基准测试的实验表明,所有任务都有显着的改进,而我们的消融研究进一步验证了每种提出的技术的贡献。
translated by 谷歌翻译
包含联系和象征主义范式的胶囊网络使新的见解成为人工智能。作为胶囊网络的构建块的胶囊是由向量表示的一组神经元以编码实体的不同特征。通过路由算法通过胶囊层分层地提取信息。在这里,我们将量子胶囊网络(被称为QCaPSnet)与量子动态路由算法一起介绍。我们的模型在动态路由过程中享有指数加速,并展示增强的表示电源。为了基准QCAPPAPSNET的性能,我们对手写数字和对称保护的拓扑阶段进行了广泛的数值模拟,并表明QCAPPSNET可以显然地实现最先进的准确度并优于传统量子分类器。我们进一步解开输出胶囊状态,并发现特定子空间可以对应于输入数据的人类可理解的特征,其指示这种网络的潜在可解释性。我们的工作揭示了量子机器学习中量子胶囊网络的有趣前景,这可能为可解释的量子人工智能提供有价值的指导。
translated by 谷歌翻译
Federated learning (FL) is a machine learning setting where many clients (e.g. mobile devices or whole organizations) collaboratively train a model under the orchestration of a central server (e.g. service provider), while keeping the training data decentralized. FL embodies the principles of focused data collection and minimization, and can mitigate many of the systemic privacy risks and costs resulting from traditional, centralized machine learning and data science approaches. Motivated by the explosive growth in FL research, this paper discusses recent advances and presents an extensive collection of open problems and challenges.
translated by 谷歌翻译
特征形式的图像补丁的独特表示是许多计算机视觉和机器人任务的关键组成部分,例如图像匹配,图像检索和视觉定位。最先进的描述符,来自手工制作的描述符,例如SIFT到诸如HardNet之类的学习者,通常是高维的; 128个维度甚至更多。维度越高,使用此类描述符的方法的内存消耗和计算时间越大。在本文中,我们研究了多层感知器(MLP),以提取低维但高质量的描述符。我们在无监督,自我监督和监督的设置中彻底分析了我们的方法,并评估了四个代表性描述符的降维结果。我们考虑不同的应用程序,包括视觉定位,补丁验证,图像匹配和检索。实验表明,我们的轻量级MLP比PCA获得了更好的尺寸降低。我们的方法生成的较低维描述符在下游任务中的原始高维描述符,尤其是对于手工制作的任务。该代码将在https://github.com/prbonn/descriptor-dr上找到。
translated by 谷歌翻译
人工智能(AI)系统越来越多地用于提供建议以促进人类决策。尽管大量工作探讨了如何优化AI系统以产生准确且公平的建议以及如何向人类决策者提供算法建议,但在这项工作中,我们提出了一个不同的基本问题:何时应该提供建议?由于当前不断提供算法建议的局限性的限制,我们提出了以双向方式与人类用户互动的AI系统的设计。我们的AI系统学习使用过去的人类决策为政策提供建议。然后,对于新案例,学识渊博的政策利用人类的意见来确定算法建议将是有用的案例,以及人类最好单独决定的情况。我们通过使用美国刑事司法系统的数据对审前释放决策进行大规模实验来评估我们的方法。在我们的实验中,要求参与者评估被告违反其释放条款的风险,如果释放,并受到不同建议方法的建议。结果表明,与固定的非交互式建议方法相比,我们的交互式辅助方法可以在需要时提供建议,并显着改善人类决策。我们的方法在促进人类学习,保留人类决策者的互补优势以及对建议的更积极反应方面具有额外的优势。
translated by 谷歌翻译