神经网络(NNS)对研究和行业进行了很大的影响。然而,随着NNS的准确性增加,它之后的大小是扩展,所需的计算操作数量和能量消耗。资源消费的增加导致NNS减少的采用率和现实世界部署不切实际。因此,需要压缩NNS以使它们可用于更广泛的受众,同时降低其运行时成本。在这项工作中,我们从因果推理的角度来处理这一挑战,我们提出了一个评分机制,以促进NNS的结构灌注。该方法基于在最大熵扰动下测量互信息,顺序地通过NN传播。我们展示了两种数据集和各种NNS尺寸的方法的表现,我们表明我们的方法在挑战条件下实现了竞争性能。
translated by 谷歌翻译
深度神经网络(DNN)的算法 - 硬件共同设计的最新进展已经证明了它们在自动设计神经架构和硬件设计方面的潜力。然而,由于昂贵的培训成本和耗时的硬件实现,这仍然是一个充满挑战的优化问题,这使得对神经结构和硬件设计难以解答的巨大设计空间探索。在本文中,我们证明我们所提出的方法能够在帕累托前沿定位设计。这种功能由新颖的三相协同设计框架启用,具有以下新功能:(a)从硬件架构和神经结构的设计空间探索的DNN培训解耦,(b)提供硬件友好的神经结构空间通过考虑构造搜索单元的硬件特征,(c)采用高斯过程来预测准确性,延迟和功耗以避免耗时的合成和路由过程。与手动设计的Resnet101,Inceptionv2和MobileNetv2相比,我们可以在想象网数据集中获得高达3倍的准确度,高达5%的准确性。与其他最先进的共同设计框架相比,我们发现的网络和硬件配置可以达到更高的2%〜6%,精度为2倍〜26倍,延迟较高8.5倍。
translated by 谷歌翻译
神经网络在广泛的任务中展示了他们出色的表现。具体地,基于长短短期存储器(LSTM)单元格的复发架构表现出了在真实数据中模拟时间依赖性的优异能力。然而,标准的经常性架构无法估计其不确定性,这对于安全关键型应用如医学,这是必不可少的。相比之下,贝叶斯经常性神经网络(RNN)能够以提高的精度提供不确定性估计。尽管如此,贝叶斯的RNN是在计算上和记忆所要求的,尽管他们的优势尽管他们的实用性限制了他们的实用性。为了解决这个问题,我们提出了一种基于FPGA的硬件设计,以加速基于贝叶斯LSTM的RNN。为了进一步提高整体算法 - 硬件性能,提出了一种共同设计框架来探索贝叶斯RNN的最适合的算法 - 硬件配置。我们对医疗保健应用进行了广泛的实验,以证明我们的设计和框架的有效性的提高。与GPU实施相比,我们的FPGA的设计可以实现高达10倍的加速,能效率较高的近106倍。据我们所知,这是第一份针对FPGA上的贝叶斯RNN的加速的工作。
translated by 谷歌翻译
神经网络(NNS)已经在广泛的应用中证明了它们的潜力,例如图像识别,决策或推荐系统。然而,标准NNS无法捕获其模型不确定性,这对于包括医疗保健和自治车辆的许多安全关键应用至关重要。相比之下,贝叶斯神经网络(BNNS)能够通过数学接地表达他们预测中的不确定性。尽管如此,BNN尚未广泛用于工业实践,主要是由于其昂贵的计算成本和有限的硬件性能。这项工作提出了一种新的基于FPGA的硬件架构,可以通过Monte Carlo辍学加速BNN推断。与其他最先进的BNN加速器相比,所提出的加速器可以达到高达4倍的能量效率和9倍的计算效率。考虑到部分贝叶斯推断,提出了一种自动框架,探讨了硬件和算法性能之间的权衡。进行广泛的实验以证明我们所提出的框架可以有效地找到设计空间中的最佳点。
translated by 谷歌翻译
在许多实际情况下,随着时间的推移,用于训练机器学习模型的数据将获得。但是,神经网络模型努力不断学习新概念,而不会忘记过去学到了什么。这种现象被称为灾难性的遗忘,由于实际的约束,通常很难预防,例如可以存储的数据量或可以使用的有限计算源。此外,从头开始培训大型神经网络,例如变形金刚,非常昂贵,需要大量的培训数据,这可能在感兴趣的应用程序领域中不可用。最近的趋势表明,基于参数扩展的动态体系结构可以在持续学习中有效地减少灾难性遗忘,但是这种需要复杂的调整以平衡不断增长的参数,并且几乎无法在任务中共享任何信息。结果,他们难以扩展到没有大量开销的大量任务。在本文中,我们在计算机视觉域中验证了一种最新的解决方案,称为适配器的自适应蒸馏(ADA),该解决方案是为了使用预先训练的变压器和适配器在文本分类任务上进行连续学习。我们在不同的分类任务上进行了经验证明,此方法在不进行模型或增加模型参数数量的情况下保持良好的预测性能。此外,与最先进的方法相比,推理时间的速度明显更快。
translated by 谷歌翻译
强化学习是机器人抓握的一种有前途的方法,因为它可以在困难的情况下学习有效的掌握和掌握政策。但是,由于问题的高维度,用精致的机器人手来实现类似人类的操纵能力是具有挑战性的。尽管可以采用奖励成型或专家示范等补救措施来克服这个问题,但它们通常导致过分简化和有偏见的政策。我们介绍了Dext-Gen,这是一种在稀疏奖励环境中灵巧抓握的强化学习框架,适用于各种抓手,并学习无偏见和复杂的政策。通过平滑方向表示实现了抓地力和物体的完全方向控制。我们的方法具有合理的培训时间,并提供了包括所需先验知识的选项。模拟实验证明了框架对不同方案的有效性和适应性。
translated by 谷歌翻译
强化学习进行推荐和实验的现实应用面临实际挑战:不同匪徒的相对奖励可以在学习代理的一生中发展。要处理这些非机构案件,代理商必须忘记一些历史知识,因为它可能不再与最小化的遗憾有关。我们提出了一种处理非平稳性的解决方案,该解决方案适合于大规模部署,以向业务运营商提供自动适应性优化。我们的解决方案旨在提供可解释的学习,这些学习可以被人类信任,同时响应非平稳性以最大程度地减少遗憾。为此,我们开发了一种自适应的贝叶斯学习代理,该学习者采用了一种新型的动态记忆形式。它可以通过统计假设检验来实现可解释性,通过在比较奖励并动态调整其内存以实现此功能时,通过统计能力的设定点来实现统计能力的设定点。根据设计,代理对不同种类的非平稳性不可知。使用数值模拟,我们将其绩效与现有提案进行比较,并表明在多个非平稳场景下,我们的代理人正确地适应了真实奖励的实际变化。在所有强盗解决方案中,学习和实现最大表现之间都有明确的权衡。与另一种类似强大的方法相比,我们的解决方案在此权衡方面的一个不同点:我们优先考虑可解释性,这依靠更多的学习,而付出了一些遗憾。我们描述了自动优化的大规模部署的体系结构,即服务,我们的代理商在适应不断变化的情况的同时可以实现可解释性。
translated by 谷歌翻译
机器学习算法广泛用于恶意软件检测区域。随着样本量的增长,分类算法的培训变得越来越昂贵。此外,培训数据集可能包含冗余或嘈杂的实例。要解决的问题是如何从大型训练数据集中选择代表性实例,而无需降低准确性。这项工作提出了一种新的并行实例选择算法,称为并行实例过滤(PIF)。该算法的主要思想是将数据集拆分为涵盖整个数据集的实例的非重叠子集,并为每个子集应用一个过滤过程。每个子集由具有相同敌人的实例组成。结果,PIF算法很快,因为使用并行计算将子集彼此独立处理。我们将PIF算法与500,000个恶意和良性样本的大型数据集中的几种最新实例选择算法进行了比较。使用静态分析提取功能集,其中包括从便携式可执行文件格式中的元数据。我们的实验结果表明,所提出的实例选择算法可大大减少训练数据集的大小,而精度却略有降低。就平均分类精度和存储百分比之间的比率而言,PIF算法的表现优于实验中使用的现有实例选择方法。
translated by 谷歌翻译
图形神经网络(GNN)由于其独特的能力扩展了机器学习(ML)方法,因此引起了极大的关注,该应用程序广泛定义为具有非结构化数据,尤其是图形。与其他机器学习(ML)方式相比,由于源自图类型的不规则性和异质性,图形神经网络(GNN)的加速度更具挑战性。但是,现有的努力主要集中在处理图形的不规则性上,并且没有研究其异质性。为此,我们提出了H-GCN,PL(可编程逻辑)和AIE(AI引擎)的混合加速器,以利用Xilinx Versal自适应计算加速度平台(ACAPS)的新兴异质性(ACAPS)来实现高表现GNN的确定。特别是,H-GCN根据其固有的异质性将每个图分为三个子图,并分别使用PL和AIE处理它们。为了进一步提高性能,我们探索了AIE的稀疏支持,并开发了一种有效的密度感知方法,以自动将稀疏矩阵矩阵乘法(SPMM)的瓷砖自动映射到收缩张量数阵列上。与最先进的GCN加速器相比,H-GCN平均达到1.1〜2.3倍的速度。
translated by 谷歌翻译
创新是尝试新解决方案的关键组成部分,以使学生有效地学习,并以与自己的经验相对应的方式来学习聊天机器人是这些新解决方案之一。聊天机器人今天面临的主要问题之一是模仿人类的语言,他们试图找到对意见的最佳答案,这不是人类对话通常的运作方式,而是考虑到以前的消息并在其上构建。选择了极端的编程方法来使用Chatterbot,Pyside2,Web刮擦和TampermonKey作为测试用例。机器人发生的问题发生了,该机器人需要进行更多的培训才能完美工作,但是集成和网络刮擦有效,使我们可以与聊天机器人进行交谈。我们展示了将AI机器人集成到教育环境中的合理性。
translated by 谷歌翻译