深度学习一直是近来最具破坏性的技术进步之一。深度学习模型的高性能以高度计算,存储和功率要求为代价。感知到加速和压缩这些模型以提高设备性能的直接需求,我们引入了Deeplite Neutrino,以便对模型的生产优化和Deeplite运行时进行介绍,以在基于ARM的平台上部署超低位量化模型。我们为ARMV7和ARMV8架构实施低级量化内核,可在32位和64位基于ARM的设备上进行部署。通过使用矢量化,并行化和平铺的有效实现,与具有XNNPACK后端的TensorFlow Lite相比,我们在分类和检测模型上分别实现了高达2倍和2.2倍的速度。与ONNX运行时相比,我们还获得了高达5倍和3.2倍的显着加速,分别用于分类和检测模型。
translated by 谷歌翻译
在本文中,我们研究了DNN培训中量化的影响。我们假设重量量化是正则化的一种形式,正则化的量与量化水平(精度)相关。我们通过提供分析研究和经验结果来证实我们的假设。通过将重量量化为重量噪声的一种形式,我们探讨了该噪声在训练时如何通过网络传播。然后,我们表明该噪声的大小与量化水平相关。为了确认我们的分析研究,我们在本文中进行了广泛的实验列表,其中我们表明,在各种数据集中,在各种视觉任务和模型中可以看到量化的正则化效果。基于我们的研究,我们建议8位量化在不同的视觉任务和模型中提供了一种可靠的正则化形式。
translated by 谷歌翻译
神经网络(NNS)对研究和行业进行了很大的影响。然而,随着NNS的准确性增加,它之后的大小是扩展,所需的计算操作数量和能量消耗。资源消费的增加导致NNS减少的采用率和现实世界部署不切实际。因此,需要压缩NNS以使它们可用于更广泛的受众,同时降低其运行时成本。在这项工作中,我们从因果推理的角度来处理这一挑战,我们提出了一个评分机制,以促进NNS的结构灌注。该方法基于在最大熵扰动下测量互信息,顺序地通过NN传播。我们展示了两种数据集和各种NNS尺寸的方法的表现,我们表明我们的方法在挑战条件下实现了竞争性能。
translated by 谷歌翻译
我们通过随时间变化的因素负载开发了受惩罚的两次通用回归。第一遍中的惩罚对时间变化驱动因素强加了稀疏性,同时还通过正规化适当的系数组来维持与无契约限制的兼容性。第二次通过提供了风险溢价估计,以预测股权超额回报。我们的蒙特卡洛结果以及我们对大量横断面数据集的个人股票集的经验结果表明,如果不进行分组的惩罚可能会屈服于几乎所有估计的时变模型,违反了无标准限制。此外,我们的结果表明,与惩罚方法相比,所提出的方法在没有适当分组或时间不变的因子模型的情况下减少了预测错误。
translated by 谷歌翻译
对对抗性攻击的鲁棒性通常以对抗精度评估。但是,该指标太粗糙,无法正确捕获机器学习模型的所有鲁棒性。当对强烈的攻击进行评估时,许多防御能力并不能提供准确的改进,同时仍会部分贡献对抗性鲁棒性。流行的认证方法遇到了同一问题,因为它们提供了准确性的下限。为了捕获更精细的鲁棒性属性,我们提出了一个针对L2鲁棒性,对抗角稀疏性的新指标,该指标部分回答了“输入周围有多少个对抗性示例”的问题。我们通过评估“强”和“弱”的防御能力来证明其有用性。我们表明,一些最先进的防御能力具有非常相似的精度,在它们不强大的输入上可能具有截然不同的稀疏性。我们还表明,一些弱防御能力实际上会降低鲁棒性,而另一些防御能力则以无法捕获的准确性来加强它。这些差异可以预测这种防御与对抗性训练相结合时的实用性。
translated by 谷歌翻译
全局能量函数$ h:e \ to \ mathbb {r} $在一组微晶体上定义了一个统计系统,产生了gibbs概率度量(softmins)$ \ rho \ rho^\ beta(h)$ for每个反温度$ \ beta = t^{ - 1} $。 Gibbs状态同时以自由能原理和最大渗透原则为特征,在反温度$ \ beta $和平均能量$ {\ cal u}(\ beta)= \ mathbb {e} _ {\ rho rho^ \ beta} [H] $。 Legendre Transform关联了这些不同的变异原理,不幸的是,在高维度中无法处理。全局能量通常以sum $ h(x)= \ sum _ {\ rm a \ subset \ omega} h _ _ {\ rm a}(x_ {| \ rm a})$ {\ rm a}:e _ {\ rm a} \ to \ mathbb {r} $由有限子区域$ {\ rm a} \ subset \ omega $索引,并且该局部结构可用于设计良好的近似近似值,功能。我们表明,通用的信念传播(GBP)算法通过聚合到自由能$ f(\ beta)$的Bethe-Kikuchi近似值来解决局部变异原理的集合,Shannon Entropy $ s(\ cal U )$,以及变量自由能$ {\ cal f}(\ beta)= {\ cal u} - \ beta^{ - 1} s(\ cal u)$,扩展了Yedidia等人的初始通信。这种本地形式的legendre二重性产生了平均能量$ {\ cal u} $和$ \ beta $之间可能的退化关系。
translated by 谷歌翻译
我们提出了一种无标记的性能捕获方法,该方法从稀疏采样的未跟踪3D点云的稀疏采样序列中计算随时间变形的参与者变形的时间相干4D表示。我们的方法通过以前的时空运动来进行潜在优化。最近,已经引入了任务通用运动先验,并提出了基于单个潜在代码的人类运动的连贯表示,并具有简短序列和给定时间对应关系的令人鼓舞的结果。将这些方法扩展到没有对应的较长序列几乎是直接的。一种潜在代码证明,由于可能的倒置姿势配件,因此对长期可变性的编码效率低下,而潜在空间优化将非常容易受到错误的本地最小值。我们通过学习一个运动来解决这两个问题,该动作将4D人体运动序列编码为一系列潜在的原语,而不是一个潜在的代码。我们还提出了一个附加的映射编码器,该编码器将点云直接投入到学习的潜在空间中,以在推理时提供潜在表示的良好初始化。我们从潜在空间进行的时间解码是隐式和连续的,可以通过时间分辨率提供灵活性。我们通过实验表明我们的方法优于最先进的运动先验。
translated by 谷歌翻译
图形神经网络(GNNS)在许多图形挖掘任务中取得了巨大的成功,这些任务从消息传递策略中受益,该策略融合了局部结构和节点特征,从而为更好的图表表示学习。尽管GNN成功,并且与其他类型的深神经网络相似,但发现GNN容易受到图形结构和节点特征的不明显扰动。已经提出了许多对抗性攻击,以披露在不同的扰动策略下创建对抗性例子的GNN的脆弱性。但是,GNNS对成功后门攻击的脆弱性直到最近才显示。在本文中,我们披露了陷阱攻击,这是可转移的图形后门攻击。核心攻击原则是用基于扰动的触发器毒化训练数据集,这可以导致有效且可转移的后门攻击。图形的扰动触发是通过通过替代模型的基于梯度的得分矩阵在图形结构上执行扰动动作来生成的。与先前的作品相比,陷阱攻击在几种方面有所不同:i)利用替代图卷积网络(GCN)模型来生成基于黑盒的后门攻击的扰动触发器; ii)它产生了没有固定模式的样品特异性扰动触发器; iii)在使用锻造中毒训练数据集训练时,在GNN的背景下,攻击转移到了不同​​的GNN模型中。通过对四个现实世界数据集进行广泛的评估,我们证明了陷阱攻击使用四个现实世界数据集在四个不同流行的GNN中构建可转移的后门的有效性
translated by 谷歌翻译
众所周知,在漫长的地平线和稀疏的奖励任务中,加强学习(RL)是困难的,需要大量的培训步骤。加快该过程的标准解决方案是利用额外的奖励信号,将其塑造以更好地指导学习过程。在语言条件的RL的背景下,语言输入的抽象和概括属性为更有效地塑造奖励的方式提供了机会。在本文中,我们利用这一想法并提出了一种自动奖励塑形方法,代理商从一般语言目标中提取辅助目标。这些辅助目标使用问题生成(QG)和问题答案(QA)系统:它们包括导致代理商尝试使用其自己的轨迹重建有关全球目标的部分信息的问题。当它成功时,它会获得与对答案的信心成正比的内在奖励。这激励代理生成轨迹,这些轨迹明确解释了一般语言目标的各个方面。我们的实验研究表明,这种方法不需要工程师干预来设计辅助目标,可以通过有效指导探索来提高样品效率。
translated by 谷歌翻译
准确的不确定性估计是医学成像社区的关键需求。已经提出了多种方法,所有直接扩展分类不确定性估计技术。独立像素的不确定性估计通常基于神经网络的概率解释,不考虑解剖学的先验知识,因此为许多细分任务提供了次优的结果。因此,我们提出了不确定性预测方法的酥脆图像分割。 Crisp以其核心实现了一种对比的方法来学习一个共同的潜在空间,该方法编码有效分割及其相应图像的分布。我们使用此联合潜在空间将预测与数千个潜在矢量进行比较,并提供解剖学上一致的不确定性图。在涉及不同方式和器官的四个医学图像数据库上进行的综合研究强调了我们方法的优势与最先进的方法相比。
translated by 谷歌翻译