我们研究深度神经网络的表达性。通过其连接数或神经元数量来测量网络的复杂性,我们考虑了在增加复杂性预算时,给定复杂度的网络的最佳近似误差以一定速率衰减的函数类。使用经典逼近理论的结果,我们证明了这个类可以赋予(准)范数,使其成为线性函数空间,称为近似空间。我们建立允许网络具有某些类型的“跳过连接”不会改变所得到的近似空间。我们还讨论了网络非线性(也称为激活函数)在结果空间中的作用,以及深度的作用。对于流行的ReLU非线性及其功率,将新构造的空间与经典的Besov空间相提并论。如果这些网络足够深,那么建立的嵌入突出了一些非常低的Besov平滑度的函数可以通过神经网络很好地近似。
translated by 谷歌翻译
PARAFAC2是一种多模态因子分析模型,适用于在其中一种模式具有无可比拟的观察单位时分析多路数据,例如由于信号采样或批量大小的差异。对于PARAFAC2的完全概率性处理是理想的,以便改善噪声并提供用于确定因子数量的公认原则,但是因为因子负载被约束为正交而具有挑战性。我们开发了PARAFAC2along的两个概率公式和变分推断程序:在一种方法中,因子载荷的平均值是正交的,导致闭合形式的变化更新,而在另一种方法中,因子载荷本身是使用矩阵Von Mises-Fisher正交的。分配。我们将概率表达式与基于最大似然的传统直接拟合算法进行了对比。在模拟数据和真实荧光光谱和气相色谱 - 质谱数据上,我们比较了我们对常规PARAFAC2模型估计的方法,并发现概率表达对噪声和模型顺序错误指定更加稳健。因此,概率PARAFAC2形成了一个有前途的框架,用于对不确定性的多路数据进行建模。
translated by 谷歌翻译
Hessian矩阵在各种不同的领域中具有许多重要的应用,例如优化,图像处理和统计。在本文中,我们将重点放在使用Python脚本语言和TensorFlow库在深度学习环境中有效计算Hessianmatrices的实际方面。
translated by 谷歌翻译
最近推出的Tsetlin Machine(TM)在几个基准测试中提供了具有竞争力的模式分类准确性,在命题逻辑中构成了具有易于解释的连接条款的模式。在本文中,我们通过引入一种新型的TMs,即回归Tsetlin机器(RTM)来超越模式分类。简而言之,我们修改TM的内部推理机制,以便将输入模式转换为单连续输出,而不是转换为不同的类别。我们通过以下方式实现这一目标:(1)使用TM的连接条款来捕获任意复杂的模式; (2)通过新颖的投票和规范化机制将这些模式映射到连续输出; (3)采用反馈方案更新TM条款,以尽量减少回归误差。反馈方案使用新的激活概率函数来稳定更新,同时整个系统收敛到准确的输入 - 输出映射。使用具有和不具有噪声的六个不同的人工数据集来评估所提出的方法的性能。将RTM的性能与Classical Tsetlin Machine(CTM)和MulticlassTsetlin Machine(MTM)进行比较。我们的实证结果表明,RTM获得了噪声和无噪声数据集的最佳训练和测试结果,条款数量较少。反过来,这使用更少的计算资源转化为更高的回归准确度。
translated by 谷歌翻译
在本文中,我们将一种新的有前景的模式分类工具,即Tsetlin Machine(TM)应用于疾病预测领域。 TMis是可解释的,因为它基于在命题逻辑中操纵表达式,利用大型Tsetlin Automata(TA)团队。除了可解释之外,由于其低计算成本和处理噪音的能力,这种方法很有吸引力。为了解决这个问题,我们引入了一种预处理方法来扩展TM,以便它可以处理连续输入。简而言之,我们将连续输入转换为基于阈值的abinary表示。使用人工数据集评估和分析得到的扩展TM。该TM还用于利用数据的时空属性预测菲律宾所有17个地区的登革热疫情。实验结果表明,TM的爆发预测比支持向量机(SVM),决策树(DT)和多层人工神经网络(ANNs)在预测精度和F1分数方面更准确。 。
translated by 谷歌翻译
Jensen-Shannon散度是无界Kullback-Leibler散度的有限对称化,它测量总Kullback-Leiblerdivergence到平均混合分布。然而,高斯分布之间的Jensen-Shannondivergence不是封闭形式。绕过这个问题,我们使用抽象方法提出了Jensen-Shannon(JS)偏差的推广,当根据参数分布族选择了themean时,它产生闭式表达式。更一般地,我们使用从抽象方法派生的混合来定义任何统计距离的JS对称。特别是,我们首先证明了几何平均值非常适合指数族,并报告了几何Jensen-Shannon散度的闭态形式和反向Kullback-Leibler散度的几何JS对称性。作为第二个说明示例,我们证明了调和平均值非常适合于尺度Cauchydistributions,并报告了尺度Cauchy分布之间的谐波Jensen-Shannondivergence的闭合公式。关于这些新的Jensen-Shannon分歧的聚类应用被触及。
translated by 谷歌翻译
人工智能正在通过学​​习评估,内容生成和教学交付的创新推动正规教育的革命。非正式的终身学习环境一直是人们较少关注的问题。我们为具体的书籍讨论伙伴提供了一个概念验证,旨在激发与读者对小说文学中特别具有创造性的隐喻的对话。我们收集了来自26个参与者的评级,每个参与者在一个或多个会话中与机器人讨论简奥斯汀的“傲慢与偏见”,并发现参与者高度评价他们的交互。这表明伴侣机器人可能是在未来应用中促进终身学习和认知锻炼的有趣入口。
translated by 谷歌翻译
The traditional Minkowski distances are induced by the corresponding Minkowski norms in real-valued vector spaces. In this work, we propose novel statistical symmetric distances based on the Minkowski's inequality for probability densities belonging to Lebesgue spaces. These statistical Minkowski distances admit closed-form formula for Gaussian mixture models when parameterized by integer exponents. This result extends to arbitrary mixtures of exponential families with natural parameter spaces being cones: This includes the binomial, the multinomial, the zero-centered Laplacian, the Gaussian and the Wishart mixtures, among others. We also derive a Minkowski's diversity index of a normalized weighted set of probability distributions from Minkowski's inequality.
translated by 谷歌翻译
大型深度学习模型中的不确定性估计是计算上具有挑战性的任务,其中甚至难以形成后验分布的高斯近似。在这种情况下,现有方法通常是协方差矩阵的对角近似,尽管事实上已知这些矩阵会给出较差的不确定性估计。为了解决这个问题,我们提出了一种新的随机,低秩,近似自然梯度(SLANG)方法,用于大型深度模型中的变分推理。我们的方法是仅基于网络对数似然的反向传播梯度来估计“对角加低等级”结构。与计算整个变分目标的梯度的方法相比,这需要严格的梯度计算。对标准基准的经验评估证实,SLANGenables比平均场方法更快,更准确地估计不确定性,并且与最先进的方法相当。
translated by 谷歌翻译
持续集成(CI)中的测试涉及每个周期的测试用例优先级排序,选择和执行。如果对已提交代码更改的影响存在不确定性,或者如果代码和测试之间的可跟踪性链接不可用,则选择最有希望的测试用例来检测错误是很困难的。本文介绍了Retecs,这是一种在CI中自动学习测试用例选择和优先级的新方法,目的是最小化代码提交和开发人员对失败测试用例的反馈之间的往返时间。 Retecs方法使用强化学习来根据持续时间,前一次执行和失败历史来选择和优先考虑测试用例。在不断变化的环境中,创建新的测试用例并删除过时的测试用例,Retecs方法学会在奖励函数的指导下,通过观察先前的CI周期来优先考虑更容易出错的测试用例。通过将Retec应用于从三个工业案例研究中提取的数据,我们首次证明了强化可学习的富有成效的自适应测试用例选择和优先级inCI和回归测试。
translated by 谷歌翻译