最近推出的Tsetlin Machine(TM)在几个基准测试中提供了具有竞争力的模式分类准确性,在命题逻辑中构成了具有易于解释的连接条款的模式。在本文中,我们通过引入一种新型的TMs,即回归Tsetlin机器(RTM)来超越模式分类。简而言之,我们修改TM的内部推理机制,以便将输入模式转换为单连续输出,而不是转换为不同的类别。我们通过以下方式实现这一目标:(1)使用TM的连接条款来捕获任意复杂的模式; (2)通过新颖的投票和规范化机制将这些模式映射到连续输出; (3)采用反馈方案更新TM条款,以尽量减少回归误差。反馈方案使用新的激活概率函数来稳定更新,同时整个系统收敛到准确的输入 - 输出映射。使用具有和不具有噪声的六个不同的人工数据集来评估所提出的方法的性能。将RTM的性能与Classical Tsetlin Machine(CTM)和MulticlassTsetlin Machine(MTM)进行比较。我们的实证结果表明,RTM获得了噪声和无噪声数据集的最佳训练和测试结果,条款数量较少。反过来,这使用更少的计算资源转化为更高的回归准确度。
translated by 谷歌翻译
在本文中,我们将一种新的有前景的模式分类工具,即Tsetlin Machine(TM)应用于疾病预测领域。 TMis是可解释的,因为它基于在命题逻辑中操纵表达式,利用大型Tsetlin Automata(TA)团队。除了可解释之外,由于其低计算成本和处理噪音的能力,这种方法很有吸引力。为了解决这个问题,我们引入了一种预处理方法来扩展TM,以便它可以处理连续输入。简而言之,我们将连续输入转换为基于阈值的abinary表示。使用人工数据集评估和分析得到的扩展TM。该TM还用于利用数据的时空属性预测菲律宾所有17个地区的登革热疫情。实验结果表明,TM的爆发预测比支持向量机(SVM),决策树(DT)和多层人工神经网络(ANNs)在预测精度和F1分数方面更准确。 。
translated by 谷歌翻译
强化学习已经显示出仅使用单个神经网络进行价值优化来推广原始感知数据的巨大潜力。目前最先进的强化学习算法存在若干挑战,阻碍它们向全局最优化趋同。这些问题的解决方案很可能在于强化学习算法的短期和长期,探索和记忆管理。游戏通常用于对强化学习算法进行基准测试,因为它们提供了灵活,可重复且易于控制的环境。无论如何,很少有游戏具有状态空间,可以轻松感知探索,记忆和计划的结果。本文介绍了DreamingVariational自动编码器(DVAE),这是一种基于神经网络的生成建模体系,用于在稀疏反馈环境中进行探索。我们进一步展示了Deep Maze,这是一种新颖灵活的迷宫引擎,可以挑战DVAE的部分和完全可观察的状态空间,长期任务以及确定性和随机性问题。我们展示了最初的发现,并鼓励在生成性探索驱动的强化学习中进一步开展工作。
translated by 谷歌翻译
医疗应用通过要求高精度和易于解释来挑战当今的文本分类技术。尽管深度学习在准确性方面提供了一个飞跃,但这种飞跃是在牺牲可解释性的基础上实现的。为了解决这种准确性 - 可解释性挑战,我们首次引入了一种文本分类方法,该方法利用了最近引入的Tsetlin机器。简而言之,我们将文本的术语表示为命题变量。从这些,我们使用简单的命题公式捕获类别,例如:如果“rash”和“反应”和“青霉素”然后过敏。 Tsetlin机器从标签文本中学习这些公式,利用连接子句来表示每个类别的特定方面。实际上,即使没有术语(否定的特征)也可用于分类目的。我们与Na \'ive Bayes,决策树,线性支持向量机(SVM),随机森林,长期记忆(LSTM)神经网络和其他技术的实证比较是非常有用的.Tsetlin机器的表现与在20个新闻组和IMDb数据集上,以及非公共临床数据集上的所有评估方法都优于其他。平均而言,Tsetlin机器在数据集中提供最佳的召回率和精度分数。最后,我们的Tsetlin机器的GPU实现执行5比CPU实现快15倍,具体取决于数据集。因此我们相信,我们的novelapproach可以对广泛的文本分析应用产生重大影响,形成了使用Tsetlin机器进行更深层次自然语言理解的有希望的起点。
translated by 谷歌翻译
强化学习(RL)是近年来蓬勃发展的一个研究领域,并且已经显示出基于人工智能的电脑游戏对手的巨大潜力。这一成功主要归功于卷积神经网络的巨大功能,它可以从嘈杂和复杂的数据中提取有用的功能。游戏是测试和推动新型RL算法界限的绝佳工具,因为它们可以提供有价值的信息,说明算法在隔离环境中的性能,而不会产生实际后果。即时战略游戏(RTS)是一种具有巨大复杂性并在短期和长期内挑战玩家的类型。有许多研究侧重于在RTS游戏中应用RL,因此在不久的将来可以预见到新的进步。然而,迄今为止,很少有用于测试RTS AI的环境。文献中的环境往往过于简单化,例如microRTS或复杂,并且没有加速学习像星际争霸II这样的消费者硬件的可能性。本文介绍了Deep RTS游戏环境,用于测试RTS游戏的尖端人工智能算法。 DeepRTS是一款专为人工智能研究而设计的高性能RTS游戏。它支持加速学习,这意味着它可以比现有的RTS游戏快50万倍.Deep RTS具有灵活的配置,可以在几种不同的RTS场景中进行研究,包括部分可观察的状态空间和地图复杂性。我们证明了Deep RTS通过将其性能与microRTS,ELF和StarCraft II在高端消费硬件上进行比较,实现了我们的承诺。使用DeepRTS,我们发现Deep Q-Network代理在超过70%的时间内击败了随机播放代理。 Deep RTS可在https://github.com/cair/DeepRTS上公开获取。
translated by 谷歌翻译
衡量字符串之间的相似性是许多已建立和快速发展的研究领域的核心,包括信息检索,生物学和自然语言处理。字符串相似性度量的传统方法是在字空间上定义度量,量化和总结两个字符串中字符之间的差异。令人惊讶的是,该地区最先进的技术在过去几十年中并未发生太大变化。大多数指标都是基于字符和字符分布之间的简单比较,而不考虑单词的上下文。本文提出了一个字符串指标,它包含了基于(1)单词之间的字符相似性的字符串之间的相似性.Non-Standard和相同单词的标准拼写,以及(2)单词的上下文。我们的提议是一个由去噪自动编码和我们称为上下文编码器组成的神经网络,该编码器专门用于根据其上下文查找单词之间的相似性。实验结果表明,在最接近的单词中找到非标准拼写的正确版本,得到的度量成功率为85.4%,而已建立的Normalized-Levenshtein距离为63.2%。此外,我们表明在类似的上下文中使用的词与我们的方法被计算为类似于具有不同上下文的词,这是缺少已建立的字符串度量的理想属性。
translated by 谷歌翻译
Hessian矩阵在各种不同的领域中具有许多重要的应用,例如优化,图像处理和统计。在本文中,我们将重点放在使用Python脚本语言和TensorFlow库在深度学习环境中有效计算Hessianmatrices的实际方面。
translated by 谷歌翻译
人工智能(AI)有机会彻底改变美国国防部(DoD)和情报界(IC)应对不断演变的威胁,数据泛滥和快速行动过程的挑战。开发端到端的人工智能系统需要并行开发不同的部分,这些部分必须协同工作才能提供决策者,作战人员和分析师可以使用的能力。这些部分包括数据收集,数据调节,算法,计算,强大的人工智能和人机组合。虽然今天流行的媒体围绕着算法和计算的进步,但大多数现代人工智能系统都利用了许多不同领域的进步。而且,虽然某些组件可能不像其他组件那样对最终用户可见,但我们的经验表明,这些组件中的每一个都是相互关联的。组件在AI系统的成功或失败中起着重要作用。本文旨在重点介绍端到端AI系统中涉及的许多这些技术。本文的目的是为读者提供学术界,行业界和政府的学术,技术细节和最新亮点的概述。在可能的情况下,我们会指出可用于进一步阅读和理解的相关资源。
translated by 谷歌翻译
我们研究深度神经网络的表达性。通过其连接数或神经元数量来测量网络的复杂性,我们考虑了在增加复杂性预算时,给定复杂度的网络的最佳近似误差以一定速率衰减的函数类。使用经典逼近理论的结果,我们证明了这个类可以赋予(准)范数,使其成为线性函数空间,称为近似空间。我们建立允许网络具有某些类型的“跳过连接”不会改变所得到的近似空间。我们还讨论了网络非线性(也称为激活函数)在结果空间中的作用,以及深度的作用。对于流行的ReLU非线性及其功率,将新构造的空间与经典的Besov空间相提并论。如果这些网络足够深,那么建立的嵌入突出了一些非常低的Besov平滑度的函数可以通过神经网络很好地近似。
translated by 谷歌翻译
射频(RF)传感器与其他传感模式一起使用,提供了世界上丰富的表现形式。鉴于复杂的目标响应的高度可变性,RF系统易受攻击,从准确识别中掩蔽目标特征。在这项工作中,我们评估了不同的技术,用于构建稳健的分类架构,以及在模拟3D目标的接收合成孔径雷达信号中学习物理结构。
translated by 谷歌翻译