医疗应用通过要求高精度和易于解释来挑战当今的文本分类技术。尽管深度学习在准确性方面提供了一个飞跃,但这种飞跃是在牺牲可解释性的基础上实现的。为了解决这种准确性 - 可解释性挑战,我们首次引入了一种文本分类方法,该方法利用了最近引入的Tsetlin机器。简而言之,我们将文本的术语表示为命题变量。从这些,我们使用简单的命题公式捕获类别,例如:如果“rash”和“反应”和“青霉素”然后过敏。 Tsetlin机器从标签文本中学习这些公式,利用连接子句来表示每个类别的特定方面。实际上,即使没有术语(否定的特征)也可用于分类目的。我们与Na \'ive Bayes,决策树,线性支持向量机(SVM),随机森林,长期记忆(LSTM)神经网络和其他技术的实证比较是非常有用的.Tsetlin机器的表现与在20个新闻组和IMDb数据集上,以及非公共临床数据集上的所有评估方法都优于其他。平均而言,Tsetlin机器在数据集中提供最佳的召回率和精度分数。最后,我们的Tsetlin机器的GPU实现执行5比CPU实现快15倍,具体取决于数据集。因此我们相信,我们的novelapproach可以对广泛的文本分析应用产生重大影响,形成了使用Tsetlin机器进行更深层次自然语言理解的有希望的起点。
translated by 谷歌翻译
Hessian矩阵在各种不同的领域中具有许多重要的应用,例如优化,图像处理和统计。在本文中,我们将重点放在使用Python脚本语言和TensorFlow库在深度学习环境中有效计算Hessianmatrices的实际方面。
translated by 谷歌翻译
深度学习建立在梯度下降与目标函数收敛于局部最小值的基础上。不幸的是,这种保证在诸如生成对抗网之类的设置中失败,这些设置表现出多种相互作用的损失。基于梯度的方法在游戏中的行为并未被理解 - 并且随着对抗性和多目标体系结构的激增而变得越来越重要。在本文中,我们开发了新的工具来理解和控制n玩家可区分游戏的动态。关键的结果是将雅可比游戏分解为两个组成部分。第一个对称分量与潜在的游戏有关,这些游戏在隐式函数上减少了梯度下降。第二个反对称组件涉及哈密尔顿游戏,这是一类新的游戏,遵循经典机械系统中的守恒定律。分解激发了辛差梯度调整(SGA),这是一种在可微分游戏中寻找稳定不动点的新算法。基本实验表明,SGA与最近提出的用于在GAN中找到稳定的固定点的算法具有竞争性 - 同时适用于并且具有更多一般情况的保证。
translated by 谷歌翻译
抽象地,象棋和扑克等零和游戏的功能是对代理商进行评估,例如将它们标记为“胜利者”和“失败者”。如果游戏具有近似传递性,那么自我游戏会产生强度增加的序列。然而,非传递性游戏,如摇滚剪刀,可以表现出战略周期,并且不再有透明的目标 - 我们希望代理人增加力量,但对谁不清楚。在本文中,我们引入了一个用于在零和游戏中制定目标的几何框架,以构建产生开放式学习的目标的自适应序列。该框架允许我们推断非传递性游戏中的人口表现,并且能够开发一种新算法(纠正的Nash响应,PSRO_rN),该算法使用游戏理论小生境构建不同的有效代理群体,产生比现有算法更强的代理集合。我们将PSRO_rN应用于两个高度非传递性的资源分配游戏,并发现PSRO_rN一直优于现有的替代方案。
translated by 谷歌翻译
利用分散控制来开发下水道系统的能力是最大限度地减少溢流的有效手段。考虑到真实下水道系统的规模,利用下水道管道中所有已安装的控制结构可能具有挑战性。本文提出了一种基于无监督学习算法实现集中控制措施的分而治之的解决方案。 Asewer系统首先分为若干子汇水面。然后收集一系列影响下水道系统性能的自然和建造因素。然后将聚类算法应用于具有类似水力水文特征的分组。接下来,执行主成分分析以解释子流域群的主要特征并识别优先控制位置。基于水力模型对不同控制场景下的溢流进行了比较。仿真结果表明,应用于最合适的集群的优先级控制可以带来最有利可图的结果。
translated by 谷歌翻译
本文介绍了一种新型的集水区污水转移(ICWT)方法,用于减少下水道溢流。 ICWT旨在通过下水道系统设施的协同运作来平衡污水处理厂(WWTP)的下水道流量和处理能力的空间不匹配。使用水力模型,在挪威德拉门的下水道系统中研究了ICWT的有效性。关于整个系统的性能,我们发现S {\ o} renLemmich泵站在ICWT框架中起着至关重要的作用。为了增强该泵站的运行,必须构建一个多头水位预测模型。因此,最有希望的人工智能技术之一,即长期短期记忆(LSTM),用于完成这项任务。实验证明LSTM优于GatedRecurrent Unit(GRU),Recurrent Neural Network(RNN),前馈神经网络(FFNN)和支持向量回归(SVR)。
translated by 谷歌翻译
综合下水道溢流(CSO)是许多城市需要解决的主要问题。通过适当的城市水文模型了解下水道系统的行为是加强下水道系统管理的有效方法。传统的确定性方法严重依赖于物理原理,由于其昂贵的计算而不适合于实时目的。另一方面,数据驱动方法获得了巨大的兴趣,但大多数研究仅侧重于在非常抽象的层面上对下水道系统的单个组成部分和供应信息进行建模。在本文中,我们提出了深度CSO模型,该模型旨在在全市范围内近乎实时地同时预测来自多个CSO结构的CSO事件。所提出的模型提供了一种中间方法,该方法结合了数据驱动方法的灵活性和确定性方法中包含的丰富信息,同时避免了这两种方法的缺点。对结果的比较表明,基于深度学习的多任务模型优于传统方法。
translated by 谷歌翻译
多智能体系统的行为动态具有丰富有序的结构,可用于理解这些系统,并改善人工智能学习如何在其中运行。在这里,我们介绍了用于多智能体学习的关系前向模型(RFM),这些网络可以学习如何在多智能体环境中对代理的未来行为进行准确的预测。因为这些模型对环境中存在的离散实体和关系进行操作,所以它们产生可解释的中间体表达能够深入了解推动代理人行为的因素,以及调解社交互动的强度和价值的事件。此外,我们展示了代理内部的RFM模块,与非增强基线相比,可以实现更快的学习系统。随着我们开发和交互的自治系统越来越多地成为多智能体,开发利用分析工具来表征代理如何以及为何做出决策的工具越来越必要。此外,开发快速且易于学会彼此协调的人工制剂以及在共享环境中与人类协调是至关重要的。
translated by 谷歌翻译
通过强化学习(RL)在人工智能方面的最新进展已经在日益复杂的单一代理环境和双人回合制游戏中取得了巨大成功。然而,真实世界包含多个代理,每个代理都独立学习和行动以与其他代理进行合作和竞争,反映这种复杂程度的环境仍然是一个难题。在这项工作中,我们首次演示了一个代理可以在一个流行的3D多人第一人称视频游戏Quake III Arena夺旗中实现人类级别,仅使用像素和游戏点作为输入。这些结果是通过一个新颖的两层优化过程,其中独立RL代理的人口从数千个并行匹配中同时训练,其中代理一起玩并且在随机生成的环境中彼此相对。群体中的每个代理人学习其自己的内部奖励信号以补充来自获胜的稀疏延迟奖励,并且使用新颖的时间分层表示来选择动作,该代表可以使代理在多个时间尺度下进行推理。在游戏过程中,这些代理人基于丰富的学习表示来显示类似人的行为,例如导航,跟随和保护,该学习表示被示出为编码高级游戏知识。在广泛的锦标赛风格评估中,训练有素的球员超过了作为队友和对手的强大的人类球员的胜利率,并且证明远比现有的最先进的特工更强。这些结果表明人工智能的能力显着提升,让我们更接近人类智慧的目标。
translated by 谷歌翻译
在未来,人工学习代理可能会在我们的社会中变得越来越普遍。他们将在各种复杂环境中与其他学习代理人和人类进行互动,包括社会困境。我们考虑外部代理如何通过在观察学习者行为的基础上分配额外的奖励和惩罚来促进人工学习者之间的合作。我们提出了一条规则,通过考虑玩家的预期参数更新,自动学习如何创建正确的激励。使用这种学习规则导致在矩阵游戏中与高社会福利的合作,否则代理人将以高概率学习缺陷。我们表明,即使在给定数量的剧集之后关闭计划代理,在某些游戏中产生的合作结果也是稳定的,而其他游戏需要持续干预以维持相互合作。然而,即使在后一种情况下,必要的额外激励的数量也会随着时间的推移而减少。
translated by 谷歌翻译