变序序列建模是人工和自然智能中的一个重要问题。虽然过度完备隐马尔可夫模型(HMMs),理论上具有表示长期时间结构的能力,但它们常常难以学习并收敛到局部最小值。我们通过使用受生物学启发的简单稀疏结构来约束HiddenMarkov模型(HMM),我们可以使它有效地学习变量序列。我们将此模型称为克隆HMM(CHMM),因为稀疏性结构强制许多隐藏状态确定性地映射到相同的发射状态。具有超过10亿个参数的CHMM可以在GPU上进行有效训练,而不会受到标准HMM的信用扩散问题的严重影响。与n-gram和序列记忆器不同,CHMM可以在任意长距离上建模时间依赖性,并识别其中带有“洞”的上下文。与RecurrentNeural Networks相比,CHMM是可以原生地处理不确定性的生成模型。此外,CHMM返回一个高阶图,表示数据的时间结构,可用于社区检测,以及构建分层模型。我们的实验表明,CHMM可以在字符级语言建模任务上击败字符串,序列记忆器和LSTM。在需要变量订单序列建模和处理不确定性的一些任务中,CHMM可以是这些方法的可行替代方案。
translated by 谷歌翻译
机器学习正在从艺术和科学转变为可供每个开发人员使用的技术。在不久的将来,每个平台上的每个应用程序都将包含训练有素的模型,以编码开发人员无法创作的基于数据的决策。这提出了一个重要的工程挑战,因为目前数据科学和建模在很大程度上与标准软件开发过程脱钩。这种分离使得在应用程序内部的机器学习能力不必要地变得困难,并且进一步阻碍了开发人员将MLin置于首位。在本文中,我们介绍了ML .NET,这是一个在过去十年中在Microsoft开发的框架,用于应对在大型软件应用程序中轻松发布机器学习模型的挑战。我们提出了它的架构,并阐明了形成它的应用程序需求。具体而言,我们引入了DataView,它是ML .NET的核心数据抽象,它可以有效地,一致地捕获完整的预测管道,并在训练和推理生命周期中进行。我们结束了论文,对ML .NET进行了令人惊讶的有利的性能研究,与更多的接受者相比,并讨论了一些经验教训。
translated by 谷歌翻译
基于树的机器学习模型,例如随机森林,决策树和梯度增强树,是当今实践中使用的最流行的非线性预测模型,但是对于解释它们的预测却相对较少关注。在这里,我们通过三个主要贡献显着提高了树模型的可解性:1)基于游戏理论计算最优解释的第一个多项式时间算法。 2)一种直接测量局部特征相互作用效果的新型解释。 3)一组新的工具,用于基于每个预测的许多局部解释来理解全局模型结构。我们将这些工具应用于三个医学机器学习问题,并展示如何结合许多高质量的局部解释使我们能够代表全局结构,同时保持对原始模型的本地忠诚度。这些工具可以使我们知道i)在美国一般人群中识别高幅度但低频率的非线性死亡率因素,ii)突出显示具有共同风险特征的不同群体子群,iii)识别慢性肾病危险因素之间的非线性相互作用, iv)通过识别哪些特征随着时间的推移降低模型的性能来监控部署在医院中的机器学习模型。鉴于基于树的机器学习模型的普及,这些对其可解释性的改进对于广泛的领域具有影响。
translated by 谷歌翻译
信息融合是众多工程系统和生物功能的重要组成部分,例如人类认知。融合发生在许多层面,从信号的低级组合到异构决策过程的高级聚合。虽然过去十年见证了深度学习研究的爆发,但神经网络融合并没有观察到同样的革命。具体而言,大多数神经融合方法是特定的,不被理解,分布与局部,和/解释性低(如果存在的话)。在此,我们证明了模糊Choquet积分(ChI),一种强大的非线性聚合函数,可以表示为多层网络,以下称为ChIMP。我们还提出了一种改进的ChIMP(iChIMP),它根据ChI不等式约束的指数数量导致基于随机梯度下降的优化。 ChIMP / iChIMP的另一个好处是它可以实现可解释的AI(XAI)。提供了综合验证实验,并将iChIMP应用于远程感知中的一组异构架构深度模型的融合。我们展示了模型精度的提高,我们之前建立的XAI指数揭示了我们的数据,模型及其决策的质量。
translated by 谷歌翻译
最近的深度学习方法在语音增强和分离任务方面取得了令人瞩目的成绩然而,这些方法尚未被研究用于分离不同类型的任意声音的混合物,我们称之为通用声音分离的任务,并且未知语音任务的性能是否延续到非语音任务。为了研究这个问题,我们开发了包含任意形式的混合物的通用数据集,并用它来研究基于掩模的分离结构的空间,改变整体网络结构和信号转换的框架分析 - 合成基础。这些网络体系结构包括卷积长期短期记忆网络和时间膨胀卷积栈,其灵感来自最近成功的时间性能增强网络,如ConvTasNet。对于后一种体系结构,我们还提出了新的修改,以进一步提高分离性能。在框架分析 - 合成的基础上,我们使用在TEVasNet中使用的ashort-time傅立叶变换(STFT)或可学习的基础进行探索,并且对于这两个基础,我们检查窗口大小的影响。特别是对于STFT ,我们发现较长的窗口(25-50毫秒)最好的forspeech /非语音分离,而较短的窗口(2.5毫秒)工作最好的任意声音。对于可学习的基础,较短的窗口(2.5毫秒)最适合所有任务。令人惊讶的是,对于通用声音分离,STFT的性能优于基础。我们最好的方法可以改善语音/非语音分离的音阶 - 不变信号与失真比超过13 dB,并且通用声音分离接近10 dB。
translated by 谷歌翻译
估计统计不确定性允许自主代理在任务执行期间传达他们的信心,这对于应用程序等自动驾驶等关键领域非常重要。在这项工作中,我们通过数据聚合提出了改进端到端控制系统的不确定性感知模仿学习(UAIL)算法。 UAIL使用Monte CarloDropout来估计端到端系统的控制输出中的不确定性,使用不确定选择性地获取新训练数据的状态。与先前的数据聚合算法相比,UAIL可以预测其自身的错误并切换到专家,以防止访问一系列次优状态,从而迫使人类专家随机访问最佳状态。我们的模拟驾驶任务的实验结果表明,我们提出的不确定性估计方法可用于可靠地预测分数。我们的分析表明,UAIL在一系列基准测试任务上优于现有的数据聚合算法。
translated by 谷歌翻译
随着生成对抗网络(GAN)领先于改进的合成图像和视频,人们越来越需要将传统取证扩展到这一新的图像类别的算法。尽管已经证明GAN在许多计算机视觉应用中是有用的,但是还存在其他有问题的用途,例如需要这种取证的“深度伪造”。使用各种线索的源相机属性算法已经解决了对相机捕获的图像的这种需求,但合成图像的选择较少。我们通过反转生成过程解决了将合成图像归因于白盒设置中的特定生成器的问题。这使我们能够同时确定发生器是否产生图像并恢复产生与合成图像紧密匹配的输入。
translated by 谷歌翻译
多变量时间序列分类是机器学习社区中的一个高价值和众所周知的问题。特征提取是分类任务的主要步骤。传统方法采用手工制作的特征进行分类,而卷积神经网络(CNN)能够自动提取特征。在本文中,我们使用扩张卷积神经网络进行多变量时间序列分类。为了部署扩张的CNN,将多变量时间序列转换为类似图像的样式,并且应用叠加的双向和跨步卷积以同时提取时间序列中的变量的特征之间和之间。我们在两个人类活动识别时间序列上评估我们的模型,发现为时间序列提取的自动特征可以与手工制作的特征一样有效。
translated by 谷歌翻译
AdaNet是一个基于TensorFlow的轻量级(Abadi等,2015)框架,可以自动学习高质量的集合,只需要很少的专家干预。我们的框架受到AdaNet算法的启发(Cortes等,2017),它融合了神经网络的结构作为子网的集合。我们将其设计为:(1)与现有的TensorFlow生态系统集成,(2)可提供的默认搜索空间,以便在新数据集上表现良好;(3)提供灵活的API以在可用时利用专家信息,以及(4)通过分布式CPU有效加速培训,GPU和TPU硬件。代码isopen-source,可从以下网址获得:https://github.com/tensorflow/adanet。
translated by 谷歌翻译
诸如MAP-Elites之类的质量多样性(QD)算法已成为传统单目标优化方法的有力替代方案。它们最初应用于进化机器人问题,如运动和迷宫导航,但尚未得到广泛应用。我们认为这些算法非常适合视频游戏的丰富领域,它包含许多成功策略的许多相关问题,并且还有多个维度,解决方案可以随之变化。本文介绍了MAP-Elites算法的一种新颖修改,称为带有滑动边界的MAP-Elites(MESB),并将其应用于Hearthstone的设计和重新平衡,这是一种流行的可收集纸牌游戏,其选择用于与特定风格的游戏相关的多维行为特征。为了避免具有混淆行为的细胞过多,MESB基于进化个体的分布来滑动细胞边界。本文的实验证明了MESB在炉石中的表现。结果表明MESB在所选择的行为维度上找到了不同的游戏方式。对进化策略的进一步分析揭示了在行为维度上重现的常见模式,并且探索MESB可以帮助重新平衡游戏。
translated by 谷歌翻译