传统的理性行动模式将代理视为与其环境完全分离,并且可以从外部对该环境起作用。这些代理与环境具有已知的功能关系,可以在每个细节上对其环境进行建模,并且不需要对其自身或其内部部分进行理解。我们提供了一个非正式的调查,以确定在其环境中嵌入良好推理饲料的正规化障碍。这些代理必须优化不属于“函数”类型的环境;他们必须依赖于适合整个环境的模型;他们必须将自己称为另一个物理系统,由可以修改的部件组成,并且可以在交叉目的下工作。
translated by 谷歌翻译
There are several distinct failure modes for overoptimization of systems on the basis of metrics. This occurs when a metric which can be used to improve a system is used to such an extent that further optimization is ineffective or harmful, and is sometimes termed Goodhart's Law 1. This class of failure is often poorly understood, partly because terminology for discussing them is ambiguous , and partly because discussion using this ambiguous terminology ignores distinctions between different failure modes of this general type. This paper expands on an earlier discussion by Garrabrant [2], which notes there are "(at least) four different mechanisms" that relate to Goodhart's Law. This paper is intended to explore these mechanisms further, and specify more clearly how they occur. This discussion should be helpful in better understanding these types of failures in economic regulation, in public policy, in machine learning, and in artificial intelligence alignment[4]. The importance of Goodhart effects depends on the amount of power directed towards optimizing the proxy, and so the increased optimizationpower offered by artificial intelligence makes it especially critical for that field. Varieties of Goodhart-like Phenomena As used in this paper, a Goodhart effect is when optimization causes a collapse of the statistical relationship between a goal which the optimizer intends and the proxy used for that goal. The four categories of Goodhart effects introduced by Garrabrant are 1) Regressional, where selection for an imperfect 1 As a historical note, Goodharts Law [1] as originally formulated states that "any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes." This has been interpreted and explained more widely, perhaps to the point where it is ambiguous what the term means. Other closely related formulations, such as Campbell's law (which arguably has scholarly precedence[3]) and the Lucas critique, were also initially specific, and their interpretation has also been expanded greatly. Lastly, the Cobra Effect and perverse incentives are often closely related to these failures, and the different effects interact. Because none of the terms were laid out formally, the categories proposed do not match what was originally discussed. A separate forthcoming paper intends to address the relationship between those formulations and the categories more formally explained here.
translated by 谷歌翻译
机器学习正在从艺术和科学转变为可供每个开发人员使用的技术。在不久的将来,每个平台上的每个应用程序都将包含训练有素的模型,以编码开发人员无法创作的基于数据的决策。这提出了一个重要的工程挑战,因为目前数据科学和建模在很大程度上与标准软件开发过程脱钩。这种分离使得在应用程序内部的机器学习能力不必要地变得困难,并且进一步阻碍了开发人员将MLin置于首位。在本文中,我们介绍了ML .NET,这是一个在过去十年中在Microsoft开发的框架,用于应对在大型软件应用程序中轻松发布机器学习模型的挑战。我们提出了它的架构,并阐明了形成它的应用程序需求。具体而言,我们引入了DataView,它是ML .NET的核心数据抽象,它可以有效地,一致地捕获完整的预测管道,并在训练和推理生命周期中进行。我们结束了论文,对ML .NET进行了令人惊讶的有利的性能研究,与更多的接受者相比,并讨论了一些经验教训。
translated by 谷歌翻译
基于树的机器学习模型,例如随机森林,决策树和梯度增强树,是当今实践中使用的最流行的非线性预测模型,但是对于解释它们的预测却相对较少关注。在这里,我们通过三个主要贡献显着提高了树模型的可解性:1)基于游戏理论计算最优解释的第一个多项式时间算法。 2)一种直接测量局部特征相互作用效果的新型解释。 3)一组新的工具,用于基于每个预测的许多局部解释来理解全局模型结构。我们将这些工具应用于三个医学机器学习问题,并展示如何结合许多高质量的局部解释使我们能够代表全局结构,同时保持对原始模型的本地忠诚度。这些工具可以使我们知道i)在美国一般人群中识别高幅度但低频率的非线性死亡率因素,ii)突出显示具有共同风险特征的不同群体子群,iii)识别慢性肾病危险因素之间的非线性相互作用, iv)通过识别哪些特征随着时间的推移降低模型的性能来监控部署在医院中的机器学习模型。鉴于基于树的机器学习模型的普及,这些对其可解释性的改进对于广泛的领域具有影响。
translated by 谷歌翻译
信息融合是众多工程系统和生物功能的重要组成部分,例如人类认知。融合发生在许多层面,从信号的低级组合到异构决策过程的高级聚合。虽然过去十年见证了深度学习研究的爆发,但神经网络融合并没有观察到同样的革命。具体而言,大多数神经融合方法是特定的,不被理解,分布与局部,和/解释性低(如果存在的话)。在此,我们证明了模糊Choquet积分(ChI),一种强大的非线性聚合函数,可以表示为多层网络,以下称为ChIMP。我们还提出了一种改进的ChIMP(iChIMP),它根据ChI不等式约束的指数数量导致基于随机梯度下降的优化。 ChIMP / iChIMP的另一个好处是它可以实现可解释的AI(XAI)。提供了综合验证实验,并将iChIMP应用于远程感知中的一组异构架构深度模型的融合。我们展示了模型精度的提高,我们之前建立的XAI指数揭示了我们的数据,模型及其决策的质量。
translated by 谷歌翻译
最近的深度学习方法在语音增强和分离任务方面取得了令人瞩目的成绩然而,这些方法尚未被研究用于分离不同类型的任意声音的混合物,我们称之为通用声音分离的任务,并且未知语音任务的性能是否延续到非语音任务。为了研究这个问题,我们开发了包含任意形式的混合物的通用数据集,并用它来研究基于掩模的分离结构的空间,改变整体网络结构和信号转换的框架分析 - 合成基础。这些网络体系结构包括卷积长期短期记忆网络和时间膨胀卷积栈,其灵感来自最近成功的时间性能增强网络,如ConvTasNet。对于后一种体系结构,我们还提出了新的修改,以进一步提高分离性能。在框架分析 - 合成的基础上,我们使用在TEVasNet中使用的ashort-time傅立叶变换(STFT)或可学习的基础进行探索,并且对于这两个基础,我们检查窗口大小的影响。特别是对于STFT ,我们发现较长的窗口(25-50毫秒)最好的forspeech /非语音分离,而较短的窗口(2.5毫秒)工作最好的任意声音。对于可学习的基础,较短的窗口(2.5毫秒)最适合所有任务。令人惊讶的是,对于通用声音分离,STFT的性能优于基础。我们最好的方法可以改善语音/非语音分离的音阶 - 不变信号与失真比超过13 dB,并且通用声音分离接近10 dB。
translated by 谷歌翻译
估计统计不确定性允许自主代理在任务执行期间传达他们的信心,这对于应用程序等自动驾驶等关键领域非常重要。在这项工作中,我们通过数据聚合提出了改进端到端控制系统的不确定性感知模仿学习(UAIL)算法。 UAIL使用Monte CarloDropout来估计端到端系统的控制输出中的不确定性,使用不确定选择性地获取新训练数据的状态。与先前的数据聚合算法相比,UAIL可以预测其自身的错误并切换到专家,以防止访问一系列次优状态,从而迫使人类专家随机访问最佳状态。我们的模拟驾驶任务的实验结果表明,我们提出的不确定性估计方法可用于可靠地预测分数。我们的分析表明,UAIL在一系列基准测试任务上优于现有的数据聚合算法。
translated by 谷歌翻译
随着生成对抗网络(GAN)领先于改进的合成图像和视频,人们越来越需要将传统取证扩展到这一新的图像类别的算法。尽管已经证明GAN在许多计算机视觉应用中是有用的,但是还存在其他有问题的用途,例如需要这种取证的“深度伪造”。使用各种线索的源相机属性算法已经解决了对相机捕获的图像的这种需求,但合成图像的选择较少。我们通过反转生成过程解决了将合成图像归因于白盒设置中的特定生成器的问题。这使我们能够同时确定发生器是否产生图像并恢复产生与合成图像紧密匹配的输入。
translated by 谷歌翻译
多变量时间序列分类是机器学习社区中的一个高价值和众所周知的问题。特征提取是分类任务的主要步骤。传统方法采用手工制作的特征进行分类,而卷积神经网络(CNN)能够自动提取特征。在本文中,我们使用扩张卷积神经网络进行多变量时间序列分类。为了部署扩张的CNN,将多变量时间序列转换为类似图像的样式,并且应用叠加的双向和跨步卷积以同时提取时间序列中的变量的特征之间和之间。我们在两个人类活动识别时间序列上评估我们的模型,发现为时间序列提取的自动特征可以与手工制作的特征一样有效。
translated by 谷歌翻译
变序序列建模是人工和自然智能中的一个重要问题。虽然过度完备隐马尔可夫模型(HMMs),理论上具有表示长期时间结构的能力,但它们常常难以学习并收敛到局部最小值。我们通过使用受生物学启发的简单稀疏结构来约束HiddenMarkov模型(HMM),我们可以使它有效地学习变量序列。我们将此模型称为克隆HMM(CHMM),因为稀疏性结构强制许多隐藏状态确定性地映射到相同的发射状态。具有超过10亿个参数的CHMM可以在GPU上进行有效训练,而不会受到标准HMM的信用扩散问题的严重影响。与n-gram和序列记忆器不同,CHMM可以在任意长距离上建模时间依赖性,并识别其中带有“洞”的上下文。与RecurrentNeural Networks相比,CHMM是可以原生地处理不确定性的生成模型。此外,CHMM返回一个高阶图,表示数据的时间结构,可用于社区检测,以及构建分层模型。我们的实验表明,CHMM可以在字符级语言建模任务上击败字符串,序列记忆器和LSTM。在需要变量订单序列建模和处理不确定性的一些任务中,CHMM可以是这些方法的可行替代方案。
translated by 谷歌翻译