我们介绍了一种基于功能空间上的近似贝叶斯推理而不是深度神经网络参数的有监督连续学习的新方法。我们使用通过将神经网络的最后一层的权重视为随机和高斯分布而获得的高斯过程。用于连续学习的功能正则化自然地通过以顺序方式应用变分稀疏GP推理方法来遇到新任务。在该过程的每个步骤中,构造当前任务的概要,其包括(i)诱导输入和(ii)在这些输入处的函数值的后验分布。本摘要通过出现在变分下界中的Kullback-Leiblerregularisation术语来定期学习未来任务,并减少灾难性遗忘的影响。我们充分发展了方法理论,并证明了它在分类数据集中的有效性,如Split-MNIST,Permuted-MNIST和Omniglot。
translated by 谷歌翻译
Dropout是一种用于训练神经网络的随机正则化技术,最近被重新解释为贝叶斯神经网络的一种特定类型的近似推理算法。解释的主要贡献在于提供用于分析和扩展算法的理论框架。我们表明,拟议的框架存在几个问题;从真正的后验与使用不正确的先验的不确定或病态行为,到不明确的变分目标,相对于真实后验的近似分布的奇异性。我们对在变分高斯辍学中使用的不正确对数统一的分析表明,病理学通常是不可挽救的,并且该算法仍然有效,因为变分公式使一些病理学失效。为了解决奇点问题,我们提出了准KL(QKL)散度,一种用于近似高维分布的新近似推理目标。我们表明,基于离散化和噪声的变分伯努利辍学的动机将QKL作为一个极限。在理论上和简单的实际例子中研究了QKL的性质,这表明具有退化的全高斯高斯的QKL最优近似自然导致主成分分析解决方案。
translated by 谷歌翻译
虽然深度神经网络已经显示出很大的经验成功,但要理解它们的理论属性还有很多工作要做。在本文中,我们研究了具有多个隐藏层的随机,宽,​​完全连接,前馈网络和具有递归内核定义的高斯过程之间的关系。我们表明,在广泛的条件下,随着建筑越来越广泛,隐含的随机函数将分布收敛到高斯过程,将Neal(1996)的现有结果形式化并扩展到深层网络。为了准确地评估收敛速度,我们使用最大均值差异。然后,我们将有限贝叶斯深度网络从文献中与高斯过程进行比较,得出关键预测量,发现在某些情况下协议可能非常接近。我们讨论了高斯过程行为的可取性,并从文献中回顾了非高斯替代模型。
translated by 谷歌翻译
GPflow是一个高斯过程库,它使用TensorFlow进行核心计算,使用Python作为前端。 GPflow的显着特点是它使用变分推理作为主要的近似方法,通过使用自动差异提供简洁的代码,特别强调软件测试,并且能够开发GPU硬件。
translated by 谷歌翻译
Gaussian process (GP) models form a core part of probabilistic machinelearning. Considerable research effort has been made into attacking threeissues with GP models: how to compute efficiently when the number of data islarge; how to approximate the posterior when the likelihood is not Gaussian andhow to estimate covariance function parameter posteriors. This papersimultaneously addresses these, using a variational approximation to theposterior which is sparse in support of the function but otherwise free-form.The result is a Hybrid Monte-Carlo sampling scheme which allows for anon-Gaussian approximation over the function values and covariance parameterssimultaneously, with efficient computations based on inducing-point sparse GPs.Code to replicate each experiment in this paper will be available shortly.
translated by 谷歌翻译
Machine learning (ML) techniques are enjoying rapidly increasing adoption. However, designing and implementing the systems that support ML models in real-world deployments remains a significant obstacle, in large part due to the radically different development and deployment profile of modern ML methods, and the range of practical concerns that come with broader adoption. We propose to foster a new systems machine learning research community at the intersection of the traditional systems and ML communities, focused on topics such as hardware systems for ML, software systems for ML, and ML optimized for metrics beyond predictive accuracy. To do this, we describe a new conference, SysML, that explicitly targets research at the intersection of systems and machine learning with a program committee split evenly between experts in systems and ML, and an explicit focus on topics at the intersection of the two.
translated by 谷歌翻译
涉及多艘船舶的海上碰撞被认为是罕见的,但在2017年,美国海军的几艘船只涉及致命的海上碰撞,导致17名美国军人死亡。本文介绍的实验是对这些事件的直接反应。我们提出了一种基于视频图像处理的舰载碰撞 - 海上避让系统,它将有助于确保海上船只的安全驻留和导航。我们的系统利用在合成海事图像上训练的卷积神经网络,以便在场景中检测附近的船只,对检测到的船只进行航向分析,并在入境船舶存在的情况下提供analert。此外,我们还提供了导航危害 - 合成(NAVHAZ-Synthetic)数据集。该数据集包括从虚拟船载摄像机观察到的十个船级的一百万个注释图像,以及人类“Topside Lookout”视角。 NAVHAZ-Synthetic包括显示不同海况,光照条件和光学降解(如雾,海浪和盐积累)的图像。我们展示了在基于计算机视觉的海上碰撞预警系统中使用合成图像的结果,该系统具有良好的性能。
translated by 谷歌翻译
数据分类存在于不同的实际问题中,例如识别图像中的图案,区分生产线中的缺陷部分,对良性和恶性肿瘤进行分类等。这些问题中的许多都具有难以识别的数据模式,这需要更先进的分辨技术。最近,已经应用了几种针对不同人工神经网络架构的工作来解决分类问题。当分类问题必须通过图像获得时,目前,标准方法是使用卷积神经网络。因此,在本报告中,卷积神经网络被用来对鱼类进行分类。 Classifica \ c {c} \〜ao de dados est \'a presente em diversos problemas reais,tais como:reconhecer padr \〜oes em imagens,diferenciar pe \ c {c} as defeituosasem uma linha de produ \ c {c} \〜ao,classificar tumores benignos e malignos,dentrediversas outras。 Muitos认为问题可能是错误的问题,他们可能会发现问题,但是他们会在这里找到问题,他们会在这里找到自己的想法。 Recentemente,diversos trabalhosabordando diferentes arquiteturas de redes neurais artificiais v \ ^ em sendoaplicados para solucionar problemas de classifica \ c {c} \ ~ao。 Quando aclassifica \ c {c} \〜ao do problema deve ser obtida por meio de imagens,atualmentea metodologia padr \〜ao \'e udes de redes neurais convolucionais。 Sendo assim,neste trabalho s \〜ao utilizadas redes neurais convolucionais paraclassifica \ c {c} \ ~ao de esp \'ecies de peixes。
translated by 谷歌翻译
在本文中,我们使基于测地距离的递归滤波器适应稀疏数据插值问题。所提出的技术是通用的,并且可以很好地应用于任何类型的稀疏数据。我们在定性和定量评估的三个实验中证明了优于其他插值技术的优势。此外,我们将我们的方法与EpicFlow光学流程论文中流行的插值算法进行了比较,该算法由相似的测地距离原理直观地推动。比较表明,我们的算法比EpicFlow插值技术更准确,速度更快。
translated by 谷歌翻译
处理大型文件集在许多领域都具有重要意义,尤其是在犯罪调查和防御领域,在这些领域,组织可能会出现大量需要在有限时间内处理的扫描文件。然而,就扫描文档和需要处理的页面的复杂性而言,这个问题更加严重。通常包含许多不同的元素,每个元素都需要被处理和理解。文本识别是这个过程的主要任务,通常取决于文本的类型,无论是手写还是机器打印。因此,在决定要应用的识别方法之前,识别涉及文本类别的先前分类。如果文档包含手写和机器打印的文本,这将带来更具挑战性的任务。在这项工作中,我们提供了一个通用的流程,用于在包含混合手写和机器打印文本的扫描文档中进行文本识别,而无需对文本进行分类。我们使用几个开源图像处理和文本识别包1实现了所提出的流程。使用IAM手写数据库中的特别开发的变体进行评估,其中我们实现了包含打印和手写文本的平均转录精度接近80%。
translated by 谷歌翻译