在工业环境中越来越越来越多地部署,如事物互联网(IOT)设备和网络物理系统(CPS)正在使制造域中的机器学习(ML)算法的生产使用。随着ML应用从研究超越真实工业环境中的高效,所以发生了可靠性问题。由于大多数ML型号在静态数据集上培训和评估,因此需要连续在线监测其性能来构建可靠的系统。此外,概念和传感器漂移可以随着时间的推移导致算法的准确性降低,从而损害了安全性,接受和经济学,如果未被发现,无法正确解决。在这项工作中,我们示例性地突出了在36个月的课程中记录的公开工业数据集的问题的严重性,并解释了可能的漂移来源。我们评估了制造和展示中常用的ML算法的稳健性,并且随着所有测试算法的越来越高,精度强烈地下降。我们进一步调查了如何利用不确定性估计来用于在线性能估计以及漂移检测作为朝着不断学习应用程序的第一步。结果表明,与随机森林等集合算法表现出漂移下的置信度校准的最小衰减。
translated by 谷歌翻译
我们介绍了多变量时间序列中异常检测问题的新型,实际相关的变化:内在的异常检测。它出现在从DevOps到IoT的各种实践场景中,我们想认识到在周围环境影响下运行的系统的故障。固有的异常是时间序列之间的功能依赖性结构的变化,该时间序列代表代表所述环境中系统内部状态的环境和时间序列。我们将此问题形式化,为其提供了不足的公共和新的专用数据集,并提供了处理内在异常检测的方法。这些解决了无法区分系统状态的预期变化和意外情况的现有异常检测方法的缩写,即,偏离环境影响的系统的变化。我们最有前途的方法是完全无监督的,并结合了对抗性学习和时间序列表示学习,从而解决了标签稀疏性和主观性等问题,同时允许导航并改善臭名昭著的有问题的异常检测数据集。
translated by 谷歌翻译
精神分裂症是一种慢性神经精神疾病,会引起大脑内部的不同结构改变。我们假设将深度学习应用于结构性神经影像学数据集可以检测到与疾病相关的改变,并提高分类和诊断准确性。我们使用单一可用的,常规的T1加权MRI扫描测试了这一假设,我们使用标准后处理方法从中提取了3D全脑结构。然后在三个开放数据集上开发,优化和评估了一个深度学习模型,并对精神分裂症患者进行T1加权MRI扫描。我们提出的模型优于基准模型,该模型还使用3D CNN体系结构对结构MR图像进行了训练。我们的模型几乎能够完美地(ROC曲线下的区域= 0.987),将精神分裂症患者与看不见的结构MRI扫描中的健康对照区分开。区域分析将皮质下区域和心室局部作为最预测的大脑区域。皮层结构在人类的认知,情感和社会功能中起关键作用,这些区域的结构异常与精神分裂症有关。我们的发现证实了精神分裂症与皮质下大脑结构的广泛改变有关,皮层结构信息在诊断分类中提供了突出的特征。总之,这些结果进一步证明了深度学习的潜力,以改善精神分裂症的诊断,并从单个标准的T1加权脑MRI中确定其结构性神经影像学特征。
translated by 谷歌翻译
我们考虑使用Black-Box建议进行凸功能追逐的问题,在线决策者旨在最大程度地降低规范矢量空间中决策之间的总成本和切换的总成本,并得到黑盒建议的帮助,例如机器学习算法。决策者在表现良好的情况下(称为$ \ textit {constancy} $时,都可以寻求与建议相当的成本,同时也确保最差的$ \ textit {robustness} $即使建议是对抗性的。我们首先考虑算法的常见范式,这些算法在建议的决策和竞争算法之间切换,这表明该课程中没有算法可以改善3次持续性,同时保持强大。然后,我们提出了两种新颖的算法,这些算法通过利用问题的凸度来绕过这一限制。第一个,Interp,Achie $(\ sqrt {2}+\ epsilon)$ - 一致性和$ \ Mathcal {o}(\ frac {c} {c} {\ epsilon^2})$ - 任何$ \ epsilon> 0> 0 $,其中$ c $是用于凸起功能或其子类的算法的竞争比率。第二个,bdinterp,达到$(1+ \ epsilon)$ - 一致性和$ \ Mathcal {o}(\ frac {cd} {\ epsilon})$ - 当问题界限直径$ d $时,稳健性。此外,我们表明,对于成本功能为$ \ alpha $ polyhedral的特殊情况,BDINTP实现了几乎最佳的一致性 - 持久性权衡。
translated by 谷歌翻译
我们提出Plingo,这是具有各种概率推理模式的ASP系统clingo的扩展。Plingo以Lp^mln为中心,Lp^mln是基于Markov Logic的权重方案的ASP的概率扩展。这种选择是由于可以将核心概率推理模式映射到优化问题的事实而动机,并且LP^mln可以用作与其他概率方法相关的中间地形式主义。结果,Plingo为Lp^mln,P-Log和Problog提供了三个替代前端。相应的输入语言和推理模式是通过Clingo的多拍和理论解决功能来实现的。pling脚的核心等于在现代ASP技术方面重新实现LP^mln,并以一种基于新方法以最佳顺序进行答案集枚举的近似技术扩展。我们通过将Plingo的性能与其他概率系统进行比较,从经验上评估。
translated by 谷歌翻译
深矩阵因子化(深MF)是最新的无监督数据挖掘技术,其灵感来自受约束的低级别近似值。他们旨在提取高维数据集中功能的复杂层次结构。文献中提出的大多数损失函数用于评估深MF模型的质量和基础优化框架不一致,因为在不同层上使用了不同的损失。在本文中,我们引入了深层MF的两个有意义的损失功能,并提出了一个通用框架来解决相应的优化问题。我们通过整合各种约束和正规化(例如稀疏性,非负和最小体积)来说明这种方法的有效性。这些模型已成功应用于合成数据和真实数据,即高光谱的不混合和提取面部特征。
translated by 谷歌翻译
在私人数据集上训练的机器学习模型已显示出泄漏其私人数据。尽管最近的工作发现平均数据点很少被泄漏,但离群样本通常会经历记忆和隐私泄漏。我们演示和分析了记忆的洋葱效应:删除最容易受到隐私攻击的离群点的“层”,这使以前安全的新层暴露于同一攻击。我们执行几个实验来研究这种效果,并了解其发生的原因。这种效果的存在有各种后果。例如,它表明,在没有严格的隐私保证培训的情况下防御记忆的提案不太可能有效。此外,它表明,诸如机器学习之类的隐私技术实际上可能会损害其他用户的隐私。
translated by 谷歌翻译
在远程多机器人自主探索任务(例如搜索和响应)中,语义对象映射在不确定的,感知下降的环境中是重要且具有挑战性的。在此类任务期间,需要高度召回,避免缺少真正的目标对象,而高精度对于避免在假阳性上浪费宝贵的操作时间也至关重要。鉴于视觉感知算法的最新进展,前者在很大程度上可以自主解决,但是如果没有人类操作员的监督,后者很难解决。但是,诸如任务时间,计算要求,网络网络带宽等诸如操作限制可能使操作员的任务变得不可行,除非得到适当管理。我们提出了早期的召回,较晚的精度(Earlap)语义对象映射管道,以解决此问题。 Earlap在DARPA Subterranean Challenge中被Team Costar使用,在那里成功发现了机器人团队遇到的所有工件。我们将在各种数据集上讨论Earlap的这些结果和性能。
translated by 谷歌翻译
了解训练算法的隐性偏见对于解释过多散热性神经网络的成功至关重要。在本文中,我们研究了标签噪声在通过其连续时间版本的四次参数化模型的训练动力学中的作用。我们明确表征由随机流选择的解决方案,并证明它隐含地解决了套索程序。为了充分完成我们的分析,我们为动力学提供非沉积收敛保证以及支持恢复的条件。我们还提供了支持我们理论主张的实验结果。我们的发现强调了一个事实,即结构化噪声可以引起更好的概括,并有助于解释在实践中观察到的随机动力学的更大性能。
translated by 谷歌翻译
防御对抗例子仍然是一个空旷的问题。一个普遍的信念是,推理的随机性增加了寻找对抗性输入的成本。这种辩护的一个例子是将随机转换应用于输入之前,然后将其馈送到模型。在本文中,我们从经验和理论上研究了这种随机预处理的防御措施,并证明它们存在缺陷。首先,我们表明大多数随机防御措施比以前想象的要弱。他们缺乏足够的随机性来承受诸如投影梯度下降之类的标准攻击。这对长期以来的假设产生了怀疑,即随机防御能力无效,旨在逃避确定性的防御和迫使攻击者以整合对转型(EOT)概念的期望。其次,我们表明随机防御与对抗性鲁棒性和模型不变性之间的权衡面临。随着辩护模型获得更多的随机化不变性,它们变得不太有效。未来的工作将需要使这两种效果分解。我们的代码在补充材料中可用。
translated by 谷歌翻译