虽然在药物发现中使用深度学习正在获得越来越多的注意,但是缺乏计算神经网络预测中的可靠误差的方法使得它们的应用无法指导识别不可靠预测的领域中的决策,例如,精确医学。在这里,我们提出了一个框架来计算使用测试时丢失和共形预测的神经网络预测中的可靠误差。具体来说,该算法包括使用丢失训练单个神经网络,然后将N次应用于验证和测试集,同时在此步骤中采用dropout。因此,对于验证和测试集中的每个实例,都会生成一组预测。然后使用保形集的预测中的残差和绝对误差用于使用保形预测来计算测试集实例的预测误差。我们展示了使用来自ChEMBL 23的24个生物活性数据集,即退出的共形预测器是有效的(即,其真值位于预测区间内的实例的分数与置信水平强烈相关)和效率,因为预测的置信区间跨越比计算的更窄的值集。使用随机森林(RF)模型生成的Conformal Predictors。最后,我们在回顾性虚拟筛选实验中表明,辍学和基于RF的Conformal Predictors可以获得可比较的活性化合物回收率。总的来说,我们提出了一种计算效率高的框架(因为除了训练单个网络之外只需要N个额外的前向传递)来利用测试时间丢失和共形预测框架,从而为深度神经网络生成可靠的预测误差。
translated by 谷歌翻译
随着基于机器学习(ML)的系统的广泛部署,用于各种应用,包括医疗,军事,汽车,基因组以及多媒体和社交网络,存在很大的破坏对抗性学习(AL)攻击的可能性。在本文中,我们提供了AL的当代调查,特别侧重于防御对统计分类器的攻击。在介绍了相关术语以及攻击者和维护者可能的目标和范围之后,我们调查了最近关于测试时间规避(TTE),数据中毒(DP)和逆向工程(RE)攻击的工作,特别是针对相同的防御措施。在这样做的过程中,我们将异常分类与异常检测(AD),无监督与监督,以及基于统计假设的防御与没有明确无效(无攻击)假设的分类进行区分;我们确定了超参数特定方法所需要的,其计算复杂性,以及评估它的性能测量和获得的质量。 Wethen深入挖掘,提供新的见解,挑战传统的AL威胁,针对尚未解决的问题,包括:1)强大的分类与AD作为防御策略; 2)相信攻击成功增加了强度,忽略了对AD的易感性; 3)小扰动最远逃避攻击:谬误还是要求? 4)普遍假设的有效性,即TTE攻击者知道示例被攻击的地面真值类; 5)黑,灰,白盒攻击作为防御评估的标准; 6)基于查询的RE对AD防御的敏感性。然后,我们呈现针对图像的TTE,RE和后门DP攻击的几种防御的基准比较。本文最后讨论了未来的工作。
translated by 谷歌翻译
强化学习(RL)是关于顺序决策的,并且传统上反对监督学习(SL)和无监督学习(USL)。在RL中,在给定当前状态的情况下,代理做出可能影响下一个状态而不是SL(和USL)的决定,其中下一个状态保持不变,无论采取何种决策,无论是批量还是在线学习。虽然这种差异在SL和RL之间是基本的,但是有一些被忽视的联系。特别是,我们在这个例子中证明了梯度策略方法可以被转换为监督学习问题,其中标签被替换为折扣奖励。我们提供了一个新的政策梯度方法证明(PGM),强调与交叉熵和监督学习的紧密联系。我们提供了一个简单的实验,其中我们交换标签和伪奖励。我们得出结论,如果我们明智地修改奖励函数,则可以与SL建立其他关系。
translated by 谷歌翻译
在新兴的边缘计算范例中,移动设备通过在无线网络上路由所需数据,将计算任务卸载到边缘服务器。只有当设备根据延迟和能量消耗选择最合适的服务器时,才能实现边缘计算的全部潜力。然而,由于环境的随机性和缺乏关于环境的先前信息,该问题具有挑战性。因此,智能设备在不确定的情况下顺序选择服务器,试图根据历史时间和能量消耗来改进其决策。在动态环境中,问题变得更加复杂,关键变量可能会突然发生变化。为了解决上述问题,我们首先分析了数据传输和处理所需的时间和精力。 Wethen使用该分析将问题转化为预算受限的多臂带问题,其中每个臂与奖励和成本相关联,具有时变统计特征。我们提出了一项政策来解决制定的强盗问题,并证明是一种遗憾。数值结果证明了该方法与许多现有解决方案相比的优越性。
translated by 谷歌翻译
零射击学习(ZSL)旨在通过从所见类中传递的知识来识别看不见的类。这通常通过利用由看见和未看到的类共享的语义特征空间(FS)(即属性或词向量)作为桥来实现。然而,由于训练(看到)和测试(看不见)数据的相互不相交,现有的ZSL方法容易且通常遭受域移位问题。为了解决这个问题,我们提出了一种名为AMS-SFE的新模型。它通过语义特征扩展来考虑流形结构的对齐。具体来说,我们建立了一个基于自动编码器的模型,以扩展语义特征,并将分解与从数据的视觉FS中提取的嵌入式流形联合起来。这是通过扩展语义特征来首次对齐这两个FS的尝试。大量实验表明,与其他现有方法相比,我们的模型性能得到了显着提高。
translated by 谷歌翻译
当数据非线性嵌入高维空间时,现有的内在维度估计方法通常是不可靠的。在这项工作中,我们表明,对未知支持的几何性质的显式计算导致对内在维数的标准最大似然估计的多项式校正。用于扁平歧管。所提出的算法(GeoMLE)通过对不同大小的邻域的距离最近邻居的标准MLE的回归来实现校正。此外,所提出的方法还有效地处理了歧管的非均匀采样的情况。我们在不同的合成和真实世界数据集上进行了大量实验。结果表明,我们的算法实现了最先进的性能,同时具有计算效率和数据中的噪声。
translated by 谷歌翻译
越来越多的土木工程应用正在利用从配备传感设备的基础设施中获取的数据。该数据在监测这些结构对激发的响应和评估结构健康方面具有重要作用。在本文中,我们试图使用应变和加速数据监测行人天桥上的行人事件(例如行走的人)。这种数据采集的速率和传感装置的数量使得这些数据的存储和分析成为一项计算挑战。我们引入了一种压缩传感器数据的流式传输方法,同时保留了与行人事件相对应的关键模式和特征(对于不同的传感器类型是唯一的) 。通过对行人天桥上的应变传感器和加速度计获得的数据的方法的数值演示被提供以显示在行人事件期间和之间的压缩和准确度之间的权衡。
translated by 谷歌翻译
我们提出了一种基于神经密度估计器的监督异常检测方法,其中负对数似然用于异常分数。密度估计器已被广泛用于无监督异常检测。通过最近深度学习的进展,密度估计性能得到了极大的提高。然而,神经密度估计器不能利用标记信息,这对于改善异常检测性能是有价值的。所提出的方法通过训练神经密度估计器有效地利用异常标记信息,使得正常实例的可能性最大化并且异常实例的可能性低于正常实例的可能性。我们使用自回归模型进行神经密度估计,这使我们能够准确地计算可能性。通过使用16个数据集的实验,我们证明了所提出的方法通过一些标记的异常实例提高了异常检测性能,并且实现了更好的性能,无需监督和监督异常检测方法。
translated by 谷歌翻译
从言语中识别情感是一个非常重要的任务,与情绪本身的明确定义有关。在这项工作中,我们采用基于特征工程的方法来解决语音情感识别的任务。将我们的问题形式化为多类分类问题,我们比较两类模型的性能。对于两者,我们从音频信号中提取手工制作的功能。在第一种方法中,提取的特征用于训练六种传统的机器学习分类器,而第二种方法基于深度学习,其中基线前馈神经网络和基于LSTM的分类器被训练在相同的特征上。为了解决沟通中的歧义,我们还包括文本域中的功能。我们报告了我们评估模型的不同实验设置的准确度,f分数,精度和召回率。总的来说,我们表明,基于机器学习的轻型模型通过一些手工制作的功能进行训练,能够达到与当前深度学习相当的性能基于最先进的情感识别方法。
translated by 谷歌翻译
对于感兴趣的产品,我们提出了一种表示一组参考产品的搜索方法。参考产品可用作支持下游建模任务和业务应用程序的候选者。搜索方法包括产品表示学习和指纹型矢量搜索。通过新颖的注意自动编码器神经网络将产品目录信息转换为高质量的低维度嵌入,并且嵌入还与二进制编码向量相结合以便快速检索。我们通过大量实验来评估所提出的方法,并将其与同行服务进行比较,以证明其在搜索返回率和精度方面的优势。
translated by 谷歌翻译