信息融合是众多工程系统和生物功能的重要组成部分,例如人类认知。融合发生在许多层面,从信号的低级组合到异构决策过程的高级聚合。虽然过去十年见证了深度学习研究的爆发,但神经网络融合并没有观察到同样的革命。具体而言,大多数神经融合方法是特定的,不被理解,分布与局部,和/解释性低(如果存在的话)。在此,我们证明了模糊Choquet积分(ChI),一种强大的非线性聚合函数,可以表示为多层网络,以下称为ChIMP。我们还提出了一种改进的ChIMP(iChIMP),它根据ChI不等式约束的指数数量导致基于随机梯度下降的优化。 ChIMP / iChIMP的另一个好处是它可以实现可解释的AI(XAI)。提供了综合验证实验,并将iChIMP应用于远程感知中的一组异构架构深度模型的融合。我们展示了模型精度的提高,我们之前建立的XAI指数揭示了我们的数据,模型及其决策的质量。
translated by 谷歌翻译
目前用于深度学习的算法可能不能在大脑中运行,因为它们依赖于权重传输,其中前向路径神经元以可能在生理学上不可能的方式将突触权重传递到反馈路径。一种称为反馈对齐的算法通过使用随机反馈权重实现了无需权重传输的深度学习,但它可以在硬视觉识别任务上执行。在这里,我们描述了一个神经环绕的重量镜,它使反馈路径即使在大型网络中也可以快速准确地学习适当的突触重量,无需重量传输或复杂布线,并具有Hebbian学习规则。在ImageNetvisual识别任务上进行测试,具有权重镜像的网络优于普通反馈对齐和较新的符号对称方法,并且几乎匹配使用权重传输的误差反向传播算法。
translated by 谷歌翻译
本报告概述了利用大数据革命和大规模计算解决多信使天体物理学中的重大计算挑战的最新工作,特别强调实时发现活动。该文件承认了多信使天体物理学的跨学科性质,由物理学家,天文学,计算机科学,数据科学,软件和网络基础设施社区的成员编写,他们参加了NSF-,DOE-和NVIDIA资助的“多信使天体物理学的深度学习”。 :实时发现规模“研讨会,于2018年10月17日至19日在国家超级计算应用中心举办。本报告的重点包括一致同意这对于加速新型信号处理算法的开发和部署至关重要。利用人工智能(AI)和高性能计算之间的协同作用,最大限度地发挥Multi-Messenger天体物理学的潜在科学发现。我们讨论了实现这一努力的关键方面,即(i)为多信使天体物理学设计和利用可扩展和计算效率高的AI算法;(ii)数字模拟天体物理资源的网络基础设施要求,以及处理和解释多信使天体物理学数据; (iii)管理引力波探测和触发以实现电磁和天体粒子跟踪; (iv)利用未来发展的机器和深度学习以及网络基础设施资源的愿景与大数据时代的发现规模相结合; (v)需要建立一个社区,将领域专家与数据科学家一起进行平等,以最大限度地加速发现多信天体物理学的新兴领域。
translated by 谷歌翻译
蛔虫C. elegans表现出强烈的逃逸行为,以响应迅速升高的温度。行为持续几秒钟,显示历史依赖性,涉及感觉和运动系统,并且使用当前可用的知识机械地进行过于复杂的模型化。相反,我们在现象学上对过程进行建模,并且我们使用Sir Isaac动态推理平台以完全自动化的方式直接从实验数据推断模型。推断的模型需要结合未观察到的动态变量,并且在生物学上是可解释的。该模型对蠕虫行为的动态进行了准确的预测,可以用来描述逃逸响应背后的动力系统的功能逻辑。这项工作说明了现代人工智能在发现复杂自然系统的准确和可解释模型方面的力量。
translated by 谷歌翻译
基于知识的计划(KBP)是一种放射治疗计划的自动化方法,包括预测理想的治疗计划,然后将其校正为可交付治疗计划。我们提出了一种生成性对抗网络(GAN)方法,用于预测理想的3D剂量分布,避开先前的特定于站点的特征工程范例,并预测计划的低维表示。口咽癌患者数据集的实验表明,超过以前的方法显着优于以前的方法。几个临床满意度标准和相似性指标。
translated by 谷歌翻译
理解智力的核心问题是概括化的概念。这允许利用先前学习的结构来解决在其特殊性不同的新情况下的任务。我们从神经科学中获取灵感,特别是海马 - 内嗅系统已知对于泛化非常重要。我们建议,为了概括结构知识,世界结构的表征,即世界上的实体彼此相关,需要与实体本身的代表分开。在这些原理下,我们展示了嵌入了层次结构和快速Hebbian记忆的人工神经网络,可以记忆记忆的统计数据并概括结构知识。出现在大脑中发现的空间神经元表征,建议空间认知是更一般的组织原则的一个例子。我们进一步统一了许多内嗅细胞类型作为构建转换图的基础函数,并显示这些表示有效地利用了记忆。我们通过实验支持模型假设,显示了环境中内嗅网格和海马位置细胞之间保持的关系。
translated by 谷歌翻译
需要确保处理敏感信息和控制日常生活许多方面的系统的完整性。我们研究了机器学习算法的使用,以使用可执行文件生成的系统调用来检测恶意软件 - 减轻混淆的尝试,因为监视的行为不是可执行文件的字节。我们研究了几种用于检测恶意软件的机器学习技术,包括随机森林,深度学习技术和液态机器。实验通过对训练数据之后收集的数据进行测试,检验每个算法的概念漂移效应,以了解算法对新型恶意软件样本的推广程度。结果表明,每个检查的机器学习算法都是检测恶意软件的可行解决方案,实现了90%到95%的类平均准确度(CAA)。在实际场景中,运营网络上的性能评估可能与培训中的性能不匹配。也就是说,CAA可能大致相同,但对恶意软件的准确和召回的值可能会发生显着变化。我们构建实验以突出这些警告,并提供对操作环境中预期性能的见解。此外,我们使用诱导模型来更好地理解恶意软件样本与良好软件的区别,这可以进一步用作取证工具来了解恶意软件(或良好软件)正在做些什么来为调查和修复提供指导。
translated by 谷歌翻译
基于决策树的方法(如随机森林)的一个优点是能够原生地处理分类预测器而无需首先变换它们(例如,通过使用特征工程技术)。然而,在本文中,我们展示了这种能力如何导致基于决策树的方法固有的“缺失水平”问题,这种方法从未被彻底讨论过,其后果从未被仔细研究过。只要在如何处理已经达到分类分裂的观察方面存在不确定性时就会发生这个问题,该分类在训练期间缺少有问题的观察水平时确定。虽然这些事件似乎是无害的,但是通过使用Leo Breiman和Adele Cutler的随机森林FORTRAN代码和randomForest R软件包(Liaw和Wiener,2002)作为激励案例研究,我们研究了如何忽视缺席水平问题可以系统地偏向模型。此外,通过使用三个真实数据示例,我们说明了缺失级别如何能够在实践中显着改变模型的性能,并且我们凭经验证明了如何使用一些简单的启发式方法来帮助减轻缺失级别问题的影响,直到找到更稳健的理论解决方案。
translated by 谷歌翻译
我们研究了在$ T $是Toeplitz的假设下估计adistribution $ \ mathcal {D} $超过$ d $ -dimensional向量的协方差矩阵$ T $的查询复杂度。这种假设出现在许多信号处理问题中,其中任何两个测量之间的协方差仅取决于那些测量之间的时间或距离。我们对估计策略感兴趣,这些估计策略可能选择仅查看每个矢量样本$ x ^ {(\ ell)} \ sim \ mathcal {D} $中的条目子集,这通常等同于减少无线信号处理应用中的硬件和通信要求高级成像。我们的目标是最小化1)从$ \ mathcal {D} $中抽取的矢量样本数量和2)每个样本中访问的条目数量。我们提供了一些关于利用$ T $的Toeplitz结构的这些样本复杂性度量的第一个非渐近边界,并且通过这样做,显着改进了通用协方差矩阵的结果。我们的界限来自对经典和广泛使用的估计算法(以及一些新变体)的分析,包括基于根据所谓的稀疏标尺从每个矢量样本中选择条目的方法。在许多情况下,我们将上层边界与匹配或几乎匹配的下边界配对。除了适用于任何Toeplitz $ T $的结果之外,我们进一步研究了当$ T $接近低等级时的重要设置,这通常是实践中的情况。我们表明,基于稀疏标尺的方法在这个设置中表现得更好,样本复杂度在$ d $中线性地缩放。受此发现的推动,我们开发了一种新的协方差估计策略,该策略进一步改进了低秩情况下的所有现有方法:当$ T $排名为$ k $ ornearly rank- $ k $时,它实现了样本复杂度,取决于$ k的多项式$并且仅以$ d $对数。
translated by 谷歌翻译
许多材料具有不同的光谱轮廓。这有助于通过首先获取其高光谱图像来估计每个像素处的场景的材料成分,并且随后使用一组光谱图像对其进行滤波。这个过程本质上是浪费的,因为只有一组采集的测量的线性投影有助于分类任务。我们提出了一种新颖的可编程相机,它能够用任意光谱滤波器产生上升图像。我们使用这款相机对场景的高光谱图像的光谱滤波进行光学滤波,以及执行每像素材料分类所需的光谱轮廓库。这在采集速度方面提供了增益 - 因为只获得了相关的测量值 - 以及在信噪比方面---因为我们总是避免使用效率低的窄带滤波器。 Giventraining数据,我们使用一系列经典和现代技术,包括SVM和神经网络,以确定促进材料分类的光谱剖面库。我们使用相机的实验室原型在标准数据集的模拟中验证方法以及实际数据。
translated by 谷歌翻译