近年来,神经网络(NNS)的普及及其在现实世界应用中的普遍性的日益普及引起了人们对其验证的重要性的关注。虽然验证在理论上是计算困难的,但在实践中提出了许多解决该验证的技术。在文献中已经观察到,默认情况下,神经网络很少满足我们想要验证的逻辑约束。良好的行动是在验证验证之前训练给定的NN满足上述约束。这个想法有时被称为持续验证,指训练和验证之间的循环。通常,通过将给定正式逻辑语言的翻译指定为损失功能,可以实现带有约束的培训。然后,这些损失功能用于训练神经网络。因为为了培训目的,这些功能需要可区分,因此这些翻译称为可区分逻辑(DL)。这提出了几个研究问题。什么样的可区分逻辑是可能的?在连续验证的背景下,DL的特定选择有什么区别?从最终损失函数的角度来看,DL的理想标准是什么?在这个扩展的摘要中,我们将讨论并回答这些问题。
translated by 谷歌翻译
随着深度机器学习对现实生活应用的扩散,该技术的一种特殊属性引起了人们的注意:稳健性神经网络臭名昭著地表现出低的鲁棒性,并且对小输入扰动非常敏感。最近,已经提出了许多用于验证网络鲁棒性的一般特性的方法,但是它们主要用于计算机视觉。在本文中,我们提出了基于较大感兴趣区域的自然语言理解分类的验证规范,我们讨论了此类任务的挑战。我们观察到,尽管数据几乎是线性可分离的,但验证者努力输出积极的结果,我们解释了问题和含义。
translated by 谷歌翻译
神经网络在检测嘈杂数据中的模式方面非常成功,并且已成为许多领域的首选技术。但是,他们对对抗攻击的敏感性阻碍了它们的有用性。最近,已经提出了许多用于衡量和改善网络对对抗性扰动的鲁棒性的方法,并且这项不断增长的研究体现了许多明确或隐性的鲁棒性观念。这些概念之间的联系通常是微妙的,文献中缺少它们之间的系统比较。在本文中,我们开始解决这一差距,通过在网络的培训阶段,其验证和部署之后设置对网络鲁棒性作为数学属性的经验分析和评估的一般原则。然后,我们应用这些原则并进行案例研究,以展示我们一般方法的实际好处。
translated by 谷歌翻译
There are multiple scales of abstraction from which we can describe the same image, depending on whether we are focusing on fine-grained details or a more global attribute of the image. In brain mapping, learning to automatically parse images to build representations of both small-scale features (e.g., the presence of cells or blood vessels) and global properties of an image (e.g., which brain region the image comes from) is a crucial and open challenge. However, most existing datasets and benchmarks for neuroanatomy consider only a single downstream task at a time. To bridge this gap, we introduce a new dataset, annotations, and multiple downstream tasks that provide diverse ways to readout information about brain structure and architecture from the same image. Our multi-task neuroimaging benchmark (MTNeuro) is built on volumetric, micrometer-resolution X-ray microtomography images spanning a large thalamocortical section of mouse brain, encompassing multiple cortical and subcortical regions. We generated a number of different prediction challenges and evaluated several supervised and self-supervised models for brain-region prediction and pixel-level semantic segmentation of microstructures. Our experiments not only highlight the rich heterogeneity of this dataset, but also provide insights into how self-supervised approaches can be used to learn representations that capture multiple attributes of a single image and perform well on a variety of downstream tasks. Datasets, code, and pre-trained baseline models are provided at: https://mtneuro.github.io/ .
translated by 谷歌翻译
基于深度学习(DL)的创造性努力的受欢迎程度继续增长,没有任何放缓的迹象。十年前,不可预测的是,多种创意领域中DL模型的成就本身就是壮观的。在这项工作中,我结合了多种公开的DL模型,以创建多媒体娱乐的全自动系统。我提出的框架足以容纳任何娱乐类型,但我专注于儿童视频文献制作的任务。
translated by 谷歌翻译
在本文中,我们将预处理技术应用于具有不同长度的多通道时间序列数据,我们称之为对齐问题,用于下游机器学习。多种原因可能发生多种渠道时间序列数据的未对准,原因有多种原因,例如丢失的数据,变化的采样率或不一致的收集时间。我们考虑从MIT SuperCloud高性能计算(HPC)中心收集的多渠道时间序列数据,其中不同的工作开始时间和HPC作业的运行时间不同,导致数据不对准。这种未对准使得为计算工作负载分类等任务构建AI/ML方法具有挑战性。在先前使用MIT SuperCloud数据集的监督分类工作的基础上,我们通过三种宽阔的低间接空间方法解决了对齐问题:从全职系列中抽样固定子集,在全职系列上执行摘要统计信息,并对系数进行取样。从映射到频域的时间序列。我们最佳性能模型的分类精度大于95%,以先前的方法对MIT SuperCloud数据集的多通道时间序列分类的表现优于5%。这些结果表明,我们的低间接费用方法与标准机器学习技术结合使用,能够达到高水平的分类准确性,并作为解决对齐问题(例如内核方法)的未来方法的基准。
translated by 谷歌翻译
倾斜的随机生存森林(RSF)是一种用于右翼结果的合奏监督学习方法。斜RSF中的树是使用预测变量的线性组合生长的,以创建分支,而在标准RSF中,使用单个预测变量。倾斜的RSF集合通常比标准RSF合奏具有更高的预测准确性。但是,评估预测变量的所有可能的线性组合会诱导大量的计算开销,从而将应用限制为大规模数据集。此外,几乎没有开发用于解释斜RSF合奏的方法,与基于轴的对应物相比,它们仍然难以解释。我们介绍了一种提高斜力RSF计算效率的方法,以及一种用斜RSF估计单个预测变量重要性的方法。我们减少计算开销的策略是利用牛顿 - 拉夫森评分(Newton-Raphson)评分,这是一种经典的优化技术,我们适用于决策树的每个非叶子节点内的COX部分似然函数。我们通过在线性组合中否定了用于给定预测指标的每个系数,然后计算出降低的降低准确性,从而估计单个预测因子对斜RSF的重要性。通常,在基准测试实验中,我们发现,与现有的斜RSF相比,与现有软件相比,我们对斜RSF的实现速度约为450倍,而较高的Brier得分则要高450倍。我们在模拟研究中发现,“否定重要性”比置换重要性,莎普利添加性解释和先前引入的技术更可靠地区分相关和无关的预测因子,以基于方差分析来衡量斜RSF的可变重要性。当前研究中引入的方法可在AORSF R软件包中获得。
translated by 谷歌翻译
神经网络越来越依赖于复杂安全系统(例如自动驾驶汽车)的组成部分。对在更大的验证周期中嵌入神经网络验证的工具和方法的需求很高。但是,由于关注的广泛验证属性,很难进行神经网络验证,通常每个验证属性仅适用于专用求解器中的验证。在本文中,我们展示了最初设计用于验证,验证和仿真金融基础架构的功能编程语言的Imandra如何为神经网络验证提供整体基础架构。我们开发了一个新颖的图书馆Checkinn,该图书馆在Imandra的神经网络上形式化,并涵盖了神经网络验证的不同重要方面。
translated by 谷歌翻译
通过一系列联邦举措和命令,美国政府一直在努力确保美国在AI中的领导。这些广泛的战略文件影响了美国空军美国部(DAF)等组织。DAF-MIT AI加速器是DAF和MIT之间的一项计划,以弥合AI研究人员与DAF任务要求之间的差距。DAF-MIT AI加速器支持的几个项目正在开发公共挑战问题,这些问题解决了许多联邦AI研究的重点。这些挑战是通过公开可用的大型AI-Ready数据集,激励开源解决方案,并为可以激发进一步研究的双重使用技术创建需求信号,来针对优先事项。在本文中,我们描述了正在开发的这些公共挑战以及它们的应用如何促进科学进步。
translated by 谷歌翻译
深度学习已被证明可以准确评估“隐藏”表型,并从传统临床医生对医学成像的解释之外的医学成像中预测生物标志物。鉴于人工智能(AI)模型的黑匣子性质,应在将模型应用于医疗保健时谨慎,因为预测任务可能会因疾病和患者人群的人口统计学差异而短路。使用来自两个医疗保健系统的大超声心动图数据集,我们测试使用深度学习算法从心脏超声图像中预测年龄,种族和性别,并评估各种混杂变量的影响。我们培训了基于视频的卷积神经网络,以预测年龄,性别和种族。我们发现,深度学习模型能够确定年龄和性别,同时无法可靠地预测种族。不考虑类别之间的混淆差异,AI模型预测性别为0.85(95%CI 0.84-0.86),年龄为9.12年的平均绝对误差为9.12年(95%CI 9.00-9.25),从AUC进行竞赛, 0.63-0.71。在预测种族时,我们表明,在培训数据中调整混杂变量(性别)的比例会显着影响AUC(从0.57到0.84),而在训练性别预测模型中,调整混杂因素(Race)并未实质性更改AUC(0.81-0.83)。这表明该模型在预测种族方面的表现很大一部分可能来自AI检测到的混杂功能。进一步的工作仍然是确定与人口统计信息相关的特定成像功能,并更好地了解医学AI中人口统计学识别的风险,因为它与潜在的偏见和差异有关。
translated by 谷歌翻译