哈密​​顿蒙特卡罗是一种强大的算法,用于从难以归一化的后验分布中进行采样。然而,当后部的几何形状不利时,可能需要对目标分布及其梯度进行许多昂贵的评估以收敛和混合。我们提出神经传输(NeuTra)HMC,这是一种学习使用逆自回归流(IAF)来校正这种不利几何的技术,这是一种强大的神经变分推理技术。 IAF经过训练以最小化从各向同性高斯到翘曲后向的KL发散,然后在翘曲空间中执行HMC采样。我们在各种合成和实际问题上对NeuTra HMC进行了评估,发现它在达到静止分布和渐近有效样本大小率的过程中显着优于vanilla HMC。
translated by 谷歌翻译
我们提供了一个简单的案例研究,证明变分信息瓶颈(VIB)可以改善网络的分类校准以及检测分布式数据的能力。在没有明确设计的情况下,VIB提供了两个处理和量化不确定性的自然指标。
translated by 谷歌翻译
We present a variational approximation to the information bottleneck ofTishby et al. (1999). This variational approach allows us to parameterize theinformation bottleneck model using a neural network and leverage thereparameterization trick for efficient training. We call this method "DeepVariational Information Bottleneck", or Deep VIB. We show that models trainedwith the VIB objective outperform those that are trained with other forms ofregularization, in terms of generalization performance and robustness toadversarial attack.
translated by 谷歌翻译
我们提出了一个可解释的神经网络,用于从多模态电子健康记录(EHR)数据预测重要的临床结果(1年死亡率)。我们的方法建立在先前的多模态机器学习模型的基础上,现在可以实现个体因素如何影响总体结果风险,假设其他因素保持不变,这在以前是不可能的。我们使用大型多模式临床数据集证明了这种方法的价值,包括EHR数据和来自26,793名患者的31,278个心脏超声心动图。我们为(i)临床数据(CD)(例如年龄,性别,诊断和实验室值)生成了单独的模型,(ii)从视频衍生的数字变量,我们称之为超声心动图衍生的测量(EDM),以及(iii)CD + EDM +原始视频(像素数据)。与不可解释的模型(Random Forest,XGBoost)相比,可解释的多模态模型保持了性能,并且与使用单一模态的模型(平均AUC = 0.82)相比也表现得更好。新模型也促进了临床相关见解和多模态变量重要性排名,这在以前是不可能的。
translated by 谷歌翻译
神经网络很容易受到对抗性攻击 - 视觉上不易察觉的小噪声,当加到输入端时会大大改变输出。防御这些敌对攻击的最有效方法是使用对抗性训练的方法。我们分析了经过对侧训练的强大模型,以研究它们在潜层层面对抗对抗性攻击的脆弱性。我们的分析揭示了与对抗性攻击具有鲁棒性的输入层相反,这些鲁棒模型的特征层非常容易受到小幅度的对抗性扰动。利用这些信息,我们引入了一种新技术潜在对抗训练(LAT),其中包括对经过对侧训练的模型进行微调,以确保在特征层中的稳健性。我们还提出潜在攻击(LA),一种用于构建对抗性示例的新算法。 LAT导致测试精度的微小改进,并导致针对MNIST,CIFAR-10,CIFAR-100数据集显示的通用一阶对抗性PGD攻击的最新对抗精度。
translated by 谷歌翻译
人类通常会教他们的同伴合作者通过少数示威来执行任务。通过指导来纠正或扩展学习的任务以完成特定的任务目标。采用类似的框架通过示范和指导来强化机器人,使教学任务非常直观。与需要多次演示的传统的演示学习(LfD)方法不同,我们提供了从演示方法学习任务的一次性学习。使用两层评估/修改来校正和概括所学习的任务。首先,机器人自己评估其性能并将性能校正为更接近于证明的任务。然后,教练被用作扩展政策的手段,以适应不同的任务目标。使用强化学习(RL)方法实现自我评估和教学。教练通过人工反馈实现预期目标和行动修改,以普及到指定的任务目标。通过呈现单个演示,通过ascooping任务评估所提出的方法。自我评估框架旨在减少媒体中对舀取的抵制。为了减少RL的这些空间,我们使用阻力理论获得的最小阻力路径进行搜索。教练用于概括学习任务政策以转移所需数量的材料。因此,所提出的方法提供了用于从一次演示中学习任务并使用人工反馈通过指导来概括它的框架。
translated by 谷歌翻译
The ability to estimate task difficulty is critical for many real-world decisions such as setting appropriate goals for ourselves or appreciating others' accomplishments. Here we give a computational account of how humans judge the difficulty of a range of physical construction tasks (e.g., moving 10 loose blocks from their initial configuration to their target configuration , such as a vertical tower) by quantifying two key factors that influence construction difficulty: physical effort and physical risk. Physical effort captures the minimal work needed to transport all objects to their final positions, and is computed using a hybrid task-and-motion planner. Physical risk corresponds to stability of the structure, and is computed using noisy physics simulations to capture the costs for precision (e.g., attention, coordination, fine motor movements) required for success. We show that the full effort-risk model captures human estimates of difficulty and construction time better than either component alone.
translated by 谷歌翻译
主成分分析(PCA)是探索性数据分析中最基本的程序之一,也是从定量金融和生物信息学到图像分析和神经科学的应用的基本步骤。然而,有充分证据表明PCA在许多实验中的适用性可以受到“免疫缺陷”的约束,例如腐蚀性观察等异常值。我们考虑以下关于具有异常值的PCA的算法问题。对于$ \ mathbb {R} ^ {d} $中的一组$ n $点,如何容忍一个点的子集,比如总点数的1%,这样其中一部分点最适合某些点未知$ r $ -dimensionalsubspace?我们对问题进行严格的算法分析。我们证明问题可以及时解决$ n ^ {O(d ^ 2)} $。特别地,对于恒定维度,该问题在多项式时间内是可解的。我们通过下限来补充算法结果,表明除非指数时间假设失败,在时间$ f(d)n ^ {o(d)} $,对于任何函数$ f $ $ $ $,它不可能不仅解决确切的问题,但即使在一个恒定的因素近似它。
translated by 谷歌翻译
我们研究了随机梯度下降所发现的最终参数如何受到过度参数化的影响。我们通过增加基础网络中的通道数来生成模型族,然后执行大型超参数搜索以研究测试错误如何取决于学习速率,批量大小和网络宽度。我们发现最佳SGD超参数由“归一化噪声标度”确定,“标准化噪声标度”是批量化,学习速率和初始化条件的函数。在没有球形归一化的情况下,最佳归一化噪声标度与纬度成正比。更宽的网络具有更高的最佳噪声标度,也可以实现更高的测试精度。这些观察结果适用于MLP,ConvNets和ResNets,以及两种不同的参数化方案(“标准”和“NTK”)。我们通过ResNets的批量标准化来保持类似的趋势。令人惊讶的是,由于最大的稳定学习速率是有界的,因此随着宽度的增加,与最佳归一化噪声尺度一致的最大批量尺寸减小。
translated by 谷歌翻译
我们提出了基于互补搜索技术和新颖架构设计的下一代移动网络.MobileNetV3通过硬件网络架构搜索(NAS)与NetAdapt算法的补充,然后通过小说进行改进,调整到移动电话CPU建筑进步。本文探讨了自动搜索算法和网络设计如何协同工作,以利用互补的方法来改进艺术的总体状态。通过这个过程,我们创建了两个新的MobileNet模型:MobileNetV3-Large和MobileNetV3-Small,适用于高资源低用量用例。然后对这些模型进行调整并应用于对象检测和语义分割的任务。对于语义分割(或任何密集像素预测)的任务,我们提出了一种新的高效分割解码器Lite Reduced Atrous Spatial Pyramid Pooling(LR-ASPP)。 Weachieve移动分类,检测和分割的最新技术成果。与MobileNetV2相比,MobileNetV3-Large在ImageNet分类上的准确度提高了3.2%,同时将延迟降低了15%.MobileNetV2-Small的准确度提高了4.6%,同时与MobileNetV2相比,延迟降低了5%。 MobileNetV3-大检测速度提高了25%,与COCO检测时的MobileNetV2大致相同。 MobileNetV3-Large LR-ASPP比MobileNetV2 R-ASPP快30%,与Cityscapes细分的准确度相似。
translated by 谷歌翻译