我们将深度图像先验(DIP)框架扩展到一维信号.DIP使用随机初始化卷积神经网络(CNN)通过优化超重以适合观察到的测量来解决线性逆问题。我们的主要发现是,适当调整的一维卷积体系结构为包括音频,生物信号和传感器测量在内的各种时态信号提供了出色的深度图像优先级。我们证明了我们的网络可以用于各种恢复任务,包括缺失值插补,盲去噪和随机高斯投影的压缩传感。关键的挑战是如何通过仔细调整早期停止,总变差和重量降低正则化来避免过度拟合。我们的方法需要比莱索低4倍的测量,并且在音频信号上的随机高斯测量方面优于NLM-VAMP,在各种数据上具有与卡尔曼状态空间模型类似的插补性能,并且在从空气质量传感器中去除加性噪声方面优于小波滤波读数。
translated by 谷歌翻译
Machine learning (ML) techniques are enjoying rapidly increasing adoption. However, designing and implementing the systems that support ML models in real-world deployments remains a significant obstacle, in large part due to the radically different development and deployment profile of modern ML methods, and the range of practical concerns that come with broader adoption. We propose to foster a new systems machine learning research community at the intersection of the traditional systems and ML communities, focused on topics such as hardware systems for ML, software systems for ML, and ML optimized for metrics beyond predictive accuracy. To do this, we describe a new conference, SysML, that explicitly targets research at the intersection of systems and machine learning with a program committee split evenly between experts in systems and ML, and an explicit focus on topics at the intersection of the two.
translated by 谷歌翻译
我们提出了一种新方法,用于计算多个$ \ ell_p $范数的神经网络的精确点态鲁棒性。我们的算法GeoCert找到了一个以输入点$ x_0 $为中心的最大$ \ ell_p $球,其中具有ReLU非线性的给定神经网络的输出类保持不变。我们将计算这些网络的逐点鲁棒性的问题与在非凸多面体内生成一个标准球的问题联系起来。正如我们所讨论的,这一般是一个具有挑战性的问题;然而,我们证明了关于ReLUnetworks的分段线性组件几何结构的有用结构。该结果允许问题的有效凸分解。具体来说,我们表明如果多面体满足我们称之为“完全粘合”的技术条件,那么我们可以在多项式时间内找到它们内部最大的球。我们的方法是有效的,并且可以证明对于p大于或等于1的任何范数的点稳健性。
translated by 谷歌翻译
最近的工作表明,仅允许将有界噪声添加到图像像素的附加威胁模型不足以完全捕获不可思议的对抗性示例的空间。例如,小旋转和空间变换可以欺骗分类器,对于人类来说仍然是不可感知的,但是与原始图像具有大的附加距离。在这项工作中,我们利用LPIPS和SSIM等定量感知指标来定义针对对抗性攻击的新型威胁模型。为了证明量化对偶实例的感知失真的价值,我们提出并采用了一个融合不同攻击风格的统一框架。我们首先证明我们的框架会产生孤立的攻击风格无法实现的图像。然后,我们使用由我们的框架生成的攻击来执行对话训练,以证明网络仅对他们已经训练过的各种对抗性扰动具有鲁棒性,并且组合攻击比任何单个组件都强。最后,我们通过实验证明,我们的组合攻击保持相同的感知失真,但与单个攻击相比,可以产生更高的分类率。
translated by 谷歌翻译
我们提出了使用条件生成对抗网络(GAN)的视频压缩框架。我们依赖于两个编码器:一个用于部署标准视频编解码器,另一个用于通过下采样管道生成低级别地图,新设计的软边缘检测器和新型无损压缩方案。对于解码,我们使用标准视频解码器以及基于自然网络的解码器,其使用条件GAN进行训练。最近的“深度”视频压缩方法需要多个视频来预生成网络以进行插值。与此前的工作相反,我们的方案在从单个视频和相应的低级地图中获取的非常有限数量的关键帧对上训练生成解码器。训练的解码器产生依赖于低级地图的引导的重建帧,而没有任何插值。在一组不同的131个视频上进行的实验表明,我们提出的基于GAN的压缩引擎能够以比H.264或HEVC等主流标准代码更低的比特率实现更高质量的重建。
translated by 谷歌翻译
我们描述了一种自然和经典算法的有效性,用于从i.i.d中恢复一般离散成对图形模型的马尔可夫图。样本。该算法是(适当正则化的)条件最大似然,其涉及为每个节点求解凸程序; forIsing模型这是$ \ ell_1 $ -constrained逻辑回归,而对于morealphabets,需要使用$ \ ell_ {2,1} $ group-norm约束。我们证明该算法可以恢复任意离散的成对图形模型,并将样本复杂度表征为模型宽度,字母表,边缘参数精度和变量数量的函数。我们展示了这些轴中的其中一个轴,它匹配或改进了所有现有结果和算法以解决此问题。当权重向量具有$ \ ell_1 $约束(或$ \ ell_ {2,1} $约束)并且样本向量具有$ \ ell _ {\ infty} $约束时,我们的分析对逻辑回归应用了明确的泛化错误绑定(或$ \ ell_ {2,\ infty} $ constraint)。我们还表明,在相同的统计保证下,可以在$ \ tilde {O}(n ^ 2)$运行时间(其中$ n $是变量的数量)中有效地优化所提出的凸面程序。我们的实验结果验证了我们的分析。
translated by 谷歌翻译
我们考虑最小成本干预设计问题:给定因果图的基本图和干预变量的成本,确定具有最小总成本的干预集,可以用给定的基本图来学习任何因果图。我们首先表明这个问题是NP难的。然后我们证明我们可以用贪心算法实现这个问题的常数因子近似。然后我们限制每次干预的稀疏性。我们开发了一种算法,该算法返回干预设计,该设计在稀疏图形稀疏图形的大小方面几乎是最优的,我们讨论如何在顶点上有成本时使用它。
translated by 谷歌翻译
我们考虑发现最简单的潜变量的问题,该潜变量可以使两个观察到的离散变量有条件地独立。这个问题在文献中作为概率潜在语义分析(pLSA)出现,并且与非负矩阵分解有关。当通过其基数来测量变量的简单性时,我们表明,对这个潜在变量发现问题的解析可以用于区分直接因果关系与几乎所有联合分布之间的虚假相关性,简单因果图上有两个观察变量。猜测相似的可识别性结果与Shannon熵一致,我们研究了潜在变量的熵与观测变量的条件互信息之间的折衷函数。然后,我们提出了alatent变量发现算法 - LatentSearch - 并显示其固定点是我们的损失函数的固定点。我们实验证明,LatentSearch确实可以用来区分直接因果关系和虚假关联。
translated by 谷歌翻译
稀疏矢量的线性编码广泛流行,但最常见的是数据独立 - 缺少任何可能的额外(但先验未知)结构超出稀疏性。在本文中,我们提出了一种新的方法来学习适应数据的线性编码器,同时仍然使用广泛使用的$ \ ell_1 $解码器。凸的$ \ ell_1 $解码器根据需要进行标准自动编码器训练,防止梯度传播。我们的方法是基于将凸解码器展开到$ T $投影梯度步骤的洞察力可以解决这个问题。我们的方法可以看作是学习压缩传感矩阵的数据驱动方式。我们的实验表明,在几个真实数据集中确实存在超出稀疏性的额外结构。我们的自动编码器能够发现并利用它来创建出色的重建,与先前的技术方法相比,测量更少。
translated by 谷歌翻译
梯度编码是分布式学习中的散乱缓解技术。在本文中,我们使用经典编码理论的工具设计新的梯度编码,即循环MDS代码,它们在适用的参数范围和所涉及的算法的复杂性方面与现有的解决方案相比是有利的。其次,我们引入了梯度编码问题的近似变量,其中我们求解近似梯度计算而不是精确计算。这种方法可以实现优雅的降级,即近似梯度的$ \ ell_2 $误差增加了落后者数量的函数。我们的主要结果是,扩展器图的正规化邻接矩阵可以产生出色的近似梯度代码,并且与精确梯度编码相比,这种方法允许我们显着地执行少量计算。我们在Amazon EC2上实验性地测试了我们的方法,并且表明近似梯度编码的广义化误差非常接近于全梯度,同时需要显着减少工人的计算量。
translated by 谷歌翻译