Gossip algorithms are attractive for in-network processing in sensor networksbecause they do not require any specialized routing, there is no bottleneck orsingle point of failure, and they are robust to unreliable wireless networkconditions. Recently, there has been a surge of activity in the computerscience, control, signal processing, and information theory communities,developing faster and more robust gossip algorithms and deriving theoreticalperformance guarantees. This article presents an overview of recent work in thearea. We describe convergence rate results, which are related to the number oftransmitted messages and thus the amount of energy consumed in the network forgossiping. We discuss issues related to gossiping over wireless links,including the effects of quantization and noise, and we illustrate the use ofgossip algorithms for canonical signal processing tasks including distributedestimation, source localization, and compression.
translated by 谷歌翻译
Machine learning (ML) techniques are enjoying rapidly increasing adoption. However, designing and implementing the systems that support ML models in real-world deployments remains a significant obstacle, in large part due to the radically different development and deployment profile of modern ML methods, and the range of practical concerns that come with broader adoption. We propose to foster a new systems machine learning research community at the intersection of the traditional systems and ML communities, focused on topics such as hardware systems for ML, software systems for ML, and ML optimized for metrics beyond predictive accuracy. To do this, we describe a new conference, SysML, that explicitly targets research at the intersection of systems and machine learning with a program committee split evenly between experts in systems and ML, and an explicit focus on topics at the intersection of the two.
translated by 谷歌翻译
我们提供Column2Vec,它是基于列元数据的数据库列的分布式表示。我们的分布式表示有几个应用程序。使用列组的已知名称(即表名),我们训练模型为未命名表中的列生成适当的名称。我们使用从GitHub上的开源应用程序收集的模式信息来演示我们的方法的可行性。
translated by 谷歌翻译
我们提出了一种使用最小人类注释在未看到的视频上快速引导对象检测的方法。我们通过使用边界框合和模型蒸馏结合两个互补的知识源(一个通用和另一个特定)来实现这一目标。使用新颖的边界框合并和置信重新加权方案从集合预训练对象检测器获得第一(通用)知识源。我们观察到,通过数据增强进行模型蒸馏可以训练出一个特殊的探测器,该探测器优于它所训练的噪声标签,并在集合探测上训练学生网络,获得比整体本身更高的mAP。第二(专业)知识源来自在视频的标记子集上训练检测器(其中我们使用监督标签),以在未标记部分上生成检测。我们在两个流行的车载数据集上展示了这些技术可以为帧中所有车辆发射边界框,其平均精度(mAP)高于所使用的任何参考网络,并且集合和人工标记的数据产生对象检测的组合优于任何一个。单独。
translated by 谷歌翻译
大型小批量并行SGD通常用于深度网络的分布式训练。使用基于AllReduce的紧耦合精确分布式平均的方法对慢节点和高延迟通信敏感。在这项工作中,我们展示了随机梯度推送(SGP)在分布式训练中的适用性。 SGP使用称为PushSum的八卦算法进行分布式平均,允许更松散耦合的通信,这在高延迟或高可变性场景中是有益的。权衡是近似分布平均在梯度中注入额外的噪声,这可能影响列车和测试的准确性。我们证明SGP收敛于平滑,非凸目标函数的平稳点。此外,我们根据经验验证了SGP的潜力。例如,使用每个节点8个GPU的32个节点来训练ImageNet上的ResNet-50,其中节点通过10Gbps以太网进行通信,SGP在大约1.6小时内完成90个时期,而AllReduce SGD需要5个小时,SGP的前1个验证准确性仍然存在使用AllReduce SGD获得的1.2%以内。
translated by 谷歌翻译
通过减少测量来加速磁共振成像(MRI)有可能降低医疗成本,最大限度地减少对患者的压力,并使MI在目前非常昂贵的应用中成为可能。我们介绍了fastMRI数据集,这是一个大规模的MR MR测量和临床MR图像集合,可用于训练评估MR图像重建的机器学习方法。通过引入标准化评估标准和可自由访问的数据集,我们的目标是帮助社区快速推进MR图像重建的最新技术。我们还为没有医学成像背景的机器学习研究人员提供了独立的MRI入门介绍。
translated by 谷歌翻译
脾肿大,脾脏异常增大的发现是肝脏和脾脏疾病的非侵入性临床生物标志物。自动分割方法对于从临床获得的腹部磁共振成像(MRI)扫描中有效量化脾肿大至关重要。然而,由于(1)脾脏肿大的大的解剖学和空间变化,(2)多模式MRI上的大的扫描间和扫描内强度变化,以及(3)有限数量的标记的脾肿大扫描,该任务具有挑战性。在本文中,我们提出了脾肿大分割网络(SS-Net)来介绍深度卷积神经网络(DCNN)方法在多模式MRI脾肿大分割中的应用。大卷积核层用于解释空间和解剖变异,而条件生成对偶网络(GAN)用于以端到端的方式利用SS-Net的分段性能。临床获得的同时包含T1加权(T1w)和T2加权(T2w)MRI脾肿大扫描的队列用于训练和评估多图谱分割(MAS),2D DCNN网络和3D DCNN网络的性能。从实验结果来看,DCNN方法实现了与最先进的MAS方法相比的优越性能。所提出的SS-Net方法在所研究的基线DCNN方法中实现了最高的中值和平均Dicescores。
translated by 谷歌翻译
在这项工作中,我们提出了新的可证明加速的八卦算法,以解决平均共识问题。提出的协议的灵感来自最近开发的随机Kaczmarz方法的加速变体 - 一种解决线性系统的常用方法。在每个八卦迭代中,网络的所有节点都更新它们的值,但只有一对它们交换它们的私人信息。还介绍了流行的无线传感器网络的数值实验,展示了我们的协议的好处。
translated by 谷歌翻译
人体表面的统计模型通常从预定义姿势的数千个高质量3D扫描中学习,以覆盖人体形状和关节的多种多样。获取此类数据需要昂贵的设备,校准程序,并且有限的技术人员可以理解并遵循指示,例如成人。我们提出了一种从不完全,低质量的自由活动婴儿的RGB-D序列学习统计3D皮肤多婴儿线性身体模型(SMIL)的方法。定量实验表明,SMIL忠实地代表了RGB-D数据,并恰当地分析了婴儿的形状和姿势。 Todemonstrate SMIL的适用性,我们将模型拟合到RGB-D序列的移动婴儿,并通过案例研究显示,我们的方法捕获了一般运动评估(GMA)的运动细节,这是一种用于早期发现神经发育的临床实践的方法紊乱的婴儿。 SMIL提供了一种分析婴儿形状和运动的新工具,是迈向GMA自动化系统的一步。
translated by 谷歌翻译
基于深度卷积神经网络(DCNN)的图像分割方法的一个关键限制是缺乏普遍性。当在新的成像模式中从不同的疾病群组中分割器官时,通常需要手动追踪的训练图像。如果在一个成像模态(例如,MRI)中的手动跟踪图像能够训练用于另一成像模态(例如,CT)的分段网络,则可以减轻手动努力。在本文中,我们提出了一个端到端的合成分割网络(SynSeg-Net)来训练一个目标成像模态的分段网络,而无需手动标记。通过使用(1)来自源和目标模态的不成对强度图像,以及(2)仅来自源模态的手动标签来训练SynSeg-Net.SynSeg-Net通过循环生成对抗网络(CycleGAN)和DCNN的最新进展来实现。我们在两个实验中评估SynSeg-Net的性能:(1)MRI到CT脾肿大合成分割腹部图像,和(2)CT到MRI总颅内容量合成分割(TICV)用于脑图像。提出的端到端方法在两阶段方法中取得了优越的性能。此外,SynSeg-Net在某些情况下使用目标模态标签实现了与传统分段网络的可比性能。 SynSeg-Net的源代码是公开的(https://github.com/MASILab/SynSeg-Net)。
translated by 谷歌翻译