由于最近在处理速度和数据采集和存储方面的进步,机器学习(ML)正在渗透我们生活的方方面面,并从根本上改变了许多领域的研究。无线通信是另一个成功的故事 - 在我们的生活中无处不在,从手持设备到可穿戴设备,智能家居和汽车。虽然近年来在为各种无线通信问题利用ML工具方面看到了一系列研究活动,但这些技术对实际通信系统和标准的影响还有待观察。在本文中,我们回顾了无线通信系统中ML的主要承诺和挑战,主要关注物理层。我们提出了ML技术在经典方法方面取得的一些最令人瞩目的近期成就,并指出了有希望的研究方向,其中ML可能在不久的将来产生最大的影响。我们还强调了在无线网络边缘设计物理层技术以实现分布式ML的重要问题,这进一步强调了理解和连接ML与无线通信中的基本概念的需要。
translated by 谷歌翻译
我们研究无线边缘的协作机器学习,其中功率和带宽有限的设备(工作人员)使用有限的本地数据集,在参数服务器(PS)的帮助下实现分布式随机梯度下降(DSGD)。标准方法固有地假设单独的计算和通信,其中局部梯度估计被压缩并通过无线多址信道(MAC)传送到PS。以下数字方法,我们引入D-DSGD,假设工作者在MAC容量的边界上操作在DSGD算法的每次迭代中的区域,并且采用梯度量化和误差累积,在所采用的功率分配所允许的比特预算内发送它们的梯度估计。然后,我们引入了一种称为A-DSGD的模拟方案,其动机是无线MAC的附加性质。在A-DSGD中,工作人员首先对其梯度估计(具有误差累积)进行分析,然后将其投影到由可用信道带宽强加的较低维空间。这些预测直接通过MAC传输而不使用任何数字代码。数值结果表明,A-DSGD收敛速度比D-DSGD快得多,这要归功于它更有效地利用有限带宽和梯度估计在MAC上的自然对齐。在低功率和低带宽状态下,这种改进特别引人注目。我们还观察到A-DSGD的性能随着工人数量的增加而改善,而D-DSGD恶化,限制了后者利用太多边缘设备的计算能力的能力。我们强调A-DSGD中缺少量化和信道编码/解码操作进一步加速了通信,使其对无线网络边缘的低延迟机器学习应用非常有吸引力。
translated by 谷歌翻译
编码计算技术提供了对分散服务器分布式计算的鲁棒性,具有以下限制:首先,它们增加了编码复杂性。其次,他们忽略了由分散服务器执行的计算;并且它们通常被设计为恢复完整的梯度,并且不能在梯度的准确性和迭代完成时间之间提供平衡。这里我们介绍一种混合方法,称为编码部分梯度计算(CPGC),它受益于编码和未编码计算方案的优点,并减少了计算时间和解码复杂度。
translated by 谷歌翻译
分布式梯度下降(DGD)是实现梯度下降(GD)的有效方式,特别是对于大型数据集,通过将计算任务划分为较小的子任务并分配给并行执行的不同计算服务器(CS)。在标准并行执行中,每次迭代等待时间受到分离服务器的执行时间的限制。最近已经引入了编码的DGD技术,其可以通过将冗余计算任务分配给CS来容忍拖拉服务器。在大多数现有的DGD方案中,无论是编码计算还是编码通信,非离散CS一旦完成所有分配的计算任务,每次迭代就发送一个消息。但是,虽然漫游服务器无法完成所有已分配的任务,但它们通常可以完成其中的某些部分。在本文中,我们允许在每次迭代时从每个CS进行多次传输,以确保可以向聚合服务器(AS)(包括分散的服务器)报告最大数量的已完成计算。我们在数值上表明,通过略微增加每台服务器的通信负载,可以显着减少每次迭代的平均完成时间。
translated by 谷歌翻译
人机交互经常以从人类到机器人的指令的形式发生。为了使机器人成功地遵循指令,应该在人和机器人之间共享世界及其中的物体的共同表示,以便指令可以接地。实现这种代表性可以通过学习来完成,其中世界表示和语言基础是同时学习的。然而,在机器人中,由于数据的成本和稀缺性,这可能是一项艰巨的任务。在本文中,我们通过分别学习机器人的世界表示和语言基础来解决这个问题。虽然这种方法可以解决获得足够数据的挑战,但它可能会导致两个学习组件之间出现不一致。因此,我们进一步提出贝叶斯学习,通过利用人类给出的指令中隐含存在的空间关系信息来解决自然语言基础与机器人世界表征之间的这种不一致。此外,我们证明了我们的方法在物理世界中涉及机器人方案的可行性。
translated by 谷歌翻译
最近,具有3D内核(3D CNN)的卷积神经网络已经在计算机视觉社区中非常流行,因为它们具有提取视频帧内的时空特征的优越性,与2D CNN相比。尽管最近有了很大的进步来建立资源。考虑到存储器和功率预算的高效2DCNN架构,3D CNN几乎没有类似资源的高效架构。在本文中,我们将各种众所周知的资源有效的2D CNN转换为3D CNN,并根据不同复杂度级别的分类准确性评估了它们在三个主要基准上的性能。我们已经试验了(1)Kinetics-600数据集以检查它们的学习能力,(2)Jesterdataset检查它们捕获手部运动模式的能力,以及(3)UCF-101检查转移学习的适用性。我们已经在单个GPU和嵌入式GPU上评估了每个模型的运行时性能。这项研究的结果表明,这些模型可以用于不同类型的实际应用,因为它们提供实时性能,具有可观的精度和内存使用。我们对不同复杂度级别的分析表明,资源有效的3D CNN不应设计为低或窄,以节省复杂性。本工作中使用的代码和预训练模型是公开的。
translated by 谷歌翻译
肺炎是致命疾病之一,并且由于肺中的流体流动导致溺水,因此有可能在短时间内导致严重后果。如果在适当的时候没有药物作用,肺炎可能导致个体死亡。因此,早期诊断是疾病进展的关键因素。本文重点介绍了肺炎的生物学进展及其X射线成像检测,概述了提高诊断水平的研究,并提出了基于各种参数的X射线图像自动化的方法和结果,以便在非常好的情况下检测疾病。早期阶段。在本研究中,我们提出了分类任务的深度学习体系结构,通过多个预处理步骤对修改后的图像进行训练。我们的分类方法采用卷积神经网络和残差网络结构对图像进行分类。我们的研究结果准确率为78.73%,超过了之前最高的76.8%的得分准确率。
translated by 谷歌翻译
成对比较标签比类标签更具信息性且变化更少,但生成它们带来了挑战:它们的数量在数据集大小中以二次方式增长。我们研究了一个自然的实验设计目标,即D-最优性,可以用来确定哪些$ K $成对比较生成。已知该目标在实践中表现良好,并且是子模块,使得选择可通过贪婪算法近似。 Ana \“我贪婪的实现有$ O(N ^ 2d ^ 2K)$复杂度,其中$ N $是数据集大小,$ d $是特征空间维度,$ K $是生成比较的数量。我们证明,通过利用数据集的固有几何 - 即它由成对比较组成 - 贪婪算法的复杂性可以降低到$ O(N ^ 2(K + d)+ N(dK + d ^ 2)+ d ^ 2K对于所谓的懒惰贪婪算法,我们也应用相同的加速度。当组合时,上述改进导致数据集的执行时间不到1小时,并且需要10 ^ 8 $ $比较;对于samedataset需要超过10天才能终止。
translated by 谷歌翻译
可以通过在k空间(即,傅立叶域)中的下采样来加速磁共振成像(MRI)扫描的获取。在本文中,我们考虑了以数据驱动的方式优化子采样模式的问题。由于重建模型的性能取决于子采样模式,我们将这两个问题结合起来。对于给定的稀疏约束,我们的方法使用端到端学习策略优化子采样模式和重建模型。我们的算法从追溯欠采样的全分辨率数据中学习,产生亚采样模式和重建模型,这些模式是根据训练数据中表示的图像类型定制的。我们称之为LOUPE(欠采样PattErn的基于学习的优化)的方法是通过修改U-Net实现的,U-Net是一种广泛使用的卷积神经网络体系结构,我们附加了编码采样过程的正向模型。我们使用T1加权结构脑MRI扫描的实验表明,与标准随机均匀,可变密度或等间隔欠采样方案相比,优化的子采样模式可以产生明显更准确的重建。
translated by 谷歌翻译
我们引入了用于表示学习的对抗神经网络作为在脑 - 计算机接口(BCI)中转移学习的新方法。所提出的方法旨在通过同时训练条件变分自动编码器(cVAE)和厌恶网络来学习主体不变表示。我们使用浅卷积体系结构来实现cVAE,并且学习编码器被转移以从看不见的BCI用户的数据中提取主题不变特征以进行解码。我们基于对运动想象BCI实验期间记录的脑电图(EEG)数据的分析,证明了我们的方法的概念验证。
translated by 谷歌翻译