近年来,最终用户的多个(边缘)设备中有大量分散数据,而由于法律或法规,分散数据的聚合对机器学习工作仍然困难。联合学习(FL)作为处理分散数据而不分享敏感原始数据的有效方法,同时协作培训全球机器学习模型。 FL中的服务器需要在培训过程中选择(和计划)设备。但是,具有FL的多个作业的设备的调度仍然是一个关键和打开的问题。在本文中,我们提出了一种新的多工作FL框架,以实现多个作业的并行培训过程。该框架包括系统模型和两个调度方法。在系统模型中,我们提出了多个作业的并行培训过程,并根据各种工作培训过程基于培训时间和各种设备的数据公平构建成本模型。我们提出了一种基于钢筋的基于学习的方法和基于贝叶斯优化的方法,以便为多个作业调度设备,同时最小化成本。我们通过多个工作和数据集进行广泛的实验。实验结果表明,我们提出的方法在培训时间(速度越快8.67倍)和准确性(高度高达44.6%)方面显着优于基线。
translated by 谷歌翻译
联合学习可以使远程工作人员能够协作培训共享机器学习模型,同时允许在本地保持训练数据。在无线移动设备的用例中,由于功率和带宽有限,通信开销是关键瓶颈。前工作已经利用了各种数据压缩工具,例如量化和稀疏,以减少开销。在本文中,我们提出了一种用于联合学习的预测编码的压缩方案。该方案在所有设备中具有共享预测功能,并且允许每个工作人员发送来自参考的压缩残余矢量。在每个通信中,我们基于速率失真成本选择预测器和量化器,并进一步降低熵编码的冗余。广泛的模拟表明,与其他基线方法相比,甚至更好的学习性能,通信成本可以减少高达99%。
translated by 谷歌翻译
图形神经网络(GNN)是图形数据的有效的神经网络模型,广泛用于不同的领域,包括无线通信。与其他神经网络模型不同,GNN可以以分散的方式实现,其中邻居之间的信息交换,使其成为无线通信系统中分散控制的潜在强大的工具。然而,主要的瓶颈是无线频道损伤,其恶化了GNN的预测稳健性。为了克服这个障碍,我们在本文中分析和增强了不同无线通信系统中分散的GNN的鲁棒性。具体地,使用GNN二进制分类器作为示例,我们首先开发一种方法来验证预测是否稳健。然后,我们在未编码和编码的无线通信系统中分析分散的GNN二进制分类器的性能。为了解决不完美的无线传输并增强预测稳健性,我们进一步提出了用于上述两个通信系统的新型重传机制。通过仿真对合成图数据,我们验证了我们的分析,验证了提出的重传机制的有效性,并为实际实施提供了一些见解。
translated by 谷歌翻译
联合学习产生了重大兴趣,几乎所有作品都集中在一个“星形”拓扑上,其中节点/设备每个都连接到中央服务器。我们远离此架构,并将其通过网络维度扩展到最终设备和服务器之间存在多个节点的情况。具体而言,我们开发多级混合联合学习(MH-FL),是层内模型学习的混合,将网络视为基于多层群集的结构。 MH-FL认为集群中的节点中的拓扑结构,包括通过设备到设备(D2D)通信形成的本地网络,并假设用于联合学习的半分散式架构。它以协作/协作方式(即,使用D2D交互)在不同网络层处的设备进行编程,以在模型参数上形成本地共识,并将其与树形层次层的层之间的多级参数中继相结合。我们相对于网络拓扑(例如,光谱半径)和学习算法的参数来得出MH-F1的收敛的大界限(例如,不同簇中的D2D圆数的数量)。我们在不同的集群中获得了一系列D2D轮的政策,以保证有限的最佳差距或收敛到全局最佳。然后,我们开发一个分布式控制算法,用于MH-FL在每个集群中调整每个集群的D2D轮,以满足特定的收敛标准。我们在现实世界数据集上的实验验证了我们的分析结果,并展示了MH-FL在资源利用率指标方面的优势。
translated by 谷歌翻译
基于细粒的草图的图像检索(FG-SBIR)解决了在给定查询草图中检索特定照片的问题。然而,它的广泛适用性受到大多数人为大多数人绘制完整草图的事实的限制,并且绘图过程经常需要时间。在这项研究中,我们的目标是用最少数量的笔划检索目标照片(不完整草图),命名为vs-the-fry fg-sbir(bhunia等人.2020),它一旦尽快开始检索每个行程绘图开始。我们认为每张照片的草图绘图集中的这些不完整草图之间存在显着相关性。为了了解照片和ITS不完整的草图之间共享的更高效的联合嵌入空间,我们提出了一个多粒度关联学习框架,进一步优化了所有不完整草图的嵌入空间。具体地,基于草图的完整性,我们可以将完整的草图插曲分为几个阶段,每个阶段对应于简单的线性映射层。此外,我们的框架指导了当前草图的矢量空间表示,以近似速写,以实现草图的检索性能,以利用更多的笔触来接近草图的草图。在实验中,我们提出了更现实的挑战,我们的方法在两个公开的细粒草图检索数据集上实现了最先进的方法和替代基线的卓越的早期检索效率。
translated by 谷歌翻译
文档级关系提取(DRE)旨在识别两个实体之间的关系。实体可以对应于超越句子边界的多个提升。以前很少有研究已经调查了提及集成,这可能是有问题的,因为库鲁弗提到对特定关系没有同样有贡献。此外,事先努力主要关注实体级的推理,而不是捕获实体对之间的全局相互作用。在本文中,我们提出了两种新颖的技术,上下文指导的集成和交互推理(CGM2IR),以改善DRE。而不是简单地应用平均池,而是利用上下文来指导在加权和方式中的经验提升的集成。另外,对实体对图的相互作用推理在实体对图上执行迭代算法,以模拟关系的相互依赖性。我们在三个广泛使用的基准数据集中评估我们的CGM2IR模型,即Docred,CDR和GDA。实验结果表明,我们的模型优于以前的最先进的模型。
translated by 谷歌翻译
颗粒球计算是一种有效,坚固,可扩展,可扩展和粒度计算的学习方法。颗粒球计算的基础是颗粒球产生方法。本文提出了一种使用该划分加速粒度球的方法来代替$ k $ -means。它可以大大提高颗粒球生成的效率,同时确保与现有方法类似的准确性。此外,考虑粒子球的重叠消除和一些其他因素,提出了一种新的颗粒球生成的新自适应方法。这使得在真实意义上的无参数和完全自适应的颗粒球生成过程。此外,本文首先为颗粒球覆盖物提供了数学模型。一些真实数据集的实验结果表明,所提出的两个颗粒球生成方法具有与现有方法相似的准确性,而实现适应性或加速度。
translated by 谷歌翻译
不平衡的分类问题成为数据挖掘和机器学习中的重要和具有挑战性问题之一。传统分类器的性能将受到许多数据问题的严重影响,例如类不平衡问题,类重叠和噪声。 Tomek-Link算法仅用于在提出时清理数据。近年来,已经报道了将Tomek-Link算法与采样技术结合起来。 Tomek-Link采样算法可以有效地减少数据上的类重叠,删除难以区分的多数实例,提高算法分类精度。然而,Tomek-Links下面采样算法仅考虑全局彼此的最近邻居并忽略潜在的本地重叠实例。当少数群体实例的数量很小时,取样效果不令人满意,分类模型的性能改善并不明显。因此,在Tomek-Link的基础上,提出了一种多粒度重新标记的取样算法(MGRU)。该算法完全考虑了本地粒度子空间中的数据集的本地信息,并检测数据集中的本地潜在重叠实例。然后,根据全局重新标记的索引值消除重叠的多数实例,这有效地扩展了Tomek-Link的检测范围。仿真结果表明,当我们选择欠采样的最佳全局重新标记索引值时,所提出的下采样算法的分类准确性和泛化性能明显优于其他基线算法。
translated by 谷歌翻译
基于LIDAR的应用的现有学习方法使用预先确定的波束配置下扫描的3D点,例如,光束的高度角度均匀分布。那些固定的配置是任务不可行的,因此只需使用它们即可导致次优性能。在这项工作中,我们采取了新的路线来学习优化给定应用程序的LIDAR波束配置。具体地,我们提出了一种基于加强学习的学习 - 优化(RL-L2O)框架,以便以不同的基于LIDAR的应用程序以端到端的方式自动优化光束配置。优化是通过目标任务的最终性能指导的,因此我们的方法可以通过任何基于LIDAR的应用程序轻松集成为简单的下载模块。例如,当需要低分辨率(低成本)LIDAR时,该方法特别有用,例如,用于以大规模的系统部署。我们使用方法来搜索两个重要任务的低分辨率LIDAR的光束配置:3D对象检测和本地化。实验表明,与基线方法相比,所提出的RL-L2O方法显着提高了两项任务的性能。我们认为,我们的方法与最近可编程Lidars的进步的组合可以启动基于LIDAR的积极感知的新的研究方向。代码在https://github.com/vnemlas/lidar_beam_selection上公开使用
translated by 谷歌翻译
随着深度学习和智能车辆的兴起,智能助手已成为促进驾驶和提供额外功能的基本内部组件。汽车智能助理应该能够处理一般的和与汽车有关的命令,并执行相应的操作,减轻驾驶和提高安全性。但是,对于低资源语言存在数据稀缺问题,妨碍了研究和应用的发展。在本文中,我们介绍了一个新的DataSet,粤式视听语音识别(CI-AVSR),用于粤语中的车载命令识别,具有视频和音频数据。它由令人宣传的30个粤语发言者记录的200个车载命令的4,984个样本(8.3小时)组成。此外,我们使用常见的内部内部背景噪声增强我们的数据集来模拟真实环境,产生比收集的数据集大10倍。我们提供我们数据集的清洁和增强版本的详细统计信息。此外,我们实施了两个多模式基线以证明CI-AVSR的有效性。实验结果表明,利用视觉信号提高了模型的整体性能。虽然我们的最佳模型可以在清洁测试集上实现相当大的质量,但嘈杂数据的语音识别质量仍然是较差的,并且仍然是真正的车载语音识别系统的极其具有挑战性的任务。数据集和代码将在https://github.com/hltchkust/ci-avsr发布。
translated by 谷歌翻译