协作深度加强学习(CDRL)算法,其中多个代理可以在无线网络上协调是一种有希望的方法,以便在复杂的动态环境中依赖实时决策的未来智能和自主系统。尽管如此,在实际情况下,CDRL由​​于代理的异质性及其学习任务,不同环境,学习时间限制以及无线网络的资源限制,因此CDRL面临着许多挑战。为了解决这些挑战,在本文中,提出了一种新颖的语义感知CDRL方法,以使一组异构未经训练的代理具有语义连接的DRL任务,以在资源受限无线蜂窝网络上有效地协作。为此,提出了一种新的异构联邦DRL(HFDRL)算法,以选择用于协作的语义相关DRL代理的最佳子集。然后,该方法将共同优化合作选定代理的训练损失和无线带宽分配,以便在其实时任务的时间限制内培训每个代理。仿真结果表明,与最先进的基线相比,所提出的算法的卓越性能。
translated by 谷歌翻译
在本文中,我们考虑了第一和二阶技术来解决机器学习中产生的连续优化问题。在一阶案例中,我们提出了一种从确定性或半确定性到随机二次正则化方法的转换框架。我们利用随机优化的两相性质提出了一种具有自适应采样和自适应步长的新型一阶算法。在二阶案例中,我们提出了一种新型随机阻尼L-BFGS方法,该方法可以在深度学习的高度非凸起背景下提高先前的算法。这两种算法都在众所周知的深度学习数据集上进行评估并表现出有希望的性能。
translated by 谷歌翻译
背景和目的:髋臼版本,总髋关节置换术的必要因素,通过CT扫描作为金标准测量。 CT的辐射剂量和耗材使前后骨盆射线照相适当的替代程序。在这项研究中,我们在前后骨盆X射线上应用了深度学习方法来测量解剖学版本,消除了使用计算机断层扫描的必要性。方法:使用CT图像计算300名患者臀部的右侧和左侧髋臼版角。所提出的深度学习模型,对骨骼时代的预用-VGG16的注意力应用于包括群体的AP图像。这些人的年龄和性别被添加到最后一个完全连接的注意机制层的其他投入。作为输出,预测两个臀部的角度。结果:随着人们更老的,在CT上增加了CT的髋骨角度,男性的平均值为16.54和16.11(右侧和左角度)。使用所提出的深度学习方法估计右侧角度估计的预测错误位于精确的误差区域(<= 3度),显示了所提出的方法在基于AP图像测量解剖学版本的能力。结论:建议算法,在患者骨盆的AP图像上应用预训练的VGG16,其次是考虑年龄和患者性别的注意力模型,可以仅使用AP射线照片准确评估版本,同时避免CT扫描的需要。基于AP盆景的解剖学髋臼版本的应用技术,使用DL方法,迄今为止尚未发布。
translated by 谷歌翻译
收集与特定API方法相关的API示例,用法和提及在诸如堆栈溢出之类的场地上的讨论中不是一个微不足道的问题。它需要努力正确认识讨论是否指的是开发人员/工具正在搜索的API方法。线程的内容包括描述API方法在讨论中的参与和包含API调用的代码片段中的文本段落,可以参考给定的API方法。利用此观察,我们开发FacOS,一种特定于背景算法,可以在讨论中捕获段落和代码片段的语义和语法信息。FACOS将基于语法的单词的分数与来自Codebert的精细调整的预测模型的分数相结合。Facos在F1分数方面将最先进的方法击败了13.9%。
translated by 谷歌翻译
神经网络(NNS)在广泛的应用中的成功导致对理解这些模型的潜在学习动态的兴趣增加。在本文中,我们通过采用图形透视并调查NNS图形结构与其性能之间的关系来超越学习动态的描述。具体地,我们提出(1)表示神经网络学习过程作为时间不断发展的图表(即,通过时代的一系列静态图形快照),(2)在简单的时间内捕获NN期间NN的结构变化发明内容,(3)利用结构摘要,以预测底层NN在分类或回归任务中的准确性。对于NNS的动态图形表示,我们探索完全连接和卷积层的结构表示,这是强大的NN模型的关键组件。我们的分析表明,图形统计数据简单摘要,如加权程度和特征向量中心,只能用于准确地预测NNS的性能。例如,基于Lenet架构的5次训练时期构造的基于加权的基于程度的概要,实现了超过93%的分类精度。我们的发现对于不同的NN架构,包括Lenet,VGG,AlexNet和Reset。
translated by 谷歌翻译
大规模视频操作的可用性了解数据集在解释包含人员的视觉场景的解释方面有助于进步。然而,学会识别人类的行为和他们在包括众多人的不受约束的现实环境中的社交互动,具有来自移动机器人平台捕获的感官数据流的潜在高度不平衡和长尾的分布式动作标签仍然是一个重大挑战,由于缺乏反射性大型数据集而不是。在本文中,我们介绍了JRDB-ACT,作为现有JRDB的延伸,由社交移动机械手捕获,并反映了大学校园环境中的人类日常生活行为的真正分布。 JRDB-ACT浓密地用原子动作注释,包括超过2.8M的动作标签,构成了大规模的时空动作检测数据集。每个人的边界盒用一个基于姿势的动作标签和多个基于〜(可选)的基于交互的动作标签标记。此外,JRDB-ACT提供社会团体注释,有助于根据其在现场的互动来推断他们的社会活动〜(每个社会群体的共同活动)进行分组个人的任务。 JRDB-ACT中的每个注释标签都标有注释器的置信水平,这有助于开发可靠的评估策略。为了演示如何有效地利用这种注释,我们开发了端到端的培训管道,以学习和推断这些任务,即个人行动和社会群体检测。数据和评估代码在https://jrdb.erc.monash.edu/上公开可用。
translated by 谷歌翻译
通过更好地了解多层网络的损失表面,我们可以构建更强大和准确的培训程序。最近发现,独立训练的SGD解决方案可以沿近持续训练损失的一维路径连接。在本文中,我们表明存在模式连接的单纯复合物,形成低损耗的多维歧管,连接许多独立培训的型号。灵感来自这一发现,我们展示了如何有效地建立快速合奏的单纯性复杂,表现优于准确性,校准和对数据集移位的鲁棒性的独立培训的深度集合。值得注意的是,我们的方法只需要几个训练时期来发现低损失单纯乳,从预先接受训练的解决方案开始。代码可在https://github.com/g-benton/loss-surface-simplexes中获得。
translated by 谷歌翻译