联合学习（FL）提供了一种高效的分散机器学习框架，其中培训数据仍然在网络中的远程客户端分发。虽然FL实现了使用物联网设备的隐私保留的移动边缘计算框架，但最近的研究表明，这种方法易于来自远程客户端的侧面中毒攻击。要解决FL的中毒攻击，我们提供了一个\ Textit {两阶段}防御算法，称为{lo} cal {ma}恶意的事实{r}（lomar）。在I阶段I中，通过使用内核密度估计方法测量其邻居的相对分布，LOMAR从每个远程客户端进行模型更新。在II阶段，最佳阈值近似以从统计角度来区分恶意和清洁更新。已经进行了四个现实数据集的综合实验，实验结果表明，我们的防御策略可以有效保护FL系统。 {具体来说，标签翻转攻击下的亚马逊数据集上的防御性能表明，与FG + Krum相比，LOMAR从96.0 \％$ 98.8 \％$ 96.0 \％$ 98.8 \％$增加目标标签测试精度，以及90.1美元的总平均测试准确性\％$至97.0 \％$。
translated by 谷歌翻译
异构信息网络（HIN）捕获各种实体之间的复杂关系，并已广泛用于提高各种数据挖掘任务的有效性，例如在推荐系统中。许多现有的文欣推荐算法利用手工制作的元路径来提取来自网络的语义信息。这些算法依赖于广泛的域知识，可以选择最佳的元路径集。对于HIN与众多节点和链路类型高度复杂的应用程序，手工制作方法的方法太繁琐，并且容易出错。为了解决这个问题，我们提出了基于加强学习的元路径选择（RMS）框架，以选择有效的元路径，并将它们包含在现有的基于元路径的推荐中。为了识别高质量的元路径，RMS列举了基于加强学习（RL）的策略网络（代理），从而从下游推荐任务的性能获取奖励。我们设计一个基于HIN的推荐模型，HREC，有效地使用元路径信息。我们将HREC与RMS进行了整合并导出了我们的推荐解决方案，RMS-HREC，它自动使用有效的元路径。实验对实时数据集表明，我们的算法通过自动捕获重要元路径，可以显着提高推荐模型的性能。
translated by 谷歌翻译
标识识别的挑战之一在于形式的多样性，例如符号，文本或两者的组合;此外，徽标在设计中往往非常简洁，而外观类似，表明学习歧视性表示的难度。为了调查徽标的品种和表示，我们介绍了Makeup216，这是来自现实世界的化妆领域的最大和最复杂的Logo数据集。它包括216个标志和157个品牌，包括10,019个图像和37,018个注释的徽标对象。此外，我们发现纯粹徽标周围的边缘背景可以提供重要的上下文信息，并提出了对抗主题的普发提徒注意力表示框架（AAR），分别参加徽标主体和辅助边缘背景，这可以组合以获得更好的表示。我们所提出的框架在Makeup216和另一个大型开放标识数据集中实现了竞争结果，可以为徽标识别提供新的思考。 MakeUp216的数据集及建议框架的代码即将发布。
translated by 谷歌翻译
从一系列任务中学习一生对于人为一般情报的代理至关重要。这要求代理商不断学习和记住没有干扰的新知识。本文首先展示了使用神经网络的终身学习的基本问题，命名为Anterograde忘记，即保留和转移记忆可能会抑制新知识的学习。这归因于，由于它不断记住历史知识，因此神经网络的学习能力将减少，并且可能发生概念混淆的事实，因为它转移到当前任务的无关旧知识。这项工作提出了一个名为循环内存网络（CMN）的一般框架，以解决终身学习神经网络中的伪造遗忘。 CMN由两个单独的存储器网络组成，用于存储短期和长期存储器以避免容量收缩。传输单元被设计为连接这两个存储器网络，使得从长期存储器网络的知识转移到短期内存网络以减轻概念混淆，并且开发了存储器整合机制以将短期知识集成到其中知识累积的长期记忆网络。实验结果表明，CMN可以有效地解决了在几个与任务相关的，任务冲突，类增量和跨域基准测试中忘记的伪造遗忘。
translated by 谷歌翻译
人类的持续学习（CL）能力与稳定性与可塑性困境密切相关，描述了人类如何实现持续的学习能力和保存的学习信息。自发育以来，CL的概念始终存在于人工智能（AI）中。本文提出了对CL的全面审查。与之前的评论不同，主要关注CL中的灾难性遗忘现象，本文根据稳定性与可塑性机制的宏观视角来调查CL。类似于生物对应物，“智能”AI代理商应该是I）记住以前学到的信息（信息回流）; ii）不断推断新信息（信息浏览:); iii）转移有用的信息（信息转移），以实现高级CL。根据分类学，评估度量，算法，应用以及一些打开问题。我们的主要贡献涉及I）从人工综合情报层面重新检查CL; ii）在CL主题提供详细和广泛的概述; iii）提出一些关于CL潜在发展的新颖思路。
translated by 谷歌翻译
记住和遗忘机制是人类学习记忆系统中同一硬币的两侧。灵感来自人类脑记忆机制，现代机器学习系统一直在努力通过更好地记住终身学习能力的机器，同时推动遗忘为敌人来克服。尽管如此，这个想法可能只能看到半张图片。直到最近，越来越多的研究人员认为，大脑出生忘记，即忘记是抽象，丰富和灵活的陈述的自然和积极的过程。本文通过人工神经网络积极遗忘机制提出了一种学习模型。主动遗忘机制（AFM）通过“即插即用”遗忘层（P \＆PF）引入神经网络，由具有内部调节策略（IRS）的抑制神经元组成，以调整自己的消光率通过横向抑制机制和外部调节策略（ERS）通过抑制机制调节兴奋性神经元的消光速率。实验研究表明，P \＆PF提供了令人惊讶的益处：自适应结构，强大的泛化，长期学习和记忆，以及对数据和参数扰动的鲁棒性。这项工作阐明了忘记学习过程的重要性，并提供了新的视角，了解神经网络的潜在机制。
translated by 谷歌翻译
本地化隐式功能的最新进展使神经隐式表示能够可扩展到大型场景。然而，这些方法采用的3D空间的定期细分未能考虑到表面占用的稀疏性和几何细节的变化粒度。结果，其内存占地面积与输入体积均别较大，即使在适度密集的分解中也导致禁止的计算成本。在这项工作中，我们为3D表面，编码OCTFIELD提供了一种学习的分层隐式表示，允许具有低内存和计算预算的复杂曲面的高精度编码。我们方法的关键是仅在感兴趣的表面周围分发本地隐式功能的3D场景的自适应分解。我们通过引入分层Octree结构来实现这一目标，以根据表面占用和部件几何形状的丰富度自适应地细分3D空间。随着八十六是离散和不可分辨性的，我们进一步提出了一种新颖的等级网络，其模拟八偏细胞的细分作为概率的过程，并以可差的方式递归地编码和解码八叠结构和表面几何形状。我们展示了Octfield的一系列形状建模和重建任务的价值，显示出在替代方法方面的优越性。
translated by 谷歌翻译
Bayesian Optimization（Bo）是全球优化昂贵的客观功能的框架。古典BO方法假设客观函数是一个黑匣子。但是，有关客观函数计算的内部信息通常可用。例如，在使用模拟优化制造行的吞吐量时，除了整体吞吐量之外，我们还会观察每个工作站等待等待的部件数。最近的BO方法利用此类内部信息显着提高性能。我们称之为这些“灰盒”BO方法，因为它们将客观计算视为部分可观察且甚至可修改，将黑盒方法与所谓的“白盒”的第一原理进行客观函数计算的知识。本教程描述了这些方法，专注于复合物镜功能的博，其中可以观察和选择性地评估饲喂整体目标的单个成分;和多保真博，其中一个人可以通过改变评估oracle的参数来评估目标函数的更便宜的近似。
translated by 谷歌翻译
BYTESCHEDULER分区和重新排列张测变速器，以提高分布式深神经网络（DNN）训练的通信效率。超参数的配置（即分区大小和信用尺寸）对于分区和重新排列的有效性至关重要。目前，Bytescheduler采用贝叶斯优化（BO）预先找到超级参数的最佳配置。然而，在实践中，各种运行时因子（例如，工人节点状态和网络条件）随着时间的推移而变化，使得静态确定的一拍配置结果次优为现实世界的DNN培训。为了解决这个问题，我们介绍了一个实时配置方法（称为autobyte），它自动并及时搜索最佳的超参数，因为培训系统动态地改变。 Autobyte将Bytescheduler框架与Meta网络扩展，将系统的运行时统计信息作为其输入，并在特定配置下的加速器输出预测。各种DNN模型的评估结果表明，Autobyte可以动态调整具有低资源使用率的超参数，并且比ByTescheduler中最好的静态配置提供高达33.2 \％的性能。
translated by 谷歌翻译
心电图（ECG）的解释给出了临床信息，并有助于评估心脏功能。存在与特定类别的arrythmia相关的不同的心电图图案。卷积神经网络实际上是ECG处理中最应用的深度学习算法之一。但是，对于深度学习模型，还有许多普遍的公共参数来调整。为卷积神经网络算法选择最佳或最佳的封面计是具有挑战性的。通常，我们最终通过不同可能的值范围手动调整模型，直到获得最佳拟合模型。使用贝叶斯优化（BO）和进化算法的自动封锁调整为港口手动配置提供了解决方案。在本文中，我们建议优化具有两个级别的经常性一维卷积神经网络模型（R-1D-CNN）。在第一级别，培训残余卷积层和一维卷积神经层以学习特定于患者特定的ECG特征，多层的Perceptron层可以学习产生每个输入的最终类载体。此级别是手动，并旨在降低搜索空间。第二级是自动的，基于所提出的基于算法的博。我们提出的优化R-1D-CNN架构是在两个公开的ECG数据集上进行评估。实验结果显示，基于算法的BO实现了99.95 \％的最佳速率，而基线模型对于MIT-BIH数据库实现99.70 \％。此外，实验表明，拟议的架构与BO微调的结构比其他拟议的架构更高的精度。与以前的作品相比，我们的建筑达到了良好的结果，并基于不同的实验。
translated by 谷歌翻译