注意机制对研究界提出了重大兴趣,因为他们承诺改善神经网络架构的表现。但是,在任何特定的问题中,我们仍然缺乏主要的方法来选择导致保证改进的具体机制和超参数。最近,已经提出了自我关注并广泛用于变压器 - 类似的架构中,导致某些应用中的重大突破。在这项工作中,我们专注于两种形式的注意机制:注意模块和自我关注。注意模块用于重新重量每个层输入张量的特征。不同的模块具有不同的方法,可以在完全连接或卷积层中执行此重复。研究的注意力模型是完全模块化的,在这项工作中,它们将与流行的Reset架构一起使用。自我关注,最初在自然语言处理领域提出,可以将所有项目与输入序列中的所有项目相关联。自我关注在计算机视觉中越来越受欢迎,其中有时与卷积层相结合,尽管最近的一些架构与卷曲完全消失。在这项工作中,我们研究并执行了在特定计算机视觉任务中许多不同关注机制的客观的比较,在广泛使用的皮肤癌MNIST数据集中的样本分类。结果表明,关注模块有时会改善卷积神经网络架构的性能,也是这种改进虽然明显且统计学意义,但在不同的环境中并不一致。另一方面,通过自我关注机制获得的结果表明了一致和显着的改进,即使在具有减少数量的参数的架构中,也可以实现最佳结果。
translated by 谷歌翻译
近年来经历的计算设备部署爆炸,由诸如互联网(物联网)和5G的技术(IOT)和5G等技术的激励,导致了全局情景,随着网络安全的风险和威胁的增加。其中,设备欺骗和模糊的网络攻击因其影响而脱颖而出,并且通常需要推出的低复杂性。为了解决这个问题,已经出现了几种解决方案,以根据行为指纹和机器/深度学习(ML / DL)技术的组合来识别设备模型和类型。但是,这些解决方案不适合数据隐私和保护的方案,因为它们需要数据集中处理以进行处理。在这种情况下,尚未完全探索较新的方法,例如联合学习(FL),特别是当恶意客户端存在于场景设置时。目前的工作分析并比较了使用基于执行时间的事件的v一体的集中式DL模型的设备模型识别性能。对于实验目的,已经收集并公布了属于四种不同模型的55个覆盆子PI的执行时间特征的数据集。使用此数据集,所提出的解决方案在两个设置,集中式和联合中实现了0.9999的精度,在保留数据隐私时显示没有性能下降。后来,使用几种聚集机制作为对策,评估标签翻转攻击在联邦模型训练期间的影响。 ZENO和协调明智的中值聚合表现出最佳性能,尽管当他们的性能大大降低时,当完全恶意客户(所有培训样本中毒)增长超过50%时大大降临。
translated by 谷歌翻译
我们正式化并研究通过嵌入设计凸替代损失函数的自然方法,例如分类,排名或结构化预测等问题。在这种方法中,一个人将每一个有限的预测(例如排名)嵌入$ r^d $中的一个点,将原始损失值分配给这些要点,并以某种方式“凸出”损失以获得替代物。我们在这种方法和多面体(分段线性凸)的替代损失之间建立了牢固的联系:每个离散损失都被一些多面体损失嵌入,并且每个多面体损失都嵌入了一些离散的损失。此外,嵌入会产生一致的链接功能以及线性替代遗憾界限。正如我们用几个示例所说明的那样,我们的结果具有建设性。特别是,我们的框架为文献中各种多面体替代物以及不一致的替代物提供了简洁的证据或不一致的证据,它进一步揭示了这些代理人一致的离散损失。我们继续展示嵌入的其他结构,例如嵌入和匹配贝叶斯风险的等效性以及各种非算术概念的等效性。使用这些结果,我们确定与多面体替代物一起工作时,间接启发是一致性的必要条件也足够了。
translated by 谷歌翻译
培训医学图像分割模型通常需要大量标记的数据。相比之下,人类可以迅速学会从医学(例如MRI和CT)图像中准确地识别出有限的指导性解剖学。这种识别能力可以很容易地推广到来自不同临床中心的新图像。这种快速且可普遍的学习能力主要是由于人脑中图像模式的组成结构所致,该图像模式在医学图像分割中较少纳入。在本文中,我们将人类解剖结构的组成成分(即模式)建模为可学习的von-mises-fisher(VMF)内核,它们对从不同领域(例如临床中心)收集的图像具有鲁棒性。图像特征可以分解为具有组成操作的组件(或由)组成的组件,即VMF可能性。 VMF的可能性证明了每个解剖部分在图像的每个位置的可能性。因此,可以根据VMF的可能性预测分割掩模。此外,使用重建模块,未标记的数据也可以通过重新组合重建输入图像来学习VMF内核和可能性。广泛的实验表明,所提出的VMFNET在两个基准上实现了改善的概括性能,尤其是在注释有限的情况下。代码可在以下网址公开获取:https://github.com/vios-s/vmfnet。
translated by 谷歌翻译
由于大量学生参加了大规模开放的在线课程(MOOC),因此越来越多的自动化程序维修技术集中在入门编程任务(IPA)上。这种最先进的技术使用程序聚类来利用以前的正确学生实现来修复给定的新不正确提交。通常,这些维修技术使用聚类方法,因为分析了所有可用的正确学生提交以维修程序是不可行的。聚类方法使用基于几个功能的程序表示,例如抽象语法树(AST),语法,控制流和数据流。但是,在表示语义上相似的程序时,这些功能有时会变得脆弱。本文提出了InvaastCluster,这是一种用于程序群集的新方法,它利用了在几个程序执行中观察到的动态生成的程序不变性,以群群群集在语义上等效的IPA。我们的主要目的是通过其不变性及其结构通过其匿名抽象语法树来找到程序的语义结合及其结构的组合。 InvaastCluster的评估表明,在聚集一组不同的正确IPA时,建议的程序表示法优于基于语法的表示。此外,我们将InvaastCluster集成到基于最新的聚类的程序维修工具中,并在一组IPA上进行评估。我们的结果表明,InvaastCluster通过在较短的时间内修复大量学生的程序来使用基于聚类的程序维修工具使用时的当前最新设备。
translated by 谷歌翻译
人类AI合作(HAIC)在决策中的合作旨在在人类决策者和AI系统之间建立协同团队。学会推迟(L2D)已作为一个有前途的框架,以确定人类中的谁和人工智能应采取哪些决定,以优化联合系统的性能和公平性。然而,L2D需要几个通常不可行的要求,例如,人类对每个实例的预测可用性,或独立于上述决策者的地面标签。此外,L2D和其他方法都没有解决在现实世界中部署HAIC的基本问题,例如能力管理或处理动态环境。在本文中,我们旨在识别和审查这些局限性和其他局限性,指出HAIC未来研究的机会可能会在哪里。
translated by 谷歌翻译
机器学习算法从数据中学习模式的无与伦比的能力也使它们能够融合嵌入的偏差。然后,一个有偏见的模型可以做出不成比例地损害社会中某些群体的决定。在静态ML环境中,大多数现实世界中大多数用例运行的动态预测案例都没有用于衡量静态ML环境中的不公平性。在后者中,预测模型本身在塑造数据的分布中起着关键作用。但是,很少注意将不公平与这些互动联系起来。因此,为了进一步理解这些环境中的不公平性,我们提出了一种分类法来表征数据中的偏见,并研究其由模型行为塑造的案例。以现实世界的开头欺诈检测案例研究为例,我们研究了表演性预测中两个典型偏见的性能和公平性的危险:分配变化以及选择性标签的问题。
translated by 谷歌翻译
Teaser: How seemingly trivial experimental design choices made to simplify the evaluation of ML systems can yield misleading results.
translated by 谷歌翻译
在本文中,我们提供了一种系统的方法来评估和比较数字信号处理中神经网络层的计算复杂性。我们提供并链接四个软件到硬件的复杂性度量,定义了不同的复杂度指标与层的超参数的关系。本文解释了如何计算这四个指标以进行馈送和经常性层,并定义在这种情况下,我们应该根据我们是否表征了面向更软件或硬件的应用程序来使用特定的度量。新引入的四个指标之一,称为“添加和位移位数(NAB)”,用于异质量化。 NABS不仅表征了操作中使用的位宽的影响,还表征了算术操作中使用的量化类型。我们打算这项工作作为与神经网络在实时数字信号处理中应用相关的复杂性估计级别(目的)的基线,旨在统一计算复杂性估计。
translated by 谷歌翻译
FPGA中首次实施了针对非线性补偿的经常性和前馈神经网络均衡器,其复杂度与分散均衡器的复杂度相当。我们证明,基于NN的均衡器可以胜过1个速度的DBP。
translated by 谷歌翻译