细粒度视觉识别的挑战通常在于发现关键的歧视区域。虽然可以从大规模标记的数据集中自动识别此类区域,但是当仅提供少量注释时,类似的方法可能会降低效率。在低数据制度中,网络通常很难选择正确的区域以识别识别,并且倾向于从培训数据中过度拟合虚假的相关模式。为了解决这个问题,本文提出了一种自我提升的注意机制,这是一种新颖的方法,可以使网络正规化关注跨样本和类共享的关键区域。具体而言,提出的方法首先为每个训练图像生成一个注意图,突出显示用于识别地面真实对象类别的判别零件。然后将生成的注意图用作伪通量。该网络被执行以适合它们作为辅助任务。我们将这种方法称为自我增强注意机制(SAM)。我们还通过使用SAM创建多个注意地图来开发一个变体,以泳池卷积图的样式,以双线性合并,称为SAM双线性。通过广泛的实验研究,我们表明两种方法都可以显着提高低数据状态上的细粒度视觉识别性能,并可以纳入现有的网络体系结构中。源代码可公开可用:https://github.com/ganperf/sam
translated by 谷歌翻译
开放式综合分割(OPS)问题是一个新的研究方向,旨在对\已知类别和\未知类进行细分,即在培训集中从未注释的对象(“事物”)。 OPS的主要挑战是双重的:(1)\未知物体出现的无限可能性使得很难从有限数量的培训数据中对其进行建模。 (2)在培训时,我们仅提供“空白”类别,该类别实质上将“未知事物”和“背景”类混合在一起。我们从经验上发现,直接使用“ void”类别监督\已知类别或“背景”而不筛选的“背景”不会导致满足的OPS结果。在本文中,我们提出了一个分裂和争议计划,以制定OPS的两阶段决策过程。我们表明,通过将\已知的类别歧视器与其他类别的对象预测头正确相结合,可以显着提高OPS性能。具体而言,我们首先建议创建一个仅具有\已知类别的分类器,并让“ void”类建议从这些类别中实现较低的预测概率。然后,我们使用其他对象预测头将“未知事物”与背景区分开。为了进一步提高性能,我们介绍了从最新模型产生的“未知事物”伪标签,以及丰富训练集的启发式规则。我们广泛的实验评估表明,我们的方法显着提高了\未知的类圆形质量,比现有最佳表现最佳方法的相对改进超过30 \%。
translated by 谷歌翻译
自然语言处理(NLP)通过分析社交媒体或新闻媒体的文本来证明支持财务决策的巨大潜力。在这项工作中,我们建立了一个平台,可以系统地研究NLP股票自动交易算法。与以前的工作相反,我们的平台具有三个功能:(1)我们为每个特定股票提供财务新闻。 (2)我们为每种股票提供各种股票因素。 (3)我们评估了更多与财务相关的指标的绩效。这样的设计使我们能够在更现实的环境中开发和评估NLP库存自动交易算法。除了设计评估平台和数据集集合外,我们还通过提出一个系统来自动从各种输入信息中学习良好的功能表示形式来做出技术贡献。我们算法的关键是一种称为语义角色标签池(SRLP)的方法,该方法利用语义角色标签(SRL)来创建每个新闻段的紧凑表示。基于SRLP,我们进一步纳入了其他股票因素以进行最终预测。此外,我们提出了一种基于SRLP的自我监督的学习策略,以增强系统的分布概括性能。通过我们的实验研究,我们表明所提出的方法可以实现更好的性能,并胜过所有基本线的年度回报率,以及CSI300指数和XIN9指数的最大减收率。我们的ASTOCK数据集和代码可在https://github.com/jinanzou/astock上找到。
translated by 谷歌翻译
基于深度学习的人重新识别(REID)通常需要大量的培训数据来实现良好的性能。因此,似乎从各种环境中收集更多培训数据往往会提高Reid性能。本文重新审视了这种共同的信念,并使一些令人惊讶的观察结果:使用更多样本,即使用来自多个数据集的样本的培训,不一定通过使用流行的Reid模型来实现更好的性能。在某些情况下,使用更多样本的培训甚至可能损害评估的性能在其中一个数据集中进行。我们假设这一现象是由于标准网络在适应不同环境中的无法行动。为了克服这个问题,我们提出了一种称为域相机样动态网络(DCSD)的方法,其参数可以适应各种因素。具体而言,我们考虑可以从输入特征和外部域相关因子中识别的内部域相关因素,例如域信息或相机信息。我们的发现是,具有这种自适应模型的培训可以从更多的训练样本中获益。实验结果表明,我们的DCSD可以大大提高性能(高达12.3%),而在多个数据集中的联合培训。
translated by 谷歌翻译
尽管在训练有素的语言模型方面取得了进展,但缺乏用于预训练的句子表示的统一框架。因此,它要求针对特定方案采用不同的预训练方法,并且预培训的模型可能受到其普遍性和表示质量的限制。在这项工作中,我们扩展了最近提出的MAE风格的预训练策略RELOMAE,以便可以有效地支持各种句子表示任务。扩展的框架由两个阶段组成,在整个过程中进行了逆转录。第一阶段对通用语料库进行了逆转,例如Wikipedia,BookCorpus等,从中可以从中学习基本模型。第二阶段发生在特定于领域的数据上,例如Marco和NLI,在该数据中,基本模型是基于逆转和对比度学习的。这两个阶段的训练前输出可能会服务于不同的应用,其有效性通过全面的实验验证。具体来说,基本模型被证明对零射击检索有效,并且在贝尔基准上取得了显着的性能。继续进行预训练的模型进一步受益于更多的下游任务,包括针对马可女士的特定领域的密集检索,自然问题以及句子嵌入式标准STS的质量和延性端的转移任务。这项工作的经验见解可能会激发预训练的句子代表的未来设计。我们的预培训模型和源代码将发布给公共社区。
translated by 谷歌翻译
我们制定并测试一种使用概括的多语言模型使用新兴通信(EC)的技术,以改进现代无监督的NMT系统,尤其是对于低资源语言。有人认为,目前在NLP上的主要范式仅在文本语料库上进行预处理,不会产生强大的自然语言理解系统,并且强调了对接地,面向目标和互动语言学习的需求。在我们的方法中,我们将现代的多语言模型(Mbart,Liu etal。2020)嵌入到EC图像引用游戏中,其中该模型被激励使用多语言世代来完成视力基础的任务,并假设有假设是这将使多种语言与共享的任务空间保持一致。我们提出了EC微调的两种变体(Steinert-Threlkeldet。Al。2022),其中一种在6/8翻译设置中优于基于反射的基线,并证明对尼泊尔和尼泊尔和尼泊尔和低资产的语言特别有益僧伽罗。
translated by 谷歌翻译
正交统计学习和双机器学习已成为在存在滋扰成分的情况下,作为两阶段统计预测的一般框架。我们对具有满足自我符合性能的损失功能的正交统计学习方法的过量风险建立了非扰动界限。我们的界限在提升强凸度的假设时,通过维数因子来改善现有界限。我们用来自多个治疗效应估计的示例和广义部分线性建模来说明结果。
translated by 谷歌翻译
现有研究持续学习一系列任务,专注于处理灾难性遗忘,其中任务被认为是不同的,并且具有很少的共享知识。在任务相似并分享知识时,还有一些工作已经完成了将以前学到的新任务转移到新任务。据我们所知,没有提出任何技术来学习一系列混合类似和不同的任务,这些任务可以处理遗忘,并转发知识向前和向后转移。本文提出了这样的技术,用于在同一网络中学习两种类型的任务。对于不同的任务,该算法侧重于处理遗忘,并且对于类似的任务,该算法侧重于选择性地传送从一些类似先前任务中学到的知识来改善新的任务学习。此外,该算法自动检测新任务是否类似于任何先前的任务。使用混合任务序列进行实证评估,证明了所提出的模型的有效性。
translated by 谷歌翻译
近年来,最终用户的多个(边缘)设备中有大量分散数据,而由于法律或法规,分散数据的聚合对机器学习工作仍然困难。联合学习(FL)作为处理分散数据而不分享敏感原始数据的有效方法,同时协作培训全球机器学习模型。 FL中的服务器需要在培训过程中选择(和计划)设备。但是,具有FL的多个作业的设备的调度仍然是一个关键和打开的问题。在本文中,我们提出了一种新的多工作FL框架,以实现多个作业的并行培训过程。该框架包括系统模型和两个调度方法。在系统模型中,我们提出了多个作业的并行培训过程,并根据各种工作培训过程基于培训时间和各种设备的数据公平构建成本模型。我们提出了一种基于钢筋的基于学习的方法和基于贝叶斯优化的方法,以便为多个作业调度设备,同时最小化成本。我们通过多个工作和数据集进行广泛的实验。实验结果表明,我们提出的方法在培训时间(速度越快8.67倍)和准确性(高度高达44.6%)方面显着优于基线。
translated by 谷歌翻译
深度加强学习(DRL)在游戏和机器人控制等应用中彻底改变了学习和致动。数据收集的成本,即从代理环境互动产生转变,仍然是在复杂的现实问题中更广泛的DRL采用的重大挑战。在GPU云平台上培训DRL代理的云原生范例是一个有前途的解决方案。在本文中,我们为云天然深层加固学习提供了一种可扩展和弹性图书馆优雅的钢茶,其有效地支持数百万GPU核心,以便在多个层面进行大规模平行的训练。在一个高级别的优雅普罗拉科尔使用基于锦标赛的集合计划,以协调数百个甚至数千个GPU的培训过程,安排排行榜与培训池与数百个豆荚之间的相互作用。在低级,每个POD通过在单个GPU中充分利用近7,000个GPU CUDA核心,模拟了代理环境的交互。我们的优雅RL-Podracer Library通过遵循集装箱,微服务和MLOPS的开发原则,具有高可扩展性,弹性和可访问性。使用NVIDIA DGX SuperPod Cloud,我们对机器人和股票交易中的各种任务进行了广泛的实验,并表明Elegitrl-Podracer大大优于Rllib。我们的代码可在GitHub上获得。
translated by 谷歌翻译