混合是深度神经网络的流行数据依赖性增强技术,其包含两个子任务,混合生成和分类。社区通常将混合限制在监督学习(SL)中,并且生成子任务的目的是固定到采样的对,而不是考虑整个数据歧管。为了克服这些限制,我们系统地研究了两个子任务的目标,并为SL和自我监督的学习(SSL)方案,命名为Samix的两个子任务和提出情景 - 激动化混合。具体而言,我们假设并验证混合生成的核心目标,因为优化来自其他类别的全球歧视的两个类之间的局部平滑度。基于这一发现,提出了$ \ eta $ -Balanced混合丢失,以进行两个子任务的互补培训。同时,生成子任务被参数化为可优化的模块,混音器,其利用注意机制来生成混合样本而无需标记依赖性。对SL和SSL任务的广泛实验表明SAMIX始终如一地优于大边距。
translated by 谷歌翻译
时间点过程作为连续域的随机过程通常用于模拟具有发生时间戳的异步事件序列。由于深度神经网络的强烈表达性,在时间点过程的背景下,它们是捕获异步序列中的模式的有希望的选择。在本文中,我们首先审查了最近的研究强调和困难,在深处时间点过程建模异步事件序列,可以得出四个领域:历史序列的编码,条件强度函数的制定,事件的关系发现和学习方法优化。我们通过将其拆除进入四个部分来介绍最近提出的模型,并通过对公平实证评估的相同学习策略进行重新涂布前三个部分进行实验。此外,我们扩展了历史编码器和条件强度函数家族,并提出了一种GRANGER因果区发现框架,用于利用多种事件之间的关系。因为格兰杰因果关系可以由格兰杰因果关系图表示,所以采用分层推断框架中的离散图结构学习来揭示图的潜在结构。进一步的实验表明,具有潜在图表发现的提议框架可以捕获关系并实现改进的拟合和预测性能。
translated by 谷歌翻译
时空预测是归因于时间动态的高非线性以及空间域中的复杂位置表征模式,尤其是天气预报等领域。图表卷积通常用于对气象中的空间依赖性进行建模,以处理传感器空间位置的不规则分布。在这项工作中,提出了一种用于模仿气象流动的基于图的基于图的卷积,以捕获局部空间模式。基于位置表征模式的平滑度的假设,我们提出了条件本地卷积,其共享内核在节点的局部空间上近似通过前馈网络近似,具有通过地平线所获得的坐标的本地表示作为其输入。既定的联合标准的本地坐标系保留了地理位置的方向。我们进一步提出了距离和方向缩放术语,以减少不规则空间分布的影响。卷积嵌入到经常性的神经网络架构中以模拟时间动态,导致条件本地卷积复制网络(CLCRN)。我们的模型是在真实世界的天气基准数据集上进行评估,实现了最先进的性能,具有明显的改进。我们对本地模式可视化,模型的框架选择,地平线地图等的优势进行进一步分析。
translated by 谷歌翻译
脑电图(EEG)解码旨在识别基于非侵入性测量的脑活动的神经处理的感知,语义和认知含量。当应用于在静态,受控的实验室环境中获取的数据时,传统的EEG解码方法取得了适度的成功。然而,开放世界的环境是一个更现实的环境,在影响EEG录音的情况下,可以意外地出现,显着削弱了现有方法的鲁棒性。近年来,由于其在特征提取的卓越容量,深入学习(DL)被出现为潜在的解决方案。它克服了使用浅架构提取的“手工制作”功能或功能的限制,但通常需要大量的昂贵,专业标记的数据 - 并不总是可获得的。结合具有域特定知识的DL可能允许开发即使具有小样本数据,也可以开发用于解码大脑活动的鲁棒方法。虽然已经提出了各种DL方法来解决EEG解码中的一些挑战,但目前缺乏系统的教程概述,特别是对于开放世界应用程序。因此,本文为开放世界EEG解码提供了对DL方法的全面调查,并确定了有前途的研究方向,以激发现实世界应用中的脑电图解码的未来研究。
translated by 谷歌翻译
当一个神经语言模型(LM)适于执行新任务时,任务的哪些方面预测了模型的最终性能?在NLP中,LM概括到个别示例的系统特征很好,但LM对新任务的系统的系统性方面并不理解。我们使用500个程序生成的序列建模任务构建的新基准测试,展示了LM适应性的特性和限制的大规模实证研究。这些任务组合了语言处理的核心方面,包括词汇语义,序列处理,记忆,逻辑推理和世界知识。使用TaskBench500,我们评估了三个适应性的方面,发现:(1)适应程序在他们记忆小型数据集的能力中急剧差异; (2)在任务类型的子集中,适应程序表现出对复杂任务的组成适应性; (3)未能匹配培训标签分布,在预测个别标签的内在难度中解释了不匹配。我们的实验表明,可以系统地描述和理解新的任务,如新示例的泛化,以及讨论可以使用新基准研究的适应性的其他方面的结论。
translated by 谷歌翻译
视觉变形金刚(VITS)引起了对计算机视觉任务的卓越性能的关注。为解决单级低分辨率表示的限制,先前的工作适用于具有分层体系结构的高分辨率密集预测任务,以生成金字塔功能。然而,考虑到其分类的顺序拓扑,仍然对VITS探索多种表达学习。在这项工作中提高具有更多能力的VITS来学习语义和空间精确的多尺度表示,我们展示了高分辨率多分支架构的高分辨率多分支架构,带有视觉变压器,称为HRVIT,推动静脉前沿预测任务到新级别。我们探索异构分支设计,降低线性层中的冗余,并增加模型非线性以平衡模型性能和硬件效率。拟议的HRVIT在ADE20K上达到50.20%的Miou,83.16%Miou,用于语义细分任务,超过最先进的麻省理工学院和克斯犬,平均+1.78 miou改善,参数减少28%和21%拖鞋,展示HRVIT作为强大视力骨架的潜力。
translated by 谷歌翻译
量子噪声是嘈杂中间级量子(NISQ)计算机中的关键挑战。以前的缓解噪声的工作主要集中在门级或脉冲级噪声自适应编译。然而,有限的研究工作通过使量子电路本身对噪声具有更高的优化级别。我们提出了Quoutumnas,是变分电路和量子位映射的噪声自适应共同搜索的全面框架。变形量子电路是构建QML和量子仿真的有希望的方法。然而,由于大型设计空间和参数训练成本,找到最佳变分电路及其最佳参数是具有挑战性的。我们建议通过引入新的超级速度来解耦电路搜索和参数培训。超电路由多层预定的参数化栅极构成,并通过迭代采样和更新其的参数子集(Subcircuit)训练。它提供了从头开始培训的子通差形性能的准确估计。然后我们执行Subcircuit的演进共同搜索和其量子位映射。使用从超级电路继承的参数和使用真实设备噪声模型进行估计,估计子电路性能。最后,我们执行迭代栅极修剪和FineTuning以去除冗余栅极。在10个量子计算上广泛评估了12个QML和VQE基准,Quoutumnas显着优于基线。对于QML,Quoutumnas是第一个展示超过95%的2级,85%的4级和真实QC的32%的10级分类准确性。与UCCSD相比,它还实现了H2,H2O,LIH,CH4,BEH2上的VQE任务的最低特征值。我们还开源Quantumengine(https://github.com/mit-han-lab/pytorch-quantum),用于快速训练参数化量子电路,以促进未来的研究。
translated by 谷歌翻译
外部知识(A.K.A.侧面信息)在零拍摄学习(ZSL)中起着关键作用,该角色旨在预测从未出现在训练数据中的看不见的类。已被广泛调查了几种外部知识,例如文本和属性,但他们独自受到不完整的语义。因此,一些最近的研究提出了由于其高度富有效力和代表知识的兼容性而使用知识图表(千克)。但是,ZSL社区仍然缺乏用于学习和比较不同外部知识设置和基于不同的KG的ZSL方法的标准基准。在本文中,我们提出了六个资源,涵盖了三个任务,即零拍摄图像分类(ZS-IMGC),零拍摄关系提取(ZS-RE)和零拍KG完成(ZS-KGC)。每个资源都有一个正常的zsl基准标记和包含从文本到属性的kg的kg,从关系知识到逻辑表达式。我们已清楚地介绍了这些资源,包括其建设,统计数据格式和使用情况W.r.t.不同的ZSL方法。更重要的是,我们进行了一项全面的基准研究,具有两个通用和最先进的方法,两种特定方法和一种可解释方法。我们讨论并比较了不同的ZSL范式W.R.T.不同的外部知识设置,并发现我们的资源具有开发更高级ZSL方法的巨大潜力,并为应用KGS进行增强机学习的更多解决方案。所有资源都可以在https://github.com/china-uk-zsl/resources_for_kzsl上获得。
translated by 谷歌翻译
智能城市的智能交通灯可以最佳地减少交通拥堵。在这项研究中,我们采用了加强学习,培训了城市移动模拟器的红绿灯的控制代理。由于现有工程的差异,除了基于价值的方法之外,利用基于策略的深度加强学习方法,近端策略优化(PPO),例如Deep Q网络(DQN)和双DQN(DDQN)。首先,将获得PPO的最佳政策与来自DQN和DDQN的PPO相比。发现PPO的政策比其他政策更好。接下来,而不是固定间隔的流量光阶段,我们采用具有可变时间间隔的光相位,这导致更好的策略来传递流量流。然后,研究了环境和行动干扰的影响,以展示基于学习的控制器是强大的。最后,我们考虑不平衡的交通流量,并发现智能流量可以适度地对不平衡的流量方案执行,尽管它仅从平衡流量方案中了解最佳策略。
translated by 谷歌翻译
由于缺乏培训数据和异质知识来源,知识接地的对话系统是挑战的。由于培训数据中涵盖的有限主题,现有系统在不良主题上表现不佳。此外,异构知识源使系统概括到其他任务的系统,因为不同知识表示中的知识来源需要不同的知识编码器。为了解决这些挑战,我们呈现插头,将不同知识来源均匀化为知识接地的对话生成任务的统一知识来源的语言模型。插头在对话生成任务上进行预先培训,调节统一的基本知识表示。它可以通过一些培训示例概括到不同下游知识接地的对话一代任务。两个基准测试的实证评估表明,我们的模型越好跨越不同的知识接地任务。它可以在完全监督的设置下实现具有最先进的方法的可比性,并且显着优于零拍摄和少量拍摄设置中的其他方法。
translated by 谷歌翻译