对比学习已成为图形结构数据的自我监督学习方法的关键组成部分。然而,尽管取得了成功,但是现有的图形对比学习方法对于节点表示或其下游任务无能为力地定量,这限制了它们在高赌场域中的应用。在本文中,我们提出了一种新颖的贝叶斯视角,曲线图对比学习方法,显示随机增强导致随机编码器。结果,我们所提出的方法通过将每个节点嵌入到确定性矢量的现有技术对比潜空间中的分布来表示每个节点。通过学习分配表示,我们在下游图分析任务中提供不确定性估计,并提高预测模型的表现力。此外,我们提出了一个贝叶斯框架,以推断对比模型的每种视图中扰动的概率,消除了对普通参数调谐的计算昂贵的搜索需要。与在多个基准数据集上的现有最先进方法相比,我们经验凭经验显示了相当大的性能。
translated by 谷歌翻译
经验重播是深入增强学习(DRL)的重要组成部分,它可以存储经验并为代理商实时学习的经验。最近,优先的经验重播(PER)已被证明是强大的,并且在DRL代理中已广泛部署。但是,由于其频繁和不规则的内存访问,在传统的CPU或GPU架构上实施会造成大量的延迟开销。本文提出了一种硬件软件共同设计方法,以设计基于AMPER的相关内存(AM),并具有AM友好的优先采样操作。 Amper在保留学习绩效的同时,以PER中的Per取代了广泛使用的时间成本的基于Tree-Traversal的优先级抽样。此外,我们设计了基于AM的内存计算硬件体系结构,以通过利用并行的内存搜索操作来支持安珀。与GPU上的每次运行相比,Amper在在拟议的硬件上运行时,在拟议的硬件上运行55倍至270倍的延迟延迟时,显示出可比的学习表现。
translated by 谷歌翻译
大型神经模型的培训和推断很昂贵。但是,对于许多应用程序域,虽然新任务和模型经常出现,但建模的基础文档主要保持不变。我们研究如何通过嵌入回收利用(ER)来降低此类设置的计算成本:在执行训练或推理时从以前的模型中重新使用激活。与以前的工作相反,重点是冻结小型分类头进行填充,这通常会导致绩效显着下降,我们提出了从预告片的模型中缓存中间层的输出,并为新任务的剩余层进行填充。我们表明,我们的方法在训练过程中提供了100%的速度和55-86%的推理,并且对科学领域中文本分类和实体识别任务的准确性产生了可观的影响。对于通用域的问答任务,ER提供了类似的加速和少量准确性。最后,我们确定了ER的几个开放挑战和未来的方向。
translated by 谷歌翻译
竞争性在线游戏使用评分系统进行对接;基于进步的算法可以根据他们玩游戏的结果来估计具有可解释评分的玩家的技能水平。但是,玩家的总体体验是由超出其游戏唯一结果的因素来影响的。在本文中,我们设计了从游戏统计信息到模拟玩家的几个功能,并创建了准确代表其行为和真实绩效水平的评分。然后,我们将行为评级的估计能力与通过三个主流评分系统创建的评分的估计能力进行了比较,通过预测竞争激烈的射击游戏类型的四种流行游戏模式中的玩家排名。我们的结果表明,行为等级在维持创建表示形式的解释性的同时提出了更准确的绩效估计。考虑玩家的演奏行为的不同方面和使用行为等级进行对接可能会导致对决,这些比赛与玩家的目标和兴趣更加一致,因此导致了更愉快的游戏体验。
translated by 谷歌翻译
在很大程度上,由于隐私问题,很难培训有关疾病诊断或图像分割的医学图像的计算机视觉相关算法。因此,高度寻求生成图像模型以促进数据共享。但是,需要研究3-D生成模型,需要研究其隐私泄漏。我们使用在肿瘤面膜上进行条件研究的头和颈宠物图像介绍了3D生成模型横向gan(TRGAN)。我们为模型定义了图像保真度,实用性和隐私的定量度量。在培训过程中评估了这些指标,以确定理想的保真度,公用事业和隐私权权衡,并建立这些参数之间的关系。我们表明,Trgan的歧视者很容易受到攻击,并且攻击者可以识别哪些样品在训练中几乎完全准确(AUC = 0.99)。我们还表明,仅访问发电机的攻击者无法可靠地分类样品是否已用于训练(AUC = 0.51)。这表明Trgan发电机(而不是歧视者)可以用于共享具有最小隐私风险的合成3-D PET数据,同时保持良好的效用和保真度。
translated by 谷歌翻译
下一代网络将积极采用人工智能(AI)和机器学习(ML)技术,用于自动化网络和最佳网络操作策略。以Open Ran(O-Ran)为代表的新兴网络结构符合这一趋势,其规范中心的无线电智能控制器(RIC)用作ML应用程序主机。各种ML模型,尤其是强化学习(RL)模型,被认为是解决与RAN相关的多目标优化问题的关键。但是,应该认识到,当前大多数RL成功都局限于抽象和简化的仿真环境,这可能不会直接转化为复杂的真实环境中的高性能。主要原因之一是模拟与真实环境之间的建模差距,这可能会使RL代理通过模拟训练不适合真实环境。此问题称为SIM2REAL差距。本文在O-Ran的背景下引起了SIM2REAL挑战。具体而言,它强调了数字双胞胎(DT)可以作为模型开发和验证的地方的特征和好处。提出了几种用例,以举例说明并证明在真实环境中训练有训练的RL模型的故障模式。讨论了DT在协助RL算法开发方面的有效性。然后提出了通常用于克服SIM2REAL挑战的基于学习的基于艺术学习的方法。最后,从数据交互,环境瓶颈和算法设计等潜在问题的角度讨论了O-RAN中RL应用程序实现的开发和部署问题。
translated by 谷歌翻译
大型医学成像数据集变得越来越多。这些数据集中的一个普遍挑战是确保每个样本满足没有重要人工制品的最低质量要求。尽管已经开发出广泛的现有自动方法来识别医学成像中的缺陷和人工制品,但它们主要依赖于渴望数据的方法。特别是,缺乏可用于培训的手工艺品的足够扫描,在临床研究中设计和部署机器学习方面造成了障碍。为了解决这个问题,我们提出了一个具有四个主要组成部分的新颖框架:(1)一组受磁共振物理启发的手工艺发电机,以损坏大脑MRI扫描和增强培训数据集,(2)一组抽象和工程的功能,紧凑地表示图像,(3)一个特征选择过程,取决于人工制品的类别以提高分类性能,以及(4)一组受过训练以识别人工制品的支持向量机(SVM)分类器。我们的新颖贡献是三重的:首先,我们使用新型的基于物理的人工制品发生器来生成以受控的人工制品作为数据增强技术的合成脑MRI扫描。这将避免使用稀有人工制品的劳动密集型收集和标记过程。其次,我们提出了开发的大量抽象和工程图像特征,以识别9种不同的结构MRI伪像。最后,我们使用一个基于人工制品的功能选择块,该块,对于每类的人工制品,可以找到提供最佳分类性能的功能集。我们对具有人工生成的人工制品的大量数据扫描进行了验证实验,并且在一项多发性硬化症临床试验中,专家确定了真实的人工制品,这表明拟议管道表现优于传统方法。
translated by 谷歌翻译
自闭症谱系障碍(ASD)是一种神经发育障碍,导致发生改变的行为,社会发展和通信模式。在过去几年中,自闭症患病率增加了两倍,现在有1分中有1个现在受到影响。鉴于传统诊断是一种冗长,劳动密集型的过程,已经对自动筛选自闭症的发展系统来说,已经提出了重大关注。韵律异常是自闭症的最明显的迹象,受影响的儿童展示言语特质,包括梯度,单调的语调,非典型音高和不规则语言压力模式。在这项工作中,我们展示了一套机器学习方法,以检测自闭症和神经典型(NT)儿童在家庭环境中捕获的自闭症语音音频中的自闭症。我们考虑了三种方法来检测儿童的自闭症语言:首先,在提取的音频特征(包括熔融频率跳跃系数)上培训的随机森林;二,卷积神经网络(CNNS)培训谱图;第三,微调Wav2Vec 2.0 - 基于最先进的基于变压器的ASR模型。我们在从斯坦福的猜测中培训我们的小说Todaset的小说数据集的分类器?移动游戏,一个应用程序,旨在在自然家庭环境中占有自闭症和神经典型的儿童的视频。随机森林分类器实现了70%的精度,微调Wav2Vec 2.0型号达到了77%的精度,CNN在将儿童的音频视为ASD或NT时,CNN可实现79%的准确性。我们的模型能够在具有不一致的录制质量选择的家庭音频剪辑上培训时预测自闭症状态,这可能更广泛地对现实世界的条件。这些结果表明,机器学习方法提供了在没有专门设备的语音中自动检测自闭症的承诺。
translated by 谷歌翻译
远程变压器模型取得了令人鼓舞的令人鼓舞的结果,即长上下文问题应答(QA)任务。这些任务通常需要超过一个长文件的推理,并且他们受益于识别一组证据跨度(例如,句子),为解决问题提供支持证据。在这项工作中,我们提出了一种用于装备远程变压器的新方法,其具有额外的序列级目标,以便更好地识别支持证据跨度。我们通过提出FineTuning的额外对比监督信号来实现这一目标,鼓励模型通过最大化问题证据相似性来明确歧视来自消极的证据句。拟议的额外损失表现出三种不同强大的长情绪变压器模型的一致改进,跨两个具有挑战性的问题回答基准 - 热杆菌和Qasper。
translated by 谷歌翻译
可控图像合成模型允许根据文本指令或来自示例图像的指导创建不同的图像。最近,已经显示出去噪扩散概率模型比现有方法产生更现实的图像,并且已在无条件和类条件设置中成功展示。我们探索细粒度,连续控制该模型类,并引入了一种新颖的统一框架,用于语义扩散指导,允许语言或图像指导,或两者。使用图像文本或图像匹配分数的梯度将指导注入预训练的无条件扩散模型中。我们探讨基于剪辑的文本指导,以及以统一形式的基于内容和类型的图像指导。我们的文本引导综合方法可以应用于没有相关文本注释的数据集。我们对FFHQ和LSUN数据集进行实验,并显示出细粒度的文本引导图像合成的结果,与样式或内容示例图像相关的图像的合成,以及具有文本和图像引导的示例。
translated by 谷歌翻译