在这项工作中,我们提出并评估了一种新的增强学习方法,紧凑体验重放(编者),它使用基于相似转换集的复发的预测目标值的时间差异学习,以及基于两个转换的经验重放的新方法记忆。我们的目标是减少在长期累计累计奖励的经纪人培训所需的经验。它与强化学习的相关性与少量观察结果有关,即它需要实现类似于文献中的相关方法获得的结果,这通常需要数百万视频框架来培训ATARI 2600游戏。我们举报了在八个挑战街机学习环境(ALE)挑战游戏中,为仅10万帧的培训试验和大约25,000次迭代的培训试验中报告了培训试验。我们还在与基线的同一游戏中具有相同的实验协议的DQN代理呈现结果。为了验证从较少数量的观察结果近似于良好的政策,我们还将其结果与从啤酒的基准上呈现的数百万帧中获得的结果进行比较。
translated by 谷歌翻译
注意机制对研究界提出了重大兴趣,因为他们承诺改善神经网络架构的表现。但是,在任何特定的问题中,我们仍然缺乏主要的方法来选择导致保证改进的具体机制和超参数。最近,已经提出了自我关注并广泛用于变压器 - 类似的架构中,导致某些应用中的重大突破。在这项工作中,我们专注于两种形式的注意机制:注意模块和自我关注。注意模块用于重新重量每个层输入张量的特征。不同的模块具有不同的方法,可以在完全连接或卷积层中执行此重复。研究的注意力模型是完全模块化的,在这项工作中,它们将与流行的Reset架构一起使用。自我关注,最初在自然语言处理领域提出,可以将所有项目与输入序列中的所有项目相关联。自我关注在计算机视觉中越来越受欢迎,其中有时与卷积层相结合,尽管最近的一些架构与卷曲完全消失。在这项工作中,我们研究并执行了在特定计算机视觉任务中许多不同关注机制的客观的比较,在广泛使用的皮肤癌MNIST数据集中的样本分类。结果表明,关注模块有时会改善卷积神经网络架构的性能,也是这种改进虽然明显且统计学意义,但在不同的环境中并不一致。另一方面,通过自我关注机制获得的结果表明了一致和显着的改进,即使在具有减少数量的参数的架构中,也可以实现最佳结果。
translated by 谷歌翻译
在这项工作中,研究了来自磁共振图像的脑年龄预测的深度学习技术,旨在帮助鉴定天然老化过程的生物标志物。生物标志物的鉴定可用于检测早期神经变性过程,以及预测与年龄相关或与非年龄相关的认知下降。在这项工作中实施并比较了两种技术:应用于体积图像的3D卷积神经网络和应用于从轴向平面的切片的2D卷积神经网络,随后融合各个预测。通过2D模型获得的最佳结果,其达到了3.83年的平均绝对误差。 - Neste Trabalho S \〜AO InvestigaDAS T \'Ecnicas de Aprendizado Profundo Para a previ \ c {c} \〜ate daade脑电站a partir de imagens de resson \ ^ ancia magn \'etica,Visando辅助Na Identifica \ c {C} \〜AO de BioMarcadores Do Processo Natural de Envelhecimento。一个identifica \ c {c} \〜ao de bioMarcarcores \'e \'util para a detec \ c {c} \〜ao de um processo neurodegenerativo em Est \'Agio无数,Al \'em de possibilitar Prever Um decl 'inio cognitivo relacionado ou n \〜ao \`一个懒惰。 Duas T \'ECICAS S \〜AO ImportyAdas E Comparadas Teste Trabalho:Uma Rede神经卷应3D APLICADA NA IMAGEM VOLUM \'ETRICA E UME REDE神经卷轴2D APLICADA A FATIAS DO PANIAS轴向,COM后面fus \〜AO DAS PREDI \ C {c} \ \ oes个人。 o Melhor ResultAdo Foi optido Pelo Modelo 2D,Que Alcan \ C {C} OU UM ERRO M \'EDIO ABSOLUTO DE 3.83 ANOS。
translated by 谷歌翻译
增加分类变量的基数可能会降低ML算法的整体性能。本文介绍了一种新颖的计算预处理方法,用于转换为机器学习(ML)算法的数值变量的分类。在此方法中,我们选择并将三个分类特征转换为数值特征。首先,我们根据变量中类别的分布选择阈值参数。然后,我们使用条件概率将每个分类变量转换为两个新的数字变量,总共产生六个新的数变量。之后,我们将这六个数值送入到主成分分析(PCA)算法。接下来,我们选择主组件(PCS)的整个或部分数量。最后,通过使用十种不同的分类器应用二进制分类,我们测量了新编码器的性能,并将其与其他17个众所周知的类别编码器进行比较。所提出的技术实现了使用众所周知的网络安全NSLKDD DataSet对高基数分类变量下的曲线(AUC)下的最高性能。此外,我们定义了谐波平均指标,在火车和测试性能之间找到最佳权衡,并防止磨损和过度装备。最终,新创建的数字变量的数量很少。因此,该数据减少改善了计算处理时间,这可能减少5G未来电信网络中的处理数据。
translated by 谷歌翻译
培训医学图像分割模型通常需要大量标记的数据。相比之下,人类可以迅速学会从医学(例如MRI和CT)图像中准确地识别出有限的指导性解剖学。这种识别能力可以很容易地推广到来自不同临床中心的新图像。这种快速且可普遍的学习能力主要是由于人脑中图像模式的组成结构所致,该图像模式在医学图像分割中较少纳入。在本文中,我们将人类解剖结构的组成成分(即模式)建模为可学习的von-mises-fisher(VMF)内核,它们对从不同领域(例如临床中心)收集的图像具有鲁棒性。图像特征可以分解为具有组成操作的组件(或由)组成的组件,即VMF可能性。 VMF的可能性证明了每个解剖部分在图像的每个位置的可能性。因此,可以根据VMF的可能性预测分割掩模。此外,使用重建模块,未标记的数据也可以通过重新组合重建输入图像来学习VMF内核和可能性。广泛的实验表明,所提出的VMFNET在两个基准上实现了改善的概括性能,尤其是在注释有限的情况下。代码可在以下网址公开获取:https://github.com/vios-s/vmfnet。
translated by 谷歌翻译
通过离散采样观测来建模连续的动力系统是数据科学中的一个基本问题。通常,这种动力学是非本地过程随时间不可或缺的结果。因此,这些系统是用插差分化方程(IDE)建模的;构成积分和差分组件的微分方程的概括。例如,大脑动力学不是通过微分方程来准确模拟的,因为它们的行为是非马克维亚的,即动态是部分由历史决定的。在这里,我们介绍了神经IDE(NIDE),该框架使用神经网络建模IDE的普通和组成部分。我们在几个玩具和大脑活动数据集上测试NIDE,并证明NIDE的表现优于其他模型,包括神经ODE。这些任务包括时间外推,以及从看不见的初始条件中预测动态,我们在自由行为的小鼠中测试了全皮质活动记录。此外,我们表明,NIDE可以通过学识渊博的整体操作员将动力学分解为马尔可夫和非马克维亚成分,我们在氯胺酮的fMRI脑活动记录中测试了动力学。最后,整体操作员的整体提供了一个潜在空间,可深入了解潜在的动态,我们在宽阔的大脑成像记录上证明了这一点。总体而言,NIDE是一种新颖的方法,可以通过神经网络对复杂的非本地动力学进行建模。
translated by 谷歌翻译
由于大量学生参加了大规模开放的在线课程(MOOC),因此越来越多的自动化程序维修技术集中在入门编程任务(IPA)上。这种最先进的技术使用程序聚类来利用以前的正确学生实现来修复给定的新不正确提交。通常,这些维修技术使用聚类方法,因为分析了所有可用的正确学生提交以维修程序是不可行的。聚类方法使用基于几个功能的程序表示,例如抽象语法树(AST),语法,控制流和数据流。但是,在表示语义上相似的程序时,这些功能有时会变得脆弱。本文提出了InvaastCluster,这是一种用于程序群集的新方法,它利用了在几个程序执行中观察到的动态生成的程序不变性,以群群群集在语义上等效的IPA。我们的主要目的是通过其不变性及其结构通过其匿名抽象语法树来找到程序的语义结合及其结构的组合。 InvaastCluster的评估表明,在聚集一组不同的正确IPA时,建议的程序表示法优于基于语法的表示。此外,我们将InvaastCluster集成到基于最新的聚类的程序维修工具中,并在一组IPA上进行评估。我们的结果表明,InvaastCluster通过在较短的时间内修复大量学生的程序来使用基于聚类的程序维修工具使用时的当前最新设备。
translated by 谷歌翻译
人类AI合作(HAIC)在决策中的合作旨在在人类决策者和AI系统之间建立协同团队。学会推迟(L2D)已作为一个有前途的框架,以确定人类中的谁和人工智能应采取哪些决定,以优化联合系统的性能和公平性。然而,L2D需要几个通常不可行的要求,例如,人类对每个实例的预测可用性,或独立于上述决策者的地面标签。此外,L2D和其他方法都没有解决在现实世界中部署HAIC的基本问题,例如能力管理或处理动态环境。在本文中,我们旨在识别和审查这些局限性和其他局限性,指出HAIC未来研究的机会可能会在哪里。
translated by 谷歌翻译
机器学习算法从数据中学习模式的无与伦比的能力也使它们能够融合嵌入的偏差。然后,一个有偏见的模型可以做出不成比例地损害社会中某些群体的决定。在静态ML环境中,大多数现实世界中大多数用例运行的动态预测案例都没有用于衡量静态ML环境中的不公平性。在后者中,预测模型本身在塑造数据的分布中起着关键作用。但是,很少注意将不公平与这些互动联系起来。因此,为了进一步理解这些环境中的不公平性,我们提出了一种分类法来表征数据中的偏见,并研究其由模型行为塑造的案例。以现实世界的开头欺诈检测案例研究为例,我们研究了表演性预测中两个典型偏见的性能和公平性的危险:分配变化以及选择性标签的问题。
translated by 谷歌翻译
Teaser: How seemingly trivial experimental design choices made to simplify the evaluation of ML systems can yield misleading results.
translated by 谷歌翻译