扩散模型是图像产生和似然估计的最新方法。在这项工作中,我们将连续的时间扩散模型推广到任意的Riemannian流形,并得出了可能性估计的变异框架。在计算上,我们提出了计算可能性估计中需要的黎曼分歧的新方法。此外,在概括欧几里得案例时,我们证明,最大化该变异的下限等效于Riemannian得分匹配。从经验上讲,我们证明了Riemannian扩散模型在各种光滑的歧管上的表达能力,例如球体,Tori,双曲线和正交组。我们提出的方法在所有基准测试基准上实现了新的最先进的可能性。
translated by 谷歌翻译
当动作集具有良好的曲率时,我们在任何线性匪徒算法产生的设计矩阵的特征矩阵上介绍了一个非呈现的下限。具体而言,我们表明,每当算法的预期累积后悔为$ o(\ sqrt {n})$时,预期设计矩阵的最低特征值将随着$ \ omega(\ sqrt {n})$的增长而生长为$ n $是学习范围,动作空间在最佳臂周围具有恒定的Hessian。这表明,这种作用空间在离散(即分离良好的)动作空间中迫使多项式下限而不是对数下限,如\ cite {lattimore2017end}所示。此外,虽然先前的结果仅在渐近方案(如$ n \ to \ infty $)中保留,但我们对这些``本地富裕的''动作空间的结果随时都在。此外,在温和的技术假设下,我们以高概率获得了对最小本本特征值的相似下限。我们将结果应用于两个实用的方案 - \ emph {model selection}和\ emph {clustering}在线性匪徒中。对于模型选择,我们表明了一个基于时期的线性匪徒算法适应了真实模型的复杂性,以时代数量的速率指数,借助我们的新频谱结合。对于聚类,我们考虑了一个多代理框架,我们通过利用光谱结果,该框架来证明该框架,该框架,该框架,该框架通过光谱结果,该频谱结果,该框架的结果,该频谱结果,该框架的结果,该频谱结果该框架,该框架的结果不需要强制探索 - 代理商可以运行线性匪徒算法并立即估算其基本参数,从而产生低遗憾。
translated by 谷歌翻译
我们考虑在一般函数近似下,考虑了经典增强学习(RL)环境的模型选择 - 多武装强盗(mAb)和马尔可夫决策过程(MDPS)。在模型选择框架中,我们不知道函数类,由$ \ MATHCAL {F} $和$ \ MATHCAL {M} $表示,其中True Models-奖励MABS的奖励生成函数以及MDPS的过渡内核 - - 分别撒谎。取而代之的是,我们获得了$ M $嵌套功能(假设)类,使得真正的模型包含在至上的类别中。在本文中,我们提出并分析了MAB和MDP的有效模型选择算法,将\ Emph {Adapt} \ emph {Adapt}到最小的函数类(在嵌套的$ M $类中),其中包含真实的基础模型。在嵌套假设类别的可分离性假设下,我们表明我们的自适应算法的累积后悔与知道正确功能类(即$ \ cf $和$ \ cm $)的Oracle的累积后悔相匹配。此外,对于这两种设置,我们都表明,模型选择的成本是一个遗憾的术语,因为它对学习范围$ t $的弱(对数)依赖性弱(对数)。
translated by 谷歌翻译
解释机器学习决策的问题是经过深入研究和重要的。我们对一种涉及称为图形神经网络的图形数据的特定类型的机器学习模型感兴趣。众所周知,由于缺乏公认的基准,评估图形神经网络(GNN)的可解释性方法是具有挑战性的。鉴于GNN模型,存在几种可解释性方法来解释具有多种(有时相互矛盾的)方法论的GNN模型。在本文中,我们提出了一个基准,用于评估称为Bagel的GNN的解释性方法。在百吉饼中,我们首先提出了四种不同的GNN解释评估制度 - 1)忠诚,2)稀疏性,3)正确性。 4)合理性。我们在现有文献中调和多个评估指标,并涵盖了各种概念以进行整体评估。我们的图数据集范围从引文网络,文档图,到分子和蛋白质的图。我们对四个GNN模型和九个有关节点和图形分类任务的事后解释方法进行了广泛的实证研究。我们打开基准和参考实现,并在https://github.com/mandeep-rathee/bagel-benchmark上提供它们。
translated by 谷歌翻译
现在,基于BERT的上下文排名模型已在各种段落和文档排名任务中已建立。但是,在对抗输入下基于BERT的排名模型的鲁棒性不足。在本文中,我们认为,伯特级居民对针对检索文件的对抗性攻击并不免疫。首先,我们提出了使用基于梯度的优化方法对高度相关和非相关文档的对抗扰动算法。我们的算法的目的是将少量令牌添加到高度相关或非相关的文档中,以引起大量降级或晋升。我们的实验表明,少数令牌已经可以导致文档等级发生很大变化。此外,我们发现伯特级速率在很大程度上依靠文档开始/头来进行相关性预测,从而使文档的初始部分更容易受到对抗攻击的影响。更有趣的是,我们发现一小部分反复出现的对抗性词,将这些单词添加到文档中后,这些单词分别导致任何相关/非相关/非相关文件的成功级别降级/促进。最后,我们的对抗令牌还显示了数据集内部和跨数据集内的特定主题偏好,从而暴露了BERT预训练或下游数据集中的潜在偏见。
translated by 谷歌翻译
这项工作的目的是研究互补的特征,这些特征可以帮助典型的MEL频率经系系数(MFCC),以封闭,有限的set set Word识别为不同母亲说话的英语说话者。与源自语音信号的光谱能量的MFCC不同,提议的频率饮食(FCS)封装了语音光谱不同带的光谱中心,由MEL FILLEC BANK定义。观察到这些功能与MFCC结合使用,可提供英语单词识别的相对性能提高,尤其是在各种嘈杂条件下。两阶段的卷积神经网络(CNN)用于模拟用阿拉伯语,法语和西班牙口音说出的英语单词的特征。
translated by 谷歌翻译
强有力的彩票假说(SLTH)规定了足够过度参数(密集的)神经网络中的子网的存在,当随机初始化并且没有任何培训时,可以实现受过全面训练的目标网络的准确性。 \ citet {da2022 -proving}的最新工作表明,SLTH也可以扩展到翻译模棱两可的网络(即CNNS),具有与密集网络中SLT相同的过多叠加级化。但是,现代神经网络能够不仅纳入翻译对称性,而且开发一般的模棱两可的体系结构(例如旋转和排列)一直是一个有力的设计原理。在本文中,我们将slth推广到保留$ g $(即$ g $ equivariant网络)的函数,并以很高的概率证明,可以修剪随机初始初始初始化的过度透明$ g $ - $ g $ - $ g $ equivariant子网网络近似于固定宽度和深度的另一个完全训练的$ g $ equivariant网络。我们进一步证明,我们规定的过透明方案也是误差耐受性的函数。我们为各个组开发了我们的理论,包括重要的理论,例如欧几里得组的子组$ \ text {e}(n)$和对称组的子群体$ g \ leq \ leq \ mathcal {s} _n _n $ - 允许我们找到用于MLP,CNN,$ \ text {e}(2)$的SLTS,并以$ \ text {e}(2)$ - 通知CNN和置换量表等度性网络作为我们统一框架的特定实例,该框架完全扩展了先前的工作。从经验上讲,我们通过修剪过度叠加的$ \ text {e}(2)$来验证我们的理论,并传达CNN和消息传递GNN,以匹配给定的错误耐受性内受过训练的目标网络的性能。
translated by 谷歌翻译
心脏病已成为对人类生活产生重大影响的最严重疾病之一。在过去的十年中,它已成为全球人民死亡的主要原因之一。为了防止患者进一步损害,准确地诊断为心脏病是一个重要因素。最近,我们看到了非侵入性医学程序的用法,例如医学领域的基于人工智能的技术。专门的机器学习采用了多种算法和技术,这些算法和技术被广泛使用,并且在较少的时间以诊断心脏病的准确诊断非常有用。但是,对心脏病的预测并不是一件容易的事。医疗数据集的规模不断增加,使从业者了解复杂的特征关系并做出疾病预测是一项复杂的任务。因此,这项研究的目的是从高度维数据集中确定最重要的风险因素,这有助于对心脏病的准确分类,并减少并发症。为了进行更广泛的分析,我们使用了具有各种医学特征的两个心脏病数据集。基准模型的分类结果证明,相关特征对分类精度产生了很大的影响。即使功能减少,与在全功能集中训练的模型相比,分类模型的性能随着训练时间的减少而显着提高。
translated by 谷歌翻译
人工智能被出现为众多临床应用诊断和治疗决策的有用援助。由于可用数据和计算能力的快速增加,深度神经网络的性能与许多任务中的临床医生相同或更好。为了符合信任AI的原则,AI系统至关重要的是透明,强大,公平和确保责任。由于对决策过程的具体细节缺乏了解,目前的深神经系统被称为黑匣子。因此,需要确保在常规临床工作流中纳入常规神经网络之前的深度神经网络的可解释性。在这一叙述审查中,我们利用系统的关键字搜索和域专业知识来确定已经基于所产生的解释和技术相似性的类型的医学图像分析应用的深度学习模型来确定九种不同类型的可解释方法。此外,我们报告了评估各种可解释方法产生的解释的进展。最后,我们讨论了局限性,提供了利用可解释性方法和未来方向的指导,了解医学成像分析深度神经网络的解释性。
translated by 谷歌翻译
背景:胸膜间皮瘤(PM)是一种不寻常的交叉肿瘤,迅速发展肺部胸膜癌症。胸腔间皮瘤是一种常见的间皮瘤,占每年在美国每年诊断的患儿诊断的75%的75%。诊断间皮瘤的诊断需要几个月,价格昂贵。鉴于与PM诊断相关的风险和限制,早期识别这种疾病对于患者健康至关重要。目的:在这项研究中,我们使用人工智能算法推荐最适合MPM的早期诊断和预后的最佳拟合模型。方法:我们回顾性地检索了DICE University,土耳其和应用多层射击(MLP),投票的感知者(vp),克罗尼分类器(CC),内核逻辑回归(KLR),随机梯度体面的SGD),自适应提升(Adaboost),Hoeffding树(VFDT)和支持向量机(S-PEGASOS)的原始估计子梯度求解器。我们根据各自的分类精度,F法测量,精度,召回,均方根误差,接收器特征曲线(ROC)和精密召回,使用与0.05的比较和测试使用配对T检验(校正)进行比较和测试。曲线(中国)。结果:在第1阶段,SGD,Adaboost。 M1,KLR,MLP,VFDT采用最高性能措施产生最佳效果。在第2阶段,Adaboost,分类精度为71.29%,表现优于所有其他算法。发现C-反应蛋白,血小板计数,症状持续时间,性别和胸膜蛋白是最相关的预测因子,可以预测间皮瘤。结论:本研究证实,从活检和想象测试中获得的数据是间皮瘤的强预测因子,但与高成本相关;然而,它们可以以最佳的准确性识别间皮瘤。
translated by 谷歌翻译