我们提出了一种共同校正的随机批处理方法,用于相互作用的粒子系统。通过建立特定的熵中心限制定理,我们为所提出方法的所有粒子的整个轨迹的定律提供熵收敛的保证\ alpha n)^{\ frac {1} {3}} $(其中$ n $是粒子的数量,$ \ alpha $是时间离散参数)。反过来,这意味着当$ b $甚至中等大的时候,这些方法的输出几乎是\ emph {统计上无法区分的}。先前的作品主要考虑在瓦斯恒星距离中的收敛性,对电势或边界的必要严格假设具有指数依赖性对时间范围的依赖性。这项工作使对相互作用势的假设最少,尤其是确定即使粒子轨迹差异到无穷大,它们也以两种方法的方式这样做。鉴于基于粒子的相互作用算法的最新进展,这种保证非常有用。
translated by 谷歌翻译
经验重播方法是加固学习(RL)算法的重要组成部分,旨在减轻伪造的相关性和偏见,同时从时间依赖的数据中学习。粗略地说,这些方法使我们能够从大型缓冲液中绘制批处理的数据,从而使这些时间相关性不会妨碍下降算法的性能。在这项实验工作中,我们考虑了最近开发和理论上严格的反向经验重播(RER),该重播已被证明可以消除简化的理论环境中的这种虚假偏见。我们将RER与乐观的经验重播(OER)相结合,以获得RER ++,在神经功能近似下这是稳定的。我们通过实验表明,在各种任务上的优先体验重播(PER)等技术的性能要比计算复杂性明显较小,具有更好的性能。在RL文献中众所周知,选择最大的TD误差(如OER)或形成具有连续数据点(如RER)的迷你批次而贪婪地选择示例。但是,结合这些技术的方法效果很好。
translated by 谷歌翻译
本文识别数据分布的结构属性,使得深神经网络能够分层学习。我们定义了在布尔超立方体上的功能的“楼梯”属性,该功能在沿着增加链的低阶傅里叶系数可达高阶傅里叶系数。我们证明了满足该属性的功能可以在多项式时间中使用常规神经网络上的分层随机坐标血液中学到多项式时间 - 一类网络架构和具有同质性属性的初始化。我们的分析表明,对于这种阶梯功能和神经网络,基于梯度的算法通过贪婪地组合沿网络深度的较低级别特征来了解高级功能。我们进一步回复了我们的理论结果,实验显示楼梯功能也是由具有随机梯度下降的更多标准Reset架构进行学习的。理论和实验结果都支持阶梯属性在理解基于梯度的学习的能力的情况下,与可以模仿最近所示的任何SQ或PAC算法的一般多项式网络相反,阶梯属性在理解普通网络上的能力相反。
translated by 谷歌翻译
我们考虑载有X_ {t + 1} = \ phi(a ^ * x_t)+ \ eta_t $的设置,其中$ \ eta_t $是无偏见的噪音和$ \ phi:\ mathbb {r \ to \ mathbb {r} $是已知的链接功能,满足某些{\ em扩展性属性}。目标是从单个轨迹$ x_1,\ cdots,x_t $的{\ em依赖或相关}样本中学习$ a ^ * $。虽然在线性案例中,在线性案例中的问题很好,而$ \ phi $是身份,但对于非混音系统,最佳错误率,即使是非混音系统,也存在于非线性案例的结果仅适用于混合系统。在这项工作中,我们以多种方式改善了用于学习非线性系统的现有结果:a)我们提供了在没有混合假设的情况下学习非线性动态系统的第一个离线算法,B)我们显着提高了现有的样本复杂性结果混合系统,c)在更难的单遍,流媒体设置中,我们研究了一个具有反向体验的SGD($ \ MATHSF {SGD-RER} $)方法,并证明用于混合系统,它实现了相同的样本复杂性作为我们的离线算法,d)我们通过表示流行的Relu链接功能来证明扩张假设 - 一种与IID的非膨胀而易于学习的链接函数样本 - 任何方法都需要指数呈现许多样本(相对于X_T $的维度)来自动态系统。我们通过验证我们的结果。仿真并证明SGD的天真应用可以高度次优。实际上,我们的工作表明,对于相关的数据,专门用于数据中的依赖结构的专用方法可以显着优于基于标准的SGD方法。
translated by 谷歌翻译
我们考虑通过流算法从单个轨迹估计线性时间不变(LTI)动态系统的问题,这在包括增强学习(RL)和时间序列分析的若干应用中遇到。虽然LTI系统估计问题在{\ em离线}设置中进行了很好地研究,但实际上重要的流媒体/在线设置很少受到关注。如随机梯度下降(SGD)等标准流动方法不太可能起作用,因为流点可以高度相关。在这项工作中,我们提出了一种新颖的流媒体算法,SGD具有反向体验的重播($ \ MATHSF {SGD} - \ MATHSF {RER),这是由RL文献中流行的体验重播(ER)技术的启发。 $ \ mathsf {sgd} - \ mathsf {rer} $划分为小缓冲区,并在存储在单个缓冲区中的数据后向后运行SGD。我们表明该算法精确地解构了依赖结构,并获得了从理论上最佳保证的信息,用于参数误差和预测误差。因此,我们提供了我们的第一至最佳的知识 - 最佳的SGD风格算法,用于使用一阶Oracle的线性系统识别的经典问题。此外,$ \ mathsf {sgd} - \ mathsf {rer} $可以应用于具有已知稀疏模式和非线性动态系统的稀疏LTI识别的更多常规设置。我们的工作表明,数据依赖性结构的知识可以帮助我们在统计上和计算上的算法设计中,这些算法可以“去相关”流样本。
translated by 谷歌翻译
We explore the use of large language models (LLMs) for zero-shot semantic parsing. Semantic parsing involves mapping natural language utterances to task-specific meaning representations. Language models are generally trained on the publicly available text and code and cannot be expected to directly generalize to domain-specific parsing tasks in a zero-shot setting. In this work, we propose ZEROTOP, a zero-shot task-oriented parsing method that decomposes a semantic parsing problem into a set of abstractive and extractive question-answering (QA) problems, enabling us to leverage the ability of LLMs to zero-shot answer reading comprehension questions. For each utterance, we prompt the LLM with questions corresponding to its top-level intent and a set of slots and use the LLM generations to construct the target meaning representation. We observe that current LLMs fail to detect unanswerable questions; and as a result, cannot handle questions corresponding to missing slots. To address this problem, we fine-tune a language model on public QA datasets using synthetic negative samples. Experimental results show that our QA-based decomposition paired with the fine-tuned LLM can correctly parse ~16% of utterances in the MTOP dataset without requiring any annotated data.
translated by 谷歌翻译
深度学习目前是机器学习中最重要的分支,在语音识别,计算机视觉,图像分类和医学成像分析中的应用。植物识别是可以使用图像分类通过其叶子识别植物物种的领域之一。植物学家通过亲自检查将大量时间用于识别植物物种。本文描述了一种剖析瑞典叶子和识别植物物种的颜色图像的方法。为了实现更高的准确性,该任务是在预先训练的分类器VGG-19的帮助下使用转移学习完成的。分类的四个主要过程是图像预处理,图像增强,特征提取和识别,这些过程是作为整体模型评估的一部分进行的。 VGG-19分类器通过采用预定义的隐藏层(例如卷积层,最大池层和完全连接的层)来掌握叶子的特征,并最终使用Soft-Max层为所有植物类生成特征表示。该模型获得了与瑞典叶数据集的各个方面相关的知识,其中包含15种树类,并有助于预测未知植物的适当类别,准确性为99.70%,这比以前报告的研究工作高。
translated by 谷歌翻译
在本文中,我们展示了一种独特的配方,可以通过将预处理技术融合到深度学习模型中来增强音频机学习方法的有效性。我们的解决方案通过通过训练而不是昂贵的随机搜索来优化超参数来加速培训和推理性能,从而从音频信号中构建可靠的蚊子探测器。此处介绍的实验和结果是MOS C提交ACM 2022挑战的一部分。在未发表的测试集上,我们的结果优于已发布的基线212%。我们认为,这是建立强大的生物声学系统的最好的现实世界中的一个例子之一,该系统在嘈杂的条件下提供可靠的蚊子检测。
translated by 谷歌翻译
随着作者的数量在多年来呈指数增长,共享相同名称的作者数量正在按比例增加。这使得将新发表的论文分配给其足够的作者是一项挑战。因此,作者名称歧义(ANA)被认为是数字库中的关键开放问题。本文提出了一个作者名称歧义(和)方法,该方法通过利用其合着者和研究领域来将作者姓名与其现实世界实体联系起来。为此,我们使用了DBLP存储库中的收藏集,其中包含大约260万名合着者撰写的超过500万本书目记录。我们的第一组作者共享相同的姓氏和相同的名字名称。通过捕获与他/她的合着者和研究领域的关系来确定每个小组内的作者,这是由相应作者的经过验证的出版物的标题代表的。为此,我们训练一个神经网络模型,该模型从共同作者和标题的表示中学习。我们通过在大型数据集上进行大量实验来验证方法的有效性。
translated by 谷歌翻译
我们考虑了具有一系列二次损耗的序列,即LQR控制的问题。我们提供了一种有效的在线算法,该算法实现了$ \ tilde {o}的最佳动态(策略)遗憾(\ text {max} \ {n^{n^{1/3} \ mathcal {tv}(m_ {1:n})^{2/3},1 \})$,其中$ \ Mathcal {tv}(m_ {1:n})$是任何Oracle序列序列的总变化,由$ M_1,...,...,...,...,...,...,...,...,...,...,...,...,...,...m_n $ - 事后选择以迎合未知的非机构性。该费率提高了$ \ tilde {o}(\ sqrt {n(\ Mathcal {tv}}(m_ {1:n})+1)} $的最佳已知费率(\ sqrt {N(\ Mathcal {tv}})$ - 理论上最佳的LQR。主要技术组件包括将LQR减少到在线线性回归,并延迟由于Foster和Simchowitz(2020)而延迟反馈,以及具有最佳$ \ tilde {o}(n^{1/3})的新的适当学习算法(N^{1/3})$动态的遗憾是``小匹配''二次损失的家庭,这可能引起独立的兴趣。
translated by 谷歌翻译