我们展示了在文本上预先培训的神经网络,并在代码上进行微调解决数学问题,通过程序合成解决了数学问题。我们将问题转化为编程任务,自动生成程序,然后从MIT的大型数学课程(单变微积分18.01,多变量计算18.02,微分方程18.03,概率和统计介绍18.05,概率和统计概要和统计概要和统计概要和统计概要和统计概要和统计概要和统计概要和统计概况概要和统计概要和统计概要和统计概率概述的大学级问题。 18.06,以及计算机科学的数学6.042)以及数学数据集的问题(在预先发生的地板,代数,计数和概率,数字理论和前进的问题上),最新数学问题的基准专门用于评估数学推理。我们探索提示生成方法,使变形金刚能够为这些主题生成问题解决程序,包括具有图的解决方案。我们在每个主题中的随机问题上生成正确的答案。我们量化了原始和转型问题之间的差距,并进行了调查以评估所产生的问题的质量和难度。这是在规模上自动解决,等级和生成大学数学课程问题的第一项工作,这代表了高等教育的里程碑。
translated by 谷歌翻译
我们研究了具有神经网络控制器(NNC)的闭环动态系统的验证问题。此问题通常还原为计算可达状态集。在考虑动态系统和神经网络的隔离时,基于分别称为泰勒模型和Zonotopes的集合表示,该任务存在精确的方法。然而,这些方法对NNC的组合是非微不足道的,因为当在集合表示之间转换时,依赖性信息在每个控制周期中丢失,并且累积的近似误差快速使结果呈现。我们提出了一种基于泰勒模型和ZONotopes的链接近算法,得到了NNC的精确可达性算法。因为该算法仅在孤立方法的界面上起作用,所以适用于一般动态系统和神经网络,可以从这些领域的未来进展中受益。我们的实施提供了最先进的绩效,是第一个成功分析NNC年可达性竞争的所有基准问题。
translated by 谷歌翻译
各系列扩张是几个世纪以来的应用数学和工程的基石。在本文中,我们从现代机器学习角度重新审视了泰勒系列扩张。具体地,我们介绍了快速连续的卷积泰勒变换(FC2T2),这是快速多极法(FMM)的变型,其允许在连续空间中有效地逼近低维卷积操作者。我们建立在FMM上,这是一种近似算法,其降低了从O(nm)到o(n + m)的n身体问题的计算复杂度,并在例如,在例如,在例如,在例如,在ev中找到应用。粒子模拟。作为中间步骤,FMM为网格上的每个单元产生串联扩展,我们引入直接作用于该表示的算法。这些算法分析但大致计算了反向衰减算法的前向和后向通过所需的数量,因此可以在神经网络中用作(隐式)层。具体地,我们引入了一种根隐性层,其输出表面法线和对象距离以及输出给定3D姿势的辐射场的渲染的积分隐式层。在机器学习的背景下,可以理解为N $和M $的$和M $分别被理解为型号参数和模型评估的数量,这对于需要在计算机视觉和图形中普遍存在的重复函数评估的应用程序,与常规神经网络不同网络,该技术以参数优雅地介绍了本文。对于某些应用,这导致拖鞋的200倍减少,与最先进的方法以合理的或不存在的准确性损失相比。
translated by 谷歌翻译
量子Gibbs状态的制备是量子计算的重要组成部分,在各种区域具有广泛的应用,包括量子仿真,量子优化和量子机器学习。在本文中,我们提出了用于量子吉布斯状态准备的变分杂化量子典型算法。我们首先利用截短的泰勒系列来评估自由能,并选择截短的自由能量作为损耗功能。然后,我们的协议训练参数化量子电路以学习所需的量子吉布斯状态。值得注意的是,该算法可以在配备有参数化量子电路的近期量子计算机上实现。通过执行数值实验,我们显示浅参数化电路,只有一个额外的量子位训练,以便准备诸如高于95%的保真度的insing链和旋转链Gibbs状态。特别地,对于ising链模型,我们发现,只有一个参数和一个额外的qubit的简化电路ansatz可以训练,以在大于2的逆温度下实现吉布斯状态准备中的99%保真度。
translated by 谷歌翻译
数据驱动模型发现中的中央挑战是存在隐藏或潜伏的变量,这些变量不会直接测量,而是动态重要。 TAKENS的定理提供了在可能随时间延迟信息中增加这些部分测量的条件,导致吸引物,这是对原始全状态系统的扩散逻辑。然而,回到原始吸引子的坐标变换通常是未知的,并且学习嵌入空间中的动态仍然是几十年的开放挑战。在这里,我们设计自定义深度AutoEncoder网络,以学习从延迟嵌入空间的坐标转换到一个新的空间,其中可以以稀疏,封闭的形式表示动态。我们在Lorenz,R \“Ossler和Lotka-Volterra系统上,从单个测量变量的学习动态展示了这种方法。作为一个具有挑战性的例子,我们从混乱的水车视频中提取的单个标量变量中学到一个洛伦兹类似物得到的建模框架结合了深入的学习来揭示可解释建模的非线性动力学(SINDY)的揭示有效坐标和稀疏识别。因此,我们表明可以同时学习闭合模型和部分的坐标系观察到的动态。
translated by 谷歌翻译
特征回归是将大型神经网络模型蒸馏到较小的功能回归。我们表明,随着网络架构的简单变化,回归可能会优于自我监督模型的知识蒸馏更复杂的最先进方法。令人惊讶的是,即使仅在蒸馏过程中仅使用并且在下游任务中丢弃时,将多层的Perceptron头部添加到CNN骨架上是有益的。因此,更深的非线性投影可以使用在不改变推理架构和时间的情况下准确地模仿老师。此外,我们利用独立的投影头来同时蒸馏多个教师网络。我们还发现,使用与教师和学生网络的输入相同的弱增强图像辅助蒸馏。Imagenet DataSet上的实验证明了各种自我监督蒸馏环境中提出的变化的功效。
translated by 谷歌翻译
Adaptive partial linear beamforming meets the need of 5G and future 6G applications for high flexibility and adaptability. Choosing an appropriate tradeoff between conflicting goals opens the recently proposed multiuser (MU) detection method. Due to their high spatial resolution, nonlinear beamforming filters can significantly outperform linear approaches in stationary scenarios with massive connectivity. However, a dramatic decrease in performance can be expected in high mobility scenarios because they are very susceptible to changes in the wireless channel. The robustness of linear filters is required, considering these changes. One way to respond appropriately is to use online machine learning algorithms. The theory of algorithms based on the adaptive projected subgradient method (APSM) is rich, and they promise accurate tracking capabilities in dynamic wireless environments. However, one of the main challenges comes from the real-time implementation of these algorithms, which involve projections on time-varying closed convex sets. While the projection operations are relatively simple, their vast number poses a challenge in ultralow latency (ULL) applications where latency constraints must be satisfied in every radio frame. Taking non-orthogonal multiple access (NOMA) systems as an example, this paper explores the acceleration of APSM-based algorithms through massive parallelization. The result is a GPUaccelerated real-time implementation of an orthogonal frequency-division multiplexing (OFDM)based transceiver that enables detection latency of less than one millisecond and therefore complies with the requirements of 5G and beyond. To meet the stringent physical layer latency requirements, careful co-design of hardware and software is essential, especially in virtualized wireless systems with hardware accelerators.
translated by 谷歌翻译
为化疗中的许多重要任务收集标记数据是耗时的,需要昂贵的实验。近年来,机器学习已被用来使用大规模未标记的分子数据集学习分子的丰富表示,并转移知识,以解决有限数据集的更具挑战性的任务。变形AutoEncoders是已经提出用于进行化学性质预测和分子产生任务的转移的工具之一。在这项工作中,我们提出了一种简单的方法,可以通过在变形自身偏析者学习的表示中包含关于相关分子描述符的附加信息来改善机器学习模型的化学性质预测性能。我们验证了三个属性预测的方法询问。我们探讨了合并的描述符的数量,描述符和目标属性之间的相关性,数据集等的尺寸的影响。最后,我们显示了性能预测模型的性能与属性预测数据集之间的距离和更大的未标记之间的关系。 DataSet在表示空间中。
translated by 谷歌翻译
我们提出Volux-GaN,一种生成框架,以合成3D感知面孔的令人信服的回忆。我们的主要贡献是一种体积的HDRI可发感方法,可以沿着每个3D光线沿着任何所需的HDR环境图累计累积Albedo,漫射和镜面照明贡献。此外,我们展示了使用多个鉴别器监督图像分解过程的重要性。特别是,我们提出了一种数据增强技术,其利用单个图像肖像结合的最近的进步来强制实施一致的几何形状,反照镜,漫射和镜面组分。与其他生成框架的多个实验和比较展示了我们的模型是如何向光电型可致力于的3D生成模型前进的一步。
translated by 谷歌翻译
2019年冠状病毒疾病(Covid-19)继续自爆发以来对世界产生巨大挑战。为了对抗这种疾病,开发了一系列人工智能(AI)技术,并应用于现实世界的情景,如安全监测,疾病诊断,感染风险评估,Covid-19 CT扫描的病变细分等。 Coronavirus流行病迫使人们佩戴面膜来抵消病毒的传播,这也带来了监控戴着面具的大群人群的困难。在本文中,我们主要关注蒙面面部检测和相关数据集的AI技术。从蒙面面部检测数据集的描述开始,我们调查了最近的进步。详细描述并详细讨论了十三可用数据集。然后,该方法大致分为两类:传统方法和基于神经网络的方法。常规方法通常通过用手工制作的特征升高算法来训练,该算法占少比例。基于神经网络的方法根据处理阶段的数量进一步归类为三个部分。详细描述了代表性算法,与一些简要描述的一些典型技术耦合。最后,我们总结了最近的基准测试结果,讨论了关于数据集和方法的局限性,并扩大了未来的研究方向。据我们所知,这是关于蒙面面部检测方法和数据集的第一次调查。希望我们的调查可以提供一些帮助对抗流行病的帮助。
translated by 谷歌翻译