为了培训从输入/输出训练数据集基于相当任意凸面和两次可分散的损耗函数和正则化术语训练非线性动力系统的反复性神经网络模型,我们提出了使用顺序最小二乘来确定最佳网络参数和隐藏状态。另外,为了处理L1,L0和Group-Lasso常规程序的非平滑正则化术语,以及施加可能的非凸性约束,例如整数和混合整数约束,我们将序贯最小二乘与交替方向组合乘法器(ADMM)的方法。结果算法的性能,即我们呼叫指甲(非透露委员会迭代和最小二乘),在非线性系统识别基准中测试。
translated by 谷歌翻译
在本文中,我们提出了SC-REG(自助正规化)来学习过共同的前馈神经网络来学习\ EMPH {牛顿递减}框架的二阶信息进行凸起问题。我们提出了具有自助正规化(得分-GGN)算法的广义高斯 - 牛顿,其每次接收到新输入批处理时都会更新网络参数。所提出的算法利用Hessian矩阵中的二阶信息的结构,从而减少训练计算开销。虽然我们的目前的分析仅考虑凸面的情况,但数值实验表明了我们在凸和非凸面设置下的方法和快速收敛的效率,这对基线一阶方法和准牛顿方法进行了比较。
translated by 谷歌翻译
我们调查使用扩展卡尔曼滤波来训练用于数据驱动非线性,可能自适应的基于模型的控制设计的经常性神经网络。我们表明该方法可以应用于网络参数的相当任意的凸损函数和正则化术语。我们表明,学习方法在非线性系统识别基准测试中占据了在非线性系统识别基准中的随机梯度下降,以及培训具有二进制输出的线性系统。我们还探讨了数据驱动非线性模型预测控制算法及其与无偏移跟踪的干扰模型的关系。
translated by 谷歌翻译
在腿的运动中重新规划对于追踪所需的用户速度,在适应地形并拒绝外部干扰的同时至关重要。在这项工作中,我们提出并测试了实验中的实时非线性模型预测控制(NMPC),用于腿部机器人,以实现各种地形上的动态运动。我们引入了一种基于移动性的标准来定义NMPC成本,增强了二次机器人的运动,同时最大化腿部移动性并提高对地形特征的适应。我们的NMPC基于实时迭代方案,使我们能够以25美元的价格重新计划在线,\ Mathrm {Hz} $ 2 $ 2 $ 2美元的预测地平线。我们使用在质量框架中心中定义的单个刚体动态模型,以提高计算效率。在仿真中,测试NMPC以横穿一组不同尺寸的托盘,走进V形烟囱,并在崎岖的地形上招揽。在真实实验中,我们展示了我们的NMPC与移动功能的有效性,使IIT为87美元\,\ Mathrm {kg} $四分之一的机器人HIQ,以实现平坦地形上的全方位步行,横穿静态托盘,并适应在散步期间重新定位托盘。
translated by 谷歌翻译
胎儿超声(US)中胎盘的自动分割由于(i)(i)胎盘外观的高度多样性而具有挑战性我们禁止在妊娠晚期进行整个胎盘评估的观点。在这项工作中,我们通过多任务学习方法解决了这三个挑战,该方法结合了单个卷积神经网络中胎盘位置(例如,前,后部)和语义胎盘分段的分类。通过分类任务,模型可以从更大,更多样化的数据集中学习,同时在有限的训练集条件下提高分割任务的准确性。通过这种方法,我们研究了多个评估者的注释的变异性,并表明我们的自动分割(前胎盘的骰子为0.86,后胎盘的骰子为0.83),与观察者内和观察者间的变异性相比,我们的自动段性能达到了人级的性能。最后,我们的方法可以使用由三个阶段组成的多视图US采集管道提供整个胎盘分割:多探针图像采集,图像融合和图像分段。这会导致对较大结构(例如胎盘中的胎盘)的高质量分割,其图像伪像降低,这超出了单个探针的视野。
translated by 谷歌翻译
本文提出了一种具有多个循环训练的训练方法,可在低位量化的卷积神经网络(CNN)中实现增强性能。量化是获得轻量级CNN的流行方法,其中使用预审计模型的初始化被广泛用于克服低分辨率量化中的降解性能。但是,实际值及其低位量化量之间的大量量化错误在获得复杂网络和大型数据集的可接受性能方面遇到了困难。所提出的训练方法在多个量化步骤中轻轻地将验证模型的知识传达给了低位量化模型。在每个量化步骤中,模型的训练重量用于初始化下一个模型的权重,而量化位深度减少了一个。随着量化位深度的微小变化,可以弥合性能差距,从而提供更好的权重初始化。在循环训练中,在训练低位量化模型后,其训练的权重用于初始化其准确模型要训练。通过以迭代方式使用精确模型的更好的训练能力,该方法可以在每个循环中为低位量化模型产生增强的训练重量。值得注意的是,训练方法可以分别提高ImageNet数据集上的二进制RESNET-18的TOP-1和前5个精度,分别为5.80%和6.85%。
translated by 谷歌翻译
随着深度学习生成模型的最新进展,它在时间序列领域的出色表现并没有花费很长时间。用于与时间序列合作的深度神经网络在很大程度上取决于培训中使用的数据集的广度和一致性。这些类型的特征通常在现实世界中不丰富,在现实世界中,它们通常受到限制,并且通常具有必须保证的隐私限制。因此,一种有效的方法是通过添加噪声或排列并生成新的合成数据来使用\ gls {da}技术增加数据数。它正在系统地审查该领域的当前最新技术,以概述所有可用的算法,并提出对最相关研究的分类法。将评估不同变体的效率;作为过程的重要组成部分,将分析评估性能的不同指标以及有关每个模型的主要问题。这项研究的最终目的是摘要摘要,这些领域的进化和性能会产生更好的结果,以指导该领域的未来研究人员。
translated by 谷歌翻译
由于其固有的混沌性质,了解层次三重系统的长期演变是具有挑战性的,并且需要计算昂贵的模拟。在这里,我们提出了一个卷积神经网络模型,以通过在第一个$ 5 \ times 10^5 $内二进制轨道上查看其演变来预测层次三元组的稳定性。我们采用正规化的几体代码\ textsc {tsunami}来模拟$ 5 \ times 10^6 $层次结构三元组,我们从中生成了大型培训和测试数据集。我们开发了十二种不同的网络配置,它们使用三元组的轨道元素的不同组合并比较其性能。我们的最佳模型使用了6个时间序列,即半轴轴比率,内部和外偏心,相互倾向和围角的参数。该模型在曲线下达到了超过$ 95 \%$的区域,并告知了研究三重系统稳定性的相关参数。所有训练有素的模型均可公开使用,可以预测分层三重系统的稳定性$ 200 $ 200 $ $倍,比纯$ n $ body方法快。
translated by 谷歌翻译
深度学习的高级面部识别以实现前所未有的准确性。但是,了解面部的本地部分如何影响整体识别性能仍然不清楚。除其他外,面部掉期已经进行了实验,但只是为了整个脸。在本文中,我们建议交换面部零件,以剥夺不同面部零件(例如眼睛,鼻子和嘴巴)的识别相关性。在我们的方法中,通过拟合3D先验来交换从源面转换为目标的零件,该零件在零件之间建立密集的像素对应关系,同时还要处理姿势差异。然后,无缝克隆用于在映射的源区域和目标面的形状和肤色之间获得平滑的过渡。我们设计了一个实验协议,该协议使我们能够在通过深网进行分类时得出一些初步结论,表明眼睛和眉毛区域的突出性。可在https://github.com/clferrari/facepartsswap上找到代码
translated by 谷歌翻译
大型语言模型(LLM)的最新进展已改变了自然语言处理(NLP)的领域。从GPT-3到Palm,每种新的大型语言模型都在推动自然语言任务的最新表现。除了自然语言的能力外,人们还对理解这种模型(接受大量数据,具有推理能力的培训)也引起了重大兴趣。因此,人们有兴趣为各种推理任务开发基准,并且在此类基准测试中测试LLM的初步结果似乎主要是积极的。但是,目前的基准相对简单,这些基准的性能不能用作支持的证据,很多时候是古怪的,对LLMS的推理能力提出了主张。截至目前,这些基准仅代表了一组非常有限的简单推理任务集,如果我们要衡量此类基于LLM的系统的真实限制,我们需要研究更复杂的推理问题。通过这种动机,我们提出了一个可扩展的评估框架,以测试LLM在人类智能的中心方面的能力,这是关于行动和变化的推理。我们提供的多个测试案例比任何先前建立的推理基准都更重要,并且每个测试案例都评估了有关行动和变化的推理的某些方面。对GPT-3(Davinci)基本版本的初步评估结果,在这些基准测试中显示了Subpar的性能。
translated by 谷歌翻译