多任务学习(MTL)是深度学习中的一个活动字段,其中我们通过利用任务之间的关系来共同学习多项任务。已经证明,与独立学习每个任务时,MTL有助于该模型共享任务之间的学习功能并增强预测。我们为2任务MTL问题提出了一个新的学习框架,它使用一个任务的预测作为另一个网络的输入来预测其他任务。我们定义了由循环一致性损失和对比学习,对齐和跨任务一致性损失的两个新的损失术语。这两个损耗都旨在实施模型以对准多个任务的预测,以便模型一致地预测。理论上我们证明,两次损失都帮助模型更有效地学习,并且在与直接预测的对齐方面更好地了解跨任务一致性损失。实验结果还表明,我们的拟议模型在基准城市景观和NYU数据集上实现了显着性能。
translated by 谷歌翻译
继承是一种确定性算法,用于生成可以被视为满足输入时刻条件的随机样本的数据点。该算法基于高维动力系统的复杂行为,并由统计推断的最大熵原理的启发。在本文中,我们提出了埃尔特联算法的延伸,称为熵放牧,它产生一系列分布而不是点。熵放映是从最大熵原理获得的目标函数的优化。使用所提出的熵放牧算法作为框架,我们讨论了勃起与最大熵原理之间的更近的联系。具体而言,我们将原始的掠过算法解释为熵牧群的易缩放版,其理想的输出分布在数学上表示。我们进一步讨论了掠过算法的复杂行为如何有助于优化。我们认为,所提出的熵扩建算法扩展了爬行到概率建模的应用。与原来的放牧相比,熵放牧可以产生平滑的分布,使得两个有效的概率密度计算和样本产生都变得可能。为了证明这些研究中这些论点的可行性,进行了数值实验,包括合成和实际数据的与其他常规方法的比较。
translated by 谷歌翻译
颗粒滤波方法广泛应用于非线性非高斯状态空间模型内的顺序状态估计。然而,传统的颗粒过滤方法在高维状态空间模型中遭受重量退化。目前,有许多方法可以提高高维状态空间模型中粒子滤波的性能。其中,更先进的方法是通过实施复合Metropolis-Hasting(MH)内核来构建顺序Makov Chian Monte Carlo(SMCMC)框架。在本文中,我们提出了离散的示出ZAG采样器,并在SMCMC框架内的复合MH内核的细化阶段应用Zig-Zag采样器,其在联合拉伸阶段中的可逆颗粒流动实现。通过挑战复杂的高维过滤实施例的数值实验,我们评估所提出的方法的性能。无限的实验表明,在高维状态估计例中,所提出的方法提高了估计精度并增加了与最先进的过滤方法相比的接收比率。
translated by 谷歌翻译
在这项研究中,我们调查了动态模式分解(DMD)算法的稳定性到嘈杂的数据。为了实现稳定的DMD算法,我们将截断的总,最小二乘(T-TLS)回归和最佳截断级别选择应用于TLS DMD算法。通过向TLS DMD算法添加截断正则化,T-TLS DMD可以提高计算的稳定性,同时保持TLS DMD的精度。通过对自助式细胞现象的圆筒和实际压敏涂料(PSP)数据的唤醒分析,评估T-TLS DMD的有效性。结果表明,正规化在DMD算法中的重要性。关于特征值,T-TLS DMD受到噪声的影响较小,并且可以稳定地获得精确的特征值,而TLS和子空间DMD的特征值可能由于噪音大大变化。如前所述,它还观察到标准的特征值和精确的DMD具有转移到阻尼侧的问题。关于特征向量,T-TLS和精确的DMD即使在存在噪声的情况下也明确地捕获了特征流模式,而TLS和子空间DMD不能由于噪音而清楚地捕获它们。
translated by 谷歌翻译
变分推理(VI)与贝叶斯非线性滤波相结合,为潜在时间序列建模产生最先进的结果。最近的工作中的一个身体专注于序贯蒙特卡罗(SMC)及其变体,例如,前向滤波后仿真(FFBSI)。虽然这些研究成功了,但严重的问题仍然存在于粒子退化和偏见的渐变估计中。在本文中,我们提出了Enemble Kalman变分目标(ENKO),VI的混合方法和集合卡尔曼滤波器(ENKF),以推断出状态空间模型(SSMS)。我们所提出的方法可以有效地识别潜在动力学,因为其粒子多样性和无偏梯度估计值。我们展示了我们的ENKO在三个基准非线性系统识别任务的预测能力和粒子效率方面优于基于SMC的方法。
translated by 谷歌翻译