实际项目调度通常需要在选择和替代生产活动的确切长度方面具有灵活性。此外,在许多生产计划应用中,必须同时安排多个批次。为了满足这些要求,引入了一个新的灵活资源约束的多项目调度问题,其中两个决策(活动选择灵活性和时间灵活性)被集成。除最小化完工时间外,还提出了两个由asteel行业应用案例启发的替代目标:最大化所选活动的平衡时间(时间平衡)和均衡资源利用(资源平衡)的最大化。针对已开发的集成柔性项目调度问题,提出了新的混合整数和约束规划(CP)模型。通过使用IBMILOG CPLEX的CP Optimizer解决大型钢铁行业实例,可以显示建议的CP模型的实际适用性。此外,灵活的资源约束项目调度问题(RCPSP)的基准实例被解决为最优。
translated by 谷歌翻译
动态系统是根据支付函数的梯度来定义的。动力学变量有两种类型,即上升和下降。上升变量在梯度方向上移动,而下降变量在相对方向上移动。这种形式的动力系统或非常相似的形式已经在诸如博弈论,优化,神经网络和种群生物学等不同领域中进行了研究。梯度下降 - 上升近似为纽顿动力系统,其保存总能量,定义为动能和与支付函数成比例的势能之和。近似误差是一种违反能量守恒的残余力。如果残余力是纯粹耗散的,则能量充当Lyapunov函数,并且保证有界轨迹的稳定状态的收敛。由Kose和Uzawa引起的先前收敛定理要求支付函数在下降变量中是凸的,并且在上升变量中是对应的。这里的假设是放宽的,因此支付函数只需要在变量变量中比在下降变量中全局“更少凸”或“更凹”。与凹凸假设不同,这种相对凸性条件允许存在多个稳态。当与足以暗示存在极小极大平衡的条件相结合时,轨迹的有界性也得到保证。
translated by 谷歌翻译
对于出于隐私原因必须删除历史数据的机构而言,灾难性遗忘可能是一个重大问题。例如,医院可能无法永久保留患者数据。但仅靠近期数据训练的神经网络往往会忘记对旧数据的经验教训。我们提出了基于变分推理的不同的私人连续学习框架。我们使用旧数据集的差异私有生成模型估计当前模型的过去数据的可能性。
translated by 谷歌翻译
一些机器学习应用程序需要不断学习 - 数据集序列中的数据库,每个数据集用于训练,然后永久丢弃。从贝叶斯的角度来看,持续学习似乎是直截了当的:鉴于模型后验,人们只会将其作为下一个任务的先行者。然而,精确的后验评估对于许多模型来说是难以处理的,特别是对于贝叶斯神经网络(BNN)。相反,经常寻求后验近似。不幸的是,当使用后验相关时,先前关注的方法在评估中没有成功地设计为捕获现实的连续学习用例的属性。作为先前关注方法的替代方案,我们引入了一种新的近似贝叶斯方法,即持续学习损失。我们的损失不依赖于早期任务的后续,而是通过改变似然项来调整模型本身。我们称这些方法以可能性为重点。然后,我们将关注先验和可能性的方法合并为一个目标,将两个视图结合在一个单一的贝叶斯连续学习的统一框架下。
translated by 谷歌翻译
我们提出了一种新的指数修正的高斯(EMG)混合残差模型。 EMG混合物非常适合模拟由具有正支撑的分布污染的残留物。这与常用的残余模型(如Huber损失或$ \ ell_1 $)相反,后者假设不对称污染分布,否则渐近偏差。我们提出了一种期望最大化算法,以优化相对于EMG混合的任意模型。我们将该方法应用于线性回归和概率矩阵分解(PMF)。我们与其他残差模型进行比较,包括分位数回归。我们的数值实验证明了EMG混合物在这两项任务中的优势。 PMF模型源于对光谱数据的考虑。特别是,我们证明了PMF与EMG混合物模型在合成数据和双向世界应用中的有效性:X射线衍射和拉曼光谱。我们展示了如何有效地推断出这些实验设置产生的数据中的背景信号和系统误差,显着超越了成熟方法并揭示了数据的物理意义组件。
translated by 谷歌翻译
在线检测数据序列的生成过程中的瞬时变化通常集中在这些变化点的回顾性推断上,而不考虑它们将来的发生。我们扩展贝叶斯在线变换点检测算法以推断直到下一个变化点(即剩余时间)的时间步数。这使我们能够处理依赖于总段持续时间的观察模型,这是使用具有时间缩放的模型数据序列。另外,我们通过删除i.i.d来扩展模型。对观测模型参数的假设。用于分段检测的结果推理算法可以以在线方式部署,并且我们将合成和两个医学真实世界数据集的应用说明。
translated by 谷歌翻译
跨语言嵌入(CLE)可实现多语言意义建模,并促进NLP模型的跨语言转换。尽管它们在下游任务中无处不在,但最近越来越受欢迎的基于投影的CLE模型几乎仅在单一任务上进行评估:双语电子感应(BLI)。甚至BLI评估差别很大,妨碍了正确解释不同CLE模型的性能和属性的可行性。在这项工作中,我们迈出了全面评估跨语言嵌入的第一步。我们在BLI任务和三个下游任务中对大量语言对中的监督和非监督CLE模型进行了全面评估,提供了关于切割边缘CLE模型支持跨语言NLP的能力的新见解。我们凭经验证明CLE模型的性能在很大程度上取决于任务,并且优化BLI模型可以导致下游性能下降。我们指出了最强大的有监督和无监督的模型,强调了重新评估现有基线的必要性,这些基线无法全面展现竞争性。我们希望我们的工作能够催化CLE评估和模型分析的进一步工作。
translated by 谷歌翻译
已经提出基于符号的算法(例如signSGD)作为偏置梯度压缩技术,以减轻跨多个工作者的训练大型神经网络中的通信瓶颈。我们展示了简单的凸计数器 - 例子,其中signSGD没有收敛到最优。此外,即使它收敛,signSGD与SGD相比也可能表现不佳。这些问题的出现是因为符号压缩操作符的偏向性质。然后,我们表明使用错误反馈,即将压缩算子产生的错误纳入下一步,克服了这些问题。我们证明了我们的算法EF-SGD实现了与SGD相同的收敛速度,而没有任何压缩算子(包括标志运算符)的额外假设,这表明我们得到了免费的梯度压缩。 Ourexperiments彻底证实了表明算法优越性的理论。
translated by 谷歌翻译
深度神经网络在各种问题上实现了出色的概括,尽管通常足够大,可以轻松适应所有训练数据。这里是研究教师 - 学生设置中两层神经网络的泛化动力学,其中一个网络,即学生,使用随机梯度下降(SGD)对另一个网络(称为教师)生成的数据进行训练。我们展示了如何针对这个问题,SGD的动力学被一组微分方程所捕获。特别是,我们在分析上证明了学生的泛化误差随网络规模线性增加,其他相关参数保持不变。我们的结果表明,在神经网络中实现良好的泛化取决于至少算法,其学习速率,模型架构和数据集的相互作用。
translated by 谷歌翻译
由于巨大的状态和联合行动空间以及不确定性,多智能体系统(MAS)中的决策是一个巨大的挑战,使得中心控制通常是不可行的。分散控制提供了更好的可操作性和稳健性,但需要机制来协调联合任务并避免冲突。学习合作MAS的分散政策的常用方法是非平稳性和缺乏信用分配,这可能导致复杂环境中不稳定和不协调的行为。在本文中,我们提出强涌现政策近似(STEP),可学习的方法来学习强分散用于协同MAS的策略具有分布式策略迭代变体。为此,我们使用functionapproximation来学习分散式多代理规划算法的动作建议。 STEP将分散式多代理规划与集中式学习相结合,只需要一个用于分布式黑盒优化的生成模型。我们通过实验评估具有大型状态和联合动作空间的双挑战和随机域中的STEP,并显示当将多智能体开环规划与集中式函数逼近相结合时,STEP能够学习比标准多智能体强化学习算法更强的策略。学习到的策略可以重新组合到多代理规划过程中,以进一步提高性能。
translated by 谷歌翻译