多任务学习(MTL)是深度学习中的一个活动字段,其中我们通过利用任务之间的关系来共同学习多项任务。已经证明,与独立学习每个任务时,MTL有助于该模型共享任务之间的学习功能并增强预测。我们为2任务MTL问题提出了一个新的学习框架,它使用一个任务的预测作为另一个网络的输入来预测其他任务。我们定义了由循环一致性损失和对比学习,对齐和跨任务一致性损失的两个新的损失术语。这两个损耗都旨在实施模型以对准多个任务的预测,以便模型一致地预测。理论上我们证明,两次损失都帮助模型更有效地学习,并且在与直接预测的对齐方面更好地了解跨任务一致性损失。实验结果还表明,我们的拟议模型在基准城市景观和NYU数据集上实现了显着性能。
translated by 谷歌翻译
我们开发了一种组合量子蒙特卡罗的准确性在描述与机器学习电位(MLP)的效率描述电子相关性的技术。我们使用内核线性回归与肥皂(平滑的重叠原子位置)方法结合使用,以非常有效的方式在此实现。关键成分是:i)一种基于最远点采样的稀疏技术,确保我们的MLP的一般性和可转换性和II)所谓的$ \ Delta $ -Learning,允许小型训练数据集,这是一种高度准确的基本属性但是计算地要求计算,例如基于量子蒙特卡罗的计算。作为第一个应用,我们通过强调这一非常高精度的重要性,展示了高压氢气液体过渡的基准研究,并显示了我们的MLP的高精度的重要性,实验室在实验中难以进行实验,以及实验理论仍然远非结论。
translated by 谷歌翻译
我们微调GPT-3使用基于文本的Web浏览环境来回答长形问题,允许模型搜索和导航Web。通过建立任务,以便通过人类执行,我们能够使用模仿学习培训在任务上的模型,然后通过人体反馈优化答案质量。为了使人为评估事实精度更容易,模型必须在浏览支持答案时收集引用。我们在ELI5上培训并评估我们的模型,Reddit用户提出的问题数据集。我们的最佳模型是通过使用行为克隆进行微调GPT-3获得的,然后对训练训练的奖励模型进行拒绝采样来获得以预测人类偏好。这种模式的答案是人类56%的答案,我们的人类示威者的时间和69%的时间到Reddit的最高投票答复。
translated by 谷歌翻译
科学和工程中的复杂过程通常被制定为多阶段决策问题。在本文中,我们考虑了一种称为级联过程的多级决策过程。级联过程是一个多级过程,其中一个级的输出用作下一阶段的输入。当每个阶段的成本昂贵时,难以详尽地搜索每个阶段的最佳可控参数。为了解决这个问题,我们将级联过程的优化作为贝叶斯优化框架的延伸,提出了两种类型的采集功能(AFS),基于可靠的间隔和预期的改进。我们调查所提出的AFS的理论特性,并通过数值实验证明其有效性。此外,我们考虑一个被称为悬架设置的延伸,其中我们被允许在多阶段决策过程中暂停级联过程,这些过程经常出现在实际问题中。我们在太阳能电池模拟器的优化问题中应用提出的方法,这是本研究的动机。
translated by 谷歌翻译
卷积神经网络(CNNS)在许多计算机视觉任务中非常成功。然而,嵌入式和实时系统的推理成本很高,因此有很多关于压缩网络的研究。另一方面,自我关注模型的最新进步表明,卷积滤波器优选在较早层中的自我关注,这表明在较早的层中较强的电感偏差更好。如卷积滤波器所示,强大的偏置可以培训特定的滤波器并将不必要的过滤器构建为零。这类似于经典图像处理任务,其中选择合适的滤波器使得紧凑的字典表示特征。我们遵循这个想法,并将Gabor过滤器合并在较早的CNN层中进行压缩。通过BackProjagation学习Gabor滤波器的参数,因此该功能仅限于Gabor过滤器。我们表明,对于CIFAR-10的第一层VGG-16具有192个内核/功能,但学习Gabor过滤器需要平均29.4内核。此外,在改变的Reset-20上,使用Gabor滤波器,分别在第一和第二层中的平均83%和94%的内核,其中前五层与两层较大的核交换CiFar-10。
translated by 谷歌翻译
最先进的语言模型可以在许多任务中匹配人类性能,但它们仍然努力努力执行多步数学推理。要诊断当前模型和支持研究的故障,我们介绍了GSM8K,是8.5k高质量的语言学级别学校数学词问题的数据集。我们发现即使是最大的变压器模型也无法实现高测试性能,尽管该问题分布的概念简单性。为了提高性能,我们提出培训验证者来判断模型完成的正确性。在测试时间,我们生成许多候选解决方案,并选择验证者排名最高的解决方案。我们证明,验证显着提高了GSM8K的性能,我们提供了强大的经验证据,即验证尺度更有效地具有比FineTuning基线的数据增加。
translated by 谷歌翻译