优化昂贵的查询功能是科学和工程中的常见任务,其中将查询数量保持在最低限度是有益的。流行的策略是贝叶斯优化(BO),其利用概率模型来完成该任务。今天大多数BO使用高斯过程(GP)或其他一些替代模型。但是,我们可能希望使用一组广泛的贝叶斯建模技术来捕获复杂系统并减少查询数量。概率程序(PP)是现代工具,允许灵活的模型组合,先验信息的结合和自动参考。在本文中,我们开发了ProBO,这是BO的框架,仅使用大多数PP共有的标准操作。这允许用户放入任意PP实现并直接在BO中使用它。为此,我们描述了可以在我们的框架中自动使用的流行采集功能的黑盒版本,没有特定于模型的推导,并展示了如何优化这些功能。我们还引入了一个模型,我们将其称为贝叶斯专家产品,它集成到ProBO中,可用于组合使用不同PP实现的多个模型的信息。我们展示了使用多个PP实现的经验结果,并与标准BO方法进行了比较。
translated by 谷歌翻译
我们确定了鲁棒性和准确性之间的权衡,这是在设计防御对抗性实例时的一个主要原则。虽然这个问题已经在经验上得到广泛研究,但仍有许多未知关注这种权衡的理论基础。在这项工作中,我们根据对抗性示例的风险与非对抗性示例的风险之间的差距来量化交易。挑战是在代理损失方面提供这个数量的紧密限制。我们根据分类校准损失给出该数量的最佳上限,其与最坏情况下的下限匹配。在我们的理论分析的启发下,我们还设计了一种新的防御方法TRADES,以对抗对抗性,而不是准确性。我们提出的算法在实际数据集中实验性地表现良好。该方法论是我们进入神奇的2018年对抗视觉挑战赛的基础,我们在强劲的模型赛道中赢得了1,995份参赛作品中的第一名,以平均$ $ ell_2 $的价格超过亚军奖金$ 11.41 \%$扰动距离。
translated by 谷歌翻译
近年来,文本生成在不同的基础上取得了显着进展,例如从头开始生成文本的最常见设置,以及新兴的检索和重写范例。文本填充,填补句子或段落的文本部分,在现实生活中也有很多用途,但尚未被充分探索。以前的工作集中在限制设置上,要么假设每个缺失部分有一个单词,要么限制到文本末尾的单个缺失部分。本文研究了文本填充的一般任务,其中输入文本可以具有任意数量的要填充的部分,每个部分可能需要任意未知数量的部分。我们研究了该任务的各种方法,包括具有段感知位置编码和双向上下文建模的自我关注模型。我们通过屏蔽具有不同策略的文本来创建广泛的监督数据。实验表明,自我关注模型在很大程度上优于其他人,为未来的研究奠定了坚实的基础。
translated by 谷歌翻译
诸如循环网络的序列生成模型可以使用一组学习算法来训练。例如,最大似然学习是简单而有效的,但却遭受暴露偏差问题。像政策梯度这样的强化学习可以解决问题,但可能会限制探索效率。还从不同的角度开发了各种其他算法,例如RAML,SPG和数据噪声。本文建立了这些算法之间的正式联系。我们提出了时间化的熵正则化策略优化公式,并表明明显不同的算法都可以作为框架的特殊实例重新制定,唯一的区别是奖励函数的配置和一些超参数。统一解释提供了对探索和学习效率的不同属性的系统观点。此外,在此框架的基础上,提出了一种新的算法,在现有的算法中进行动态插值,以提高学习效果。机器翻译和文本摘要的实验证明了该算法的优越性。
translated by 谷歌翻译
抽取式摘要对于医生更好地管理和消化电子健康记录(EHR)非常有用。然而,监督模型的训练需要疾病特定的医学背景,因此非常昂贵。我们研究了如何利用多个EHR之间的内在相关性来生成伪标签并训练没有外部注释的监督模型。对真实患者数据的实验验证了我们的模型在总结患者的关键疾病特异性信息方面是有效的。
translated by 谷歌翻译
我们通过新的架构设计研究了缓解GAN训练过程中的不稳定性问题。 minimax和maximin目标值之间的差异可以作为替代梯度下降在GAN优化中遇到的困难的代理。在这项工作中,我们给出了关于GAN的多发电机架构的好处的新结果。我们表明,当生成器的数量随着$ \ widetilde {O}(1 / \ epsilon)$的增加而增加时,minimax间隙缩小到$ \ epsilon $。这改善了$ \ widetilde {O}(1 / \ epsilon ^ 2)$的最佳结果。 ourtechniques的核心是Shapley-Folkman引理对于通用minimax问题的一种新颖应用,其中在文献中只有当目标函数局限于aconstraint优化问题的拉格朗日函数时才知道该技术。我们提出的Stackelberg GAN在合成数据集和现实数据集中都可以进行实验,与先前的基准数据集上的多生成器GAN相比,Fr \'echetInception Distance提高了$ 14.61 \%$。
translated by 谷歌翻译
构建能够智能地探索其环境的代理是具有挑战性的开放性问题。在本文中,我们向理解如何理解代理商政策的分层设计可以影响其勘探能力。首先,我们设计EscapeRoom环境,其中代理必须通过完成许多中间任务(\ emph {subgoals})来设置如何导航到出口,例如查找键或打开门。我们的环境是程序生成的,复杂性各不相同,这可以通过子目标的数量和它们之间的关系来控制。接下来,我们建议通过构建目标之间的依赖图并在图中随机游走的分析计算\ emph {hittingtimes}来测量每个环境的复杂性。我们凭经验评估了近端政策优化(PPO),其中包括稀疏和形状的奖励,policysketches的变体,以及类似于h-DQN的PPO(称为HiPPO)的分层版本。通过分析估计目标依赖图中的\ emph {命中时间}是环境复杂性的信息度量。我们推测结果应该适用于除导航之外的环境。最后,我们表明解决超出一定复杂程度的环境需要分层方法。
translated by 谷歌翻译
为了确保可读性,通常会编写文本并通过格式化来呈现。这些文本格式化设备帮助作者有效地传达叙述。同时,这些有助于读者了解话语的结构并理解传达的信息。关于文本话语结构的语言学理论有很多。但是,这些理论只考虑未格式化的文本。多媒体文本包含丰富的格式化功能,可用于各种NLP任务。在本文中,我们研究了多媒体文本中的一些话语特征以及它们在上下文中实现的交际功能。我们研究了这些多媒体话语特征如何用于改进信息提取系统。我们证明了话语和文本布局特征提供的信息是对通常用于信息提取的词汇语义信息的补充。作为案例研究,我们使用这些功能从教科书中收集几何结构的主题知识。我们表明,收获的结构化知识可用于改进现有的求解器问题,使其更准确,更易于解释。
translated by 谷歌翻译
本研究提出了一种多模态机器学习模型来预测ICD-10诊断代码。我们开发了独立的机器学习模型,可以处理来自不同模态的数据,包括非结构化文本,半结构化文本和结构化表格数据。我们进一步采用集成方法集成所有模态特定模型以生成ICD-10代码。还提取了关键证据,使我们的预测更具说服力和可解释性。我们使用医疗信息市场进行重症监护III(MIMIC-III)数据集来验证我们的方法。对于ICD代码预测,我们表现最佳的模型(micro-F1 = 0.7633,micro-AUC = 0.9541)明显优于其他基线模型,包括TF-IDF(micro-F1 = 0.6721,micro-AUC = 0.7879)和Text-CNN模型(micro -F1 = 0.6569,micro-AUC = 0.9235)。为了解释性,我们的方法在textdata上实现了0.1806的Jaccard相似系数(JSC),在表格数据上实现了0.3105,其中训练有素的医生分别达到0.2780和0.5002。
translated by 谷歌翻译
机器学习(ML)训练算法由于其迭代收敛性质而经常具有固有的自校正行为。通过放宽执行的一致性并减少计算错误,在通过训练期间自我纠正,最近通过利用此属性来实现不可靠计算环境的适应性和效率。然而,对于特定类型的计算误差,例如由陈旧性,降低的精度,超同步性以及特定类型的训练算法(例如随机梯度下降)引起的那些,这种系统的行为仅被很好地理解。在本文中,我们开发了一个通用框架来量化计算错误对迭代收敛算法的影响,并使用该框架设计基于检查点的容错的新策略。我们的框架在训练期间对模型参数的任意扰动的迭代成本产生最坏情况上限。我们的系统SCAR采用的策略可以降低迭代成本上限,因为从检查点恢复时会产生扰动。我们表明,与基于各种ML模型和训练算法的传统检查点容错相比,SCAR可以将部分故障的迭代成本降低78% - 95%。
translated by 谷歌翻译