随机傅立叶特征(RFF)方法是内核方法可扩展性的强大而流行的技术。 RFF的理论基础是基于将对称,正定(PD)函数与概率度量相关联的Bochner定理。这种条件自然排除了在实践中具有广泛应用的不对称函数,例如有向图,条件概率和不对称内核。然而,从理论和经验上尚不清楚理解不对称函数(内核)及其通过RFF的可伸缩性尚不清楚。在本文中,我们引入了一种复杂的度量,其真实和虚构部分对应于四个有限的正措施,从而扩大了Bochner定理的应用范围。通过这样做,该框架允许通过一种积极度量来处理经典的对称,PD内核;通过签名措施对称,非阳性的确定内核;并通过复杂的措施通过不对称内核,从而将它们统一为RFF的一般框架,称为Ask-RFF。从统一收敛的角度来看,通过复杂措施通过复杂度量的这种近似方案享有理论保证。在算法实现中,由于总质量的计算而加快内核近似过程,这是昂贵的,我们采用了一种基于子集的快速估计方法,可优化子训练集中的总质量。我们的ask-rffs方法在几个典型的大规模数据集上得到了经验验证,并实现了有希望的内核近似性能,这证明了Ask-RFF的有效性。
translated by 谷歌翻译
本文重新讨论了一个非常简单但非常有效的计算范式,深度共同学习(DML)。我们观察到,有效性与其出色的概括质量高度相关。在本文中,我们从新的角度来解释了DML的性能改善,即这大约是贝叶斯后的采样程序。这也为应用R \'{e} nyi Divergence改善原始DML的基础建立了基础,因为它带来了先验的差异控制(在DML的上下文中)。因此,我们提出了r \'{e} nyi Divergence深度共同学习(RDML)。我们的经验结果代表了DML和\ renyi {}差异的婚姻的优势。R \'{E} nyi Divergence施加的灵活控制能够进一步改进DML,以学习更好的广义模型。
translated by 谷歌翻译
最近的研究利用了先进的生成语言模型来生成自然语言解释(NLE),以了解某个文本可能会令人讨厌。我们提出了一系列解释提示方法,灵感来自思想链研究\ cite {wei2022chain},以生成高质量的nle,以实现隐式仇恨言论。我们基于选定的主流预训练的语言模型(PLM)建立基准,包括GPT-2,GPT-NEO,OPT,T5和BART,以及来自词汇,语义和忠实方面的各种评估指标。为了进一步评估人类感知产生的NLE的质量,我们雇用人类注释者来评估生成的NLE的信息性和清晰度。然后,我们检查哪种自动评估指标可以最好地与人类通知的信息性和清晰度度量分数相关。
translated by 谷歌翻译
通过社交媒体评论预先培训的许多开放域对话模型都可以产生连贯的答复,但在与真实用户互动时会产生引人入胜的答复。这种现象可能主要是由于注释的人类对话的不足以及与人类偏爱的未对准。在本文中,我们提出了一种新颖而有效的方法,以增强开放域聊天机器人,其中有两种人类反馈(包括明确的演示和隐性偏好),并利用了。通过要求注释者选择或修改模型生成的候选响应,Diamante有效地收集了人类证明的响应并构建了中国聊天数据集。为了增强与人类偏好的一致性,Diamante利用数据收集过程中的隐含偏好,并引入了生成评估联合培训。全面的实验表明,Diamante数据集和联合培训范式可以显着提高中国预训练的对话模型的性能。
translated by 谷歌翻译
多跳的推理需要汇总多个文档来回答一个复杂的问题。现有方法通常将多跳问题分解为更简单的单跳问题,以解决说明可解释的推理过程的问题。但是,他们忽略了每个推理步骤的支持事实的基础,这往往会产生不准确的分解。在本文中,我们提出了一个可解释的逐步推理框架,以在每个中间步骤中同时合并单跳支持句子识别和单跳问题生成,并利用当前跳跃的推断,直到推理最终结果。我们采用统一的读者模型来进行中级跳跃推理和最终的跳跃推理,并采用关节优化,以更准确,强大的多跳上推理。我们在两个基准数据集HOTPOTQA和2WIKIMULTIHOPQA上进行实验。结果表明,我们的方法可以有效地提高性能,并在不分解监督的情况下产生更好的解释推理过程。
translated by 谷歌翻译
深度神经网络中的建筑进步导致了跨越一系列计算机视觉任务的巨大飞跃。神经建筑搜索(NAS)并没有依靠人类的专业知识,而是成为自动化建筑设计的有前途的途径。尽管图像分类的最新成就提出了机会,但NAS的承诺尚未对更具挑战性的语义细分任务进行彻底评估。将NAS应用于语义分割的主要挑战来自两个方面:(i)要处理的高分辨率图像; (ii)针对自动驾驶等应用的实时推理速度(即实时语义细分)的其他要求。为了应对此类挑战,我们在本文中提出了一种替代辅助的多目标方法。通过一系列自定义预测模型,我们的方法有效地将原始的NAS任务转换为普通的多目标优化问题。然后是用于填充选择的层次预筛选标准,我们的方法逐渐实现了一组有效的体系结构在细分精度和推理速度之间进行交易。对三个基准数据集的经验评估以及使用华为地图集200 dk的应用程序的实证评估表明,我们的方法可以识别架构明显优于人类专家手动设计和通过其他NAS方法自动设计的现有最先进的体系结构。
translated by 谷歌翻译
推荐系统(RS)是一个重要的在线应用程序,每天都会影响数十亿个用户。主流RS排名框架由两个部分组成:多任务学习模型(MTL),该模型可预测各种用户反馈,即点击,喜欢,分享和多任务融合模型(MTF),该模型(MTF)结合了多任务就用户满意度而言,输出分为最终排名得分。关于融合模型的研究并不多,尽管它对最终建议作为排名的最后一个关键过程有很大的影响。为了优化长期用户满意度,而不是贪婪地获得即时回报,我们将MTF任务作为Markov决策过程(MDP),并在推荐会话中提出,并建议基于批处理加固学习(RL)基于多任务融合框架(BATCHRL-MTF)包括批处理RL框架和在线探索。前者利用批处理RL从固定的批处理数据离线学习最佳推荐政策,以达到长期用户满意度,而后者则探索了潜在的高价值动作在线,以突破本地最佳难题。通过对用户行为的全面调查,我们通过从用户粘性和用户活动性的两个方面的微妙启发式方法对用户满意度进行了建模。最后,我们对十亿个样本级别的现实数据集进行了广泛的实验,以显示模型的有效性。我们建议保守的离线政策估计器(保守 - 访问器)来测试我们的模型离线。此外,我们在真实推荐环境中进行在线实验,以比较不同模型的性能。作为成功在MTF任务中应用的少数批次RL研究之一,我们的模型也已部署在一个大规模的工业短视频平台上,为数亿用户提供服务。
translated by 谷歌翻译
药物发现对于保护人免受疾病至关重要。基于目标的筛查是过去几十年来开发新药的最流行方法之一。该方法有效地筛选了候选药物在体外抑制靶蛋白,但由于体内所选药物的活性不足,它通常失败。需要准确的计算方法来弥合此差距。在这里,我们提出了一个新的图形多任务深度学习模型,以识别具有目标抑制性和细胞活性(matic)特性的化合物。在经过精心策划的SARS-COV-2数据集中,提出的Matic模型显示了与传统方法相比,在筛选体内有效化合物方面的优点。接下来,我们探索了模型的解释性,发现目标抑制(体外)或细胞活性(体内)任务的学习特征与分子属性相关性和原子功能专注不同。基于这些发现,我们利用了基于蒙特卡洛的增强性学习生成模型来生成具有体外和体内功效的新型多毛皮化合物,从而弥合了基于靶基于靶基于靶标的药物和基于细胞的药物发现之间的差距。
translated by 谷歌翻译
由于文档的复杂布局,提取文档的信息是一项挑战。大多数以前的研究以一种自我监督的方式开发了多模式预训练的模型。在本文中,我们专注于包含文本和布局信息的单词块的嵌入学习,并提出UTEL,这是具有统一文本和布局预训练的语言模型。具体而言,我们提出了两个预训练任务:布局学习的周围单词预测(SWP),以及对识别不同单词块的单词嵌入(CWE)的对比度学习。此外,我们用1D剪裁的相对位置嵌入了常用的一维位置。这样,掩盖布局语言建模(MLLM)的联合训练和两个新提出的任务可以以统一的方式在语义和空间特征之间进行相互作用。此外,提议的UTEL可以通过删除1D位置嵌入,同时保持竞争性能来处理任意长度的序列。广泛的实验结果表明,UTEL学会了比以前在各种下游任务上的方法更好的联合表示形式,尽管不需要图像模式。代码可在\ url {https://github.com/taosong2019/utel}中获得。
translated by 谷歌翻译
最近的研究表明,基于神经网络的深度推荐系统容易受到对抗性攻击的影响,攻击者可以将精心制作的虚假用户配置文件(即,伪造用户与之互动的一组项目)注入目标推荐系统,以实现恶意目的,例如促进或降低一组目标项目。由于安全性和隐私问题,在黑框设置下执行对抗性攻击更为实用,在黑框设置下,攻击者无法轻松访问目标系统的体系结构/参数和培训数据。但是,在Black-Box设置下生成高质量的假用户配置文件,对于目标系统的资源有限,这是一项挑战。为了应对这一挑战,在这项工作中,我们通过利用项目的属性信息(即项目知识图)引入了一种新颖的策略,这些信息可以公开访问并提供丰富的辅助知识来增强伪造用户配置文件的产生。更具体地说,我们提出了一项知识增强的黑框攻击框架(KGATTACK),以通过深度强化学习技术有效地学习攻击政策,其中知识图无缝集成到层次结构策略网络中,以生成伪造的用户配置文件,以表演对抗性黑色 - 黑色 - - 黑色 - 黑色 - 盒子攻击。在各种现实世界数据集上进行的全面实验证明了在黑框设置下提出的攻击框架的有效性。
translated by 谷歌翻译