旨在找到合成靶分子的反应途径的循环合成计划在化学和药物发现中起着重要作用。此任务通常被建模为搜索问题。最近,数据驱动的方法吸引了许多研究兴趣,并显示了反递归计划的有希望的结果。我们观察到在搜索过程中多次访问了相同的中间分子,并且通常在先前基于树的方法(例如,或树搜索,蒙特卡洛树搜索)中独立处理。这样的裁员使搜索过程效率低下。我们提出了基于图的搜索策略,以消除任何中间分子的冗余探索。由于图形上的搜索比在树上更复杂,因此我们进一步采用图形神经网络来指导图形搜索。同时,我们的方法可以在图中搜索一批目标,并在基于树的搜索方法中删除目标间重复。两个数据集的实验结果证明了我们方法的有效性。尤其是在广泛使用的USPTO基准测试中,我们将搜索成功率提高到99.47%,以2.6分提高了先前的最新性能。
translated by 谷歌翻译
联合学习(FL)是一种从分散数据源训练机器学习模型的技术。我们根据当地的隐私约束概念研究FL,该概念通过在离开客户之前使数据混淆,为敏感数据披露提供了强烈的保护。我们确定了设计实用隐私的FL算法的两个主要问题:沟通效率和高维度的兼容性。然后,我们开发一种基于梯度的学习算法,称为\ emph {sqsgd}(选择性量化的随机梯度下降),以解决这两个问题。所提出的算法基于一种新颖的隐私量化方案,该方案使用每个客户每个维度的恒定位数。然后,我们通过三种方式改进基本算法:首先,我们采用梯度亚采样策略,同时在固定隐私预算下提供更好的培训性能和较小的沟通成本。其次,我们利用随机旋转作为预处理步骤来减少量化误差。第三,采用了自适应梯度标准上限策略来提高准确性和稳定训练。最后,在基准数据集中证明了拟议框架的实用性。实验结果表明,SQSGD成功地学习了Lenet和Resnet等局部隐私约束的大型模型。此外,凭借固定的隐私和通信水平,SQSGD的性能显着主导了各种基线算法。
translated by 谷歌翻译
药物目标亲和力(DTA)预测是药物发现和药物研究的重要任务。 DTA的准确预测可以极大地受益于新药的设计。随着湿实验的昂贵且耗时,DTA预测的监督数据非常有限。这严重阻碍了基于深度学习的方法的应用,这些方法需要大量的监督数据。为了应对这一挑战并提高DTA预测准确性,我们在这项工作中提出了一个具有几种简单但有效的策略的框架:(1)多任务培训策略,该策略将DTA预测和蒙版语言建模(MLM)任务采用配对的药品目标数据集; (2)一种半监督的训练方法,通过利用大规模的未配对分子和蛋白质来赋予药物和靶向代表性学习,这与以前仅利用仅利用预训练的预训练和微调方法,这些方法仅利用前培训和微调方法训练; (3)一个交叉意见模块,以增强药物和靶代表性之间的相互作用。在三个现实世界基准数据集上进行了广泛的实验:BindingDB,Davis和Kiba。结果表明,我们的框架大大优于现有方法,并实现最先进的性能,例如,$ 0.712 $ rmse在bindingdb ic $ _ {50} $测量上,比以前的最佳工作要改善了$ 5 \%。此外,关于特定药物目标结合活动,药物特征可视化和现实世界应用的案例研究证明了我们工作的巨大潜力。代码和数据在https://github.com/qizhipei/smt-dta上发布
translated by 谷歌翻译
基于信息瓶颈(IB)的多视图学习提供了一种信息理论原则,用于寻找异质数据描述中包含的共享信息。但是,它的巨大成功通常归因于估计网络变得复杂时棘手的多元互助信息。此外,表示折衷的表示,{\ it},预测压缩和足够的一致性权衡,使IB难以同时满足这两个要求。在本文中,我们设计了几种变分信息瓶颈,以利用两个关键特征({\ it,即},充分性和一致性)用于多视图表示学习。具体而言,我们提出了一种多视图变量蒸馏(MV $^2 $ d)策略,以通过给出观点的任意输入,但没有明确估算它,从而为拟合MI提供了可扩展,灵活和分析的解决方案。在严格的理论保证下,我们的方法使IB能够掌握观测和语义标签之间的内在相关性,从而自然产生预测性和紧凑的表示。同样,我们的信息理论约束可以通过消除任务 - 求核和特定信息的信息来有效地中和对异质数据的敏感性,从而阻止在多种视图情况下两种权衡。为了验证理论上的策略,我们将方法应用于三种不同应用下的各种基准。广泛的定量和定性实验证明了我们对最新方法的方法的有效性。
translated by 谷歌翻译
由于其适应性和从稀疏数据中学习的能力,分解机(FMS)被广泛用于推荐系统。但是,对于稀疏数据中无处不在的非相互作用特征,现有的FMS只能通过其嵌入的内部产物估算与这些特征相对应的参数。不可否认,他们无法学习这些功能的直接相互作用,这限制了模型的表现力。为此,我们首先提出了受混合启发的MixFM,以生成辅助培训数据以增强FMS。与需要人工成本和专业知识的现有增强策略不同,以收集其他信息,例如位置和领域,这些额外的数据仅由原始的数据组合而没有任何专业知识支持。更重要的是,如果要混合的父样本具有非相互作用的特征,则MixFM将建立其直接相互作用。其次,考虑到MixFM可能会产生冗余甚至有害实例,我们进一步提出了由显着性引导混合措施(称为SMFM)提供动力的新型分解机。在自定义显着性的指导下,SMFM可以生成更具翔实的邻居数据。通过理论分析,我们证明所提出的方法最大程度地减少了概括误差的上限,这对增强FMS具有有益的效果。值得注意的是,我们给出了FM的第一个概括结构,这意味着概括需要更多的数据,并且在足够的表示能力下需要较小的嵌入大小。最后,在五个数据集上进行的大量实验证实,我们的方法优于基准。此外,结果表明,“中毒”混合数据同样对FM变体有益。
translated by 谷歌翻译
现实世界的视觉搜索系统涉及具有不同计算和存储资源的多个平台上的部署。部署适合最小符合平台的统一模型会导致精度有限。预计将部署具有不同能力的模型,以适应资源约束,这要求这些模型提取的功能必须在度量空间中对齐。实现特征比对的方法称为“兼容学习”。现有的研究主要集中在一对一兼容的范式上,该范式在多个模型之间学习兼容性受到限制。我们提出了一个具有自我兼容性(SFSC)的可切换表示学习框架。 SFSC通过一个训练过程生成一系列具有不同能力的兼容子模型。子模型的优化面对梯度冲突,我们从大小和方向的角度来减轻它。我们通过不确定性估计动态调整子模型的优先级,以适当地将子模型合作。此外,预计有相互矛盾的梯度以避免相互干扰。 SFSC在评估的数据集上实现了最先进的性能。
translated by 谷歌翻译
语言模型既展示了定量的改进,又展示了新的定性功能,随着规模的增加。尽管它们具有潜在的变革性影响,但这些新能力的特征却很差。为了为未来的研究提供信息,为破坏性的新模型能力做准备,并改善社会有害的效果,至关重要的是,我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战,我们介绍了超越模仿游戏基准(Big Bench)。 Big Bench目前由204个任务组成,由132家机构的442位作者贡献。任务主题是多样的,从语言学,儿童发展,数学,常识性推理,生物学,物理学,社会偏见,软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号,Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为,跨越了数百万到数十亿个参数。此外,一个人类专家评估者团队执行了所有任务,以提供强大的基准。研究结果包括:模型性能和校准都随规模改善,但绝对的术语(以及与评估者的性能相比);在模型类中的性能非常相似,尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分,而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标;社交偏见通常会随着含糊不清的环境而随着规模而增加,但这可以通过提示来改善。
translated by 谷歌翻译
输入分布转移是无监督域适应(UDA)中的重要问题之一。最受欢迎的UDA方法集中在域不变表示学习上,试图将不同域中的功能调整为相似的特征分布。但是,这些方法忽略了域之间的输入单词分布的直接对齐,这是单词级分类任务(例如跨域NER)的重要因素。在这项工作中,我们通过引入子词级解决方案X-Pience来为输入单词级分布移动,从而为跨域NER开发了新的灯光。具体而言,我们将源域的输入单词重新划分以接近目标子词分布,该分布是作为最佳运输问题制定和解决的。由于这种方法着重于输入级别,因此它也可以与先前的DIRL方法相结合,以进一步改进。实验结果表明,基于四个基准NER数据集的Bert-Tagger所提出的方法的有效性。同样,事实证明,所提出的方法受益于诸如Dann之类的DIRL方法。
translated by 谷歌翻译
垂直联合学习(VFL)是一种隐私的机器学习范式,可以从以隐私性的方式从不同平台上分布的功能学习模型。由于在实际应用程序中,数据可能包含对公平敏感特征(例如性别)的偏见,因此VFL模型可能会从培训数据中继承偏见,并对某些用户组变得不公平。但是,现有的公平ML方法通常依赖于对公平敏感特征的集中存储来实现模型公平,通常在联合场景中不适用。在本文中,我们提出了一个公平的垂直联合学习框架(FAIRVFL),可以改善VFL模型的公平性。 FAIRVFL的核心思想是根据分散的特征字段以隐私的方式学习样本的统一和公平表示。具体而言,每个具有不敏感功能的平台首先从本地功能中学习本地数据表示。然后,将这些本地表示形式上传到服务器,并将其汇总到目标任务的统一表示形式中。为了学习公平的统一表示形式,我们将它们发送到每个平台存储公平性敏感的功能,并应用对抗性学习,以从偏见的数据继承的统一表示形式中消除偏见。此外,为了保护用户隐私,我们进一步提出了一种对抗性对手学习方法,以从服务器中的统一表示形式中删除隐私信息,然后再将其发送到保持对公平敏感功能的平台。在两个现实世界数据集上进行的实验验证了我们的方法可以通过用户隐私受到良好保护有效地改善模型公平性。
translated by 谷歌翻译
量子计算机是下一代设备,有望执行超出古典计算机范围的计算。实现这一目标的主要方法是通过量子机学习,尤其是量子生成学习。由于量子力学的固有概率性质,因此可以合理地假设量子生成学习模型(QGLM)可能会超过其经典对应物。因此,QGLM正在从量子物理和计算机科学社区中受到越来越多的关注,在这些QGLM中,可以在近期量子机上有效实施各种QGLM,并提出了潜在的计算优势。在本文中,我们从机器学习的角度回顾了QGLM的当前进度。特别是,我们解释了这些QGLM,涵盖了量子电路出生的机器,量子生成的对抗网络,量子玻尔兹曼机器和量子自动编码器,作为经典生成学习模型的量子扩展。在这种情况下,我们探讨了它们的内在关系及其根本差异。我们进一步总结了QGLM在常规机器学习任务和量子物理学中的潜在应用。最后,我们讨论了QGLM的挑战和进一步研究指示。
translated by 谷歌翻译