代理辅助优化算法是一种很有前途的方法,可以解决昂贵的多目标优化问题。然而,大多数现有的辅助多目标优化算法有三个回调:1)不能很好地解决高维决策空间的问题,2)不能结合可用的梯度信息,3)不支持批量优化。这些缺点阻碍了它们用于解决许多现实世界的大规模优化问题。本文提出了一种可扩展的可扩展多目标贝叶斯优化算法来解决这些问题。该算法使用贝叶斯神经网络作为可扩展的替代模型。由Monte Carlo辍学和Sobolovtraining提供支持,该模型可以轻松培训,并可以包含可用的梯度信息。我们还提出了一种新的批量超体积上置信息约束采集函数来支持批量优化。各种基准问题和实际应用的实验结果证明了该算法的有效性。
translated by 谷歌翻译
传统研究将深度神经网络的泛化能力的改进归功于强大的优化器或新的网络设计。与它们不同,在本文中,我们的目标是将深度网络的可泛化性与优化新的目标函数联系起来。为此,我们提出了一种用于深度网络训练的\ textit {非线性协同方案},其关键技术是在非线性方式中组合不同的损失函数。我们发现,在自适应地调整不同损失函数的权重之后,所提出的目标函数可以有效地指导优化过程。更重要的是,我们证明,从数学角度来看,非线性协作方案可以导致(i)关于最优解的KLdivergence更小; (ii)数据驱动的随机梯度下降; (iii)更严格的PAC-Bayes约束。我们还证明了非线性增加可以增强其优势。在某种程度上,我们在新方案中弥补学习(即,最小化新目标函数)和泛化(即,最小化PAC-Bayes界限)之间的差距。我们还通过残留网络和密集网络上的实验来解释我们的研究结果,表明我们的新方案无论是否随机化,都能优于单损失和多损失方案。
translated by 谷歌翻译
对话系统通常建立在基于生成或基于检索的方法的基础上,但它们不会受益于不同模型的优势。在本文中,我们提出了一种用于神经响应生成的检索增强的对抗训练(REAT)方法。与现有方法不同,REAT方法在对抗性训练范例方面利用编码器 - 解码器框架,同时利用来自基于检索的系统的N-最佳响应候选者来构造鉴别器。对大规模公共可用基准数据集的实证研究表明,REAT方法明显优于香草Seq2Seq模型以及传统的对抗训练方法。
translated by 谷歌翻译
本文提出了一种基于角度解搜索(MaOEA-CS)的进化多目标优化算法。 MaOEA-CS隐含地包含两个阶段:最重要的边界最优解的探索性搜索 - 第一阶段的角点解,以及基于角度的选择[1]的使用以及探索性搜索第二阶段PF近似的扩展。由于其高效率和对形状的稳健性,它赢得了CEC'2017进化多目标优化竞赛。此外,MaOEA-CS还应用于两个非常不规则PF的实际工程优化问题。实验结果表明,MaOEA-CS优于其他六种最先进的比较算法,这表明它具有处理不规则PF的现实复杂优化问题的能力。
translated by 谷歌翻译
车辆重新识别是一个重要的问题,随着视频监控和智能传输应用的快速扩展而变得可取。通过回顾人类视觉的识别过程,我们发现当人类识别不同的车辆时存在本地的等级依赖性。具体地,人类总是首先确定一个车辆的粗粒度类别,即汽车模型/类型。然后,在预测的汽车模型/类型的分支下,他们将通过细微的视觉线索(例如,定制的绘画和挡风玻璃)在细粒度水平上识别特定的车辆。受粗到细分层过程的启发,我们提出了一种用于车辆重新识别的端到端基于RNN的分层注意(RNN-HA)分类模型。 RNN-HA由三个相互耦合的模块组成:第一个模块生成车辆图像的图像表示,第二个层次模块模拟上述层级依赖关系,最后一个注意模块侧重于捕获特定车辆彼此之间的细微视觉信息识别。通过对两个车辆重新识别基准数据集VeRi和VehicleID进行全面的实验,我们证明了所提出的模型实现了超越现有技术的卓越性能。
translated by 谷歌翻译
我们提出了MedSim,一种基于Publicwell建立的生物医学知识图(KGs)和大规模语料库的新型语义相似性方法,研究抗生素的治疗替代。除了KGs的层次结构和语料库外,MedSim还通过构建多维医学特定的特征向量来进一步解释医学特征。采用医生评分的528种抗生素对数据集进行评价,MedSim与其他语义相似性方法相比具有统计学上的显着改善。此外,还提出了MedSim在药物替代和药物滥用预防方面的一些有希望的应用。
translated by 谷歌翻译
近十年来,随着深度卷积神经网络(CNN)的发展,许多最先进的图像分类和音频分类算法取得了显着的成功。但是,大多数工作只利用单一类型的训练数据。在本文中,我们通过利用CNN对视觉(图像)和音频(声音)数据的组合来对鸟类进行分类的研究,该CNN已被稀疏地处理。具体而言,我们提出了基于CNN的融合策略(早期,中期,晚期)类型的多模态学习模型,以解决组合训练数据跨域的问题。我们提出的方法的优点在于我们可以利用CNN不仅从图像和音频数据(频谱图)中提取特征,而且还可以跨特征模式组合特征。在实验中,我们在综合CUB-200-2011标准数据集上训练和评估网络结构,结合我们最初收集的关于数据种类的音频数据集。我们观察到,利用两种数据的组合的模型优于仅用任何类型的数据训练的模型。我们还表明,转移学习可以显着提高分类性能。
translated by 谷歌翻译
MixUp是一种通过混合随机样本的数据增强方法,已经显示出能够显着提高当前深度神经网络技术的预测准确性。然而,MixUp的力量大多是凭经验建立的,其工作和有效性在任何深度都没有解释。在本文中,我们对MixUp进行了理论上的理解,将其作为流形外正则化的一种形式,它将输入空间上的模型限制在数据流形之外。这项分析研究还使我们能够识别由流形侵入引起的MixUp限制,合成样本与歧管的实际例子相撞。这种侵入行为导致过度正规化,从而不合适。为了解决这个问题,我们进一步提出了一种新颖的正则化器,其中混合策略从数据中自适应地学习,并且包含多种入侵损失以避免与数据流形的冲突。我们使用几个基准数据集凭经验证明了我们的正则化器在超深度分类模型和MixUp的过度避免和精度改进方面的有效性。
translated by 谷歌翻译
通过主动选择小批量,可以提高随机梯度下降(SGD)的收敛速度。我们探索了在同一小批量中不太可能选择类似数据点的抽样方案。特别是,我们证明这种排斥采样方案降低了梯度测量仪的方差。这概括了最近关于将小批量多样化(Zhang et al。,2017)的决定点过程(DPP)用于更广泛的排斥点过程的工作。我们首先表明,通过多样化抽样的方差减少现象特别推广到非平稳点过程。然后,我们表明其他点过程在计算上可能比DPP更有效。特别是,我们提出并研究了泊松盘采样---计算机图形社交中经常遇到的---用于此任务。我们凭经验证明,我们的方法在收敛速度和最终模型性能方面都提高了标准SGD。
translated by 谷歌翻译
Heterogeneous network embedding (HNE) is a challenging task due to the diverse node types and/or diverse relationships between nodes. Existing HNE methods are typically unsupervised. To maximize the profit of utilizing the rare and valuable supervised information in HNEs, we develop a novel Active Heterogeneous Network Embedding (Ac-tiveHNE) framework, which includes two components: Discriminative Heterogeneous Network Embedding (DHNE) and Active Query in Heterogeneous Networks (AQHN). In DHNE, we introduce a novel semi-supervised heterogeneous network embedding method based on graph convolutional neu-ral network. In AQHN, we first introduce three active selection strategies based on uncertainty and representativeness, and then derive a batch selection method that assembles these strategies using a multi-armed bandit mechanism. ActiveHNE aims at improving the performance of HNE by feeding the most valuable supervision obtained by AQHN into DHNE. Experiments on public datasets demonstrate the effectiveness of ActiveHNE and its advantage on reducing the query cost.
translated by 谷歌翻译