我们考虑半监督序数回归问题,其中除了序数标记数据之外还给出了未标记的数据。在序数回归中有许多评估度量,例如平均绝对误差,均方误差和平均分类误差。现有工作没有考虑评估指标,对模型选择有限制,没有理论保证。为了缓解这些问题,我们提出了一种基于经验风险最小化(ERM)框架的方法,该框架适用于优化上述所有指标。此外,我们的方法具有模型,替代损失和优化算法的灵活选择。此外,我们的方法不需要对未标记数据进行限制性假设,例如聚类假设和多种假设。我们提供估计错误绑定,以表明我们的学习方法是一致的。最后,我们通过实验来展示我们框架的实用性。
translated by 谷歌翻译
我们研究了具有拒绝的多类分类的问题,其中分类器可以选择不进行预测以避免关键的分类。我们考虑两种方法来解决这个问题:一个基于置信度得分的传统方法和一个基于分类器和拒绝器同时约束的更新方法。前面的一种现有方法侧重于一类特定的损失,其经验表现并不十分令人信服。在本文中,我们提出了基于置信度的多类别分类拒绝标准,它可以处理更多的一般损失并保证对贝叶斯最优解的校准。后一种方法是相对较新的,并且仅在二元情况下可用,而且是最好的知识。我们的第二个贡献是证明在多类别中通过这种方法几乎不可能校准到贝叶斯最优解。最后,我们进行实验以验证理论发现的相关性。
translated by 谷歌翻译
我们解决了在无监督域适应中测量两个域之间差异的问题。我们指出,当应用诸如深度神经网络的复杂模型时,现有的差异对策信息量较少。此外,对现有差异度量的估计在计算上可能是困难的并且仅限于二元分类任务。为了缓解这些缺点,我们提出了一种新颖的差异度量,对于许多不仅限于二元分类的任务,理论上基于并且可以有效地应用于复杂模型,非常容易估计。我们还提供易于解释的泛化界限,以解释在一些伪监测域适应中伪标记方法家族的有效性。最后,我们进行实验以验证我们提出的差异度量的有用性。
translated by 谷歌翻译
模仿学习(IL)旨在通过示范来学习最优政策。然而,这种示范往往是不完美的,因为收集最优的政策是昂贵的。为了有效地从不完美的示范中学习,我们提出了一种利用置信度得分的新方法,它描述了示范的质量。更具体地说,我们提出了两种基于置信度的IL方法,即两步重要性加权IL(2IWIL)和生成性对抗性IL,具有不完美的证明和置信度(IC-GAIL)。我们证明,仅给出一小部分次优演示的置信度分数在理论上和经验上都显着提高了IL的性能。
translated by 谷歌翻译
本文旨在提供对对称损失的更好理解。首先,我们表明,使用对称损耗有利于平衡误码率(BER)最小化和接收器工作特性曲线(AUC)下的区域从损坏的标签最大化。其次,我们证明了对称损失的一般理论性质,包括分类校准条件,超额风险界限,条件风险最小化和AUC-一致性条件。第三,由于所有非负对称损失都是非凸的,我们提出了一个凸障碍铰链损失,它可以从对称条件中获益,尽管它在任何地方都不是对称的。最后,我们对来自损坏标签的BER和AUC优化进行了实验,以验证对称条件的相关性。
translated by 谷歌翻译
来自正数和未标记数据的二元分类瓶颈(PU分类)是从测试边际分布中得出未标记模式的要求,并且假阳性错误的惩罚与假阴性错误相同。但是,这些要求在实践中并未得到满足。在本文中,我们将PU分类推广到类先验移位和非对称错误情景。在对Bayes最优分类器的分析的基础上,我们证明了给定一个测试类先验,在类先行移位下的PU分类等价于具有对称误差的PU分类。然后,我们提出了两个不同的框架来处理这些问题,即风险最小化框架和密度比估计框架。最后,我们证明了所提出的框架的有效性,并通过使用基准数据集的实验来比较两个框架。
translated by 谷歌翻译
无监督域自适应是问题设置,其中源域和目标域中的数据生成分布不同,并且目标域中的标签不可用。无监督域适应中的一个重要问题是如何衡量源域和目标域之间的差异。先前提出的不使用源域标签的差异需要高计算成本来估计并且可能导致目标域中的松散一般化误差限制。为了缓解这些问题,我们提出了一个新的差异,称为源引导差异($ S $ -disc),其中包括源域中的标签。因此,可以通过有限的样本收敛保证有效地计算$ S $ -disc。此外,我们证明$ S $ -disc可以提供比基于现有差异更严格的泛化误差限制。最后,我们报告了实验结果,证明了$ S $ -disc优于现有差异的优势。
translated by 谷歌翻译