Traditional machine learning follows a close-set assumption that the training and test set share the same label space. While in many practical scenarios, it is inevitable that some test samples belong to unknown classes (open-set). To fix this issue, Open-Set Recognition (OSR), whose goal is to make correct predictions on both close-set samples and open-set samples, has attracted rising attention. In this direction, the vast majority of literature focuses on the pattern of open-set samples. However, how to evaluate model performance in this challenging task is still unsolved. In this paper, a systematic analysis reveals that most existing metrics are essentially inconsistent with the aforementioned goal of OSR: (1) For metrics extended from close-set classification, such as Open-set F-score, Youden's index, and Normalized Accuracy, a poor open-set prediction can escape from a low performance score with a superior close-set prediction. (2) Novelty detection AUC, which measures the ranking performance between close-set and open-set samples, ignores the close-set performance. To fix these issues, we propose a novel metric named OpenAUC. Compared with existing metrics, OpenAUC enjoys a concise pairwise formulation that evaluates open-set performance and close-set performance in a coupling manner. Further analysis shows that OpenAUC is free from the aforementioned inconsistency properties. Finally, an end-to-end learning method is proposed to minimize the OpenAUC risk, and the experimental results on popular benchmark datasets speak to its effectiveness.

由于课堂之间不可避免的语义歧义，TOP-K错误已成为大规模分类基准测试的流行指标。有关TOP-K优化的现有文献通常集中于TOP-K目标的优化方法，同时忽略了度量本身的局限性。在本文中，我们指出，顶级目标缺乏足够的歧视，因此诱导的预测可能使完全无关的标签成为最高等级。为了解决此问题，我们开发了一个新颖的度量标准，名为Top-K曲线（AUTKC）下的部分区域。理论分析表明，AUTKC具有更好的歧视能力，其贝叶斯最佳分数函数可以在条件概率方面给出正确的顶级排名。这表明AUTKC不允许无关标签出现在顶部列表中。此外，我们提出了一个经验替代风险最小化框架，以优化拟议的指标。从理论上讲，我们提出（1）贝叶斯最佳分数函数的渔民一致性的足够条件； （2）在简单的超参数设置下对类不敏感的概括上限。最后，四个基准数据集的实验结果验证了我们提出的框架的有效性。

ROC曲线（AUC）下的面积是机器学习的关键指标，它评估了所有可能的真实正率（TPR）和假阳性率（FPRS）的平均性能。基于以下知识：熟练的分类器应同时拥抱高的TPR和低FPR，我们转向研究一个更通用的变体，称为双向部分AUC（TPAUC），其中只有$ \ Mathsf {Tpr} \ ge ge ge ge \ alpha，\ mathsf {fpr} \ le \ beta $包含在该区域中。此外，最近的工作表明，TPAUC与现有的部分AUC指标基本上不一致，在该指标中，只有FPR范围受到限制，为寻求解决方案以利用高TPAUC开辟了一个新问题。在此激励的情况下，我们在本文中提出了优化该新指标的第一个试验。本课程的关键挑战在于难以通过端到端随机训练进行基于梯度的优化，即使有适当的替代损失选择。为了解决这个问题，我们提出了一个通用框架来构建替代优化问题，该问题支持有效的端到端培训，并深入学习。此外，我们的理论分析表明：1）替代问题的目标函数将在轻度条件下实现原始问题的上限，2）优化替代问题会导致TPAUC的良好概括性能，并且具有很高的可能性。最后，对几个基准数据集的实证研究表达了我们框架的功效。

Receiver operating characteristics (ROC) graphs are useful for organizing classifiers and visualizing their performance. ROC graphs are commonly used in medical decision making, and in recent years have been used increasingly in machine learning and data mining research. Although ROC graphs are apparently simple, there are some common misconceptions and pitfalls when using them in practice. The purpose of this article is to serve as an introduction to ROC graphs and as a guide for using them in research.

开放式识别使深度神经网络（DNN）能够识别未知类别的样本，同时在已知类别的样本上保持高分类精度。基于自动编码器（AE）和原型学习的现有方法在处理这项具有挑战性的任务方面具有巨大的潜力。在这项研究中，我们提出了一种新的方法，称为类别特定的语义重建（CSSR），该方法整合了AE和原型学习的力量。具体而言，CSSR用特定于类的AE表示的歧管替代了原型点。与传统的基于原型的方法不同，CSSR在单个AE歧管上的每个已知类模型，并通过AE的重建误差来测量类归属感。特定于类的AE被插入DNN主链的顶部，并重建DNN而不是原始图像所学的语义表示。通过端到端的学习，DNN和AES互相促进，以学习歧视性和代表性信息。在多个数据集上进行的实验结果表明，所提出的方法在封闭式和开放式识别中都达到了出色的性能，并且非常简单且灵活地将其纳入现有框架中。

Positive-Unlabeled (PU) learning tries to learn binary classifiers from a few labeled positive examples with many unlabeled ones. Compared with ordinary semi-supervised learning, this task is much more challenging due to the absence of any known negative labels. While existing cost-sensitive-based methods have achieved state-of-the-art performances, they explicitly minimize the risk of classifying unlabeled data as negative samples, which might result in a negative-prediction preference of the classifier. To alleviate this issue, we resort to a label distribution perspective for PU learning in this paper. Noticing that the label distribution of unlabeled data is fixed when the class prior is known, it can be naturally used as learning supervision for the model. Motivated by this, we propose to pursue the label distribution consistency between predicted and ground-truth label distributions, which is formulated by aligning their expectations. Moreover, we further adopt the entropy minimization and Mixup regularization to avoid the trivial solution of the label distribution consistency on unlabeled data and mitigate the consequent confirmation bias. Experiments on three benchmark datasets validate the effectiveness of the proposed method.Code available at: https://github.com/Ray-rui/Dist-PU-Positive-Unlabeled-Learning-from-a-Label-Distribution-Perspective.

现实世界数据普遍面对严重的类别 - 不平衡问题，并且展示了长尾分布，即，大多数标签与有限的情况有关。由此类数据集监督的NA \“IVE模型更愿意占主导地位标签，遇到严重的普遍化挑战并变得不佳。我们从先前的角度提出了两种新的方法，以减轻这种困境。首先，我们推导了一个以平衡为导向的数据增强命名均匀的混合物（Unimix）促进长尾情景中的混合，采用先进的混合因子和采样器，支持少数民族。第二，受贝叶斯理论的动机，我们弄清了贝叶斯偏见（北美），是由此引起的固有偏见先前的不一致，并将其补偿为对标准交叉熵损失的修改。我们进一步证明了所提出的方法理论上和经验地确保分类校准。广泛的实验验证我们的策略是否有助于更好校准的模型，以及他们的策略组合在CIFAR-LT，ImageNet-LT和Inattations 2018上实现最先进的性能。

在过去的几年中，关于分类，检测和分割问题的3D学习领域取得了重大进展。现有的绝大多数研究都集中在规范的封闭式条件上，忽略了现实世界的内在开放性。这限制了需要管理新颖和未知信号的自主系统的能力。在这种情况下，利用3D数据可以是有价值的资产，因为它传达了有关感应物体和场景几何形状的丰富信息。本文提供了关于开放式3D学习的首次广泛研究。我们介绍了一种新颖的测试床，其设置在类别语义转移方面的难度增加，并且涵盖了内域（合成之间）和跨域（合成对真实）场景。此外，我们研究了相关的分布情况，并开放了2D文献，以了解其最新方法是否以及如何在3D数据上有效。我们广泛的基准测试在同一连贯的图片中定位了几种算法，从而揭示了它们的优势和局限性。我们的分析结果可能是未来量身定制的开放式3D模型的可靠立足点。

深度神经网络（DNN）对于对培训期间的样品大大减少的课程进行更多错误是臭名昭着的。这种类别不平衡在临床应用中普遍存在，并且对处理非常重要，因为样品较少的类通常对应于临界病例（例如，癌症），其中错误分类可能具有严重后果。不要错过这种情况，通过设定更高的阈值，需要以高真正的阳性率（TPRS）运行二进制分类器，但这是类别不平衡问题的非常高的假阳性率（FPRS）的成本。在课堂失衡下的现有方法通常不会考虑到这一点。我们认为，通过在高TPRS处于阳性的错误分类时强调减少FPRS，应提高预测准确性，即赋予阳性，即批判性，类样本与更高的成本相关。为此，我们将DNN的训练训练为二进制分类作为约束优化问题，并引入一种新的约束，可以通过在高TPR处优先考虑FPR减少来强制ROC曲线（AUC）下强制实施最大面积的新约束。我们使用增强拉格朗日方法（ALM）解决了由此产生的受限优化问题。超越二进制文件，我们还提出了两个可能的延长了多级分类问题的建议约束。我们使用内部医学成像数据集，CIFAR10和CIFAR100呈现基于图像的二元和多级分类应用的实验结果。我们的结果表明，该方法通过在关键类别的准确性上获得了大多数病例的拟议方法，同时降低了非关键类别样本的错误分类率。

由于其在不同领域的应用继续扩大和多样化，因此机器学习的公平正在越来越越来越受到关注。为了减轻不同人口组之间的区分模型行为，我们介绍了一种新的后处理方法来通过组感知阈值适应优化多个公平性约束。我们建议通过优化从分类模型输出的概率分布估计的混淆矩阵来学习每个人口统计组的自适应分类阈值。由于我们仅需要模型输出的估计概率分布而不是分类模型结构，我们的后处理模型可以应用于各种分类模型，并以模型 - 不可知方式提高公平性并确保隐私。这甚至允许我们在后处理现有的公平方法，以进一步提高准确性和公平性之间的权衡。此外，我们的模型具有低计算成本。我们为我们的优化算法的收敛性提供严格的理论分析和我们方法的准确性和公平性之间的权衡。我们的方法理论上使得能够在与现有方法相同的情况下的近最优性的更好的上限。实验结果表明，我们的方法优于最先进的方法，并获得最接近理论精度公平折衷边界的结果。

使用不平衡数据集的二进制分类具有挑战性。模型倾向于将所有样本视为属于多数类的样本。尽管现有的解决方案（例如抽样方法，成本敏感方法和合奏学习方法）提高了少数族裔类别的准确性，但这些方法受到过度拟合问题或难以决定的成本参数的限制。我们提出了HADR，这是一种降低尺寸的混合方法，包括数据块构建，降低性降低和与深度神经网络分类器的合奏学习。我们评估了八个不平衡的公共数据集的性能，从召回，g均值和AUC方面。结果表明，我们的模型优于最先进的方法。

最近提出的协作度量学习（CML）范式由于其简单性和有效性引起了人们对推荐系统（RS）领域的广泛兴趣。通常，CML的现有文献在很大程度上取决于\ textit {负抽样}策略，以减轻成对计算的耗时负担。但是，在这项工作中，通过进行理论分析，我们发现负抽样会导致对概括误差的偏差估计。具体而言，我们表明，基于抽样的CML将在概括性结合中引入一个偏差项，该术语是由per-use \ textit {total方差}（TV）量化的，在负面采样和地面真相分布引起的分布之间。这表明，即使有足够大的训练数据，优化基于采样的CML损耗函数也不能确保小概括误差。此外，我们表明偏见术语将消失，而无需负面抽样策略。在此激励的情况下，我们提出了一种有效的替代方案，而没有对CML进行负面采样的cml，name \ textit {无抽样协作度量学习}（SFCML），以消除实际意义上的采样偏见。最后，超过七个基准数据集的全面实验表达了所提出的算法的优势。

班级失衡对机器学习构成了重大挑战，因为大多数监督学习模型可能对多数级别和少数族裔表现不佳表现出偏见。成本敏感的学习通过以不同的方式处理类别，通常通过用户定义的固定错误分类成本矩阵来解决此问题，以提供给学习者的输入。这种参数调整是一项具有挑战性的任务，需要域知识，此外，错误的调整可能会导致整体预测性能恶化。在这项工作中，我们为不平衡数据提出了一种新颖的成本敏感方法，该方法可以动态地调整错误分类的成本，以响应Model的性能，而不是使用固定的错误分类成本矩阵。我们的方法称为ADACC，是无参数的，因为它依赖于增强模型的累积行为，以便调整下一次增强回合的错误分类成本，并具有有关培训错误的理论保证。来自不同领域的27个现实世界数据集的实验表明，我们方法的优势超过了12种最先进的成本敏感方法，这些方法在不同度量方面表现出一致的改进，例如[0.3] AUC的％-28.56％]，平衡精度[3.4％-21.4％]，Gmean [4.8％-45％]和[7.4％-85.5％]用于召回。

在值得信赖的机器学习中，这是一个重要的问题，可以识别与分配任务无关的输入的分布（OOD）输入。近年来，已经提出了许多分布式检测方法。本文的目的是识别共同的目标以及确定不同OOD检测方法的隐式评分函数。我们专注于在培训期间使用替代OOD数据的方法，以学习在测试时概括为新的未见外部分布的OOD检测分数。我们表明，内部和（不同）外部分布之间的二元歧视等同于OOD检测问题的几种不同的公式。当与标准分类器以共同的方式接受培训时，该二进制判别器达到了类似于离群暴露的OOD检测性能。此外，我们表明，异常暴露所使用的置信损失具有隐式评分函数，在训练和测试外部分配相同的情况下，以非平凡的方式与理论上最佳评分功能有所不同，这又是类似于训练基于能量的OOD检测器或添加背景类时使用的一种。在实践中，当以完全相同的方式培训时，所有这些方法的性能类似。

近年来，已取得了巨大进展，以通过半监督学习（SSL）来纳入未标记的数据来克服效率低下的监督问题。大多数最先进的模型是基于对未标记的数据追求一致的模型预测的想法，该模型被称为输入噪声，这称为一致性正则化。尽管如此，对其成功的原因缺乏理论上的见解。为了弥合理论和实际结果之间的差距，我们在本文中提出了SSL的最坏情况一致性正则化技术。具体而言，我们首先提出了针对SSL的概括，该概括由分别在标记和未标记的训练数据上观察到的经验损失项组成。在这种界限的激励下，我们得出了一个SSL目标，该目标可最大程度地减少原始未标记的样本与其多重增强变体之间最大的不一致性。然后，我们提供了一种简单但有效的算法来解决提出的最小问题，从理论上证明它会收敛到固定点。五个流行基准数据集的实验验证了我们提出的方法的有效性。

ROC曲线下的区域（又称AUC）是评估分类器不平衡数据的性能的选择。 AUC最大化是指通过直接最大化其AUC分数来学习预测模型的学习范式。它已被研究了二十年来，其历史可以追溯到90年代后期，从那时起，大量工作就致力于最大化。最近，对大数据和深度学习的深度最大化的随机AUC最大化已受到越来越多的关注，并对解决现实世界中的问题产生了巨大的影响。但是，据我们所知，没有对AUC最大化的相关作品进行全面调查。本文旨在通过回顾过去二十年来审查文献来解决差距。我们不仅给出了文献的整体看法，而且还提供了从配方到算法和理论保证的不同论文的详细解释和比较。我们还确定并讨论了深度AUC最大化的剩余和新兴问题，并就未来工作的主题提供建议。

正确分类对抗性示例是安全部署机器学习模型的必不可少但具有挑战性的要求。据抢救模型甚至是最先进的离职训练的模型，在CIFAR-10上努力超过67％的强大测试精度，这远非实用。互动的互补方法是引入拒绝选项，允许模型不返回对不确定输入的预测，自信是常用的确定性代理。随着这个例程，我们发现置信度和纠正的置信度（R-Con）可以形成两个耦合的拒绝度量，这可以从正确分类的次数中可以证明错误分类的输入。这种有趣的属性揭示了使用偶联策略来更好地检测和抑制对抗性实例。我们在包括自适应攻击的若干攻击下，在CiFar-10，CiFar-10-C和CiFar-100上评估我们的整流拒绝（RR）模块，并证明RR模块与改善稳健性的不同的对抗训练框架兼容额外的计算。代码可在https://github.com/p2333/Rectified-re注意到。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

班级不平衡问题是许多现实世界中的机器学习任务的固有，尤其是对于罕见的事实分类问题。尽管数据不平衡的影响和处理是广为人知的，但度量标准对阶级失衡的敏感性的幅度很少引起关注。结果，敏感的指标通常被忽略，而其敏感性可能只有边际。在本文中，我们介绍了一个直观的评估框架，该框架量化了指标对类不平衡的敏感性。此外，我们揭示了一个有趣的事实，即指标的敏感性存在对数行为，这意味着较高的失衡比与指标的较低灵敏度有关。我们的框架建立了对阶级不平衡对指标的影响的直观理解。我们认为，这可以帮助避免许多常见的错误，特别是强调和错误的假设，即在不同的级别不平衡比率下所有指标的数量都是可比的。

Precision-Recall曲线（AUPRC）下区域的随机优化是机器学习的关键问题。尽管已经对各种算法进行了广泛研究以进行AUPRC优化，但仅在多Query情况下保证了概括。在这项工作中，我们介绍了随机AUPRC优化的一次性概括中的第一个试验。对于更庞大的概括范围，我们专注于算法依赖性概括。我们目的地都有算法和理论障碍。从算法的角度来看，我们注意到，仅当采样策略偏见时，大多数现有随机估计器才会偏向，并且由于不可兼容性而不稳定。为了解决这些问题，我们提出了一个具有卓越稳定性的采样率不变的无偏随机估计器。最重要的是，AUPRC优化是作为组成优化问题配制的，并提出了随机算法来解决此问题。从理论的角度来看，算法依赖性概括分析的标准技术不能直接应用于这种列表的组成优化问题。为了填补这一空白，我们将模型稳定性从实例损失扩展到列表损失，并弥合相应的概括和稳定性。此外，我们构建状态过渡矩阵以描述稳定性的复发，并通过矩阵频谱简化计算。实际上，关于三个图像检索数据集的实验结果谈到了我们框架的有效性和健全性。