传统意图分类模型基于预定义的意图集，仅识别有限的内域（IND）意图类别。但是用户可以在实用的对话系统中输入室外（OOD）查询。这样的OOD查询可以提供未来改进的方向。在本文中，我们定义了一项新任务，广义意图发现（GID），旨在将IND意图分类器扩展到包括IND和OOD意图在内的开放世界意图集。我们希望在发现和识别新的未标记的OOD类型的同时，同时对一组标记的IND意图类进行分类。我们为不同的应用程序方案构建了三个公共数据集，并提出了两种框架，即基于管道的框架和端到端，以实现未来的工作。此外，我们进行详尽的实验和定性分析，以理解关键挑战，并为未来的GID研究提供新的指导。
translated by 谷歌翻译
室外（OOD）检测是面向任务的对话框系统中的关键组件，旨在确定查询是否不在预定义的支持的意图集之外。事实证明，先前基于软磁性的检测算法对OOD样品被过度自信。在本文中，我们分析了过度自信的OOD来自由于训练和测试分布之间的不匹配而导致的分布不确定性，这使得该模型无法自信地做出预测，因此可能导致异常软磁得分。我们提出了一个贝叶斯OOD检测框架，以使用Monte-Carlo辍学来校准分布不确定性。我们的方法是灵活的，并且可以轻松地插入现有的基于软磁性的基线和增益33.33 \％OOD F1改进，而与MSP相比仅增加了0.41 \％的推理时间。进一步的分析表明，贝叶斯学习对OOD检测的有效性。
translated by 谷歌翻译
Out-of-Domain (OOD) intent detection is important for practical dialog systems. To alleviate the issue of lacking OOD training samples, some works propose synthesizing pseudo OOD samples and directly assigning one-hot OOD labels to these pseudo samples. However, these one-hot labels introduce noises to the training process because some hard pseudo OOD samples may coincide with In-Domain (IND) intents. In this paper, we propose an adaptive soft pseudo labeling (ASoul) method that can estimate soft labels for pseudo OOD samples when training OOD detectors. Semantic connections between pseudo OOD samples and IND intents are captured using an embedding graph. A co-training framework is further introduced to produce resulting soft labels following the smoothness assumption, i.e., close samples are likely to have similar labels. Extensive experiments on three benchmark datasets show that ASoul consistently improves the OOD detection performance and outperforms various competitive baselines.
translated by 谷歌翻译
公开意图检测是自然语言理解中的一个重大问题，旨在以仅知道已知意图的先验知识来检测看不见的公开意图。当前方法在此任务中面临两个核心挑战。一方面，他们在学习友好表示方面有局限性来检测公开意图。另一方面，缺乏有效的方法来获得已知意图的特定和紧凑的决策边界。为了解决这些问题，本文介绍了一个原始框架DA-ADB，该框架连续学习了远距离感知的意图表示和自适应决策边界，以进行开放意图检测。具体而言，我们首先利用距离信息来增强意图表示的区别能力。然后，我们设计了一种新颖的损失函数，以通过平衡经验和开放空间风险来获得适当的决策界限。广泛的实验显示了距离了解和边界学习策略的有效性。与最先进的方法相比，我们的方法在三个基准数据集上实现了重大改进。它还具有不同比例的标记数据和已知类别的稳健性能。完整的数据和代码可在https://github.com/thuiar/textoir上获得
translated by 谷歌翻译
在计算机视觉中探索的分销（OOD）检测良好的虽然，但在NLP分类的情况下已经开始较少尝试。在本文中，我们认为这些目前的尝试没有完全解决ood问题，并且可能遭受数据泄漏和所产生模型的校准差。我们呈现PNPOOD，通过使用最近提出的即插即用语言模型（Dathathri等，2020），通过域外样本生成进行数据增强技术来执行OOD检测。我们的方法产生靠近阶级边界的高质量辨别样本，从而在测试时间内进行准确的检测。我们展示了我们的模型优于预先样本检测的现有模型，并在20次新闻组文本和斯坦福情绪Teebank数据集上展示较低的校准错误（Lang，1995; Socheret al。，2013）。我们进一步突出显示了在EAC检测的先前尝试中使用的数据集进行了重要的数据泄露问题，并在新数据集中分享结果，以便无法遭受同样问题的检测。
translated by 谷歌翻译
在这项工作中，我们考虑了开放式设置中跨域3D动作识别的问题，这是以前很少探索的。具体而言，有一个源域和一个目标域，其中包含具有不同样式和类别的骨架序列，我们的目的是通过使用标记的源数据和未标记的目标数据来聚集目标数据。对于这项具有挑战性的任务，本文提出了一种新颖的方法，称为CODT，以协作聚类域共享的功能和特定于目标的功能。 CODT由两个平行分支组成。一个分支机构旨在通过源域中的有监督学习来学习域共享的特征，而另一个分支是使用目标域中的对比学习来学习针对特定目标的特征。为了聚集功能，我们提出了一种在线聚类算法，该算法可以同时促进可靠的伪标签生成和特征群集。此外，为了利用域共享特征和特定目标特征的互补性，我们提出了一种新颖的协作聚类策略，以在两个分支之间实现配对关系一致性。我们对多个跨域3D动作识别数据集进行了广泛的实验，结果证明了我们方法的有效性。
translated by 谷歌翻译
Open Relation Extraction (OpenRE) aims to discover novel relations from open domains. Previous OpenRE methods mainly suffer from two problems: (1) Insufficient capacity to discriminate between known and novel relations. When extending conventional test settings to a more general setting where test data might also come from seen classes, existing approaches have a significant performance decline. (2) Secondary labeling must be performed before practical application. Existing methods cannot label human-readable and meaningful types for novel relations, which is urgently required by the downstream tasks. To address these issues, we propose the Active Relation Discovery (ARD) framework, which utilizes relational outlier detection for discriminating known and novel relations and involves active learning for labeling novel relations. Extensive experiments on three real-world datasets show that ARD significantly outperforms previous state-of-the-art methods on both conventional and our proposed general OpenRE settings. The source code and datasets will be available for reproducibility.
translated by 谷歌翻译
在对比学习中，最近的进步表现出了出色的表现。但是，绝大多数方法仅限于封闭世界的环境。在本文中，我们通过挖掘开放世界的环境来丰富表示学习的景观，其中新颖阶级的未标记样本自然可以在野外出现。为了弥合差距，我们引入了一个新的学习框架，开放世界的对比学习（Opencon）。Opencon应对已知和新颖阶级学习紧凑的表现的挑战，并促进了一路上的新颖性发现。我们证明了Opencon在挑战基准数据集中的有效性并建立竞争性能。在Imagenet数据集上，Opencon在新颖和总体分类精度上分别胜过当前最佳方法的最佳方法，分别胜过11.9％和7.4％。我们希望我们的工作能为未来的工作打开新的大门，以解决这一重要问题。
translated by 谷歌翻译
深度学习正在推动许多计算机视觉应用中的最新技术。但是，它依赖于大量注释的数据存储库，并且捕获现实世界数据的不受约束性质尚未解决。半监督学习（SSL）用大量未标记的数据来补充带注释的培训数据，以降低注释成本。标准SSL方法假设未标记的数据来自与注释数据相同的分布。最近，Orca [9]引入了一个更现实的SSL问题，称为开放世界SSL，假设未注释的数据可能包含来自未知类别的样本。这项工作提出了一种在开放世界中解决SSL的新方法，我们同时学习对已知和未知类别进行分类。在我们方法的核心方面，我们利用样本不确定性，并将有关类分布的先验知识纳入，以生成可靠的伪标记，以适用于已知和未知类别的未标记数据。我们广泛的实验在几个基准数据集上展示了我们的方法的有效性，在该数据集上，它在其中的七个不同数据集（包括CIFAR-100（17.6％）（17.6％），Imagenet-100（5.7％）（5.7％）和微小成像网（9.9％）。
translated by 谷歌翻译
在新颖的类发现（NCD）中，目标是在一个未标记的集合中找到新的类，并给定一组已知但不同的类别。尽管NCD最近引起了社区的关注，但尽管非常普遍的数据表示，但尚未提出异质表格数据的框架。在本文中，我们提出了TabularNCD，这是一种在表格数据中发现新类别的新方法。我们展示了一种从已知类别中提取知识的方法，以指导包含异质变量的表格数据中新型类的发现过程。该过程的一部分是通过定义伪标签的新方法来完成的，我们遵循多任务学习中的最新发现以优化关节目标函数。我们的方法表明，NCD不仅适用于图像，而且适用于异质表格数据。进行了广泛的实验，以评估我们的方法并证明其对7种不同公共分类数据集的3个竞争对手的有效性。
translated by 谷歌翻译
半监督学习（SSL）是解决监督学习的注释瓶颈的主要方法之一。最近的SSL方法可以有效利用大量未标记数据的存储库来提高性能，同时依靠一小部分标记数据。在大多数SSL方法中，一个常见的假设是，标记和未标记的数据来自同一基础数据分布。但是，在许多实际情况下，情况并非如此，这限制了其适用性。相反，在这项工作中，我们试图解决最近提出的挑战性的开放世界SSL问题，这些问题并非如此。在开放世界的SSL问题中，目的是识别已知类别的样本，并同时检测和群集样品属于未标记数据中的新型类别。这项工作引入了OpenLDN，该OpenLDN利用成对的相似性损失来发现新颖的类别。使用双层优化规则，此成对相似性损失利用了标记的设置中可用的信息，以隐式群集新颖的类样本，同时识别来自已知类别的样本。在发现新颖的类别后，OpenLDN将Open-World SSL问题转换为标准SSL问题，以使用现有的SSL方法实现额外的性能提高。我们的广泛实验表明，OpenLDN在多个流行的分类基准上胜过当前的最新方法，同时提供了更好的准确性/培训时间权衡。
translated by 谷歌翻译
当训练数据集患有极端阶级失衡时，深度神经网络通常会表现不佳。最近的研究发现，以半监督的方式直接使用分布外数据（即开放式样本）培训将损害概括性能。在这项工作中，我们从理论上表明，从贝叶斯的角度来看，仍然可以利用分发数据来扩大少数群体。基于这种动机，我们提出了一种称为开放采样的新方法，该方法利用开放式嘈杂标签重新平衡培训数据集的班级先验。对于每个开放式实例，标签是从我们的预定义分布中取样的，该分布互补，与原始类先验的分布互补。我们从经验上表明，开放采样不仅可以重新平衡阶级先验，还鼓励神经网络学习可分离的表示。广泛的实验表明，我们提出的方法显着优于现有数据重新平衡方法，并可以提高现有最新方法的性能。
translated by 谷歌翻译
在开放世界学习中，代理商从一组已知类，检测和管理它不知道的事情，并从非静止数据流中随时间了解它们。开放世界学习与众多其他学习问题不同，本文简要介绍了各种问题之间的关键差异，包括增量学习，广义新奇发现和广义零射击学习。本文规范了各种开放世界学习问题，包括没有标签的开放世界学习。这些开放世界问题可以通过对已知元素的修改来解决，我们提出了一个新的框架，使代理能够组合各种模块用于新颖性检测，新颖性表征，增量学习和实例管理，以从未标记的流学习新类数据以无人监督的方式，调查如何适应一些最先进的技术来符合框架，并使用它们在没有标签问题的情况下为开放世界学习的性能定义七个基线。然后，我们讨论开放世界的学习质量，并分析如何改善实例管理。我们还讨论了没有标签的开放世界学习中发生的一些普遍歧义问题。
translated by 谷歌翻译
本文研究持续学习（CL）的逐步学习（CIL）。已经提出了许多方法来处理CIL中的灾难性遗忘（CF）。大多数方法都会为单个头网络中所有任务的所有类别构建单个分类器。为了防止CF，一种流行的方法是记住以前任务中的少数样本，并在培训新任务时重播它们。但是，这种方法仍然患有严重的CF，因为在内存中仅使用有限的保存样本数量来更新或调整了先前任务的参数。本文提出了一种完全不同的方法，该方法使用变压器网络为每个任务（称为多头模型）构建一个单独的分类器（头部），称为更多。与其在内存中使用保存的样本在现有方法中更新以前的任务/类的网络，不如利用保存的样本来构建特定任务分类器（添加新的分类头），而无需更新用于先前任务/类的网络。新任务的模型经过培训，可以学习任务的类别，并且还可以检测到不是从相同数据分布（即，均分布（OOD））的样本。这使测试实例属于的任务的分类器能够为正确的类产生高分，而其他任务的分类器可以产生低分，因为测试实例不是来自这些分类器的数据分布。实验结果表明，更多的表现优于最先进的基线，并且自然能够在持续学习环境中进行OOD检测。
translated by 谷歌翻译
分布（OOD）检测对于确保机器学习系统的可靠性和安全性至关重要。例如，在自动驾驶中，我们希望驾驶系统在发现在训练时间中从未见过的异常场景或对象时，发出警报并将控件移交给人类，并且无法做出安全的决定。该术语《 OOD检测》于2017年首次出现，此后引起了研究界的越来越多的关注，从而导致了大量开发的方法，从基于分类到基于密度到基于距离的方法。同时，其他几个问题，包括异常检测（AD），新颖性检测（ND），开放式识别（OSR）和离群检测（OD）（OD），在动机和方法方面与OOD检测密切相关。尽管有共同的目标，但这些主题是孤立发展的，它们在定义和问题设定方面的细微差异通常会使读者和从业者感到困惑。在这项调查中，我们首先提出一个称为广义OOD检测的统一框架，该框架涵盖了上述五个问题，即AD，ND，OSR，OOD检测和OD。在我们的框架下，这五个问题可以看作是特殊情况或子任务，并且更容易区分。然后，我们通过总结了他们最近的技术发展来审查这五个领域中的每一个，特别关注OOD检测方法。我们以公开挑战和潜在的研究方向结束了这项调查。
translated by 谷歌翻译
在这项工作中，我们建议相互分布对准（RDA）解决半监督学习（SSL），该学习是一个无主参数框架，与置信阈值无关，并与匹配的（常规）和不匹配的类别分布一起工作。分布不匹配是一个经常被忽略但更通用的SSL场景，在该场景中，标记和未标记的数据不属于相同的类别分布。这可能导致该模型不利用标记的数据可靠，并大大降低SSL方法的性能，而传统的分布对齐无法挽救。在RDA中，我们对来自两个分类器的预测分布进行了相互对准，这些分类器预测了未标记的数据上的伪标签和互补标签。携带补充信息的这两个分布可用于相互正规化，而无需任何课堂分布。此外，我们从理论上显示RDA最大化输入输出互信息。我们的方法在各种不匹配的分布以及常规匹配的SSL设置的情况下，在SSL中实现了有希望的性能。我们的代码可在以下网址提供：https：//github.com/njuyued/rda4robustssl。
translated by 谷歌翻译
学习高质量的对话表示对于解决各种面向对话的任务至关重要，尤其是考虑到对话系统通常会遇到数据稀缺。在本文中，我们介绍了对话句子嵌入（DSE），这是一种自我监督的对比学习方法，它学习有效的对话表示，适合各种对话任务。 DSE通过连续进行与对比度学习的正面对话的连续对话来从对话中学习。尽管它很简单，但DSE的表现能力比其他对话表示和普遍的句子表示模型要好得多。我们评估DSE的五个下游对话任务，这些任务检查了不同语义粒度的对话表示。几次射击和零射击设置的实验表明，DSE的表现要优于基线。例如，它在6个数据集中的1-Shot意图分类中比最强的无监督基线实现了13％的平均绩效提高。我们还提供了有关模型的好处和局限性的分析。
translated by 谷歌翻译
通用域的适应性（UDA）旨在将公共类的知识从源域转移到目标域，而无需对标签集的任何先验知识，这需要将未知样本与目标域中的已知样本区分开。最近的方法更喜欢增加已知类别中样本间亲和力，而它们忽略了未知样本与已知样本之间的样本间亲和力。本文表明，利用这种样本间亲和力可以显着提高UDA的性能，并提出基于IT的知识性UDA框架。首先，我们通过在源域中搜索其相邻样本来估计每个目标样本的可知性。然后，我们提出了一种适用于估计的可知性的自动阈值方案，以确定目标样本是未知还是已知。接下来，除了增加每个已知类别的样本间亲和力（如先前的方法）外，我们还根据估计的可知性设计新损失，以减少未知目标样本与已知目标样本之间的样本间亲和力。最后，在四个公共数据集上的实验表明，我们的方法显着胜过现有的最新方法。
translated by 谷歌翻译
用于现实世界应用程序的时间序列分类器的安全部署依赖于检测未从与培训数据相同的分布生成的数据的能力。此任务称为离分布（OOD）检测。我们考虑了时间序列域的OOD检测的新问题。我们讨论了时间序列数据带来的独特挑战，并解释了为什么来自图像域的先前方法会表现不佳。受这些挑战的激励，本文提出了一种新颖的{\ em季节性评分（SRS）}方法。 SRS由三个关键算法步骤组成。首先，将每个输入分解为类别的语义组件和余数。其次，使用这种分解来估计输入的阶级条件可能性和使用深层生成模型的条件。从这些估计值中计算出季节性比率得分。第三，从分布数据中确定阈值间隔以检测OOD示例。对不同现实世界基准的实验表明，与基线方法相比，SRS方法非常适合于时间序列OOD检测。 https://github.com/tahabelkhouja/srs提供了SRS方法的开源代码
translated by 谷歌翻译
分布（OOD）检测是安全部署模型在开放世界中的关键。对于OOD检测，收集足够的标记数据（ID）通常比未标记的数据更耗时且昂贵。当ID标记的数据受到限制时，由于其对ID标记的数据的量的高度依赖性，因此先前的OOD检测方法不再优越。基于有限的ID标记数据和足够的未标记数据，我们定义了一种称为弱监督的新设置（WSOOD）。为了解决新问题，我们提出了一种称为拓扑结构学习（TSL）的有效方法。首先，TSL使用一种对比度学习方法来构建ID和OOD数据的初始拓扑结构空间。其次，在初始拓扑空间中，TSL矿山有效的拓扑连接。最后，基于有限的ID标记数据和开采拓扑连接，TSL在新的拓扑空间中重建拓扑结构，以提高ID和OOD实例的可分离性。对几个代表性数据集的广泛研究表明，TSL明显胜过最先进的研究，从而在新的WSood环境中验证了我们方法的有效性和鲁棒性。
translated by 谷歌翻译