从HTML文档中提取结构化信息是一个长期研究的问题，其中包括知识库构造，面积搜索和个性化建议。先前的工作依靠每个目标网站上的一些人体标记的网页或一些从某些种子网站的人类标记的网页来培训可转移的提取模型，该模型在看不见的目标网站上概括。嘈杂的内容，较低的站点级别的一致性以及缺乏通信协议使标签网页成为耗时且昂贵的磨难。我们开发的最少是半结构化Web文档的标签有效的自我训练方法，以克服这些限制。至少利用一些人标记的页面来伪造来自目标垂直行业的大量未标记的网页。它使用自我训练对人类标记和伪标记的样品进行了可转移的Web取消模型训练。为了减轻由于嘈杂的训练样本而导致的错误传播，至少根据其估计的标签准确性重新重量重量，并将其纳入培训。据我们所知，这是第一项提出端到端培训的工作，用于仅利用少数人标记的页面进行可转移的Web提取模型。大规模公共数据集的实验表明，每个种子网站上使用少于十个人体标记的页面进行培训，最不受欢迎的模型在未见网站上的平均f1点以上的最新型号超过26个平均F1点，减少人类标记的页面的数量，以达到超过10倍的性能。

本文解决了DOM树元素表示学习的探讨问题。我们推进了基于机器学习的网络自动化领域，并希望在两个贡献中促进这一关键领域的进一步研究。首先，我们改进了几种基于图形的神经网络模型，并将其应用于嵌入网站DOM树中的元素。其次，我们提出了一个大规模的网页数据集。通过提供此开放式访问资源，我们将进入该领域的入口障碍降低。 DataSet包含$ 51,701 $手动标记的产品页面，从$ 8,175 $ REAL电子商务网站。页面可以完全呈现​​在Web浏览器中，适用于计算机视觉应用程序。这使得它比其他数据集基本更富裕，而不是用于网网上的元素表示学习，分类和预测的其他数据集。最后，使用我们所提出的数据集，我们显示由图形卷积神经网络产生的嵌入品产生的，由Web元素预测任务中的其他最先进方法产生的表示。

命名实体识别（ner）是从文本中提取特定类型的命名实体的任务。当前的NER模型往往依赖于人类注释的数据集，要求在目标领域和实体上广泛参与专业知识。这项工作介绍了一个询问生成的方法，它通过询问反映实体类型的需求的简单自然语言问题来自动生成NER数据集（例如，哪种疾病？）到开放式域问题应答系统。不使用任何域中资源（即，培训句子，标签或域名词典），我们的模型在我们生成的数据集上仅培训了，这在很大程度上超过了四个不同域的六个基准测试的弱势监督模型。令人惊讶的是，在NCBI疾病中，我们的模型达到75.5 F1得分，甚至优于以前的最佳弱监督模型4.1 F1得分，它利用域专家提供的丰富的域名词典。制定具有自然语言的NER的需求，也允许我们为诸如奖项等细粒度实体类型构建NER模型，其中我们的模型甚至优于完全监督模型。在三个少量的NER基准测试中，我们的模型实现了新的最先进的性能。

众所周知，图形神经网络（GNN）的成功高度依赖于丰富的人类通知数据，这在实践中努力获得，并且并非总是可用的。当只有少数标记的节点可用时，如何开发高效的GNN仍在研究。尽管已证明自我训练对于半监督学习具有强大的功能，但其在图形结构数据上的应用可能会失败，因为（1）不利用较大的接收场来捕获远程节点相互作用，这加剧了传播功能的难度 - 标记节点到未标记节点的标签模式； （2）有限的标记数据使得在不同节点类别中学习良好的分离决策边界而不明确捕获基本的语义结构，这是一项挑战。为了解决捕获信息丰富的结构和语义知识的挑战，我们提出了一个新的图数据增强框架，AGST（增强图自训练），该框架由两个新的（即结构和语义）增强模块构建。 GST骨干。在这项工作中，我们研究了这个新颖的框架是否可以学习具有极有限标记节点的有效图预测模型。在有限标记节点数据的不同情况下，我们对半监督节点分类进行全面评估。实验结果证明了新的数据增强框架对节点分类的独特贡献，几乎没有标记的数据。

Information Extraction (IE) aims to extract structured information from heterogeneous sources. IE from natural language texts include sub-tasks such as Named Entity Recognition (NER), Relation Extraction (RE), and Event Extraction (EE). Most IE systems require comprehensive understandings of sentence structure, implied semantics, and domain knowledge to perform well; thus, IE tasks always need adequate external resources and annotations. However, it takes time and effort to obtain more human annotations. Low-Resource Information Extraction (LRIE) strives to use unsupervised data, reducing the required resources and human annotation. In practice, existing systems either utilize self-training schemes to generate pseudo labels that will cause the gradual drift problem, or leverage consistency regularization methods which inevitably possess confirmation bias. To alleviate confirmation bias due to the lack of feedback loops in existing LRIE learning paradigms, we develop a Gradient Imitation Reinforcement Learning (GIRL) method to encourage pseudo-labeled data to imitate the gradient descent direction on labeled data, which can force pseudo-labeled data to achieve better optimization capabilities similar to labeled data. Based on how well the pseudo-labeled data imitates the instructive gradient descent direction obtained from labeled data, we design a reward to quantify the imitation process and bootstrap the optimization capability of pseudo-labeled data through trial and error. In addition to learning paradigms, GIRL is not limited to specific sub-tasks, and we leverage GIRL to solve all IE sub-tasks (named entity recognition, relation extraction, and event extraction) in low-resource settings (semi-supervised IE and few-shot IE).

本文通过自然应用程序对网页和元素分类来解决复杂结构数据的高效表示的问题。我们假设网页内部元素周围的上下文对问题的价值很高，目前正在被利用。本文旨在通过考虑到其上下文来解决将Web元素分类为DOM树的子树的问题。为实现这一目标，首先讨论当前在结构上工作的专家知识系统，如树 - LSTM。然后，我们向该模型提出上下文感知扩展。我们表明，在多级Web分类任务中，新模型实现了0.7973的平均F1分数。该模型为各种子树生成更好的表示，并且可以用于应用此类元素分类，钢筋在网上学习中的状态估计等。

Web搜索是人类获取信息的重要方法，但是对于了解网页内容的机器仍然是一个巨大的挑战。在本文中，我们介绍了对网上结构阅读理解（SRC）的任务。鉴于网页和关于它的问题，任务是从网页找到答案。此任务要求系统不仅要了解文本的语义，还需要了解文本的语义，还需要网页的结构。此外，我们提出了一种新的基于Web的结构阅读理解数据集。 WebSRC由400K问答对组成，从6.4K网页收集。与QA对一起，我们的数据集还提供了相应的HTML源代码，屏幕截图和元数据。 WebSRC中的每个问题都需要对网页的某种结构理解来回答，并且答案是网页或是/否的文本跨度。我们评估我们数据集的各种基线，以显示我们的任务难度。我们还研究了结构信息和视觉功能的有用性。我们的数据集和基线已在HTTPS://x-lance.github.io/websrc/上公开提供。

机器学习方法尤其是深度神经网络取得了巨大的成功，但其中许多往往依赖于一些标记的样品进行训练。在真实世界的应用中，我们经常需要通过例如具有新兴预测目标和昂贵的样本注释的动态上下文来解决样本短缺。因此，低资源学习，旨在学习具有足够资源（特别是培训样本）的强大预测模型，现在正在被广泛调查。在所有低资源学习研究中，许多人更喜欢以知识图（kg）的形式利用一些辅助信息，这对于知识表示变得越来越受欢迎，以减少对标记样本的依赖。在这项调查中，我们非常全面地审查了90美元的报纸关于两个主要的低资源学习设置 - 零射击学习（ZSL）的预测，从未出现过训练，而且很少拍摄的学习（FSL）预测的新类仅具有可用的少量标记样本。我们首先介绍了ZSL和FSL研究中使用的KGS以及现有的和潜在的KG施工解决方案，然后系统地分类和总结了KG感知ZSL和FSL方法，将它们划分为不同的范例，例如基于映射的映射，数据增强，基于传播和基于优化的。我们接下来呈现了不同的应用程序，包括计算机视觉和自然语言处理中的kg增强预测任务，还包括kg完成的任务，以及每个任务的一些典型评估资源。我们最终讨论了一些关于新学习和推理范式的方面的一些挑战和未来方向，以及高质量的KGs的建设。

属性值提取是指识别来自产品信息的感兴趣属性的值的任务。产品属性值在许多电子商务方案中是必不可少的，例如客户服务机器人，产品排名，检索和建议。在现实世界中，产品的属性值通常不完整并随着时间的变化而变化，这极大地阻碍了实际应用。在本文中，我们介绍了一个新的数据集，以更好地促进产品属性值提取的研究。 Mave由亚马逊页面的策划组220万产品组成，跨越1257个独特类别的300万个属性值注释。 Mave有四个主要和独特的优势：首先，Mave是由属性值示例的数量的最大产品属性值提取数据集。其次，MAVE包括来自产品的多源表示，其捕获具有高属性覆盖的完整产品信息。第三，Mave表示相对于先前的数据集覆盖范围的更多样化的属性和值。最后，Mave提供了一个非常具有挑战性的零点测试集，因为我们经验在实验中说明。我们进一步提出了一种新的方法，它有效地从多源产品信息中提取了属性值。我们使用几个基线进行广泛的实验，并显示MAVE是属性值提取任务的有效数据集。它在零拍摄属性提取也是一个非常具有挑战性的任务。数据可在{\ it \ url {https://github.com/google-research-datasets/mave}}上获得。

机器学习从业者通常可以访问数据的频谱：目标任务（通常是有限），未标记的数据和辅助数据的标记数据，用于其他任务的许多可用标记的数据集。我们描述了TAGLET，一个系统为学习技术，用于自动利用所有三种类型的数据并创建高质量的可服装分类器。 TAGLET的关键组件是：（1）根据知识图组织组织的辅助数据，（2）封装用于利用辅助和未标记数据的不同方法的模块，以及（3）将被整合模块组合成可用的蒸馏阶段模型。我们将TAGLETS与最先进的传输学习和半监督学习方法进行比较，四个图像分类任务。我们的研究涵盖了一系列设置，改变了标记数据的量和辅助数据的语义相关性到目标任务。我们发现，辅助和未标记数据的智能融合到多个学习技术使Taglet能够匹配 - 并且最常见的是这些替代方案。 Taglets可作为Github.com/batsresearch/taglet的开源系统使用。

我们提出了一种简单而有效的自我训练方法，称为Stad，用于低资源关系提取。该方法首先根据教师模型所预测的概率将自动注释的实例分为两组：自信实例和不确定实例。与大多数以前的研究相反，主要的研究主要仅利用自信实例进行自我训练，我们利用了不确定的实例。为此，我们提出了一种从不确定实例中识别模棱两可但有用的实例的方法，然后将关系分为每个模棱两可的实例中的候选标签集和负标签集。接下来，我们建议对模棱两可的实例的负标签集和对自信实例的积极培训方法提出一种设定的培训方法。最后，提出了一种联合培训方法来在所有数据上构建最终关系提取系统。在两个广泛使用的数据集SEMEVAL2010任务8上进行的实验结果和低资源设置的重新攻击表明，这种新的自我训练方法确实在与几个竞争性自我训练系统相比时确实取得了显着和一致的改进。代码可在https://github.com/jjyunlp/stad上公开获取

实体链接（EL）是将实体提及在文本中及其相应实体中出现在知识库中的过程。通常基于Wikipedia估算实体的EL特征（例如，先前的概率，相关性评分和实体嵌入）。但是，对于刚刚在新闻中发现的新兴实体（EES）而言，它们可能仍未包含在Wikipedia中。结果，它无法获得Wikipedia和EL模型的EES所需的EL功能，将始终无法将歧义提及与这些EES正确链接，因为它没有其EL功能。为了解决这个问题，在本文中，我们专注于以一般方式为新兴实体学习EL功能的新任务。我们提出了一种名为Stamo的新颖方法，可以自动学习EES的高质量EL功能，该功能仅需要从网络中收集的每个EE的少数标记文档，因为它可以进一步利用隐藏在未标记的数据中的知识。 Stamo主要基于自我训练，这使其与任何EL功能或EL模型都灵活地集成在一起，但也使其很容易遭受由错误标签的数据引起的错误加强问题。我们认为自我训练是相对于EES的EL特征，而不是一些试图将错误标签的数据抛弃的常见自我训练策略，而是提出了内部插槽和斜率优化的多重优化过程，以减轻误差加强问题隐含。我们构建了涉及选定的EE的两个EL数据集，以评估EES获得的EL特征的质量，实验结果表明，我们的方法显着优于其他学习EL特征的基线方法。

Web上的电子商务产品页面通常在结构化表格块中显示产品规格数据。这些产品属性值的提取有利于产品目录策策，搜索，问题应答等的应用程序受益。但是，在不同的网站上，存在各种HTML元素（如<table>，<ul>，<div>，<span>，<dl>等）通常用于呈现它们自动提取的块挑战。大多数目前的研究都集中在从表格和清单中提取产品规格，因此，当应用于大规模提取设置时，遭受召回。在本文中，我们提出了一种超越表或列表的产品规范提取方法，并横穿用于呈现规范块的不同HTML元素。我们首先使用手工编码功能和深度学习的空间和令牌功能的组合，首先识别产品页面上的规范块。然后，我们在由包装器感应启发的方法后从这些块中提取产品属性值对。我们创建了从一系列不同产品网站的14,111种不同的规格块中提取的产品规格的标签数据集。我们的实验表明，与当前规格的提取模型相比，我们的方法的功效，并支持我们对大规模产品规范提取的应用。

我们提出了一个零射门学习关系分类（ZSLRC）框架，通过其识别训练数据中不存在的新颖关系的能力来提高最先进的框架。零射击学习方法模仿人类学习和识别新概念的方式，没有先前的知识。为此，ZSLRC使用修改的高级原型网络来利用加权侧（辅助）信息。 ZSLRC的侧面信息是由关键字，名称实体的高度和标签及其同义词构建的。 ZSLRC还包括一个自动高义的提取框架，可直接从Web获取各种名称实体的高型。 ZSLRC提高了最先进的少量学习关系分类方法，依赖于标记的培训数据，因此即使在现实世界方案中也适用于某些关系对相应标记的培训示例。我们在两种公共数据集（NYT和NEREREL）上使用广泛的实验显示结果，并显示ZSLRC显着优于最先进的方法对监督学习，少量学习和零射击学习任务。我们的实验结果还展示了我们所提出的模型的有效性和稳健性。

Label noise is ubiquitous in various machine learning scenarios such as self-labeling with model predictions and erroneous data annotation. Many existing approaches are based on heuristics such as sample losses, which might not be flexible enough to achieve optimal solutions. Meta learning based methods address this issue by learning a data selection function, but can be hard to optimize. In light of these pros and cons, we propose Selection-Enhanced Noisy label Training (SENT) that does not rely on meta learning while having the flexibility of being data-driven. SENT transfers the noise distribution to a clean set and trains a model to distinguish noisy labels from clean ones using model-based features. Empirically, on a wide range of tasks including text classification and speech recognition, SENT improves performance over strong baselines under the settings of self-training and label corruption.

我们提出了将粗大分类标签纳入细粒域中的图像分类器的技术。这种标签通常可以通过较小的努力来获得较小的粒状域，例如根据生物分类法组织类别的自然界。在三个王国组成的半inat数据集上，包括Phylum标签，在使用ImageNet预训练模型的转移学习设置中将物种级别分类精度提高了6％。使用称为FixMatch的最先进的半监督学习算法的分层标签结构提高了1.3％的性能。当提供诸如类或订单的详细标签或从头开始培训时，相对收益更大。但是，我们发现大多数方法对来自新类别的域名数据的存在并不强大。我们提出了一种技术来从层次结构引导的大量未标记图像中选择相关数据，这提高了鲁棒性。总体而言，我们的实验表明，具有粗大分类标签的半监督学习对于细粒度域中的培训分类器是实用的。

Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.

人类每天产生的exabytes数据，导致越来越需要对大数据带来的多标签学习的大挑战的新努力。例如，极端多标签分类是一个有效且快速增长的研究区域，可以处理具有极大数量的类或标签的分类任务;利用具有有限监督的大规模数据构建一个多标签分类模型对实际应用变得有价值。除此之外，如何收获深度学习的强大学习能力，有巨大努力，以更好地捕获多标签的标签依赖性学习，这是深入学习解决现实世界分类任务的关键。然而，有人指出，缺乏缺乏系统性研究，明确关注分析大数据时代的多标签学习的新兴趋势和新挑战。呼吁综合调查旨在满足这项任务和描绘未来的研究方向和新应用。

由于学术和工业领域的异质图无处不在，研究人员最近提出了许多异质图神经网络（HGNN）。在本文中，我们不再采用更强大的HGNN模型，而是有兴趣设计一个多功能的插件模块，该模块解释了从预先训练的HGNN中提取的关系知识。据我们所知，我们是第一个在异质图上提出高阶（雇用）知识蒸馏框架的人，无论HGNN的模型体系结构如何，它都可以显着提高预测性能。具体而言，我们的雇用框架最初执行一阶节点级知识蒸馏，该蒸馏曲线及其预测逻辑编码了老师HGNN的语义。同时，二阶关系级知识蒸馏模仿了教师HGNN生成的不同类型的节点嵌入之间的关系相关性。在各种流行的HGNN模型和三个现实世界的异质图上进行了广泛的实验表明，我们的方法获得了一致且相当大的性能增强，证明了其有效性和泛化能力。

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.