图形神经网络（GNNS）在具有图形结构数据的各种任务中取得了巨大成功，其中节点分类是必不可少的。无监督的图形域适应（UGDA）显示了其降低节点分类标签成本的实用价值。它利用标记图（即源域）的知识来解决另一个未标记的图形（即目标域）的相同任务。大多数现有的UGDA方法严重依赖于源域中的标记图。它们利用来自源域的标签作为监控信号，并在源图和目标图中共同培训。但是，在一些真实的场景中，由于无法使用或隐私问题，源图无法访问。因此，我们提出了一种名为Source Firect Insuperved Graph域适应（SFUGDA）的新颖情景。在这种情况下，我们可以从源域中杠杆的唯一信息是训练有素的源模型，而不会曝光源图和标签。结果，现有的UGDA方法不再可行。为了解决本实际情况的非琐碎的适应挑战，我们提出了一种模型 - 无话学算法，用于域适应，以充分利用源模型的辨别能力，同时保留目标图上的结构接近度的一致性。我们在理论和经验上证明了所提出的算法的有效性。四个跨域任务的实验结果显示了宏F1得分的一致性改进，高达0.17。
translated by 谷歌翻译
2019年冠状病毒疾病（Covid-19）继续自爆发以来对世界产生巨大挑战。为了对抗这种疾病，开发了一系列人工智能（AI）技术，并应用于现实世界的情景，如安全监测，疾病诊断，感染风险评估，Covid-19 CT扫描的病变细分等。 Coronavirus流行病迫使人们佩戴面膜来抵消病毒的传播，这也带来了监控戴着面具的大群人群的困难。在本文中，我们主要关注蒙面面部检测和相关数据集的AI技术。从蒙面面部检测数据集的描述开始，我们调查了最近的进步。详细描述并详细讨论了十三可用数据集。然后，该方法大致分为两类：传统方法和基于神经网络的方法。常规方法通常通过用手工制作的特征升高算法来训练，该算法占少比例。基于神经网络的方法根据处理阶段的数量进一步归类为三个部分。详细描述了代表性算法，与一些简要描述的一些典型技术耦合。最后，我们总结了最近的基准测试结果，讨论了关于数据集和方法的局限性，并扩大了未来的研究方向。据我们所知，这是关于蒙面面部检测方法和数据集的第一次调查。希望我们的调查可以提供一些帮助对抗流行病的帮助。
translated by 谷歌翻译
新闻饲料推荐是一个重要的Web服务。近年来，预先接受了训练的语言模型（PLMS）被密集地应用于提高建议质量。然而，这些深度模型的利用在许多方面有限，例如缺乏可解释性并且与现有的倒指数系统不相容。最重要的是，基于PLMS的推荐人效率低下，因为用户侧信息的编码将采用巨大的计算成本。虽然计算可以用高效的变压器或蒸馏器加速计算，但是对于与超级长期新闻浏览历史相关联的活动用户来说仍然不足以及时建议。在这项工作中，我们从独特的角度解决了高效的新闻推荐问题。我们不依赖于整个输入（即，新闻文章的集合，而是浏览的新闻文章），我们认为用户的兴趣可以仅仅与这些代表关键字完全捕获。通过此激励，我们提出了GateFormer，在进入变压器之前将输入数据门控。门控模块是个性化的，轻量级和端到端的学习，使得它可以执行对信息用户输入的准确和有效的过滤。 GateFormer在实验中实现了高度令人印象深刻的性能，在那里它显着优于准确性和效率的现有加速方法。我们还令人惊讶地发现，即使有超过10倍的原始输入压缩，GateFormer仍然能够用SOTA方法维持映射。
translated by 谷歌翻译
最近的作品以自我监督的方式探索学习图表表示。在图形对比学习中，基准方法应用各种图形增强方法。但是，大多数增强方法都是不可学习的，这导致发出不束缚的增强图。这种增强可以缩短曲线图对比学学习方法的表现能力。因此，我们激励我们的方法通过可学习的图形增强器来生成增强图，称为元图形增强器（Mega）。然后，我们阐明了“良好”的图形增强必须在特征级别的实例级别和信息性上具有均匀性。为此，我们提出了一种新颖的方法来学习图形增强者，可以以统一和信息性产生增强。图表增强器的目的是促进我们的特征提取网络，以学习更辨别的特征表示，这激励我们提出元学范式。经验上，多个基准数据集的实验表明，Mega优于图形自我监督学习任务中的最先进的方法。进一步的实验研究证明了巨型术语的有效性。
translated by 谷歌翻译
本文旨在为多尺度帧卷积提供一种新颖的光谱图神经网络设计。在光谱范例中，光谱GNN通过提出频谱域中的各种光谱滤波器来提高图形学习任务性能，以捕获全局和本地图形结构信息。虽然现有的光谱方法在某些图表中显示出卓越的性能，但是当图表信息不完整或扰乱时，它们患有缺乏灵活性并脆弱。我们的新帧卷曲卷积包括直接在光谱域中设计的过滤功能，以克服这些限制。所提出的卷积在切断光谱信息中表现出具有很大的灵活性，并有效地减轻了噪声曲线图信号的负效应。此外，为了利用现实世界图数据中的异质性，具有我们新的帧卷积的异构图形神经网络提供了一种用于将元路径的内在拓扑信息与多级图分析嵌入的解决方案。进行了扩展实验实现了具有嘈杂节点特征和卓越性能结果的设置下的现实异构图和均匀图。
translated by 谷歌翻译
我们展示了一个新的开源和可扩展知识提取工具包，称为Deepke（基于深度学习的知识提取），支持标准完全监督，低资源少拍摄和文档级方案。 Deepke实现了各种信息提取任务，包括命名实体识别，关系提取和属性提取。使用统一的框架，DeePke允许开发人员和研究人员根据其要求，自定义数据集和模型以从非结构化文本中提取信息。具体而言，DeePke不仅为不同的任务和场景提供了各种功能模块和模型实现，而且还通过一致的框架组织所有组件以维持足够的模块化和可扩展性。此外，我们在\ URL {http://deepke.zjukg.cn/}中介绍一个在线平台，用于实时提取各种任务。 Deepke已经配备了Google Colab教程和初学者的综合文件。我们用演示视频发布\ url {https://github.com/zjunlp/deepke}源代码。
translated by 谷歌翻译
由于其在神经网络中的出色性能而不引入附加信息，因此注意力机制广泛用于深度学习。然而，在无人监督的人重新识别中，由多抬头的自我注意的注意力模块遭受了非原始事实条件的注意力传播。为了解决这个问题，我们设计像素级关注模块，为多脑自我关注提供限制。同时，对于样本的人重新识别数据的识别目标的特征，我们设计了域级注意模块，以提供更全面的行人特征。我们将头部级别，像素级别和域级别的注意力结合起来提出多级注意力块，并验证其对大型人重新识别数据集的性能（Market-1501，Dukemtmc-Reid和MSMT17和PersonX）。
translated by 谷歌翻译
多模式情绪分析（MSA）是一种基本复杂的研究问题，因为不同方式与人类情绪表达的模糊性之间的异质性差距。虽然已经成功地建造了MSA的多模式表示，但仍有两个挑战需要解决：1）需要构建更强大的多模式表示来弥合异质性间隙并应对复杂的多模式相互作用和2）必须在整个信息流中有效地建模上下文动态。在这项工作中，我们提出了一种基于相互信息最大化和最小化和身份嵌入（MMMIE）的多模式表示模型。我们将模态对之间的相互信息最大化以及输入数据和相应功能之间的相互信息最小化，以挖掘模态不变和任务相关信息。此外，提出了身份嵌入，以提示下游网络来感知语境信息。两个公共数据集的实验结果证明了所提出的模型的有效性。
translated by 谷歌翻译
由细胞疗法制造的关键挑战驱动，包括高复杂性，高不确定性和非常有限的过程数据，我们提出了一个名为“Hybrid-RL”的随机优化框架，以有效地指导过程开发和控制。我们首先创建生物过程概率知识图，该知识图是一种混合模型，其特征在于了解生物制造过程机制和量化固有的随机性，例如批量到批量变化和生物过程噪声。它可以捕获关键特征，包括非线性反应，时变动力学和部分观察到的生物过程状态。该混合模型可以利用现有的机制模型，并促进从过程数据的学习。给定有限处理数据，计算采样方法用于生成量化模型估计不确定性的后样本。然后，我们介绍了混合模型的贝叶斯强化学习（RL），占固有的随机性和模型不确定性，以指导最佳，强大，可解释的决策，这可以克服细胞治疗制造的关键挑战。在实证研究中，细胞治疗制造实施例用于证明所提出的Hybrid-RL框架可以优于经典的确定性机械模型辅助过程优化。
translated by 谷歌翻译
我们制定最佳优化系统（SBOS）问题，并为这些问题提供解决方案。在SBOS问题中，有限数量的系统是竞争者。在每个系统中，一个连续的决策变量会影响系统的预期性能。 SBOS问题将根据其自身最佳选择的决定根据其预期的性能进行比较不同的系统，以便在没有提前了解系统的预期性能的情况下，也不是每个系统内的优化决策。我们设计易于实现的算法，可自适应地选择系统和决定选择嘈杂的系统性能，顺序地消除劣质系统，最终建议在花费用户指定的预算后最佳系统。所提出的算法集成了随机梯度下降方法和顺序消除方法，同时利用每个系统内的结构并在系统上进行比较。对于所提出的算法，我们将指数率的收敛率为零进行假选择的概率，因为预算生长到无穷大。我们进行三个数值例子，代表了三种实际情况的SBOS问题。我们所提出的算法在一系列问题设置和采样预算下，在基准算法的概率方面表现出一致和更强的性能。
translated by 谷歌翻译