Knowledge graph data are prevalent in real-world applications, and knowledge graph neural networks (KGNNs) are essential techniques for knowledge graph representation learning. Although KGNN effectively models the structural information from knowledge graphs, these frameworks amplify the underlying data bias that leads to discrimination towards certain groups or individuals in resulting applications. Additionally, as existing debiasing approaches mainly focus on the entity-wise bias, eliminating the multi-hop relational bias that pervasively exists in knowledge graphs remains an open question. However, it is very challenging to eliminate relational bias due to the sparsity of the paths that generate the bias and the non-linear proximity structure of knowledge graphs. To tackle the challenges, we propose Fair-KGNN, a KGNN framework that simultaneously alleviates multi-hop bias and preserves the proximity information of entity-to-relation in knowledge graphs. The proposed framework is generalizable to mitigate the relational bias for all types of KGNN. We develop two instances of Fair-KGNN incorporating with two state-of-the-art KGNN models, RGCN and CompGCN, to mitigate gender-occupation and nationality-salary bias. The experiments carried out on three benchmark knowledge graph datasets demonstrate that the Fair-KGNN can effectively mitigate unfair situations during representation learning while preserving the predictive performance of KGNN models.
translated by 谷歌翻译
大型语言模型(LLM)已在一系列自然语言理解任务上实现了最先进的表现。但是,这些LLM可能依靠数据集偏差和文物作为预测的快捷方式。这极大地损害了他们的分布(OOD)概括和对抗性鲁棒性。在本文中,我们对最新发展的综述,这些发展解决了LLMS的鲁棒性挑战。我们首先介绍LLM的概念和鲁棒性挑战。然后,我们介绍了在LLM中识别快捷方式学习行为的方法,表征了快捷方式学习的原因以及引入缓解解决方案。最后,我们确定了关键挑战,并将这一研究线的联系引入其他方向。
translated by 谷歌翻译
关于公平建模的现有工作通常假设所有实例的敏感属性都已完全可用,由于获取敏感信息的高成本,在许多现实世界中,这可能并非如此。当未披露或可用的敏感属性时,需要手动注释培训数据的一小部分以减轻偏见。但是,跨不同敏感组的偏斜分布保留了带注释的子集中原始数据集的偏度,这导致了非最佳偏置缓解。为了应对这一挑战,我们提出了对歧视(APOD)的积极惩罚,这是一个交互式框架,以指导有限的注释以最大程度地消除算法偏见的影响。拟议的APOD将歧视惩罚与主动实例选择集成在一起,以有效利用有限的注释预算,从理论上讲,它可以限制算法偏见。根据五个基准数据集的评估,APOD在有限的注释预算下优于最先进的基线方法,并显示出与完全注释的偏见缓解相当的性能,这表明APOD可以使真实世界应用程序受益于敏感信息时的应用是有限的。
translated by 谷歌翻译
受益于医疗保健数据的数字化和计算能力的发展,机器学习方法越来越多地用于医疗领域。在医疗保健机器学习中已经确定了公平性问题,导致对有限医疗资源的不公平分配或某些群体的健康风险过多。因此,解决公平问题最近引起了医疗保健社区的越来越多的关注。然而,机器学习的机器学习与机器学习中的公平性的交集仍在研究中。在这篇综述中,我们通过暴露公平问题,总结可能的偏见,整理缓解方法并指出挑战以及未来的机会来建立桥梁。
translated by 谷歌翻译
尽管Shapley值为DNN模型预测提供了有效的解释,但该计算依赖于所有可能的输入特征联盟的枚举,这导致了指数增长的复杂性。为了解决这个问题,我们提出了一种新颖的方法剪切,以显着加速DNN模型的Shapley解释,其中计算中只有几个输入特征的联盟。特征联盟的选择遵循我们提出的Shapley链规则,以最大程度地减少地面shapley值的绝对误差,从而使计算既有效又准确。为了证明有效性,我们全面评估了跨多个指标的剪切,包括地面真相shapley价值的绝对误差,解释的忠诚和跑步速度。实验结果表明,剪切始终优于不同评估指标的最先进的基线方法,这证明了其在计算资源受到限制的现实应用程序中的潜力。
translated by 谷歌翻译
Adapting object detectors learned with sufficient supervision to novel classes under low data regimes is charming yet challenging. In few-shot object detection (FSOD), the two-step training paradigm is widely adopted to mitigate the severe sample imbalance, i.e., holistic pre-training on base classes, then partial fine-tuning in a balanced setting with all classes. Since unlabeled instances are suppressed as backgrounds in the base training phase, the learned RPN is prone to produce biased proposals for novel instances, resulting in dramatic performance degradation. Unfortunately, the extreme data scarcity aggravates the proposal distribution bias, hindering the RoI head from evolving toward novel classes. In this paper, we introduce a simple yet effective proposal distribution calibration (PDC) approach to neatly enhance the localization and classification abilities of the RoI head by recycling its localization ability endowed in base training and enriching high-quality positive samples for semantic fine-tuning. Specifically, we sample proposals based on the base proposal statistics to calibrate the distribution bias and impose additional localization and classification losses upon the sampled proposals for fast expanding the base detector to novel classes. Experiments on the commonly used Pascal VOC and MS COCO datasets with explicit state-of-the-art performances justify the efficacy of our PDC for FSOD. Code is available at github.com/Bohao-Lee/PDC.
translated by 谷歌翻译
近年来,深入学习的蓬勃发展的开花目睹了文本认可的快速发展。但是,现有的文本识别方法主要用于英语文本,而忽略中文文本的关键作用。作为另一种广泛的语言,中文文本识别各种方式​​都有广泛的应用市场。根据我们的观察,我们将稀缺关注缺乏对缺乏合理的数据集建设标准,统一评估方法和现有基线的结果。为了填补这一差距,我们手动收集来自公开的竞争,项目和论文的中文文本数据集,然后将它们分为四类,包括场景,网络,文档和手写数据集。此外,我们在这些数据集中评估了一系列代表性的文本识别方法,具有统一的评估方法来提供实验结果。通过分析实验结果,我们令人惊讶地观察到识别英语文本的最先进的基线不能很好地表现出对中国情景的良好。由于中国文本的特征,我们认为仍然存在众多挑战,这与英文文本完全不同。代码和数据集在https://github.com/fudanvi/benchmarking-chinese-text-recognition中公开使用。
translated by 谷歌翻译
在动态网络修剪中广泛探索了门控模块,以降低深神经网络的运行时间计算成本,同时保留特征的表示。尽管取得了实质性,但现有方法仍然忽略了特征和门分布之间的一致性,这可能导致所门控功能的失真。在本文中,我们提出了一种特征栅极耦合(FGC)方法,其旨在对准特征和栅极的分布。 FGC是一个即插即用模块,它包括以迭代自我监督方式进行的两个步骤组成。在第一步中,FGC利用了特征空间中的$ k $ -nearest邻居方法来探索实例邻域关系,该关系被视为自我监控信号。在第二步中,FGC利用对比学习以产生具有生成的自我监控信号的选通模块,导致特征和栅极空间内的实例邻域关系的对齐。实验结果验证了所提出的FGC方法改善了基线方法,具有显着的边缘,优于最先进的最先进的准确性计算权衡。代码是公开的。
translated by 谷歌翻译
最近结束语音合成的最新进步使得能够产生高度自然的语音。然而,训练这些模型通常需要大量的高保真语音数据,并且对于看不见的文本,合成语音的韵律相对不自然。为了解决这些问题,我们建议将基于精细的BERT基前端与基于预先训练的FastSeech2的声学模型结合起来,以改善韵律建模。在多任务学习中,预训练的伯爵在多电话消歧任务中,联合中文词组分割任务,联合中文字分割(CWS)和演讲(POS)标记任务,以及在多任务学习中的韵律结构预测(PSP)任务框架。FastSeech 2在大规模的外部数据上预先培训,这些数据很少,但更容易获得。实验结果表明,微调BERT模型和预训练的禁止轴2可以改善韵律,特别是对于那些结构复杂的句子。
translated by 谷歌翻译
推断在时间知识图中的缺失的事实是一项关键任务,已被广泛探索。在时间推理任务中的外推更具挑战性,并且由于没有直接的历史事实来预测,逐渐引起研究人员的注意力。以前的作品试图申请进化的代表学习,以解决推断问题。然而,这些技术没有明确地利用各种时序感知属性表示,即,推理性能受到历史长度的显着影响。为了减轻推理未来缺失事实时的时间依赖,我们提出了一种记忆触发的决策(MTDM)网络,该网络包括瞬态记忆,长期记忆和深回忆。具体地,瞬态学习网络认为瞬态存储器作为静态知识图,并且时间感知的经常性演化网络通过长短期存储器的一系列经常性演化单元来学习表示。每个演化单元由结构编码器组成,以聚合边缘信息,具有用于更新实体的属性表示的Gating单元的时间编码器。 MTDM利用制备的残余多关系聚合器作为结构编码器来解决多跳覆盖问题。我们还介绍了更好地理解事件溶解过程的溶解学习限制。广泛的实验证明了MTDM减轻了历史依赖性并实现了最先进的预测性能。此外,与最先进的基线相比,MTDM显示了更快的收敛速度和训练速度。
translated by 谷歌翻译