联合学习是一种来自分散数据集的培训模型的新兴技术。在许多应用程序中，参与联合学习系统的数据所有者不仅拥有数据，还拥有一组域知识。这些知识包括人类的知识和工艺，对联邦学习任务非常有帮助。在这项工作中，我们提出了一个联合学习框架，该框架允许注入参与者的领域知识，其中关键思想是通过本地知识来完善全球模型。我们认为的方案是由真正的行业级应用激励的，我们证明了我们采用该应用的有效性。
translated by 谷歌翻译
机器学习的普及增加了不公平模型的风险，该模型被部署在高级应用程序中，例如司法系统，药物/疫苗接种设计和医学诊断。尽管有有效的方法可以从头开始训练公平模型，但如何自动揭示和解释受过训练的模型的不公平仍然是一项艰巨的任务。以可解释的方式揭示机器学习模型的不公平是朝着公平和值得信赖的AI迈出的关键一步。在本文中，我们系统地解决了通过挖掘可解释的证据（Rumie）来揭示不公平模型的新任务。关键思想是以一组模型区分的数据实例的形式找到可靠的证据。为了使证据可以解释，我们还找到了一组人为理解的关键属性和决策规则，这些属性和决策规则表征了歧视的数据实例，并将其与其他非歧视数据区分开来。正如在许多现实世界数据集上进行的广泛实验所证明的那样，我们的方法找到了高度可解释和可靠的证据，可以有效揭示受过训练的模型的不公平性。此外，它比所有基线方法更可扩展。
translated by 谷歌翻译
可区分的搜索索引（DSI）是一个新的新兴范式，用于信息检索。与索引和检索是两个不同且独立的组件的传统检索体系结构不同，DSI使用单个变压器模型执行索引和检索。在本文中，我们确定并解决了当前DSI模型的重要问题：DSI索引和检索过程之间发生的数据分布不匹配。具体而言，我们认为，在索引时，当前的DSI方法学会学会在长文档文本及其标识之间建立连接，但是在检索中，向DSI模型提供了简短的查询文本以执行文档标识符的检索。当使用DSI进行跨语言检索时，此问题进一步加剧，其中文档文本和查询文本使用不同的语言。为了解决当前DSI模型的这个基本问题，我们为DSI称为DSI-QG的简单而有效的索引框架。在DSI-QG中，文档由索引时间的查询生成模型生成的许多相关查询表示。这允许DSI模型在索引时将文档标识符连接到一组查询文本，因此减轻索引和检索阶段之间存在的数据分布不匹配。流行的单语言和跨语性通过基准数据集的经验结果表明，DSI-QG明显优于原始DSI模型。
translated by 谷歌翻译
联合学习（FL）是在分布式的数据上进行的有希望的隐私机器学习范式。在FL中，每个用户在本地保存数据。这样可以保护用户隐私，但也使服务器难以验证数据质量，尤其是在正确标记数据的情况下。用损坏的标签培训对联邦学习任务有害；但是，在标签噪声的情况下，很少关注FL。在本文中，我们专注于这个问题，并提出一种基于学习的重新加权方法，以减轻FL中嘈杂标签的效果。更确切地说，我们为每个训练样本调整了一个重量，以使学习模型在验证集上具有最佳的概括性能。更正式的是，该过程可以作为联合双层优化问题进行配合。二重优化问题是一种优化问题，具有两个纠缠问题的级别。非分布的二聚体问题最近通过新的有效算法见证了显着的进展。但是，解决联合学习设置下的二杆优化问题的研究不足。我们确定高级评估中的高沟通成本是主要的瓶颈。因此，我们建议\ textit {comm-fedbio}解决一般联合的双杆优化问题；更具体地说，我们提出了两个沟通效率的子例程，以估计高级别。还提供了所提出算法的收敛分析。最后，我们应用提出的算法来解决嘈杂的标签问题。与各种基线相比，我们的方法在几个现实世界数据集上表现出了出色的性能。
translated by 谷歌翻译
基于深度学习的NLP模型被发现容易受到Word替代扰动的影响。在他们被广泛采用之前，需要解决坚固性的基本问题。沿着这条线，我们提出了一个正式的框架来评估词语级鲁棒性。首先，要研究模型的安全区域，我们引入了稳健的半径，这是模型可以抵抗任何扰动的边界。计算最大鲁棒性半径的计算变硬，我们估计其上限和下限。我们将攻击方法作为寻求上限和设计伪动态编程算法的攻击方法，用于更紧密的上限。然后验证方法用于下限。此外，为了评估在安全半径之外的区域的稳健性，我们从另一个视图中重新征服鲁棒性：量化。引入了具有严格统计保障的鲁棒度量，以测量对抗性示例的定量，这表明该模型对安全半径之外的扰动的敏感性。该度量有助于我们弄清楚为什么伯特这样的最先进的模型可以很容易地被几个单词替换所吸引，但在现实世界的噪音存在下概括很好。
translated by 谷歌翻译
联合学习是一种流行的技术，用于在不共享数据的情况下培训分布式数据源上的机器学习模型。基于垂直的联合学习或基于功能的联合学习适用于不同数据源共享相同的样本ID空间但在特征空间中不同的情况。为了确保数据所有者的长期参与，客观地评估每个数据源的贡献并相应地汇总贡献至关重要。福利价值（SV）是源自合作博弈论的可怕公平贡献估值指标。然而，计算SV需要在数据源的每个子集中广泛地重新培训模型，这导致联合学习中的高通信成本。我们提出了一种基于SV的垂直联合福利价值（VerfedSv）的贡献估值度量。我们表明Verfedsv不仅满足了公平性的许多理想的属性，而且还有效地计算，并且可以适用于同步和异步垂直联合学习算法。理论分析和广泛的实验结果均验证了Verfedsv的公平性，效率和适应性。
translated by 谷歌翻译
在现实世界中，物体的发生频率是自然倾斜的形成长尾级分布，这导致统计上罕见的阶级的性能不佳。有希望的解决方案是挖掘尾级示例以平衡培训数据集。但是，采矿尾级示例是一个非常具有挑战性的任务。例如，由于数据中的偏差导致的类概率失真，大多数基于不确定性的挖掘方法接近斗争。在这项工作中，我们提出了一种有效，但简单的方法来克服这些挑战。我们的框架增强了Subdued Tail-Class的激活，此后，使用单级数据为中心的方法来有效地识别尾级示例。我们对三个数据集的框架进行了详尽的评估，这些数据集超过了两台计算机愿景任务。少数民族挖掘和微调模型的性能大量改善强烈证实了我们提出的解决方案的价值。
translated by 谷歌翻译
由于低资源语言缺乏培训数据，交叉语言机器阅读理解（XMRC）是挑战。最近的方法仅使用培训数据，以资源丰富的语言，如英语到微调大规模的跨语法预训练的语言模型。由于语言之间的巨大差异，仅由源语言微调的模型可能无法对目标语言表现良好。有趣的是，我们观察到，虽然先前方法预测的前1个结果可能经常无法达到地面真理答案，但是正确的答案通常包含在Top-K预测结果中。基于这种观察，我们开发了一种两级方法来提高模型性能。召回的第一阶段目标：我们设计一个艰难的学习（HL）算法，以最大化顶级预测包含准确答案的可能性。第二阶段专注于精确：开发了答案感知对比学习（AA-CL）机制，以了解准确答案和其他候选者之间的细差异。我们的广泛实验表明，我们的模型在两个交叉语言MRC基准数据集上显着优于一系列强大的基线。
translated by 谷歌翻译
随着深度学习技术的快速发展，各种最近的工作试图应用图形神经网络（GNN）来解决诸如布尔满足（SAT）之类的NP硬问题，这表明了桥接机器学习与象征性差距的潜力。然而，GNN预测的解决方案的质量并未在文献中进行很好地研究。在本文中，我们研究了GNNS在学习中解决最大可满足性（MaxSAT）问题的能力，从理论和实践角度来看。我们构建了两种GNN模型来学习来自基准的MaxSAT实例的解决方案，并显示GNN通过实验评估解决MaxSAT问题的有吸引力。我们还基于算法对准理论，我们还提出了GNNS可以在一定程度上学会解决MaxSAT问题的影响的理论解释。
translated by 谷歌翻译
学习捕获特征关系有效，有效地是现代推荐系统的点击率（CTR）预测的必要条件。大多数现有的CTR预测方法通过繁琐的手动设计的低阶交互或通过不灵活和低效的高阶交互来模型这样的关系，这两者都需要额外的DNN模块进行隐式交互建模。在本文中，我们提出了一种新颖的插件操作，动态参数化操作（DPO），以便明智地学习显式和隐式交互实例。我们认为DPO进入DNN模块和注意力模块可以分别有利于CTR预测中的两个主要任务，增强了基于特征的建模和改进用户行为建模的适应性与实例 - 方向性。我们的动态参数化网络在公共数据集和现实世界生产数据集的离线实验中显着优于最先进的方法，以及在线A / B测试。此外，建议的动态参数化网络已经在世界上最大的电子商务公司之一的排名系统中部署，服务于数亿个活跃用户的主要流量。
translated by 谷歌翻译