It is important to guarantee that machine learning algorithms deployed in the real world do not result in unfairness or unintended social consequences. Fair ML has largely focused on the protection of single attributes in the simpler setting where both attributes and target outcomes are binary. However, the practical application in many a real-world problem entails the simultaneous protection of multiple sensitive attributes, which are often not simply binary, but continuous or categorical. To address this more challenging task, we introduce FairCOCCO, a fairness measure built on cross-covariance operators on reproducing kernel Hilbert Spaces. This leads to two practical tools: first, the FairCOCCO Score, a normalised metric that can quantify fairness in settings with single or multiple sensitive attributes of arbitrary type; and second, a subsequent regularisation term that can be incorporated into arbitrary learning objectives to obtain fair predictors. These contributions address crucial gaps in the algorithmic fairness literature, and we empirically demonstrate consistent improvements against state-of-the-art techniques in balancing predictive power and fairness on real-world datasets.
translated by 谷歌翻译
Speech quality assessment has been a critical component in many voice communication related applications such as telephony and online conferencing. Traditional intrusive speech quality assessment requires the clean reference of the degraded utterance to provide an accurate quality measurement. This requirement limits the usability of these methods in real-world scenarios. On the other hand, non-intrusive subjective measurement is the ``golden standard" in evaluating speech quality as human listeners can intrinsically evaluate the quality of any degraded speech with ease. In this paper, we propose a novel end-to-end model structure called Convolutional Context-Aware Transformer (CCAT) network to predict the mean opinion score (MOS) of human raters. We evaluate our model on three MOS-annotated datasets spanning multiple languages and distortion types and submit our results to the ConferencingSpeech 2022 Challenge. Our experiments show that CCAT provides promising MOS predictions compared to current state-of-art non-intrusive speech assessment models with average Pearson correlation coefficient (PCC) increasing from 0.530 to 0.697 and average RMSE decreasing from 0.768 to 0.570 compared to the baseline model on the challenge evaluation test set.
translated by 谷歌翻译
将深度学习与象征性逻辑推理相结合旨在利用这两个领域的成功,并引起越来越多的关注。受到深度循环的启发,这是一种端到端的模型,该模型训练了逻辑程序的推理,我们引入了Ima-Glove-GA,这是一种以自然语言表达的多步推理的迭代神经推理网络。在我们的模型中,推理是使用基于带门注意机制的RNN的迭代记忆神经网络进行的。我们在三个数据集上评估了iMa-glove-ga:副本,Conceptrules V1和Conceptrules V2。实验结果表明,与DeepLo​​gic和其他RNN基线模型相比,深沟和栅极注意可以达到更高的测试精度。当规则被淘汰时,我们的模型比罗伯塔·洛尔格(Roberta-Large)实现了更好的分布概括。此外,为了解决当前多步推理数据集中推理深度分布不平衡分布的问题,我们开发了Pararule-Plus,这是一个大型数据集,其中包含更多需要更深入推理步骤的示例。实验结果表明,添加Pararule-Plus可以在需要更深层次深度的示例中提高模型的性能。源代码和数据可在https://github.com/strong-ai-lab/multi-step-deductive-reasoning-over-natural语言中获得。
translated by 谷歌翻译
联合学习(FL)是一种使用跨设备分布的数据训练模型的技术。差异隐私(DP)为敏感数据提供了正式的隐私保证。我们的目标是在使用FL和DP保护隐私的同时,在计算受限设备上训练大型神经网络语言模型(NNLM)。但是,随着模型大小的增长,引入模型的DP噪声增加,这通常会阻止收敛。我们提出了部分嵌入更新(PEU),这是一种新颖的技术,可以通过降低有效载荷大小来降低噪声。此外,我们采用低级适应(LORA)和噪声对比估计(NCE)来减少计算受限设备上大型模型的记忆需求。这种技术的组合使得可以在保留准确性和隐私的同时训练大型唱机语言模型。
translated by 谷歌翻译
我们为250k参数feedforward,流媒体,无状态关键字发现模型的所有组件的所有组件提出了一种新型的2阶段次级量化量化训练算法。对于第一阶段,我们使用tanh(。)在致密层的重量上使用非线性转换来调整最近提出的量化技术。在第二阶段,我们在网络的其余部分上使用线性量化方法,包括其他参数(偏见,增益,batchnorm),输入和激活。我们进行大规模实验,对26,000小时的去识别生产,远场和近场音频数据进行培训(对4,000小时的数据进行评估)。我们在两个嵌入式芯片组设置中组织结果:a)具有商品臂霓虹灯指令套件和8位容器,我们使用sub 8位权重(4、5、8位)和8位的精度,CPU和内存结果 - 网络其余部分的量化; b)具有现成的神经网络加速器,用于一系列重量位宽度(1和5位),同时提出准确性结果,我们预测记忆利用率的减少。在两种配置中,我们的结果都表明,提出的算法可以实现:a)以虚假拒绝率(FRR)的虚假检测率(FDR)在检测错误权衡(DET)曲线上具有完整浮点模型的操作点(det)曲线的奇偶校验。 ; b)计算和内存的显着降低,最大提高了CPU消耗量的3倍,并且记忆消耗改善了4倍以上。
translated by 谷歌翻译
心血管疾病(CVD)是全球死亡的第一大原因。尽管有越来越多的证据表明心房颤动(AF)与各种CVD有着密切的关联,但这种心律不齐通常是使用心电图(ECG)诊断的,这是一种无风险,无侵入性和具有成本效益的工具。在任何威胁生命的疾病/疾病发展之前,不断和远程监视受试者的心电图信息迅速诊断和及时对AF进行预处理的潜力。最终,可以降低CVD相关的死亡率。在此手稿中,展示了体现可穿戴心电图设备,移动应用程序和后端服务器的个性化医疗系统的设计和实施。该系统不断监视用户的心电图信息,以提供个性化的健康警告/反馈。用户能够通过该系统与他们的配对健康顾问进行远程诊断,干预措施等。已经评估了实施的可穿戴ECG设备,并显示出极好的一致性(CVRMS = 5.5%),可接受的一致性(CVRMS = CVRMS = CVRMS = 12.1%),可忽略不计的RR间隙错误(<1.4%)。为了提高可穿戴设备的电池寿命,提出了使用ECG信号的准周期特征来实现压缩的有损压缩模式。与公认的架构相比,它在压缩效率和失真方面优于其他模式,并在MIT-BIH数据库中以ECG信号的某个PRD或RMSE达到了至少2倍的Cr。为了在拟议系统中实现自动化AF诊断/筛查,开发了基于重新系统的AF检测器。对于2017年Physionet CINC挑战的ECG记录,该AF探测器获得了平均测试F1 = 85.10%和最佳测试F1 = 87.31%,表现优于最先进。
translated by 谷歌翻译
在本报告中,我们建议针对四个EGO4D挑战任务,包括自然语言查询(NLQ),MOMMER QUERY(MQ),对象状态变更分类(OSCC),以及PNR定位(PNR)。尤其是,我们将最近发布的EGO4D数据集\ cite {grauman2021ego4d}从预处理数据集,预处理目标和开发集中从egecentric vlp中提升。基于上述三个设计,我们开发了一个验证的视频语言模型,该模型能够将其以自我为中心的视频文本表示或仅视频表示形式转移到几个视频下游任务中。我们的Egentric VLP在NLQ上实现10.46r@1&iou @0.3,MQ上的10.33地图,OSCC上的74%ACC,PNR上的0.67秒错误。该代码可在https://github.com/showlab/egovlp上找到。
translated by 谷歌翻译
在本报告中,我们为Epic-kitchens-100多实体检索(miR)挑战提出了一个基于视频的预处理(VLP)解决方案\ cite {kevin202222222egovlp}。尤其是,我们将最近发布的EGO4D数据集\ cite {grauman2021ego4d}从预处理数据集,预处理目标和开发集中从egecentric vlp中提升。基于上述三个设计,我们开发了一个预验证的视频语言模型,该模型能够将其自我为中心的视频文本表示为mir基准。此外,我们设计了一种自适应多构度最大损失,以有效地微调模型并为可靠的推理配备双重效果技术。我们最好的单个模型在挑战测试集上获得了强劲的性能,其中47.39%的地图和61.44%的NDCG。该代码可在https://github.com/showlab/egovlp上找到。
translated by 谷歌翻译
信息安全团队通常会使用网络蜜饯来测量威胁格局以确保其网络。随着Honeypot开发的发展,当今的中型相互作用的蜜罐为安全团队和研究人员提供了一种部署这些主动防御工具的方式,这些工具几乎不需要维护各种协议。在这项工作中,我们在公共Internet上的五个不同协议上部署了此类蜜罐,并研究了我们观察到的攻击的意图和复杂性。然后,我们使用获得的信息来开发一种聚类方法,该方法可以识别攻击者行为中的相关性,以发现很可能由单个操作员控制的IP,这说明了将这些蜜罐用于数据收集的优势。
translated by 谷歌翻译
通常通过过去的选择来告知机器学习中的评估,例如要使用哪些数据集或指标。该标准化可以使用排行榜对平等基础进行比较,但是随着出现更好的替代方案,评估选择变得不佳。这个问题在自然语言生成中尤其相关,该语言需要不断改善的数据集,指标和人类评估以提出确定性的主张。为了使遵循最佳模型评估实践更加容易,我们介绍了GEMV2。新版本的一代,评估和指标基准为数据集,模型和指标开发人员提供了模块化基础架构,以使彼此受益。GEMV2支持40种记录的数据集中51种语言。所有数据集的模型都可以在线评估,我们的交互式数据卡创建和渲染工具使得在Living Benchmark中添加新数据集变得更加容易。
translated by 谷歌翻译