我们考虑在排名一的尖刺模型中检测信号的存在的问题。对于一般的非高斯噪声，假设信号是从rademacher先验中汲取的，我们证明，当信号噪声比率低于信号噪声时，尖峰模型的对数可能性比（LR）收敛到高斯一定的阈值。阈值是最佳的，因为在其上方，可以通过转换的主组件分析（PCA）进行可靠的检测。从对数LR的限制高斯的平均值和方差，我们计算了I型误差之和的限制以及似然比测试的类型II误差。对于噪声不对称，但信号是对称的，我们还证明了一个排名一的尖峰IID模型的结果相似。
translated by 谷歌翻译
Some recent works observed the instability of post-hoc explanations when input side perturbations are applied to the model. This raises the interest and concern in the stability of post-hoc explanations. However, the remaining question is: is the instability caused by the neural network model or the post-hoc explanation method? This work explores the potential source that leads to unstable post-hoc explanations. To separate the influence from the model, we propose a simple output probability perturbation method. Compared to prior input side perturbation methods, the output probability perturbation method can circumvent the neural model's potential effect on the explanations and allow the analysis on the explanation method. We evaluate the proposed method with three widely-used post-hoc explanation methods (LIME (Ribeiro et al., 2016), Kernel Shapley (Lundberg and Lee, 2017a), and Sample Shapley (Strumbelj and Kononenko, 2010)). The results demonstrate that the post-hoc methods are stable, barely producing discrepant explanations under output probability perturbations. The observation suggests that neural network models may be the primary source of fragile explanations.
translated by 谷歌翻译
Dialogue systems can leverage large pre-trained language models and knowledge to generate fluent and informative responses. However, these models are still prone to produce hallucinated responses not supported by the input source, which greatly hinders their application. The heterogeneity between external knowledge and dialogue context challenges representation learning and source integration, and further contributes to unfaithfulness. To handle this challenge and generate more faithful responses, this paper presents RHO ($\rho$) utilizing the representations of linked entities and relation predicates from a knowledge graph (KG). We propose (1) local knowledge grounding to combine textual embeddings with the corresponding KG embeddings; and (2) global knowledge grounding to equip RHO with multi-hop reasoning abilities via the attention mechanism. In addition, we devise a response re-ranking technique based on walks over KG sub-graphs for better conversational reasoning. Experimental results on OpenDialKG show that our approach significantly outperforms state-of-the-art methods on both automatic and human evaluation by a large margin, especially in hallucination reduction (17.54% in FeQA).
translated by 谷歌翻译
健康素养是2030年健康人民的主要重点，这是美国国家目标和目标的第五次迭代。健康素养较低的人通常会遵循访问后的说明以及使用处方，这会导致健康结果和严重的健康差异。在这项研究中，我们建议通过自动在给定句子中翻译文盲语言来利用自然语言处理技术来提高患者教育材料的健康素养。我们从四个在线健康信息网站上刮擦了患者教育材料：medlineplus.gov，drugs.com，mayoclinic.org和reddit.com。我们分别在银标准培训数据集和黄金标准测试数据集上培训并测试了最先进的神经机译（NMT）模型。实验结果表明，双向长期记忆（BILSTM）NMT模型的表现超过了来自变压器（BERT）基于NMT模型的双向编码器表示。我们还验证了NMT模型通过比较句子中的健康文盲语言比率来翻译健康文盲语言的有效性。提出的NMT模型能够识别正确的复杂单词并简化为外行语言，同时该模型遭受句子完整性，流利性，可读性的影响，并且难以翻译某些医学术语。
translated by 谷歌翻译
从有限的资源中获得最大收益可以进步自然语言处理（NLP）研究和实践，同时保守资源。这些资源可能是数据，时间，存储或能源。NLP的最新工作从缩放率产生了有趣的结果。但是，仅使用比例来改善结果意味着资源消耗也会扩展。这种关系激发了对有效方法的研究，这些方法需要更少的资源才能获得相似的结果。这项调查涉及NLP效率的方法和发现，旨在指导该领域的新研究人员并激发新方法的发展。
translated by 谷歌翻译
异质图具有多个节点和边缘类型，并且在语义上比同质图更丰富。为了学习这种复杂的语义，许多用于异质图的图形神经网络方法使用Metapaths捕获节点之间的多跳相互作用。通常，非目标节点的功能未纳入学习过程。但是，可以存在涉及多个节点或边缘的非线性高阶相互作用。在本文中，我们提出了Simplicial Graph注意网络（SGAT），这是一种简单的复杂方法，可以通过将非目标节点的特征放在简单上来表示这种高阶相互作用。然后，我们使用注意机制和上邻接来生成表示。我们凭经验证明了方法在异质图数据集上使用节点分类任务的方法的功效，并进一步显示了SGAT通过采用随机节点特征来提取结构信息的能力。数值实验表明，SGAT的性能优于其他当前最新的异质图学习方法。
translated by 谷歌翻译
现代消费电子设备已为其主要功能采用了深度学习的情报服务。供应商最近开始在设备上执行情报服务，以在设备中保存个人数据，降低网络和云成本。我们发现了通过使用用户数据更新神经网络的情况，而无需将数据暴露在设备中：设备培训。例如，我们可能会添加一个新课程，我的狗Alpha用于机器人真空吸尘器，适应用户口音的语音识别，让文本到语音说话，好像用户会说话。但是，目标设备的资源限制遇到了重大困难。我们建议NNTrainer，这是一个轻巧的设备培训框架。我们描述了NNTrainer实施的神经网络的优化技术，这些技术与传统一起评估。评估表明，NNTrainer可以将内存消耗降低至1/28，而不会恶化准确性或训练时间，并有效地个性化了对设备上的应用程序。 NNTrainer是跨平台和实用的开源软件，该软件正在作者隶属关系中部署到数百万个设备。
translated by 谷歌翻译
异常检测对于预防自动驾驶（例如自动驾驶）的安全性危险结果至关重要。鉴于它们的安全至关重要，这些应用程序受益于在异常检测中的各种错误中的可证明界限。为了在半监督的环境中实现这一目标，我们建议对异常检测算法的假阴性和假阳性检测率提供大致正确的（PAC）保证。我们的方法（PAC包）几乎可以围绕任何现有的半监督和无监督的异常检测方法，从而获得严格的保证。我们对各种异常检测器和数据集进行的实验表明，PAC包装是广泛有效的。
translated by 谷歌翻译
Recent advances in sophisticated synthetic speech generated from text-to-speech (TTS) or voice conversion (VC) systems cause threats to the existing automatic speaker verification (ASV) systems. Since such synthetic speech is generated from diverse algorithms, generalization ability with using limited training data is indispensable for a robust anti-spoofing system. In this work, we propose a transfer learning scheme based on the wav2vec 2.0 pretrained model with variational information bottleneck (VIB) for speech anti-spoofing task. Evaluation on the ASVspoof 2019 logical access (LA) database shows that our method improves the performance of distinguishing unseen spoofed and genuine speech, outperforming current state-of-the-art anti-spoofing systems. Furthermore, we show that the proposed system improves performance in low-resource and cross-dataset settings of anti-spoofing task significantly, demonstrating that our system is also robust in terms of data size and data distribution.
translated by 谷歌翻译
最近，移动健康（MHealth）信息服务的使用增长，这些信息提供了有关改善体育活动的丰富指南。这些丰富的指南源于考虑各种个人行为因素，这些因素通常会偏离用户的健康状况。行为因素包括改变健身偏好，依从性问题以及对未来健身结果的不确定性，这可能都导致MHealth信息服务质量的下降。由于用户健康状况的动态，这些MHealth信息服务中有许多提供了有限的健身指南。本文使用深度强化学习寻求一种自适应方法，以提出个性化的体育活动建议，这是从回顾性的体育活动数据中学到的，并可以模拟现实的行为轨迹。我们基于有关体育活动的科学知识来为MHealth信息服务系统构建实时交互模型，以评估其运动表现。体育活动绩效评估模型用于考虑适应性和疲劳效果的最佳运动强度，以避免缺乏运动或超负荷。短期活动计划是使用深入的强化学习和个人健康状况随着时间而变化的。使用此方法，我们可以根据实际实施行为动态更新体育活动建议策略。通过与其他基准政策进行比较，我们基于DRL的推荐政策得到了验证。实验结果表明，这种自适应学习算法可以将推荐性能提高到4.13％以上。
translated by 谷歌翻译