开发对手挑战NLP系统的方法是提高模型性能和解释性的有前途的途径。在这里,我们描述了团队在第一个动态对抗数据收集(DADC)的任务1中“长角牛”的方法,该研讨会要求团队手动欺骗一个模型,以挖掘出挖掘的问题回答任务。我们的团队首先结束,模型错误率为62%。我们主张采用系统的,语言知情的方法来制定对抗性问题,并描述了试点实验的结果以及我们的官方提交。
translated by 谷歌翻译
可以使用X射线自由电子激光器的强脉冲和短脉冲直接通过单次相干衍射成像直接观察到自由飞行中孤立的纳米样品的结构和动力学。广角散射图像甚至编码样品的三维形态信息,但是该信息的检索仍然是一个挑战。到目前为止,只有通过与高度约束模型拟合,需要对单镜头实现有效的三维形态重建,这需要有关可能的几何形状的先验知识。在这里,我们提出了一种更通用的成像方法。依赖于允许凸多面体描述的任何样品形态的模型,我们从单个银纳米颗粒中重建广角衍射模式。除了具有高对称性的已知结构动机外,我们还检索了以前无法访问的不完美形状和聚集物。我们的结果为单个纳米颗粒的真实3D结构确定以及最终的超快纳米级动力学的3D电影开辟了新的途径。
translated by 谷歌翻译
人工智能(AI),机器学习和深度学习(DL)方法在生物医学图像分析领域变得越来越重要。但是,为了利用此类方法的全部潜力,需要作为训练数据代表数量的实验获得的图像,其中包含大量手动注释对象。在这里,我们将语法(合成数据)介绍为一种新的方法,用于生成合成,光现实和高度复杂的生物医学图像作为DL系统的训练数据。我们在组织学切片中的肌肉纤维和结缔组织分析的背景下显示了方法的多功能性。我们证明,可以在以前看不见的现实世界数据上执行强大和专家级的细分任务,而无需仅使用合成训练数据进行手动注释。作为一种完全参数技术,我们的方法为生成对抗网络(GAN)构成了可解释的可控替代方案,并且有可能在显微镜及其他地区的各种生物医学应用中显着加速定量图像分析。
translated by 谷歌翻译
现代语言模型中的检测和缓解有害偏见被广泛认为是至关重要的开放问题。在本文中,我们退后一步,研究语言模型首先是如何偏见的。我们使用在英语Wikipedia语料库中训练的LSTM架构,使用相对较小的语言模型。在培训期间的每一步中,在每个步骤中都会更改数据和模型参数,我们可以详细介绍性别表示形式的发展,数据集中的哪些模式驱动器以及模型的内部状态如何与偏差相关在下游任务(语义文本相似性)中。我们发现性别的表示是动态的,并在训练过程中确定了不同的阶段。此外,我们表明,性别信息在模型的输入嵌入中越来越多地表示,因此,对这些性别的态度可以有效地减少下游偏置。监测训练动力学,使我们能够检测出在输入嵌入中如何表示男性和男性性别的不对称性。这很重要,因为这可能会导致幼稚的缓解策略引入新的不良偏见。我们更普遍地讨论了发现与缓解策略的相关性,以及将我们的方法推广到更大语言模型,变压器体系结构,其他语言和其他不良偏见的前景。
translated by 谷歌翻译
尽管受到监督的深度学习彻底改变了语音和音频处理,但它必须为个人任务和应用程序方案建立专业模型。同样,很难将其应用于仅可用标记数据的方言和语言。自我监督的代表学习方法承诺一个单一的通用模型,该模型将使各种各样的任务和领域受益。这种方法已显示出在自然语言处理和计算机视觉域中的成功,在减少许多下游场景所需的标签数量的同时,达到了新的性能水平。语音表示学习在三个主要类别中也经历了类似的进展:生成,对比和预测方法。其他方法依赖于多模式数据,用于预训练,将文本或视觉数据流与语音混合。尽管自我监督的语音表示仍然是一个新生的研究领域,但它与用零词汇资源的声学单词嵌入和学习密切相关,这两种资源已经进行了多年的积极研究。这篇评论介绍了自我监督的语音表示学习及其与其他研究领域的联系的方法。由于许多当前的方法仅集中在自动语音识别作为下游任务上,因此我们回顾了基准测试的最新努力,以将应用程序扩展到语音识别之外。
translated by 谷歌翻译
深度学习(DL)模型为各种医学成像基准挑战提供了最先进的性能,包括脑肿瘤细分(BRATS)挑战。然而,局灶性病理多隔室分割(例如,肿瘤和病变子区)的任务特别具有挑战性,并且潜在的错误阻碍DL模型转化为临床工作流程。量化不确定形式的DL模型预测的可靠性,可以实现最不确定的地区的临床审查,从而建立信任并铺平临床翻译。最近,已经引入了许多不确定性估计方法,用于DL医学图像分割任务。开发指标评估和比较不确定性措施的表现将有助于最终用户制定更明智的决策。在本研究中,我们探索并评估在Brats 2019-2020任务期间开发的公制,以对不确定量化量化(Qu-Brats),并旨在评估和排列脑肿瘤多隔室分割的不确定性估计。该公制(1)奖励不确定性估计,对正确断言产生高置信度,以及在不正确的断言处分配低置信水平的估计数,(2)惩罚导致更高百分比的无关正确断言百分比的不确定性措施。我们进一步基准测试由14个独立参与的Qu-Brats 2020的分割不确定性,所有这些都参与了主要的Brats细分任务。总体而言,我们的研究结果证实了不确定性估计提供了分割算法的重要性和互补价值,因此突出了医学图像分析中不确定性量化的需求。我们的评估代码在HTTPS://github.com/ragmeh11/qu-brats公开提供。
translated by 谷歌翻译
电子医疗保健记录是可用于患者分层的重要信息来源,以探索新型疾病表型。但是,它们可能具有挑战性,因为数据往往稀疏和不规则地采样。解决这些限制的一种方法是学习密集的嵌入,其代表使用经常性神经网络AutoEncoder(RNN-AE)的单个患者轨迹。该过程可以易于对不需要的数据偏差影响。我们表明,使用先前提出的RNN-AE模型的患者嵌入和群集可能受到轨迹偏差的影响,这意味着结果由每个患者轨迹中包含的数据量主导,而不是临床相关细节。我们调查了2个数据集(来自不同医院)和2个疾病区域的偏差,以及使用患者轨迹的不同部分。我们使用2个以前公布的基线方法的结果表示事件到最终轨迹的情况下特别强烈的偏见。我们提出了一种方法,可以使用RNN-AE顶部的对抗培训方案来克服这个问题。我们的研究结果表明,我们的方法可以减少所有情况下的轨迹偏差。
translated by 谷歌翻译
言语分离的许多最近进步主要针对具有高重叠程度的短音频话语的合成混合物。这些数据集与真实的会话数据显着不同,因此,在这些数据集上培训和评估的模型不会概括到真实的会话方案。使用大多数这些模型用于长形式语音的另一个问题是由于时间频率掩模或置换不变训练(PIT)损耗的无监督聚类,因此是分离的语音段的非明确顺序。这导致准确地缝合用于自动语音识别(ASR)的下游任务的均匀扬声器段。在本文中,我们提出了一种扬声器调节分离器,在直接从混合信号中提取的扬声器嵌入物上训练。我们使用定向丢失训练此模型,该丢失调节分离的段的顺序。使用此模型,我们对真实会话数据的单词错误率(WER)进行了重大改进,而无需额外的重新拼接步骤。
translated by 谷歌翻译
本文迈出了从实验中学习的逻辑的第一步。为此,我们调查了建模因果和(定性)认知推理的相互作用的正式框架。对于我们的方法至关重要是一种干预概念的想法,可以用作(真实或假设的)实验的正式表达。在第一步中,我们将众所周知的因果模型与代理人的认知状态的简单HITIKKA样式表示。在生成的设置中,不仅可以对关于变量值的知识以及干预措施如何影响它们,而且可以对其进行交谈,而且还可以谈论知识更新。由此产生的逻辑可以模拟关于思想实验的推理。但是,它无法解释从实验中学习,这显然是由它验证干预措施没有学习原则的事实。因此,在第二步中,我们实现更复杂的知识概念,该知识概念允许代理在进行实验时观察(测量)某些变量。该扩展系统确实允许从实验中学习。对于所有提出的逻辑系统,我们提供了一种声音和完整的公理化。
translated by 谷歌翻译
我们介绍BERTPHONE,一个在大型语音上培训的变压器编码器,输出可以用于扬声器和语言识别的语音感知的上下文表示向量。这是通过对两个目标的培训来实现的:首先是通过调整伯特对连续领域的启发,涉及掩蔽输入框架的跨度并重建用于声学表示学习的整个序列;其次,由ASR的瓶颈特征成功的启发是应用于音素标签的序列级CTC损失,用于语音表示学习。我们预留了两种BERTPHONE型号(一个在FISHER上,一个在TED-lium上),并用它们用作两个任务的X-Vector-Sique DNN中的特征提取器。我们达到最先进的$ C _ {\ TEXT {AVG}} $ 6.16就具有挑战性的LRE07 3SEC封闭式语言识别任务。在Fisher和VoxceleB扬声器识别任务上,我们在培训BertPhone向量而不是MFCC时,我们看到扬声器EER的相对减少18%。通常,BERTPHONE在同一数据上优于先前的语音预制方法。我们在https://github.com/awslabs/speech -representations释放我们的代码和模型。
translated by 谷歌翻译