我们为多层神经网络架构定义了一种不断微弱的完美学习算法的概念,并表明了这种算法不存在,条件是数据集的长度超过所涉及的参数的数量,并且激活功能是逻辑,坦希或罪。
translated by 谷歌翻译
机器学习模型的概括对数据,模型和学习算法具有复杂的依赖性。我们研究训练和测试性能,以及它们在不同数据集样本上的差异给出的概括差距,以理解其``典型''行为。我们得出了差距的表达式,作为模型之间协方差的函数参数分布和列车损耗以及平均测试性能的另一种表达,显示了测试概括仅取决于数据平均参数分布和数据平均损失。我们显示,对于大型模型参数分布,修改的概括差距为始终是非负的。通过进一步专门针对由随机梯度下降(SGD)产生的参数分布,以及一些近似值和建模考虑,我们能够预测有关通用差距和模型训练和测试性能如何变化为一个方面的一些方面SGD噪声的功能。我们基于RESNET体系结构对CIFAR10分类任务进行经验评估这些预测。
translated by 谷歌翻译
决策者通常想确定为某些干预或治疗最有效的个人,以决定要治疗谁。在这种情况下,理想情况下,决策者希望根据其个人因果影响对潜在的治疗者进行排名。但是,可用于估计因果效应的历史数据可能会混淆,因此,准确地估计效果是不可能的。我们提出了一个关于历史数据的新的且较少的限制性假设,称为排名保存假设(RPA),即使无法准确估算效果本身,也可以一致地估计单个效应的排名。重要的是,我们发现,当混杂偏见更大的因果效应的个体更大时,混淆有助于估计因果效应的排名,即使不是这种情况,也可以纠正混淆的任何有害影响,也可以纠正满足RPA时更大的培训数据。然后,我们在分析上表明,可以在各种情况下满足RPA,包括在线广告和客户保留等常见的业务应用程序。我们在在线广告的背景下以一个经验示例来支持这一发现。该示例还显示了如何在实践中评估混杂模型的决策。主要要点是,传统上可能被认为是因果估计的“好”数据(即,不满意的数据)可能不是必需的,而对于做出良好的因果决定,因此治疗作业方法可能比我们在面前允许他们荣誉更好混淆。
translated by 谷歌翻译
随着变压器模型的激增,许多人研究了注意力如何在学习的表示上。但是,对于语义解析等特定任务,仍然忽略了注意力。句子含义形式表示的一种流行方法是抽象含义表示(AMR)。到目前为止,句子及其AMR表示之间的对齐方式已通过不同的方式进行探索,例如通过规则或通过期望最大化(EM)算法。在本文中,我们研究了基于变压器的解析模型在没有临时策略的情况下产生有效对齐的能力。我们通过句子跨度和图中的语义单元之间对齐,对AMR进行了对AMR的交叉注意事项的第一次深入探索。我们展示了当前基于变压器的解析器如何隐式编码交叉注意权重中的对齐信息以及如何利用它来提取这种比对。此外,我们使用对齐方式监督和指导交叉注意,从而删除对英语和特定于AMR的规则的需求。
translated by 谷歌翻译
在此贡献中,我们使用一种合奏深度学习方法来组合两个单个单阶段探测器(即Yolov4和Yolact)的预测,目的是检测内窥镜图像中的伪像。这种整体策略使我们能够改善各个模型的鲁棒性,而无需损害其实时计算功能。我们通过训练和测试两个单独的模型和各种集合配置在“内窥镜伪影检测挑战”数据集中证明了方法的有效性。广泛的实验表明,在平均平均精度方面,合奏方法比单个模型和以前的作品的优越性。
translated by 谷歌翻译
1972年出现了经典的COX模型,促进了如何使用生物医学中的事实分析来量化患者预后的突破。该模型最有用的特征之一是分析中变量的解释性。但是,这是以引入有关回归模型功能形式的强有力的假设的代价。为了打破这一差距,本文旨在利用新的套索神经网络在间隔进行审查的设置中利用经典COX模型的解释性优势,该网络同时选择最相关的变量,同时量化预测因子和生存时间之间的非线性关系。在广泛的模拟研究中,新方法的增益在经验上进行了说明,其中涉及线性和非线性地面依赖性的示例。我们还证明了我们在NHANES 2003-2006波的生理,临床和加速度计分析中的策略表现,以预测体育活动对患者存活的影响。我们的方法的表现优于使用传统Cox模型的文献中的先前结果。
translated by 谷歌翻译
磁共振成像(MRI)是中风成像的中心方式。它被用来接受患者的治疗决定,例如选择患者进行静脉溶栓或血管内治疗。随后在住院期间使用MRI来通过可视化梗塞核心大小和位置来预测结果。此外,它可以用来表征中风病因,例如(心脏) - 栓塞和非胚胎中风之间的区分。基于计算机的自动医疗图像处理越来越多地进入临床常规。缺血性中风病变分割(ISLE)挑战的先前迭代有助于生成鉴定急性和急性缺血性中风病变分割的基准方法。在这里,我们介绍了一个专家注册的多中心MRI数据集,以分割急性到亚急性中风病变。该数据集包括400个多供应商MRI案例,中风病变大小,数量和位置的可变性很高。它分为n = 250的训练数据集和n = 150的测试数据集。所有培训数据将公开可用。测试数据集将仅用于模型验证,并且不会向公众发布。该数据集是Isles 2022挑战的基础,目的是找到算法方法,以实现缺血性中风的稳健和准确分割算法的开发和基准测试。
translated by 谷歌翻译
考虑基于AI和ML的决策对这些新兴技术的安全和可接受的使用的决策的社会和道德后果至关重要。公平,特别是保证ML决定不会导致对个人或少数群体的歧视。使用因果关系,可以更好地实现和衡量可靠的公平/歧视,从而更好地实现了敏感属性(例如性别,种族,宗教等)之间的因果关系,仅仅是仅仅是关联,例如性别,种族,宗教等(例如,雇用工作,贷款授予等) )。然而,对因果关系解决公平性的最大障碍是因果模型的不可用(通常表示为因果图)。文献中现有的因果关系方法并不能解决此问题,并假设可获得因果模型。在本文中,我们没有做出这样的假设,并且我们回顾了从可观察数据中发现因果关系的主要算法。这项研究的重点是因果发现及其对公平性的影响。特别是,我们展示了不同的因果发现方法如何导致不同的因果模型,最重要的是,即使因果模型之间的轻微差异如何对公平/歧视结论产生重大影响。通过使用合成和标准公平基准数据集的经验分析来巩固这些结果。这项研究的主要目标是强调因果关系使用因果关系适当解决公平性的因果发现步骤的重要性。
translated by 谷歌翻译
减少能源消耗是低功率机型通信(MTC)网络中的一个紧迫问题。在这方面,旨在最大程度地减少机器型设备(MTD)无线电接口所消耗的能量的唤醒信号(WUS)技术是一种有前途的解决方案。但是,最新的WUS机制使用静态操作参数,因此它们无法有效地适应系统动力学。为了克服这一点,我们设计了一个简单但有效的神经网络,以预测MTC流量模式并相应地配置WU。我们提出的预测WUS(FWUS)利用了基于精确的长期记忆(LSTM) - 基于流量预测,该预测允许通过避免在闲置状态下的频繁页面监视场合来延长MTD的睡眠时间。仿真结果显示了我们方法的有效性。流量预测错误显示为4%以下,分别为错误警报和错过检测概率低于8.8%和1.3%。在减少能源消耗方面,FWUS的表现可以胜过高达32%的最佳基准机制。最后,我们证明了FWUS动态适应交通密度变化的能力,促进了低功率MTC可伸缩性
translated by 谷歌翻译
在本文中,我们提出了一个神经端到端系统,用于保存视频的语音,唇部同步翻译。该系统旨在将多个组件模型结合在一起,并以目标语言的目标语言与目标语言的原始扬声器演讲的视频与目标语音相结合,但在语音,语音特征,面对原始扬声器的视频中保持着重点。管道从自动语音识别开始,包括重点检测,然后是翻译模型。然后,翻译后的文本由文本到语音模型合成,该模型重新创建了原始句子映射的原始重点。然后,使用语音转换模型将结果的合成语音映射到原始扬声器的声音。最后,为了将扬声器的嘴唇与翻译的音频同步,有条件的基于对抗网络的模型生成了相对于输入面图像以及语音转换模型的输出的适应性唇部运动的帧。最后,系统将生成的视频与转换后的音频结合在一起,以产生最终输出。结果是一个扬声器用另一种语言说话的视频而不真正知道。为了评估我们的设计,我们介绍了完整系统的用户研究以及对单个组件的单独评估。由于没有可用的数据集来评估我们的整个系统,因此我们收集了一个测试集并在此测试集上评估我们的系统。结果表明,我们的系统能够生成令人信服的原始演讲者的视频,同时保留原始说话者的特征。收集的数据集将共享。
translated by 谷歌翻译