在本文中,我们研究了DNN培训中量化的影响。我们假设重量量化是正则化的一种形式,正则化的量与量化水平(精度)相关。我们通过提供分析研究和经验结果来证实我们的假设。通过将重量量化为重量噪声的一种形式,我们探讨了该噪声在训练时如何通过网络传播。然后,我们表明该噪声的大小与量化水平相关。为了确认我们的分析研究,我们在本文中进行了广泛的实验列表,其中我们表明,在各种数据集中,在各种视觉任务和模型中可以看到量化的正则化效果。基于我们的研究,我们建议8位量化在不同的视觉任务和模型中提供了一种可靠的正则化形式。
translated by 谷歌翻译
机器学习(ML)加速化学发现的两个突出挑战是候选分子或材料的合成性以及ML模型训练中使用的数据的保真度。为了应对第一个挑战,我们构建了一个假设的设计空间,为3250万转型金属复合物(TMC),其中所有组成片段(即金属和配体)和配体对称性都可以合成。为了应对第二项挑战,我们在雅各布梯子的多个梯级之间的23个密度功能近似之间搜索预测的共识。为了加快这3250万TMC的筛选,我们使用有效的全局优化来样本候选低自旋发色团,同时具有低吸收能和低静态相关性。尽管在这个大化的化学空间中的潜在发色团缺乏(即$ <$ 0.01 \%),但随着ML模型在积极学习过程中的改善,我们确定了高可能性(即$> $ 10 \%)的过渡金属发色团(即$> $ 10 \%)。这代表发现的1,000倍加速度,与几天而不是几年中的发现相对应。对候选发色团的分析揭示了对CO(III)和具有更大键饱和度的大型强野配体的偏爱。我们根据时间依赖性密度功能理论计算计算帕累托前沿上有希望的发色团的吸收光谱,并验证其中三分之二是否需要激发态特性。尽管这些复合物从未经过实验探索,但它们的组成配体在文献中表现出有趣的光学特性,体现了我们构建现实的TMC设计空间和主动学习方法的有效性。
translated by 谷歌翻译
医学图像中的自动对象识别可以促进医学诊断和治疗。在本文中,我们自动对超声图像中的锁骨神经进行了分割,以帮助注入周围神经块。神经块通常用于手术后的疼痛治疗,其中使用超声指导在靶神经旁边注入局部麻醉药。这种治疗可以阻止疼痛信号向大脑的传播,这可以帮助提高手术中的恢复速率,并显着减少术后阿片类药物的需求。但是,超声引导的区域麻醉(UGRA)要求麻醉师在视觉上识别超声图像中的实际神经位置。鉴于超声图像中神经的无视觉效果以及它们与许多相邻组织的视觉相似性,这是一项复杂的任务。在这项研究中,我们使用了自动神经检测系统进行UGRA神经阻滞治疗。该系统可以使用深度学习技术识别神经在超声图像中的位置。我们开发了一个模型来捕获神经的特征,通过训练两个具有跳过连接的深神经网络:两种扩展的U-NET体系结构,有或没有扩张的卷积。该溶液可能会导致区域麻醉中靶向神经的封锁。
translated by 谷歌翻译
与多体波函数相比,使用2电子降低密度矩阵(2RDM)编码分子的电子结构已经是一个数十年的任务,因为2RDM包含足够的信息来计算精确的分子能量,但只需要多项式存储。我们专注于具有不同构象和单体数量的线性聚合物,并表明我们可以使用机器学习来预测1电子和2电子降低密度矩阵。此外,通过将哈密顿操作员应用于预测的降低密度矩阵,我们表明我们可以恢复分子能。因此,我们证明了机器学习方法可以预测新构象和新分子的电子结构的可行性。同时,我们的工作规避了通过直接机器学习有效的有效降低密度矩阵来阻碍2RDM方法适应的N-陈述性问题。
translated by 谷歌翻译
人的大脑能够依次地学习任务,而无需忘记。但是,深度神经网络(DNN)在学习一项任务时遭受灾难性遗忘。我们考虑了一个挑战,考虑了一个课堂学习方案,在该方案中,DNN看到测试数据而不知道该数据启动的任务。在培训期间,持续的捕获和选择(CP&S)在DNN中找到了负责解决给定任务的子网。然后,在推理期间,CP&S选择正确的子网以对该任务进行预测。通过培训DNN的可用神经元连接(以前未经训练)来创建一个新的子网络,从而通过修剪来学习一项新任务,该连接可以包括以前训练的其他子网络(S),因为它没有更新共享的连接,因为它可以属于其他子网络(S)。这使得通过在DNN中创建专门的区域而不会相互冲突的同时仍允许知识转移在其中,可以消除灾难性的遗忘。 CP&S策略采用不同的子网络选择策略实施,揭示了在各种数据集(CIFAR-100,CUB-200,2011年,Imagenet-100和Imagenet-100)上测试的最先进的持续学习方法的卓越性能。特别是,CP&S能够从Imagenet-1000中依次学习10个任务,以确保94%的精度,而遗忘可忽略不计,这是课堂学习学习的首要结果。据作者所知,与最佳替代方法相比,这表示准确性高于20%的改善。
translated by 谷歌翻译
自动化的机器学习(AUTOML)过程可能需要通过不仅机器学习(ML)组件及其超参数的复杂配置空间进行搜索,还需要将它们组合在一起,即形成ML管道。如果该管道配置空间过大,那么固定时间预算可实现的优化效率和模型精度可实现。一个关键的研究问题是,通过利用其历史表现来完成各种ML任务(即元知识),避免对ML管道的不良评估是否可能既可能又实用。以前的经验以分类器/回归器准确性排名的形式来自(1)(1)在历史自动运行期间进行的大量但无尽的管道评估数量,即“机会性”元知识,或(2)全面的交叉 - 通过默认超参数(即“系统”的元知识,对分类器/回归器的验证评估。使用AUTOWEKA4MCPS软件包进行了许多实验,表明(1)机会性/系统的元知识可以改善ML的结果,通常与元知识的相关性以及(2)配置空间扣除在不太保守的情况下是最佳的(2)也不是激进的。但是,元知识的效用和影响急性取决于其发电和剥削的许多方面,并保证了广泛的分析;这些通常在汽车和元学习文献中被忽视/不足。特别是,我们观察到对数据集的“挑战”的强烈敏感性,即选择预测因子的特异性是否会导致性能明显更好。最终,确定这样定义的“困难”数据集对于生成信息丰富的元知识基础和理解最佳搜索空间降低策略至关重要。
translated by 谷歌翻译
本文介绍了一个开源Python工具箱,称为“集合功能重要性(EFI)”,以提供机器学习(ML)研究人员,领域专家和决策者,具有强大而准确的功能重要性的重要性量化,以及更可靠的机械解释,对使用预测问题的特征的重要性更重要模糊集。该工具包的开发是为了解决特征重要性量化的不确定性,并且由于机器学习算法的多样性,重要性计算方法和数据集依赖性而缺乏可信赖的特征重要性解释。 EFI使用数据自举和决策融合技术(例如平均值,多数投票和模糊逻辑)与多个机器学习模型合并了不同的特征重要性计算方法。 EFI工具箱的主要属性是:(i)ML算法的自动优化,(ii)从优化的ML算法和功能重要性计算技术中自动计算一组功能重要性系数,(iii)使用多个重要性系数的自动汇总决策融合技术和(iv)模糊成员资格功能,显示了每个功能对预测任务的重要性。描述了工具箱的关键模块和功能,并使用流行的IRIS数据集提供了其应用程序的简单示例。
translated by 谷歌翻译
我们提出了一种从有限重叠的图像中对场景进行平面表面重建的方法。此重构任务是具有挑战性的,因为它需要共同推理单个图像3D重建,图像之间的对应关系以及图像之间的相对摄像头姿势。过去的工作提出了基于优化的方法。我们引入了一种更简单的方法,即平面形式,该方法使用应用于3D感知平面令牌的变压器执行3D推理。我们的实验表明,我们的方法比以前的工作更有效,并且几项3D特定的设计决策对于成功的成功至关重要。
translated by 谷歌翻译
可靠,高分辨率气候和天气数据的可用性对于为气候适应和缓解的长期决策提供了重要的意见,并指导对极端事件的快速响应。预测模型受到计算成本的限制,因此通常以粗空间分辨率预测数量。统计降尺度可以提供高采样低分辨率数据的有效方法。在这个领域,经常使用计算机视觉中超分辨率域中的方法成功地应用了深度学习。尽管经常取得令人信服的结果,但这种模型在预测物理变量时通常会违反保护法。为了节省重要的物理量,我们开发的方法可以通过深层缩减模型来确保物理约束,同时还根据传统指标提高其性能。我们介绍了约束网络的两种方法:添加到神经网络末尾的重新归一化层,并连续的方法随着增加的采样因子的增加而扩展。我们使用ERE5重新分析数据显示了我们在不同流行架构和更高采样因子上的方法的适用性。
translated by 谷歌翻译
机器学习和非接触传感器的进步使您能够在医疗保健环境中理解复杂的人类行为。特别是,已经引入了几种深度学习系统,以实现对自闭症谱系障碍(ASD)等神经发展状况的全面分析。这种情况会影响儿童的早期发育阶段,并且诊断完全依赖于观察孩子的行为和检测行为提示。但是,诊断过程是耗时的,因为它需要长期的行为观察以及专家的稀缺性。我们展示了基于区域的计算机视觉系统的效果,以帮助临床医生和父母分析孩子的行为。为此,我们采用并增强了一个数据集,用于使用在不受控制的环境中捕获的儿童的视频来分析自闭症相关的动作(例如,在各种环境中使用消费级摄像机收集的视频)。通过检测视频中的目标儿童以减少背景噪声的影响,可以预处理数据。在时间卷积模型的有效性的推动下,我们提出了能够从视频帧中提取动作功能并通过分析视频中的框架之间的关系来从视频帧中提取动作功能并分类与自闭症相关的行为。通过对功能提取和学习策略的广泛评估,我们证明了通过膨胀的3D Convnet和多阶段的时间卷积网络实现最佳性能,达到了0.83加权的F1得分,以分类三种自闭症相关的动作,超越表现优于表现现有方法。我们还通过在同一系统中采用ESNET主链来提出一个轻重量解决方案,实现0.71加权F1得分的竞争结果,并在嵌入式系统上实现潜在的部署。
translated by 谷歌翻译