在神经元网络中,使用本地信息单独更新,允许完全分散的学习。相反,人工神经网络(ANN)中的元件通常使用中央处理器同时更新。在这里,我们调查最近引入的分散,物理驱动的学习网络中异步学习的可行性和影响。我们表明,在理想化模拟中,Desynchization Learing Processe不会降低各种任务的性能。在实验中,Des同步实际上通过允许系统更好地探索解决方案的离散状态空间来实现性能。我们在随机梯度下降中的异步和迷你批处理之间绘制了类比,并表明它们对学习过程具有类似的影响。 des同步学习过程将物理驱动的学习网络建立为真正完全分布式的学习机器,在部署中提高更好的性能和可扩展性。
translated by 谷歌翻译
我们考虑在下一个成本和约束函数的预测存在下对在线凸优化的一般问题。通过将具有预测自适应动态步骤组合的跟随 - 正则化的引导迭代来设计一种新的原始双向算法。该算法实现$ \ mathcal o(t ^ {\ frac {3- \ beta} {4})$后悔和$ \ mathcal o(t ^ {\ frac {1+ \ beta} {2})$约束通过参数$ \ beta \!\ in \![1/2,1)$可调的违规界限,并且具有与预测质量缩小的恒定因素,实现最终$ \ mathcal o(1)$遗憾的完美预测。我们的工作扩展了这个约束OCO设置的FTRL框架,并优于基于最先进的贪婪的解决方案,而不会对预测质量,成本函数或约束的几何形状的条件突出,而不是凸出的。
translated by 谷歌翻译
蛋白质 - 蛋白质相互作用(PPI)对正常细胞功能至关重要,并且与许多疾病途径有关。然而,只有4%的PPI用PTMS在诸如完整的生物知识数据库中的PTM,主要通过手动策策进行,这既不是时间也不是成本效益。我们使用完整的PPI数据库创建具有交互蛋白对,它们相应的PTM类型和来自PubMed数据库的相关摘要注释的远程监督数据集。我们训练Biobert Models的一组合 - 配音PPI-Biobert-X10,以提高置信度校准。我们利用集合平均置信度方法的使用,置信范围抵消了类别不平衡提取高信任预测的影响。在测试集上评估的PPI-BIOBERT-X10模型导致适用的F1-MICRO 41.3(P = 5 8.1,R = 32.1)。然而,通过结合高信心和低变化来识别高质量的预测,调整精度预测,我们保留了100%精度的19%的测试预测。我们评估了1800万PubMed摘要的PPI-Biobert-X10,提取了160万(546507个独特的PTM-PPI三联网)PTM-PPI预测,并过滤〜5700(4584个独一无二)的高信心预测。在5700中,对于小型随机采样的子集进行人体评估表明,尽管置信度校准,精度降至33.7%,并突出了即使在置信度校准的情况下超出了测试集中的最长途的挑战。我们仅包括与多个论文相关的预测的问题来规避问题,从而将精确提高到58.8%。在这项工作中,我们突出了深入学习的文本挖掘在实践中的利益和挑战,并且需要增加对置信校准的强调,以促进人类策划努力。
translated by 谷歌翻译
数据驱动模型发现中的中央挑战是存在隐藏或潜伏的变量,这些变量不会直接测量,而是动态重要。 TAKENS的定理提供了在可能随时间延迟信息中增加这些部分测量的条件,导致吸引物,这是对原始全状态系统的扩散逻辑。然而,回到原始吸引子的坐标变换通常是未知的,并且学习嵌入空间中的动态仍然是几十年的开放挑战。在这里,我们设计自定义深度AutoEncoder网络,以学习从延迟嵌入空间的坐标转换到一个新的空间,其中可以以稀疏,封闭的形式表示动态。我们在Lorenz,R \“Ossler和Lotka-Volterra系统上,从单个测量变量的学习动态展示了这种方法。作为一个具有挑战性的例子,我们从混乱的水车视频中提取的单个标量变量中学到一个洛伦兹类似物得到的建模框架结合了深入的学习来揭示可解释建模的非线性动力学(SINDY)的揭示有效坐标和稀疏识别。因此,我们表明可以同时学习闭合模型和部分的坐标系观察到的动态。
translated by 谷歌翻译
Characterizing the patterns of errors that a system makes helps researchers focus future development on increasing its accuracy and robustness. We propose a novel form of "meta learning" that automatically learns interpretable rules that characterize the types of errors that a system makes, and demonstrate these rules' ability to help understand and improve two NLP systems. Our approach works by collecting error cases on validation data, extracting meta-features describing these samples, and finally learning rules that characterize errors using these features. We apply our approach to VilBERT, for Visual Question Answering, and RoBERTa, for Common Sense Question Answering. Our system learns interpretable rules that provide insights into systemic errors these systems make on the given tasks. Using these insights, we are also able to "close the loop" and modestly improve performance of these systems.
translated by 谷歌翻译
在本文中,我们使用两个无监督的学习算法的组合介绍了路边激光雷达物体检测的解决方案。 3D点云数据首先将球形坐标转换成球形坐标并使用散列函数填充到方位角网格矩阵中。之后,RAW LIDAR数据被重新排列成空间 - 时间数据结构,以存储范围,方位角和强度的信息。基于强度信道模式识别,应用动态模式分解方法将点云数据分解成低级背景和稀疏前景。三角算法根据范围信息,自动发现分割值以将移动目标与静态背景分开。在强度和范围背景减法之后,将使用基于密度的检测器检测到前景移动物体,并编码到状态空间模型中以进行跟踪。所提出的模型的输出包括车辆轨迹,可以实现许多移动性和安全应用。该方法针对商业流量数据收集平台进行了验证,并证明了对基础设施激光雷达对象检测的高效可靠的解决方案。与之前的方法相比,该方法直接处理散射和离散点云,所提出的方法可以建立3D测量数据的复杂线性关系较小,这捕获了我们经常需要的空间时间结构。
translated by 谷歌翻译
本文提出了一种机器学习增强的纵向扫描线方法,用于从大角度交通摄像机中提取车辆轨迹。通过将空间颞映射(STMAP)分解到稀疏前景和低秩背景,应用动态模式分解(DMD)方法来提取车辆股线。通过调整两个普遍的深度学习架构,设计了一个名为Res-Unet +的深神经网络。 RES-UNET +神经网络显着提高了基于STMAP的车辆检测的性能,DMD模型提供了许多有趣的见解,了解由Stmap保留的潜在空间结构的演变。与先前的图像处理模型和主流语义分割深神经网络进行比较模型输出。经过彻底的评估后,证明该模型对许多具有挑战性的因素来说是准确和强大的。最后但并非最不重要的是,本文从根本上解决了NGSIM轨迹数据中发现了许多质量问题。清除清洁的高质量轨迹数据,以支持交通流量和微观车辆控制的未来理论和建模研究。该方法是用于基于视频的轨迹提取的可靠解决方案,并且具有广泛的适用性。
translated by 谷歌翻译
每年在美国犯下数十个恐怖袭击,往往会导致死亡和其他重大损害。在更好地理解和减轻这些攻击的结束时,我们展示了一组机器学习模型,用于从本地化的新闻数据中学习,以预测恐怖主义攻击是否将在给定的日历日期和给定状态上发生。最佳模型 - 一种随机森林,了解特征空间的新型可变长度移动平均表示 - 在接收器经营特征下实现的地区分数为$> .667美元,这是由恐怖主义影响最多的五个州的四个国家在2015年和2018年之间。我们的主要发现包括将恐怖主义建模为一系列独立事件,而不是作为一个持续的过程,是一种富有成果的方法 - 尤其是当事件稀疏和异常时。此外,我们的结果突出了对位置之间的差异的本地化模型的需求。从机器学习的角度来看,我们发现随机森林模型在我们的多模式,嘈杂和不平衡数据集上表现出几种深刻的模型,从而展示了我们的新颖特征表示方法在这种情况下的功效。我们还表明,其预测是对攻击之间的时间差距和观察到攻击特征的预测相对稳健。最后,我们分析了限制模型性能的因素,包括嘈杂的特征空间和少量可用数据。这些贡献为利用机器学习在美国及以后的恐怖主义努力中提供了重要的基础。
translated by 谷歌翻译
适当地识别和处理具有显着多参考(MR)特征的分子和材料对于在虚拟高通量筛选(VHT)中实现高数据保真度至关重要。然而,使用单一功能的近似密度泛函理论(DFT)进行大多数VHT。尽管发展了许多MR诊断,但这种诊断的单一价值的程度表明了对化学性质预测的MR效应不是很好的。我们评估超过10,000个过渡金属配合物(TMC)的MR诊断方法,并与有机分子中的那些进行比较。我们透露,只有一些MR诊断程序可在这些材料空间上转移。通过研究MR特征对涉及多个潜在能量表面的化学性质(即,MR效应)的影响(即绝热自旋分裂,$ \ DELTA E_ \ MATHRM {HL} $和电离潜力,IP),我们观察到这一点先生效应的取消超过积累。 MR特征的差异比预测物业预测中MR效应的先生特征的总程度更重要。通过这种观察,我们建立转移学习模型,直接预测CCSD(T)-Level绝热$ \ Delta e_ \ Mathrm {H-L} $和IP从较低的理论。通过将这些模型与不确定量化和多级建模相结合,我们引入了一种多管策略,可将数据采集加速至少三个,同时实现鲁棒VHT的化学精度(即1 kcal / mol)。
translated by 谷歌翻译
布局分析(LA)阶段对光学音乐识别(OMR)系统的正确性能至关重要。它标识了感兴趣的区域,例如Staves或歌词,然后必须处理,以便转录它们的内容。尽管存在基于深度学习的现代方法,但在不同模型的精度,它们对不同领域的概括或更重要的是,它们尚未开展对OMR的详尽研究,或者更重要的是,它们对后续阶段的影响管道。这项工作侧重于通过对不同神经结构,音乐文档类型和评估方案的实验研究填补文献中的这种差距。培训数据的需求也导致了一种新的半合成数据生成技术的提议,这使得LA方法在真实情况下能够有效适用性。我们的结果表明:(i)该模型的选择及其性能对于整个转录过程至关重要; (ii)(ii)常用于评估LA阶段的指标并不总是与OMR系统的最终性能相关,并且(iii)所提出的数据生成技术使最先进的结果能够以有限的限制实现标记数据集。
translated by 谷歌翻译