成功的深度学习模型往往涉及培训具有比训练样本数量更多的参数的神经网络架构。近年来已经广泛研究了这种超分子化的模型,并且通过双下降现象和通过优化景观的结构特性,从统计的角度和计算视角都建立了过分统计化的优点。尽管在过上分层的制度中深入学习架构的显着成功,但也众所周知,这些模型对其投入中的小对抗扰动感到高度脆弱。即使在普遍培训的情况下,它们在扰动输入(鲁棒泛化)上的性能也会比良性输入(标准概括)的最佳可达到的性能更糟糕。因此,必须了解如何从根本上影响稳健性的情况下如何影响鲁棒性。在本文中,我们将通过专注于随机特征回归模型(具有随机第一层权重的两层神经网络)来提供超分度化对鲁棒性的作用的精确表征。我们考虑一个制度,其中样本量,输入维度和参数的数量彼此成比例地生长,并且当模型发生前列地训练时,可以为鲁棒泛化误差导出渐近精确的公式。我们的发达理论揭示了过分统计化对鲁棒性的非竞争效果,表明对于普遍训练的随机特征模型,高度公正化可能会损害鲁棒泛化。
translated by 谷歌翻译
我提出了长期因果推断的内核脊回归估计,其中包含随机治疗和短期替代品的短期实验数据集与包含短期替代和长期结果的长期观测数据集融合。在核矩阵操作方面,我提出了治疗效果,剂量反应和反事实分布的估算方法。我允许协变量,治疗和替代品是离散的或连续的,低,高或无限的尺寸。对于长期治疗效果,我证明$ \ sqrt {n} $一致性,高斯近似和半占用效率。对于长期剂量反应,我证明了具有有限样品速率的均匀稠度。对于长期反事实分布,我证明了分布的收敛性。
translated by 谷歌翻译
HyperParameter在监督机器学习算法的拟合中起着重要作用。但是,它可以同时计算所有可调谐的超参数,特别是对于大数据集来调整所有可调谐的超参数昂贵。在本文中,我们给出了通过回忆程序估算的普遍同参数重要性的定义。根据重要性,然后可以更有效地在整个数据集上调整Quand参数。我们从理论上显示了对数据子集的建议重要性与在弱势条件下的人口数据中的一致性一致。数值实验表明,建议的重要性是一致的,可以节省大量的计算资源。
translated by 谷歌翻译
尽管最近通过剩余网络的代表学习中的自我监督方法取得了进展,但它们仍然对ImageNet分类基准进行了高度的监督学习,限制了它们在性能关键设置中的适用性。在MITROVIC等人的现有理论上洞察中建立2021年,我们提出了RELICV2,其结合了明确的不变性损失,在各种适当构造的数据视图上具有对比的目标。 Relicv2在ImageNet上实现了77.1%的前1个分类准确性,使用线性评估使用Reset50架构和80.6%,具有较大的Reset型号,优于宽边缘以前的最先进的自我监督方法。最值得注意的是,RelicV2是使用一系列标准Reset架构始终如一地始终优先于类似的对比较中的监督基线的第一个表示学习方法。最后,我们表明,尽管使用Reset编码器,Relicv2可与最先进的自我监控视觉变压器相媲美。
translated by 谷歌翻译
该行业许多领域的自动化越来越多地要求为检测异常事件设计有效的机器学习解决方案。随着传感器的普遍存在传感器监测几乎连续地区的复杂基础设施的健康,异常检测现在可以依赖于以非常高的频率进行采样的测量,从而提供了在监视下的现象的非常丰富的代表性。为了充分利用如此收集的信息,观察不能再被视为多变量数据,并且需要一个功能分析方法。本文的目的是探讨近期对实际数据集的功能设置中异常检测技术的性能。在概述最先进的和视觉描述性研究之后,比较各种异常检测方法。虽然功能设置中的异常分类(例如,形状,位置)在文献中记录,但为所识别的异常分配特定类型似乎是一个具有挑战性的任务。因此,鉴于模拟研究中的这些突出显示类型,现有方法的强度和弱点是基准测试。接下来在两个数据集上评估异常检测方法,与飞行中的直升机监测和建筑材料的光谱相同有关。基准分析由从业者的建议指导结束。
translated by 谷歌翻译
通过分析多OMICS数据,许多统计机器方法最终可能会突出复杂疾病的病因的新颖特征。然而,当观察到的样品可能被对抗性腐败的异常值(例如,虚构数据分布)可能被污染时,它们对分布的一些偏差敏感。同样,统计进步落后于支持复杂多OMICS数据集成的综合数据驱动分析。我们提出了一种新颖的非线性M估计的方法,“强大的内核机器回归(Robkmr)”,提高统计机器回归的鲁棒性和虚构数据的多样性,以检查多OMIC的高阶综合效果数据集。我们地址稳健的内核中心克矩阵,以准确估计模型参数。我们还提出了一个强大的评分测试,以评估来自多OMICS数据的特征的边缘和关节凸起产品。我们将我们提出的方法应用于来自白种人女性的骨质疏松症(OP)的多OMICS数据集。实验表明,所提出的方法有效地识别了OP的相关危险因素。具有固体证据(p值= 0.00001),生物验证,基于网络的分析,因果推断和药物重新施用,所选三个三胞胎((DKK1,SMTN,DRGX),(MTND5,FastKD2,CSMD3),(MTND5, COG3,CSMD3))是显着的生物标志物,直接涉及BMD。总的来说,前三种选定的基因(DKK1,MTND5,FastKD2)和一个基因(P值下的SIDT1 = 0.001)显着粘合来自30个药物,IBANDRONENT,ALENDRONES和30个候选药物重新培养的候选药物。此外,所提出的方法可以应用于可用多OMICS数据集的任何疾病模型。
translated by 谷歌翻译
Neyman-Scott processes (NSPs) are point process models that generate clusters of points in time or space. They are natural models for a wide range of phenomena, ranging from neural spike trains to document streams. The clustering property is achieved via a doubly stochastic formulation: first, a set of latent events is drawn from a Poisson process; then, each latent event generates a set of observed data points according to another Poisson process. This construction is similar to Bayesian nonparametric mixture models like the Dirichlet process mixture model (DPMM) in that the number of latent events (i.e. clusters) is a random variable, but the point process formulation makes the NSP especially well suited to modeling spatiotemporal data. While many specialized algorithms have been developed for DPMMs, comparatively fewer works have focused on inference in NSPs. Here, we present novel connections between NSPs and DPMMs, with the key link being a third class of Bayesian mixture models called mixture of finite mixture models (MFMMs). Leveraging this connection, we adapt the standard collapsed Gibbs sampling algorithm for DPMMs to enable scalable Bayesian inference on NSP models. We demonstrate the potential of Neyman-Scott processes on a variety of applications including sequence detection in neural spike trains and event detection in document streams.
translated by 谷歌翻译
机器学习技术通常应用于痴呆症预测缺乏其能力,共同学习多个任务,处理时间相关的异构数据和缺失值。在本文中,我们建议使用最近呈现的SShiba模型提出了一个框架,用于在缺失值的纵向数据上联合学习不同的任务。该方法使用贝叶斯变分推理来赋予缺失值并组合多个视图的信息。这样,我们可以将不同的数据视图与共同的潜在空间中的不同时间点相结合,并在同时建模和预测若干输出变量的同时学习每个时间点之间的关系。我们应用此模型以预测痴呆症中的诊断,心室体积和临床评分。结果表明,SSHIBA能够学习缺失值的良好归因,同时预测三个不同任务的同时表现出基线。
translated by 谷歌翻译
Adaptive partial linear beamforming meets the need of 5G and future 6G applications for high flexibility and adaptability. Choosing an appropriate tradeoff between conflicting goals opens the recently proposed multiuser (MU) detection method. Due to their high spatial resolution, nonlinear beamforming filters can significantly outperform linear approaches in stationary scenarios with massive connectivity. However, a dramatic decrease in performance can be expected in high mobility scenarios because they are very susceptible to changes in the wireless channel. The robustness of linear filters is required, considering these changes. One way to respond appropriately is to use online machine learning algorithms. The theory of algorithms based on the adaptive projected subgradient method (APSM) is rich, and they promise accurate tracking capabilities in dynamic wireless environments. However, one of the main challenges comes from the real-time implementation of these algorithms, which involve projections on time-varying closed convex sets. While the projection operations are relatively simple, their vast number poses a challenge in ultralow latency (ULL) applications where latency constraints must be satisfied in every radio frame. Taking non-orthogonal multiple access (NOMA) systems as an example, this paper explores the acceleration of APSM-based algorithms through massive parallelization. The result is a GPUaccelerated real-time implementation of an orthogonal frequency-division multiplexing (OFDM)based transceiver that enables detection latency of less than one millisecond and therefore complies with the requirements of 5G and beyond. To meet the stringent physical layer latency requirements, careful co-design of hardware and software is essential, especially in virtualized wireless systems with hardware accelerators.
translated by 谷歌翻译
在医疗保健诊断过程中常见于多级顺序决策方案。在本文中,开发了一种基于主动学习的方法,以以顺序方式积极收集必要的患者数据。提出的方法中有两份新奇。首先,与只有单级模型的现有序数逻辑回归模型不同,我们将所有阶段的参数估算在一起。其次,假设不同阶段中的共同特征的系数保持一致。该方法的有效性在模拟研究中验证和实际案例研究。与单独且独立地建模数据的基线方法相比,所提出的方法通过62 \%-1838 \%提高了估计效率。对于模拟和测试队列,所提出的方法更有效,稳定,可解释和对参数估计的计算有效。该方法可以很容易地扩展到各种场景,其中可以仅通过必要的信息来顺序地完成决策。
translated by 谷歌翻译