如今，在许多不同的领域中，可以使用大量数据，出于多种原因，仅分析数据的一部分可能很方便。 D-急速标准的应用可能有助于最佳选择观测值的子样本。但是，众所周知，D-最佳的支撑点位于设计空间的边界上，如果它们与极端响应值并驾齐驱，它们可能会严重影响估计的线性模型（具有很高影响力的杠杆点） 。为了克服这个问题，首先，我们提出了一个无监督的交换程序，使我们能够在没有高杠杆值的情况下选择一个几乎最佳的观测值。然后，我们提供了此交换程序的监督版本，除了高杠杆点外，还避免了响应中的异常值（与高杠杆点无关）。这是可能的，因为与其他设计情况不同，在大数据集的亚采样中，响应值可能可用。最后，无监督和监督的选择程序都概括为i-oftimality，目的是获得准确的预测。
translated by 谷歌翻译
在线性回归中，我们希望根据少量样本估算超过$ d $维的输入点和实价响应的最佳最小二乘预测。根据标准随机设计分析，其中绘制样品i.i.d。从输入分布中，该样品的最小二乘解决方案可以看作是最佳的自然估计器。不幸的是，该估计器几乎总是产生来自输入点的随机性的不良偏置，这在模型平均中是一个重要的瓶颈。在本文中，我们表明可以绘制非i.i.d。输入点的样本，无论响应模型如何，最小二乘解决方案都是最佳的无偏估计器。此外，可以通过增强先前绘制的I.I.D。可以有效地生产该样本。带有额外的$ d $点的样品，根据点由点跨越的平方量重新缩放的输入分布构建的一定确定点过程，共同绘制。在此激励的基础上，我们开发了一个理论框架来研究体积响应的采样，并在此过程中证明了许多新的矩阵期望身份。我们使用它们来表明，对于任何输入分布和$ \ epsilon> 0 $，有一个随机设计由$ o（d \ log d+ d+ d+ d/\ epsilon）$点，从中可以从中构造出无偏见的估计器，其预期的是正方形损耗在整个发行版中，$ 1+\ epsilon $ times最佳损失。我们提供有效的算法来在许多实际设置中生成这种无偏估计量，并在实验中支持我们的主张。
translated by 谷歌翻译
群集分析需要许多决定：聚类方法和隐含的参考模型，群集数，通常，几个超参数和算法调整。在实践中，一个分区产生多个分区，基于验证或选择标准选择最终的分区。存在丰富的验证方法，即隐式或明确地假设某个聚类概念。此外，它们通常仅限于从特定方法获得的分区上操作。在本文中，我们专注于可以通过二次或线性边界分开的群体。参考集群概念通过二次判别符号函数和描述集群大小，中心和分散的参数定义。我们开发了两个名为二次分数的群集质量标准。我们表明这些标准与从一般类椭圆对称分布产生的组一致。对这种类型的组追求在应用程序中是常见的。研究了与混合模型和模型的聚类的似然理论的连接。基于Bootstrap重新采样的二次分数，我们提出了一个选择规则，允许在许多聚类解决方案中选择。所提出的方法具有独特的优点，即它可以比较不能与其他最先进的方法进行比较的分区。广泛的数值实验和实际数据的分析表明，即使某些竞争方法在某些设置中出现优越，所提出的方法也实现了更好的整体性能。
translated by 谷歌翻译
相协方差矩阵的通常的最小协方差决定因素（MCD）估计器与casewise Outliers具有鲁棒性。这些情况（即数据矩阵的行）与大多数案件的行为不同，引起了人们的怀疑，认为它们可能属于不同的人群。另一方面，单元格离群值是数据矩阵中的单个单元格。当行包含一个或多个外围的单元时，同一行中的另一个单元格仍然包含我们希望保留的有用信息。我们提出了一种称为CellMCD的MCD方法的细胞稳健版本。观察到其主要的构件可能性和对标记的细胞离群值数量的稀疏性罚款。它具有良好的分解属性。我们基于浓度步骤（C步长）构建一种快速算法，该算法始终降低目标。该方法在具有单元格离群值的模拟中表现良好，并且在干净的数据上具有很高的有限样本效率。它在带有结果可视化的真实数据上进行了说明。
translated by 谷歌翻译
本文提出了删除 - $ D $ jackknife的概括，以解决时间序列的HyperParameter选择问题。我称之为人工删除 - $ D $ jackknife强调，这种方法用虚拟删除替代经典的去除步骤，其中观察到的数据点被人工缺失值替换。这样做保留了数据订单完好无损，并允许与时间序列的简单兼容性。此稿件显示了一种简单的例证，其中应用于调节高维弹性净矢量自动增加移动平均（Varma）模型。
translated by 谷歌翻译
Submpling是解决大数据带来的计算挑战的重要技术。许多子采样程序属于重要性采样的框架内，这为出现很大影响的样本分配了高采样概率。当噪声水平很高时，那些采样程序倾向于挑选许多异常值，因此通常在实践中往往不会令人满意地表现。为了解决这个问题，我们设计基于Huber标准（HMS）的新的马尔可夫分支策略，以构造来自嘈杂的完整数据的信息副;然后，构造的子集用作精制的工作数据，以便有效处理。 HMS建立在大都会加速程序之上，其中使用HUBER标准确定每个采样单元的包含概率，以防止对异常值进行评分。在温和条件下，我们表明基于HMS选择的子样本的估计器与子高斯偏差绑定的统计上一致。通过大规模模拟和实际数据示例的广泛研究证明了HMS的有希望的性能。
translated by 谷歌翻译
我们提出了一种估计具有标称分类数据的高维线性模型的方法。我们的估算器，称为范围，通过使其相应的系数完全相等来融合水平。这是通过对分类变量的系数的阶数统计之间的差异之间的差异来实现这一点，从而聚类系数。我们提供了一种算法，用于精确和有效地计算在具有潜在许多级别的单个变量的情况下的总体上的最小值的全局最小值，并且在多变量情况下在块坐标血管下降过程中使用它。我们表明，利用未知级别融合的Oracle最小二乘解决方案是具有高概率的坐标血缘的极限点，只要真正的级别具有一定的最小分离;已知这些条件在单变量案例中最小。我们展示了在一系列实际和模拟数据集中的范围的有利性能。 R包的R包Catreg实现线性模型的范围，也可以在CRAN上提供逻辑回归的版本。
translated by 谷歌翻译
信息技术的进步导致了非常大的数据集，通常保存在不同的存储中心。必须适于现有的统计方法来克服所产生的计算障碍，同时保持统计有效性和效率。分裂和征服方法已应用于许多领域，包括分位式流程，回归分析，主偶数和指数家庭。我们研究了有限高斯混合的分布式学习的分裂和征服方法。我们建议减少策略并开发一种有效的MM算法。新估计器显示在某些一般条件下保持一致并保留根 - N一致性。基于模拟和现实世界数据的实验表明，如果后者是可行的，所提出的分离和征管方法具有基于完整数据集的全球估计的统计性能。如果模型假设与真实数据不匹配，甚至可以略高于全局估算器。它还具有比某些现有方法更好的统计和计算性能。
translated by 谷歌翻译
在许多纵向环境中，时间变化的协变量可能不会与响应同时测量，并且通常容易出现测量误差。幼稚的最后观察前向方法会产生估计偏差，现有的基于内核的方法的收敛速率缓慢和差异很大。为了应对这些挑战，我们提出了一种新的功能校准方法，以基于稀疏功能数据和测量误差的稀疏功能数据有效地学习纵向协变量。我们的方法来自功能性主成分分析，从观察到的异步和容易出现错误的协变量值中校准未观察到的同步协变量值，并广泛适用于异步纵向回归与时间传播或时间变化的系数。对于随时间不变系数的回归，我们的估计量是渐进的，无偏的，根-N一致的，并且渐近地正常。对于时变系数模型，我们的估计器具有最佳的变化系数收敛速率，而校准的渐近方差膨胀。在这两种情况下，我们的估计量都具有优于现有方法的渐近特性。拟议方法的可行性和可用性通过模拟和全国妇女健康研究的应用来验证，这是一项大规模的多站点纵向研究，对中年妇女健康。
translated by 谷歌翻译
在本文中，我们将深度学习文献与非线性因素模型联系起来，并表明深度学习估计可以大大改善非线性加性因子模型文献。我们通过扩展Schmidt-Hieber（2020）定理来提供预期风险的界限，并表明这些上限在一组多个响应变量上是均匀的。我们表明，我们的风险界限并不取决于因素的数量。为了构建资产回报的协方差矩阵估计器，我们开发了深层神经网络中误差协方差矩阵的新型数据依赖性估计器。估算器是指灵活的自适应阈值技术，对创新中的异常值很强。我们证明估计量在光谱规范中是一致的。然后使用该结果，我们显示了协方差矩阵的一致性和收敛速率和资产回报的精确矩阵估计器。两种结果中的收敛速度并不取决于因素的数量，因此我们的收敛性是因子模型文献中的一个新结果，因为这一事实是因素的数量妨碍了更好的估计和预测。除了精确矩阵结果外，即使资产数量大于时间跨度，我们也可以获得我们所有的结果，并且两个数量都在增长。各种蒙特卡洛模拟证实了我们的大型样本发现，并揭示了DNN-FM的卓越精确度，以估计连接因子和可观察变量的真实潜在功能形式，以及与竞争方法相比的协方差和精确矩阵。此外，在大多数情况下，就样本外投资组合策略而言，在样本外预测应用程序中，就样本外投资组合标准偏差和Sharpe比率而言，它的表现优于其他投资组合策略。
translated by 谷歌翻译
在本文中，我们提出了一个被称为Rkhsmetamod的R包，其实现了估计复杂模型的元模型的过程。元模型近似于复杂模型的Hoeffding分解，并允许我们对其进行灵敏度分析。它属于一个再现内核希尔伯特空间，该空间被构造成作为希尔伯特空间的直接总和。元模型的估计是用Hilbert标准的总和和经验L ^ 2-Norm的最小化最小化的抵抗的经验性最小平方。此过程称为RKHS Ridge Group Sparse，允许选择和估算Hoeffding分解中的术语，因此选择和估计非零的Sobol指数。 RKHSMetamod包提供从R统计计算环境到C ++库EIGEN和GSL的接口。为了加快执行时间并优化存储内存，除了用R写入R的函数，可以使用RCPPeigen和RCPPGSL软件包使用高效的C ++库写入此包的所有功能。然后，这些功能在R环境中接通，以提出用户友好的包装。
translated by 谷歌翻译
重要的加权是调整蒙特卡洛集成以说明错误分布中抽取的一种一般方法，但是当重要性比的右尾巴较重时，最终的估计值可能是高度可变的。当目标分布的某些方面无法通过近似分布捕获，在这种情况下，可以通过修改极端重要性比率来获得更稳定的估计。我们提出了一种新的方法，该方法使用拟合模拟重要性比率的上尾的广义帕累托分布来稳定重要性权重。该方法在经验上的性能要比现有方法稳定重要性采样估计值更好，包括稳定的有效样本量估计，蒙特卡洛误差估计和收敛诊断。提出的帕累托$ \ hat {k} $有限样本收敛率诊断对任何蒙特卡洛估计器都有用。
translated by 谷歌翻译
异常值广泛发生在大数据应用中，可能严重影响统计估计和推理。在本文中，引入了抗强估计的框架，以强制任意给出的损耗函数。它与修剪方法密切连接，并且包括所有样本的显式外围参数，这反过来促进计算，理论和参数调整。为了解决非凸起和非体性的问题，我们开发可扩展的算法，以实现轻松和保证快速收敛。特别地，提出了一种新的技术来缓解对起始点的要求，使得在常规数据集上，可以大大减少数据重采样的数量。基于组合的统计和计算处理，我们能够超越M估计来执行非因思分析。所获得的抗性估算器虽然不一定全局甚至是局部最佳的，但在低维度和高维度中享有最小的速率最优性。回归，分类和神经网络的实验表明，在总异常值发生的情况下提出了拟议方法的优异性能。
translated by 谷歌翻译
现代高维方法经常采用“休稀稀物”的原则，而在监督多元学习统计学中可能面临着大量非零系数的“密集”问题。本文提出了一种新的聚类减少秩（CRL）框架，其施加了两个联合矩阵规范化，以自动分组构建预测因素的特征。 CRL比低级别建模更具可解释，并放松变量选择中的严格稀疏假设。在本文中，提出了新的信息 - 理论限制，揭示了寻求集群的内在成本，以及多元学习中的维度的祝福。此外，开发了一种有效的优化算法，其执行子空间学习和具有保证融合的聚类。所获得的定点估计器虽然不一定是全局最佳的，但在某些规则条件下享有超出标准似然设置的所需的统计准确性。此外，提出了一种新的信息标准，以及其无垢形式，用于集群和秩选择，并且具有严格的理论支持，而不假设无限的样本大小。广泛的模拟和实数据实验证明了所提出的方法的统计准确性和可解释性。
translated by 谷歌翻译
考虑一个面板数据设置，其中可获得对个人的重复观察。通常可以合理地假设存在共享观察特征的类似效果的个体组，但是分组通常提前未知。我们提出了一种新颖的方法来估计普通面板数据模型的这种未观察到的分组。我们的方法明确地估计各个参数估计中的不确定性，并且在每个人上具有大量的个体和/或重复测量的计算可行。即使在单个数据不可用的情况下，也可以应用开发的想法，并且仅向研究人员提供参数估计与某种量化的不确定性。
translated by 谷歌翻译
假设我们观察一个随机向量$ x $从一个具有未知参数的已知家庭中的一些分发$ p $。我们问以下问题：什么时候可以将$ x $分为两部分$ f（x）$和$ g（x）$，使得两部分都足以重建$ x $自行，但两者都可以恢复$ x $完全，$（f（x），g（x））$的联合分布是贸易的吗？作为一个例子，如果$ x =（x_1，\ dots，x_n）$和$ p $是一个产品分布，那么对于任何$ m <n $，我们可以将样本拆分以定义$ f（x）=（x_1 ，\ dots，x_m）$和$ g（x）=（x_ {m + 1}，\ dots，x_n）$。 Rasines和Young（2021）提供了通过使用$ x $的随机化实现此任务的替代路线，并通过加性高斯噪声来实现高斯分布数据的有限样本中的选择后推断和非高斯添加剂模型的渐近。在本文中，我们提供更一般的方法，可以通过借助贝叶斯推断的思路在有限样本中实现这种分裂，以产生（频繁的）解决方案，该解决方案可以被视为数据分裂的连续模拟。我们称我们的方法数据模糊，作为数据分割，数据雕刻和P值屏蔽的替代方案。我们举例说明了一些原型应用程序的方法，例如选择趋势过滤和其他回归问题的选择后推断。
translated by 谷歌翻译
替代模型用于减轻工程任务中的计算负担，这些计算负担需要重复评估计算要求的物理系统模型，例如不确定性的有效传播。对于显示出非常非线性依赖其输入参数的模型，标准的替代技术（例如多项式混沌膨胀）不足以获得原始模型响应的准确表示。通过应用有理近似，对于通过有理函数准确描述的模型可以有效地降低近似误差。具体而言，我们的目标是近似复杂值模型。获得替代系数的一种常见方法是最小化模型和替代物之间的基于样本的误差，从最小二乘意义上讲。为了获得原始模型的准确表示并避免过度拟合，样品集的量是扩展中多项式项数的两到三倍。对于需要高多项式程度或在其输入参数方面具有高维度的模型，该数字通常超过负担得起的计算成本。为了克服这个问题，我们将稀疏的贝叶斯学习方法应用于理性近似。通过特定的先前分布结构，在替代模型的系数中诱导稀疏性。分母的多项式系数以及问题的超参数是通过类型-II-Maximim-Maximim类似方法来确定的。我们应用了准牛顿梯度散发算法，以找到最佳的分母系数，并通过应用$ \ mathbb {cr} $ -Colculus来得出所需的梯度。
translated by 谷歌翻译
本文解决了缺少嘈杂和非高斯数据数据的数据的问题。与其他流行的方法相比，一种经典的插补方法，即高斯混合模型的期望最大化（EM）算法，它显示出有趣的特性，例如基于K-Neartivt邻居或通过链式方程式进行多个归纳的方法。然而，已知高斯混合模型对异质数据不舒适，当数据被异常值污染或遵循非高斯分布时，这可能导致估计性能差。为了克服这个问题，研究了一种新的EM算法，用于椭圆形分布的混合物与处理潜在丢失数据的特性。本文表明，此问题减少了在通用假设下的角度高斯分布的混合物的估计（即，每个样品都是从椭圆形分布的混合物中绘制的，对于一个样品而言，这可能是不同的）。在这种情况下，与椭圆形分布的混合物相关的完整数据可能非常适合EM框架，由于其条件分布而缺少数据，这被证明是多元$ t $分布。合成数据的实验结果表明，所提出的算法对异常值是可靠的，可以与非高斯数据一起使用。此外，在现实世界数据集上进行的实验表明，与其他经典插补方法相比，该算法非常有竞争力。
translated by 谷歌翻译
自动数据收集方案的扩散和传感器的进步正在增加我们能够实时监控的数据量。但是，鉴于高注册成本和质量检查所需的时间，数据通常以未标记的形式获得。这正在促进使用主动学习来开发软传感器和预测模型。在生产中，通过评估未标记数据的信息内容来收集标签，而不是进行随机检查以获取产品信息。文献中已经提出了一些有关回归的查询策略框架，但大多数重点都专门用于基于静态池的场景。在这项工作中，我们为基于流的方案提出了一种新的策略，在该方案中，将实例顺序提供给学习者，该实例必须立即决定是否执行质量检查以获取标签或丢弃实例。该方法受到最佳实验设计理论的启发，决策过程的迭代方面是通过对未标记数据点的信息设定阈值来解决的。使用数值模拟和田纳西州伊士曼工艺模拟器评估所提出的方法。结果证实，选择提出的算法建议的示例可以更快地减少预测误差。
translated by 谷歌翻译
我们根据功能性隐藏动态地理模型（F-HDGM）的惩罚最大似然估计器（PMLE）提出了一种新型的模型选择算法。这些模型采用经典的混合效应回归结构，该结构具有嵌入式时空动力学，以模拟在功能域中观察到的地理参考数据。因此，感兴趣的参数是该域之间的函数。该算法同时选择了相关的样条基函数和回归变量，这些函数和回归变量用于对响应变量与协变量之间的固定效应关系进行建模。这样，它会自动收缩到功能系数的零部分或无关回归器的全部效果。该算法基于迭代优化，并使用自适应的绝对收缩和选择器操作员（LASSO）惩罚函数，其中未含量的F-HDGM最大likikelihood估计器获得了其中的权重。最大化的计算负担大大减少了可能性的局部二次近似。通过蒙特卡洛模拟研究，我们分析了在不同情况下算法的性能，包括回归器之间的强相关性。我们表明，在我们考虑的所有情况下，受罚的估计器的表现都优于未确定的估计器。我们将该算法应用于一个真实案例研究，其中将意大利伦巴第地区的小时二氧化氮浓度记录记录为具有多种天气和土地覆盖协变量的功能过程。
translated by 谷歌翻译