我们在随机多臂匪徒问题中使用固定预算和上下文（协变）信息研究最佳武器识别。在观察上下文信息之后，在每一轮中，我们使用过去的观察和当前上下文选择一个治疗臂。我们的目标是确定最好的治疗组，这是一个在上下文分布中被边缘化的最大预期奖励的治疗组，而错误识别的可能性最小。首先，我们为此问题得出半参数的下限，在这里我们将最佳和次优的治疗臂的预期奖励之间的差距视为感兴趣的参数，以及所有其他参数，例如在上下文中的预期奖励，作为滋扰参数。然后，我们开发“上下文RS-AIPW策略”，该策略由随机采样（RS）规则组成，跟踪目标分配比和使用增强反向概率加权（AIPW）估算器的建议规则。我们提出的上下文RS-AIPW策略是最佳的，因为错误识别概率的上限与预算到Infinity时的半参数下限相匹配，并且差距趋于零。
translated by 谷歌翻译
古典统计学习理论表示，拟合太多参数导致过度舒服和性能差。尽管大量参数矛盾，但是现代深度神经网络概括了这一发现，并构成了解释深度学习成功的主要未解决的问题。随机梯度下降（SGD）引起的隐式正规被认为是重要的，但其特定原则仍然是未知的。在这项工作中，我们研究了当地最小值周围的能量景观的局部几何学如何影响SGD的统计特性，具有高斯梯度噪声。我们争辩说，在合理的假设下，局部几何形状力强制SGD保持接近低维子空间，这会引起隐式正则化并导致深神经网络的泛化误差界定更严格的界限。为了获得神经网络的泛化误差界限，我们首先引入局部最小值周围的停滞迹象，并施加人口风险的局部基本凸性财产。在这些条件下，推导出SGD的下界，以保留在这些停滞套件中。如果发生停滞，我们会导出涉及权重矩阵的光谱规范的深神经网络的泛化误差的界限，但不是网络参数的数量。从技术上讲，我们的证据基于控制SGD中的参数值的变化以及基于局部最小值周围的合适邻域的熵迭代的参数值和局部均匀收敛。我们的工作试图通过统一收敛更好地连接非凸优化和泛化分析。
translated by 谷歌翻译
我们考虑使用未知差异的双臂高斯匪徒的固定预算最佳臂识别问题。当差异未知时，性能保证与下限的性能保证匹配的算法最紧密的下限和算法的算法很长。当算法不可知到ARM的最佳比例算法。在本文中，我们提出了一种策略，该策略包括在估计的ARM绘制的目标分配概率之后具有随机采样（RS）的采样规则，并且使用增强的反概率加权（AIPW）估计器通常用于因果推断文学。我们将我们的战略称为RS-AIPW战略。在理论分析中，我们首先推导出鞅的大偏差原理，当第二次孵化的均值时，可以使用，并将其应用于我们提出的策略。然后，我们表明，拟议的策略在错误识别的可能性达到了Kaufmann等人的意义上是渐近最佳的。 （2016）当样品尺寸无限大而双臂之间的间隙变为零。
translated by 谷歌翻译
我们研究了估算平面上的逆函数的极小风险，同时保持估计也是可逆的。从数据和利用可逆估计的学习可靠性在许多域中使用，例如统计，经济学和机器学习。虽然可逆估计的一致性和普遍性得到了很好的调查，但这些方法的效率仍在开发中。在这项研究中，我们研究了在$ 2 $ 2的平面上估算可逆的双唇尖端函数的最低风险。我们首先介绍一个逆价$ l ^ 2 $ -RISK以评估保留可逆性的估算器。然后，我们通过利用使用级别集的可逆函数的表示来导出最小的逆风险的更低和上限。为了获得一个上限，我们开发渐近的估计器几乎无可争互变，其风险达到了衍生的最低限度达到对数因素的速度。导出的最小值率对应于不可逆转的Bi-LipsChitz功能的速率，其拒绝了可逆性是否提高了最小值率的预期，类似于其他形状约束。
translated by 谷歌翻译
我们在随机梯度下降（SGD）算法的逃生问题上发展了定量理论，并研究了损耗表面锐度对逃逸的影响。深入学习在各个领域取得了巨大成功，但是，它开辟了各种理论开放问题。其中一个典型问题是为什么SGD可以找到通过非凸损耗概括的参数。逃生问题是一种解决这个问题的方法，该方法调查了SGD如何从本地最小值逃脱。在本文中，通过应用随机动力系统理论，我们开发了逃生问题的准势能理论。我们表明，准势理论可以以统一的方式处理损耗表面的几何特性和梯度噪声的协方差结构，同时它们在以前的作品中分别研究。我们的理论结果意味着（i）损失表面的清晰度有助于SGD的缓慢逃逸，（ii）SGD的噪声结构取消效果并指数加速逃逸。我们还通过用真实数据接受培训的神经网络进行实验来经验验证我们的理论。
translated by 谷歌翻译
我们考虑在有条件的力矩限制下学习因果关系。与无条件力矩限制下的因果推断不同，有条件的力矩限制对因果推断构成了严重的挑战，尤其是在高维环境中。为了解决这个问题，我们提出了一种方法，该方法使用条件密度比估计器将有条件的力矩限制通过重要性加权转换为无条件的力矩限制。使用这种转换，我们成功估计了条件矩限制下定义的非参数功能。我们提出的框架是一般的，可以应用于包括神经网络在内的广泛方法。我们分析估计误差，为我们提出的方法提供理论支持。在实验中，我们确认了我们提出的方法的健全性。
translated by 谷歌翻译
我们在使用函数近似的情况下，在使用最小的Minimax方法估算这些功能时，使用功能近似来实现函数近似和$ q $ functions的理论表征。在各种可靠性和完整性假设的组合下，我们表明Minimax方法使我们能够实现重量和质量功能的快速收敛速度，其特征在于关键的不平等\ citep {bartlett2005}。基于此结果，我们分析了OPE的收敛速率。特别是，我们引入了新型的替代完整性条件，在该条件下，OPE是可行的，我们在非尾部环境中以一阶效率提出了第一个有限样本结果，即在领先期限中具有最小的系数。
translated by 谷歌翻译
我们定义了一个名为“扩展单词对齐”的新颖概念，以提高后编辑辅助效率。基于扩展的单词对齐方式，我们进一步提出了一个名为精制单词级量化宽松的新颖任务，该任务输出精制标签和单词级对应关系。与原始单词级别的量化宽松相比，新任务能够直接指出编辑操作，从而提高效率。为了提取扩展单词对齐，我们采用了基于Mbert的监督方法。为了解决精致的单词级量化宽松，我们首先通过训练基于Mbert和XLM-R的序列标记的回归模型来预测原始量化量子标签。然后，我们使用扩展单词对齐来完善原始文字标签。另外，我们提取源差距对应关系，同时获得GAP标签。两种语言对的实验显示了我们方法的可行性，并为我们提供了进一步改进的灵感。
translated by 谷歌翻译
我们介绍了声学场景和事件的检测和分类的任务描述（DCASE）2022挑战任务2：“用于应用域通用技术的机器状况监控的无监督异常的声音检测（ASD）”。域转移是ASD系统应用的关键问题。由于域移位可以改变数据的声学特征，因此在源域中训练的模型对目标域的性能较差。在DCASE 2021挑战任务2中，我们组织了一个ASD任务来处理域移动。在此任务中，假定已知域移位的发生。但是，实际上，可能不会给出每个样本的域，并且域移位可能会隐含。在2022年的任务2中，我们专注于域泛化技术，这些技术检测异常，而不论域移动如何。具体而言，每个样品的域未在测试数据中给出，所有域仅允许一个阈值。我们将添加挑战结果和挑战提交截止日期后提交的分析。
translated by 谷歌翻译
本文旨在开发一种基于声学信号的无监督异常检测方法来自动机器监测。现有的方法，例如Deep AutoCoder（DAE），变异自动编码器（VAE），条件变异自动编码器（CVAE）等在潜在空间中的表示功能有限，因此，异常检测性能差。必须为每种不同类型的机器培训不同的模型，以准确执行异常检测任务。为了解决此问题，我们提出了一种新方法，称为层次条件变化自动编码器（HCVAE）。该方法利用有关工业设施的可用分类学等级知识来完善潜在空间表示。这些知识也有助于模型改善异常检测性能。我们通过使用适当的条件证明了单个HCVAE模型对不同类型机器的概括能力。此外，为了显示拟议方法的实用性，（i）我们在不同领域评估了HCVAE模型，（ii）我们检查了部分分层知识的影响。我们的结果表明，HCVAE方法验证了这两个点，并且在AUC得分度量上最大的15％在异常检测任务上的基线系统的表现优于基线系统。
translated by 谷歌翻译