大多数机器学习（ML）算法具有多个随机元素，并且它们的性能受这些随机性来源的影响。本文使用一项经验研究来系统地检查两个来源的效果：模型训练中的随机性和在数据集分配到训练和测试子集中的随机性中。我们量化和比较以下ML算法的预测性能变化的幅度：随机森林（RFS），梯度增强机（GBMS）和前馈神经网络（FFNNS）。在不同的算法中，与基于树的方法相比，模型训练中的随机性会导致FFNN的变化更大。这是可以预期的，因为FFNN具有更多的随机元素，这些元素是其模型初始化和训练的一部分。我们还发现，与模型训练的固有随机性相比，数据集的随机分裂会导致更高的变化。如果原始数据集具有相当大的异质性，则数据拆分的变化可能是一个主要问题。关键字：模型培训，可重复性，变化
translated by 谷歌翻译
预后有助于实地系统或产品的寿命。量化该系统的当前健康状况使预后能够增强操作员的决策以保护系统的健康状况。由于（a）未知的身体关系和/（b）数据中的不规则性远远超出了问题的启动，因此很难为系统创建预后。传统上，三种不同的建模范例已被用来开发预后模型：基于物理学（PBM），数据驱动（DDM）和混合模型。最近，结合了基于PBM和DDM的方法并减轻其局限性的混合建模方法在预后域中获得了吸引力。在本文中，概述了基于模糊逻辑和生成对抗网络（GAN）的概念的组合概念的一种新型混合建模方法。基于Fuzzygan的方法将基于物理的模型嵌入模糊含义的聚集中。该技术将学习方法的输出限制为现实解决方案。轴承问题的结果表明，在模糊逻辑模型中添加基于物理的聚集的功效，以提高GAN对健康建模的能力并提供更准确的系统预后。
translated by 谷歌翻译
我们将自动辩护的机器学习的想法扩展到动态处理方案，并将其更普遍地扩展到嵌套功能。我们表明，可以根据递归riesz的代表表征嵌套平均回归的递归riesz代表来重新说明动态治疗方案的多重强大公式。然后，我们应用递归RIES代表估计学习算法，该学习算法估算偏低的校正，而无需表征校正术语的外观，例如，逆向概率加权术语的产物，如先前在双重稳健估计上所做的那样在动态状态中。我们的方法定义了一系列损失最小化问题的序列，其最小化是偏见校正的误解器，因此规避了解决辅助倾向模型的需求，并直接优化目标降低偏见校正的平均平方误差。我们为动态离散选择模型的估计提供了进一步的应用。
translated by 谷歌翻译
我提出了长期因果推断的内核脊回归估计，其中包含随机治疗和短期替代品的短期实验数据集与包含短期替代和长期结果的长期观测数据集融合。在核矩阵操作方面，我提出了治疗效果，剂量反应和反事实分布的估算方法。我允许协变量，治疗和替代品是离散的或连续的，低，高或无限的尺寸。对于长期治疗效果，我证明$ \ sqrt {n} $一致性，高斯近似和半占用效率。对于长期剂量反应，我证明了具有有限样品速率的均匀稠度。对于长期反事实分布，我证明了分布的收敛性。
translated by 谷歌翻译
我用机器学习估计的纵向因果参数构建并证明置信区间。纵向参数包括长期，动态和介导的效果。我为任何用于满足少数简单，可解释的条件的机器学习算法估计的任何纵向因果参数提供令人反感的定理。主要结果包括针对特定人口统计学定义的本地参数以及在存在不观察到的混杂中定义的近端参数。正式，我证明了一致性，高斯近似和半占用效率。全局参数的收敛速度为n ^ { - 1/2} $ n $ n为n ^ { - 1/2} $，它为本地参数优雅地降低。我阐述了一套简单的条件来将均方的平方率转化为统计推理。主要结果的一个关键特征是对纵向设置中的近端因果推断不良的新的多种稳健性。
translated by 谷歌翻译
图像到图像转换是最近使用生成对冲网络（GaN）将图像从一个域转换为另一个域的趋势。现有的GaN模型仅利用转换的输入和输出方式执行培训。在本文中，我们执行GaN模型的语义注射训练。具体而言，我们用原始输入和输出方式训练，并注入几个时代，用于从输入到语义地图的翻译。让我们将原始培训称为输入图像转换为目标域的培训。原始训练中的语义训练注射改善了训练的GaN模型的泛化能力。此外，它还以更好的方式在生成的图像中以更好的方式保留分类信息。语义地图仅在训练时间使用，并且在测试时间不需要。通过在城市景观和RGB-NIR立体数据集上使用最先进的GaN模型进行实验。与原始训练相比，在注入语义训练后，我们遵守SSIM，FID和KID等方面的提高性能。
translated by 谷歌翻译
我提出了用于非参数剂量响应曲线和半造型处理效果的内核脊回归估计，在分析师可以访问所选样品而不是随机样品的情况下;仅供选择观察，观察结果。我假设选择与治疗的随机条件一样好，并且具有足够丰富的观察协变量，其中允许协变量引起治疗或由治疗引起的 - 失踪 - 随机（MAR）的延伸。我提出了在核矩阵操作方面具有封闭形式解决方案的手段，增量和分布的估算，允许治疗和协调因子是离散的或连续的，低，高或无限尺寸。对于连续处理箱，我证明了具有有限样本速率的均匀一致性。对于离散处理案例，我证明了根 - N一致性，高斯近似和半占效率。
translated by 谷歌翻译
我们提出了用于中介分析和动态治疗效果的内核脊回归估计。我们允许治疗，协变量和介质是离散或连续的，低，高或无限的尺寸。我们在内核矩阵操作方面提出了具有封闭式解决方案的依据，增量和分布的估算者。对于连续治疗案例，我们证明了具有有限样本速率的均匀一致性。对于离散处理案例，我们证明了根 - N一致性，高斯近似和半占用效率。我们进行仿真，然后估计美国职务团计划的介导和动态治疗效果，弱势青少年。
translated by 谷歌翻译
近年来，在自然语言处理中的伯特等变压器模型越来越多地采用了越来越多的采用，甚至在计算机视觉中。然而，由于大小，在资源受限的计算环境中，在资源受限的计算环境中采用了有限的采用本文提出了通过消除冗余注意头来压缩变压器模型的新颖修剪算法。我们应用A *搜索算法，以获得最小精度保证的修剪模型。我们的结果表明，该方法可以消除BERT变压器模型中的40％的注意力头，几乎没有精确损失。
translated by 谷歌翻译
即使是最精确的经济数据集也具有嘈杂，丢失，离散化或私有化的变量。实证研究的标准工作流程涉及数据清理，然后是数据分析，通常忽略数据清洁的偏差和方差后果。我们制定了具有损坏数据的因果推理的半造型模型，以包括数据清洁和数据分析。我们提出了一种新的数据清洁，估计和推理的新的端到端程序，以及数据清洁调整的置信区间。通过有限的示例参数，我们证明了因果关系参数的估算器的一致性，高斯近似和半游戏效率。 Gaussian近似的速率为N ^ { - 1/2} $，如平均治疗效果，如平均治疗效果，并且优雅地为当地参数劣化，例如特定人口统计的异构治疗效果。我们的关键假设是真正的协变量是较低的等级。在我们的分析中，我们为矩阵完成，统计学习和半统计统计提供了非对症的理论贡献。我们验证了数据清洁调整的置信区间隔的覆盖范围校准，以类似于2020年美国人口普查中实施的差异隐私。
translated by 谷歌翻译