关于人们的预测,例如他们预期的教育成就或信用风险,可以表现出色,并塑造他们旨在预测的结果。了解这些预测对最终结果的因果影响对于预测未来预测模型的含义并选择要部署哪些模型至关重要。但是,该因果估计任务带来了独特的挑战:模型预测通常是输入特征的确定性功能,并且与结果高度相关,这可能使预测的因果效应不可能从协变量的直接效应中解散。我们通过因果可识别性的角度研究了这个问题,尽管该问题完全普遍,但我们突出了三种自然情况,在这些情况下,可以从观察数据中确定预测对结果的因果影响:基于预测或基于预测的决策中的随机化。 ,在数据收集过程中部署的预测模型和离散预测输出的过度参数化。我们从经验上表明,在适当的可识别性条件下,从预测中预测的监督学习的标准变体可以找到特征,预测和结果之间的可转移功能关系,从而得出有关新部署的预测模型的结论。我们的积极结果从根本上依赖于在数据收集期间记录的模型预测,从而提出了重新思考标准数据收集实践的重要性,以使进步能够更好地理解社会成果和表现性反馈循环。
translated by 谷歌翻译
在表演性预测中,预测模型的部署触发了数据分布的变化。由于这些转变通常是未知的,因此学习者需要部署模型以获取有关其引起的分布的反馈。我们研究了在性能下发现近乎最佳模型的问题,同时保持低廉的遗憾。从表面上看,这个问题似乎等同于强盗问题。但是,它表现出一种从根本上说的反馈结构,我们将其称为表演反馈:在每次部署后,学习者都会从转移的分布中收到样本,而不仅仅是关于奖励的强盗反馈。我们的主要贡献是一种算法,该算法仅随着分配的复杂性而不是奖励功能的复杂性而实现后悔的界限。该算法仅依赖于移位的平滑度,并且不假定凸度。此外,它的最终迭代保证是近乎最佳的。关键算法的想法是对分布变化的仔细探索,该分布变化为新颖的置信范围构造了未开发模型的风险。从更广泛的角度来看,我们的工作为从土匪文献中利用工具的概念方法建立了一种概念性方法,目的是通过表演性反馈最小化后悔的目的。
translated by 谷歌翻译