在机器学习的任务中，我们往往想知道为什么模型会输出某种结果，特别是当结果和我们的预期有一定初入的时候。比如，某个图片分类器把猫的图片认成了狗。在这样的情况下，除了我们经常可以做的也就是去检查模型的“有效性”以外，我们往往还希望知道数据，特别是训练数据对于这样结果的影响。这也就是所谓的Data Attribution问题。对于这样数据问题的理解在GenAI和LLM大行其道的今天变得尤为重要，因为很多时候我们可能需要对模型的某种行为追根溯源，找到是什么样的训练数据导致模型有了这样的结果。

在ICML 2024上，Andrew Ilyas, Kristian Georgiev, Logan Engstrom和Sung Min (Sam) Park对这个主题进行了深入的分享。他们的讲座“Data Attribution at Scale”（http://t.cn/A6E33RNA）可以说是对这一主题进行了深入浅出的讲解。

在传统统计和机器学习领域，Data Attribution问题其实已经有了不少成熟的方案，特别是线性模型有解析解的情况下。我们已经可以针对某一些测试数据点的行为进行有效预测。而对于新一些的深度学习模型来说，这方面的工作则才有了开始的苗头。

同时，Data Attribution也可以为很多实用问题提供解决的框架。比如，很多时候我们需要知道训练数据被污染了之后，模型是否健壮。再比如，我们希望了解能否针对一些数据对模型进行Unlearning，以选择性的忘却一些信息。这些都是Data Attribution相对前沿的应用场景。