· Xiaojing Yang · Explainability and Responsible AI · 6 min read
English从关联到因果证据：Attribution 到底能声称什么？
Training-data attribution 可以提供数据影响的证据，但因果声称需要谨慎的干预、重新训练、控制条件和不确定性分析。
核心观点
Attribution 不自动等于 causality。高归因分数只能说明在特定程序下存在影响证据；因果声称还需要合理干预和对照比较。
这篇属于 Training Data Attribution for NLP and LLM Research 系列。它既是我的研究笔记，也是面试准备材料：每篇文章都要帮我把概念讲清楚，连接到自己的 thesis，并说明哪些部分可以成为博士阶段的扩展。
核心问题： 什么时候 attribution 结果可以被解释为因果证据？
直觉
Similarity 可以解释为什么某个训练样本被检索出来；association 可以说明数据组和行为相关；attribution 估计在某种方法下的贡献；causal evidence 则追问：如果改变训练数据，模型行为是否会按预期改变？
这在 NLP 和 LLM 研究中特别重要，因为模型行为很大程度上由数据混合方式塑造。模型可能因为大规模网页文本而流畅，因为专业文档而领域准确，因为 curated instruction data 而更安全，也可能因为语料中重复出现的偏差模式而产生偏见。Training-data attribution 让我们可以系统地讨论这些问题，而不是笼统地说“数据很重要”。
形式化视角
因果式结论需要干预，例如删除、修正、重加权或添加 counterfactual examples，并与受控条件下训练或评估的模型比较。估计对象应该绑定到具体干预，而不是只绑定到一个排名分数。
解释 attribution score 之前，必须先定义清楚实验设置：
| 设计选择 | 必须回答的问题 |
|---|---|
| Attribution unit | 谁获得贡献：source、group、document、example 还是 token？ |
| Utility function | 解释哪种行为：质量、术语、风格、事实性还是安全性？ |
| Intervention | 是加入、删除、重加权、修正，还是重新训练？ |
| Estimator | 分数来自 exact、sampling、gradient、surrogate 还是 heuristic？ |
| Uncertainty | 分数在 seed、样本、指标和评估集上是否稳定？ |
NLP / LLM 例子
如果删除高归因数据组后术语表现比随机删除下降更多，这支持因果影响声称。相反，如果某个可疑样本只是和错误输出语义相似，它是诊断证据，而不是该样本导致错误的证明。
所以我不想把 attribution 写成普通可解释性教程。对我的背景来说，它最自然地连接到 multilingual and domain-specific NLP：低资源设定、技术术语、书面语标准差异，以及不止一个 headline metric 的模型评估。
和我的 thesis 的关系
在我的 thesis 叙事中，training-data attribution 的价值在于把模糊的数据问题变成实验设计：
- 定义可解释的数据单位；
- 定义要解释的模型行为；
- 比较受控的数据 coalition 或 intervention；
- 估计贡献；
- 报告不确定性和局限；
- 判断证据是否足够支持更强的因果式表述。
这个结构能帮助我避免 overclaiming。一个分数不会自动成为因果解释；它是特定设置下得到的测量结果。
我已经完成、理解、以及博士阶段可以扩展的内容
| 层次 | 状态 |
|---|---|
| 已完成 / thesis-ready | Group-level attribution、coalition thinking、基于指标的 utilities、谨慎解释、random baselines、bootstrap-style reliability checks。 |
| 理解但未必完整实现 | Instance-level gradient attribution、influence functions、TracIn、Monte Carlo Shapley、surrogate/datamodel approximations。 |
| 很适合博士扩展 | Hierarchical attribution、intervention-based validation、factuality/style-specific utilities、面向 LLM 数据混合的 scalable attribution。 |
面试回答版本
我会谨慎措辞。我可以说某个数据组在 Shapley-style coalition analysis 下有较高估计贡献。只有当我通过删除、修正、重加权或 counterfactual retraining 验证后，才会做更强的因果声称。
参考资料和阅读路径
- Lloyd Shapley, A Value for n-Person Games.
- Ghorbani and Zou, Data Shapley: Equitable Valuation of Data for Machine Learning.
- Koh and Liang, Understanding Black-box Predictions via Influence Functions.
- Pruthi et al., Estimating Training Data Influence by Tracing Gradient Descent.
- Ilyas et al., Datamodels: Predicting Predictions from Training Data.
- Rei et al., COMET: A Neural Framework for MT Evaluation.