· Xiaojing Yang · Explainability and Responsible AI · 6 min read
English统计可靠性：Bias、Variance、Bootstrap 与 Attribution Uncertainty
Attribution 分数是估计量。本文区分 estimator bias、sampling variance、training randomness、evaluation uncertainty 与 bootstrap confidence intervals。
核心观点
没有不确定性的排名很脆弱。Training-data attribution 不应只报告分数，也应说明这些分数背后的不确定性来源。
这篇属于 Training Data Attribution for NLP and LLM Research 系列。它既是我的研究笔记，也是面试准备材料：每篇文章都要帮我把概念讲清楚，连接到自己的 thesis，并说明哪些部分可以成为博士阶段的扩展。
核心问题： 一个 attribution score 到底有多可靠？
直觉
如果某个数据组在一个 seed 中排第一、另一个 seed 中排第四，这个故事就不稳定。如果重采样测试集后分数变化很大，评估目标可能噪声很强。如果 Monte Carlo Shapley 采样太少，估计器本身方差可能很大。
这在 NLP 和 LLM 研究中特别重要，因为模型行为很大程度上由数据混合方式塑造。模型可能因为大规模网页文本而流畅，因为专业文档而领域准确，因为 curated instruction data 而更安全，也可能因为语料中重复出现的偏差模式而产生偏见。Training-data attribution 让我们可以系统地讨论这些问题，而不是笼统地说“数据很重要”。
形式化视角
重要不确定性来源包括 estimator bias、estimator variance、随机初始化和训练顺序、测试集采样不确定性、指标噪声以及数据预处理不确定性。Bootstrap CI 可以量化评估样本上的不确定性，但如果设计中没有包含训练随机性，它不会自动捕捉训练随机性。
解释 attribution score 之前，必须先定义清楚实验设置：
| 设计选择 | 必须回答的问题 |
|---|---|
| Attribution unit | 谁获得贡献：source、group、document、example 还是 token？ |
| Utility function | 解释哪种行为：质量、术语、风格、事实性还是安全性？ |
| Intervention | 是加入、删除、重加权、修正，还是重新训练？ |
| Estimator | 分数来自 exact、sampling、gradient、surrogate 还是 heuristic？ |
| Uncertainty | 分数在 seed、样本、指标和评估集上是否稳定？ |
NLP / LLM 例子
对 MT attribution 表格，我会报告多个 seed 的分数，为指标或差值加入置信区间，并和随机 baseline 比较。如果某个组的区间覆盖 0，或者跨 seed 改变符号，我会避免强结论。
所以我不想把 attribution 写成普通可解释性教程。对我的背景来说，它最自然地连接到 multilingual and domain-specific NLP：低资源设定、技术术语、书面语标准差异，以及不止一个 headline metric 的模型评估。
和我的 thesis 的关系
在我的 thesis 叙事中，training-data attribution 的价值在于把模糊的数据问题变成实验设计：
- 定义可解释的数据单位；
- 定义要解释的模型行为；
- 比较受控的数据 coalition 或 intervention；
- 估计贡献；
- 报告不确定性和局限；
- 判断证据是否足够支持更强的因果式表述。
这个结构能帮助我避免 overclaiming。一个分数不会自动成为因果解释；它是特定设置下得到的测量结果。
我已经完成、理解、以及博士阶段可以扩展的内容
| 层次 | 状态 |
|---|---|
| 已完成 / thesis-ready | Group-level attribution、coalition thinking、基于指标的 utilities、谨慎解释、random baselines、bootstrap-style reliability checks。 |
| 理解但未必完整实现 | Instance-level gradient attribution、influence functions、TracIn、Monte Carlo Shapley、surrogate/datamodel approximations。 |
| 很适合博士扩展 | Hierarchical attribution、intervention-based validation、factuality/style-specific utilities、面向 LLM 数据混合的 scalable attribution。 |
面试回答版本
我的 bootstrap confidence intervals 衡量的是在特定重采样方案下评估分数或归因估计的不确定性。它们不会自动证明因果。我会用它们表达可靠性、与随机 baseline 比较，并判断哪些结论稳定到值得讨论。
参考资料和阅读路径
- Lloyd Shapley, A Value for n-Person Games.
- Ghorbani and Zou, Data Shapley: Equitable Valuation of Data for Machine Learning.
- Koh and Liang, Understanding Black-box Predictions via Influence Functions.
- Pruthi et al., Estimating Training Data Influence by Tracing Gradient Descent.
- Ilyas et al., Datamodels: Predicting Predictions from Training Data.
- Rei et al., COMET: A Neural Framework for MT Evaluation.