用于多模型比较的 ANOVA

1. 问题是什么

如果比较三个或更多模型，反复做 pairwise tests 会带来多重比较问题。ANOVA 先问一个更宽的问题：是否有证据表明至少一个组的均值不同？

2. AI/NLP 用法

当比较多个模型家族、多个 prompt strategy、或多个领域表现时，ANOVA 可能有用。它不一定是最终答案，但会鼓励正确结构：先问组间是否整体不同，再分析哪里不同。

3. 注意

经典 ANOVA 有假设。NLP 指标可能违反这些假设。在很多现代评估场景中，bootstrap、permutation tests、mixed-effects models 或 Bayesian 方法可能更合适。

4. 报告方式

把 ANOVA 放在更完整的证据链里：说明组、报告不确定性、做校正后的后续比较，并把差异连接到实际效应量。

总结

ANOVA 不是魔法，但它训练了一个重要研究习惯：区分组间信号和组内噪声。

参考资料和学习路线

这篇笔记采用的是适合我 AI/NLP 研究目标的路线：先用 Seeing Theory、看见统计和 StatQuest 建立直觉，再用 Think Stats 连接 Python 实践，最后用 ISLR/ISLP、CS229 和统计推断资料补足机器学习与研究表达。

• An Introduction to Statistical Learning / ISLP
• Think Stats, 3rd edition
• All of Statistics — Larry Wasserman
• Seeing Theory
• 看见统计
• StatQuest
• Stanford CS229 materials
• scikit-learn: model evaluation