MAP 估计与贝叶斯思维

1. 从似然到后验

MLE 只问参数能多好地解释观察数据。贝叶斯思维还会问：在看到数据之前，哪些参数本来就更合理？

2. 为什么这对 AI 重要

当数据有限时，先验假设非常重要。在低资源 NLP 里，预训练模型的知识就像强先验。fine-tuning 用领域证据更新这个先验。

3. 和正则化的关系

一些正则化方法可以解释成带参数先验的 MAP 估计。L2 类似偏好较小权重的 Gaussian-style prior；L1 类似稀疏偏好。

4. AI/NLP 例子

对于领域适配，我会把预训练模型看成已经拥有广泛语言信念。小领域语料应该更新模型，而不是抹掉它已学会的一切。

总结

MAP 和贝叶斯思维帮助我表达一个核心 AI 思想：从数据中学习，总是和假设一起发生。

参考资料和学习路线

这篇笔记采用的是适合我 AI/NLP 研究目标的路线：先用 Seeing Theory、看见统计和 StatQuest 建立直觉，再用 Think Stats 连接 Python 实践，最后用 ISLR/ISLP、CS229 和统计推断资料补足机器学习与研究表达。

• An Introduction to Statistical Learning / ISLP
• Think Stats, 3rd edition
• All of Statistics — Larry Wasserman
• Seeing Theory
• 看见统计
• StatQuest
• Stanford CS229 materials
• scikit-learn: model evaluation