正则化：L1 和 L2 背后的统计思想

1. 过拟合问题

灵活模型可以把训练数据解释得“太好”。它可能学到了信号，也可能记住了噪声。正则化加入惩罚项，让过度复杂的参数设置变得昂贵。

2. L2 和 L1 直觉

L2 正则化平滑地惩罚大权重。L1 正则化可以把一些权重推向零，因此在简单模型里常用于特征选择。

3. 深度学习连接

在神经网络里，weight decay 和 L2 风格的正则化关系很近。Dropout、early stopping、data augmentation 也有正则化效果，只是机制不同。

4. AI/NLP 例子

在小规模领域数据上 fine-tune 语言模型时，full fine-tuning 很容易过拟合。LoRA 这类参数高效方法不等同于经典正则化，但它们有相似的实际目标：在限制变化范围的同时完成适配。

总结

正则化不是技巧，而是一种统计偏好：优先选择能泛化的模型，而不是只会记住训练集的模型。

参考资料和学习路线

这篇笔记采用的是适合我 AI/NLP 研究目标的路线：先用 Seeing Theory、看见统计和 StatQuest 建立直觉，再用 Think Stats 连接 Python 实践，最后用 ISLR/ISLP、CS229 和统计推断资料补足机器学习与研究表达。

• An Introduction to Statistical Learning / ISLP
• Think Stats, 3rd edition
• All of Statistics — Larry Wasserman
• Seeing Theory
• 看见统计
• StatQuest
• Stanford CS229 materials
• scikit-learn: model evaluation