· Xiaojing Yang · Machine Learning · 3 min read
ENGrid Search 和 Randomized Search
如何调超参数，同时避免把搜索努力误认为科学证据。
核心观点
超参数搜索有用，但每多试一次，就多一次过拟合验证集的机会。
1. 参数和超参数
参数是从数据中学习的。超参数是在训练外选择的：正则化强度、树深度、学习率、邻居数、batch size、LoRA rank 等。
搜索流程
定义空间
允许哪些取值？
允许哪些取值？
选择策略
Grid 或 random
Grid 或 random
交叉验证
给每个设置打分
给每个设置打分
选择
选择验证表现最好设置
选择验证表现最好设置
测试一次
使用 untouched test data
使用 untouched test data
2. Grid 和 random
| 方法 | 优点 | 弱点 |
|---|---|---|
| Grid search | 小空间里系统完整 | 昂贵，浪费 trial |
| Randomized search | 大空间更高效 | 不穷尽 |
| Successive halving | 自适应分配资源 | 复杂度更高 |
3. sklearn 例子
from sklearn.model_selection import GridSearchCV, RandomizedSearchCV
param_grid = {"C": [0.01, 0.1, 1, 10], "penalty": ["l2"]}
search = GridSearchCV(model, param_grid, cv=5, scoring="f1_macro")
search.fit(X_train, y_train)4. AI/NLP 连接
NLP fine-tuning 中，超参数包括 learning rate、batch size、epochs、warmup、dropout、rank、alpha 和 decoding settings。清楚的搜索记录本身就是研究可信度的一部分。
好的报告
说明 search space、budget、metric、validation protocol 和 final test result。
坏的报告
隐藏大量尝试，只报告最好的数字。
总结
调参不是通往好模型的魔法，而是在公平评估协议下进行受控搜索。
面试回答模板
如果面试问到这个概念，我会分四层回答：
- 先给短定义；
- 再讲直觉；
- 指出常见失败模式；
- 最后连接到真实评估或部署决策。