· Xiaojing Yang · Machine Learning · 3 min read
ENFeature Engineering vs Representation Learning
传统 ML 特征如何连接到 embedding、神经网络和现代 NLP 系统。
核心观点
Feature engineering 手工设计输入；representation learning 让模型从数据中学习有用表示。
1. 桥梁
传统 ML 很依赖 feature engineering：计数、TF-IDF、metadata、比例、手工信号。深度学习把一部分工作转移到模型内部，让模型学习表示。
从特征到表示
原始输入
文本、图像、表格
文本、图像、表格
手工特征
计数、规则、比例
计数、规则、比例
Embeddings
稠密学习向量
稠密学习向量
模型
使用表示
使用表示
任务输出
预测、检索、生成
预测、检索、生成
2. 对比
| 方面 | Feature engineering | Representation learning |
|---|---|---|
| 控制力 | 高 | 较低 |
| 数据需求 | 通常较低 | 通常较高 |
| 可解释性 | 通常更清楚 | 通常更难 |
| 能力 | 受设计限制 | 能学习复杂模式 |
| NLP 例子 | TF-IDF | Transformer embeddings |
3. sklearn 例子
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression
pipe = Pipeline([
("tfidf", TfidfVectorizer(ngram_range=(1, 2))),
("clf", LogisticRegression(max_iter=1000)),
])4. AI/NLP 连接
现代 NLP 没有让特征思维过时，而是改变了特征在哪里。Tokenization、embeddings、prompts、retrieved contexts、fine-tuning data 都会塑造模型可以使用的表示。
面试回答
Features 是输入变量；representations 是为下游任务学习出来的有用特征。
研究回答
表示选择会改变泛化、公平性、检索行为和错误模式。
总结
Feature engineering 和 representation learning 不是敌人，而是两种决定模型能看见什么信息的方式。
面试回答模板
如果面试问到这个概念，我会分四层回答：
- 先给短定义；
- 再讲直觉；
- 指出常见失败模式；
- 最后连接到真实评估或部署决策。