为什么 LoRA 适合低资源领域适配

在低资源领域机器翻译里，问题不只是模型能不能被适配。更难的问题是：这个适配是否足够稳定、成本是否合理、证据是否可靠。

在我的 English—Norwegian petroleum MT 语境中，LoRA 有吸引力，是因为目标不是从零教模型翻译。基础模型已经有通用多语言翻译能力。真正的研究问题更窄：能不能用有限的干净平行语料，把模型引导到石油领域术语、正式监管文本风格和领域句式上？

为什么 full fine-tuning 不一定是最佳答案

Full fine-tuning 会更新所有模型参数。它给模型最大灵活性，但在小数据环境下，灵活性也是风险。

使用有限平行语料时，full fine-tuning 可能会：

• 过拟合重复模板或噪声对齐；
• 需要更多显存和 optimizer state；
• 让重复实验变贵；
• 产生更大的 checkpoint，比较起来更困难；
• 让数据清洗、数据规模和随机种子的影响更难系统研究。

如果我有一个很大、很干净、很代表性的 petroleum MT corpus，full fine-tuning 当然是重要 baseline。但在低资源设定中，它不一定是最实际的研究方法。

技术核心：受控的参数更新

LoRA 冻结 pretrained weight matrix $W$，只学习一个低秩更新：

它不直接学习完整的更新矩阵，而是把更新写成：

其中 $A$ 和 $B$ 是更小的矩阵。rank $r$ 控制更新空间大小，$\alpha$ 控制更新强度。

研究上的解释是：LoRA 限制了模型可以改变的范围。在训练语料很小的时候，这个限制反而有价值。它给模型足够空间做领域适配，但不会让模型无限制地记住小样本。

为什么适合低资源领域 MT

低资源领域 MT 同时有三个约束：

这对研究设计很重要。如果 LoRA 让每次实验更便宜，我就能问更好的问题：

• 多少领域数据已经足够？
• 哪些清洗决策真的重要？
• 哪些 LoRA 超参数稳定？
• 方法提升的是术语，还是只是表面指标？
• 不同 seed 下提升是否一致？

效率不只是工程便利。它会改变我们能够收集什么证据。

和我的项目的关系

在 English—Norwegian petroleum MT 中，语料专业且规模有限。模型需要处理技术术语、正式文档风格和书面语标准差异。好的适配方法应该提高领域可靠性，同时不要破坏 pretrained model 已有的通用翻译能力。

LoRA 适合这个问题，因为它把适配看成一次受控更新，而不是对整个模型的重写。

什么证据能支持这个选择？

我不会因为 LoRA 参数少就说它更好。我会寻找这些证据：

1. 与 full fine-tuning 相比，BLEU、chrF、COMET 有竞争力；
2. 术语准确率提升，或关键领域错误减少；
3. 不同随机种子下表现稳定；
4. 训练和存储成本更低；
5. 数据规模实验中表现合理；
6. 通用或非领域翻译能力没有明显退化。

所以核心研究结论不是“LoRA 很小”，而是：

在低资源领域 MT 中，LoRA 可能提供 adaptation capacity、cost 和 stability 之间的有用折中。

局限

LoRA 不能解决所有问题。

它不能修复：

• 训练数据中缺失的领域术语；
• 错误对齐的句对；
• 把重要领域词切得很碎的 tokenizer；
• 英挪基础能力本来就弱的 base model；
• 无法捕捉关键技术错误的评估指标。

所以 LoRA 必须和数据质量、术语评估、人类错误分析一起研究。

面试回答

我使用 LoRA 是因为低资源领域 MT 需要受控适配。Full fine-tuning 很强，但在小语料上成本更高，也更容易过拟合。LoRA 冻结 pretrained model，只学习低秩更新，因此减少可训练参数，并让重复实验更可行。在我的项目里，这让我能在现实算力约束下研究领域适配、超参数稳定性，以及不止一个指标的 MT 评估。

参考资料和阅读路径

• Hu et al., LoRA: Low-Rank Adaptation of Large Language Models.
• Hugging Face PEFT documentation.
• NLLB and multilingual MT documentation for pretrained translation models.
• COMET and chrF resources for MT evaluation.