LoRA 领域适配中的数据规模实验

研究问题

对 LoRA-based MT adaptation 来说，多少领域平行语料才够？什么时候更多样本不再带来明显收益？

Data scaling 是低资源领域 MT 中最有价值的实验之一。它问的是一个简单但很强的问题：

如果我给模型更多领域数据，性能会如何变化？

这个问题重要，是因为低资源研究经常盯着模型选择，但真正瓶颈可能是数据数量、数据质量或领域覆盖。

为什么 data scaling 是研究，而不是记录数字

数据规模曲线可以揭示一个方法在低资源设定下是否真的有用。

如果前几千个样本就带来快速提升，然后很快 plateau，那么项目可能更需要数据清洗和评估，而不是继续收集相似数据。如果性能持续增长，更多领域数据仍然有价值。如果性能很不稳定，模型可能对 sampling、preprocessing 或 hyperparameters 很敏感。

对 LoRA 来说，data scaling 还可以测试小 adapter 是否有足够 capacity 在不同数据规模下吸收领域信息。

一个实用实验设计

清楚的数据规模实验可以使用这些 subset：

条件	目的
1k sentence pairs	极低资源行为
5k sentence pairs	早期适配信号
10k sentence pairs	中等领域适配
full cleaned corpus	当前最佳领域条件

每个条件应该保持一致：

base model；
preprocessing pipeline；
validation and test sets；
evaluation metrics；
training budget rule；
random seed policy。

否则，曲线可能反映的是其他实验变化，而不是数据规模本身。

应该测什么

我不会只测一个分数。一个有用的 data-scaling table 应该包括：

BLEU；
chrF；
COMET；
terminology accuracy 或 recall；
validation loss；
training time；
seed variation；
代表性输出上的 human error categories。

目标不只是找到最高点，而是理解哪些行为会随着数据增加而改善。

可能出现的模式

1. 早期快速提升

前几千个样本可能让模型学到重复领域结构和高频术语。如果领域文档很模板化，这种情况很常见。

2. 收益递减

到某个点后，更多相似样本可能只带来很小提升。这说明模型已经学到主要模式，剩下的问题可能需要更好的数据多样性或 targeted terminology examples。

3. 噪声或不稳定提升

如果小 subset 结果不稳定，问题可能是样本组成。一个 subset 可能包含很多重要术语，另一个可能主要是重复模板。

4. 指标特异性提升

BLEU 可能提升，但 terminology recall 仍然弱；术语可能改善，但 COMET 几乎不变。所以需要多个 utilities。

和 LoRA 的关系

Data scaling 对 LoRA 特别有意思，因为 adapter capacity 是受控的。低 rank 可能对小数据足够，但在更大、更复杂数据上饱和。高 rank 可能帮助更多样化的领域数据，但在最小数据条件下过拟合。

这会连接到 HPO：

最佳 rank 会不会随数据规模改变？
alpha 是否在所有规模下都主导？
dropout 是否只在小数据条件下有帮助？
一个 LoRA 配置能否跨数据规模迁移？

这些问题会把 HPO 从调参变成研究证据。

和我的项目的关系

在 English—Norwegian petroleum MT 中，data scaling 可以回答 cleaned corpus 是否包含足够有用的领域信号。如果小 subset 已经捕捉大部分提升，说明领域文本模板性很强。如果更大 subset 明显改善术语或减少关键错误，说明额外领域覆盖很重要。

它也能帮助解释数据清洗价值。一个更小但干净的 subset 可能超过一个更大但噪声更多的 subset，这支持低资源 MT 不只是 data-quantity constrained，也是 data-quality constrained。

局限

Data-scaling experiments 很容易被误读。

随机 subset 不一定代表整个领域；
更大 subset 可能同时包含更多信号和更多噪声；
test set 可能和 training distribution 太相似；
小指标提升不一定有实际意义；
一个 seed 可能隐藏不稳定性。

所以我会把 scaling curve 当成证据，而不是最终证明。

面试回答

我会用 data-scaling experiments 研究 LoRA adaptation 如何随领域数据增加而变化。目标是看性能是持续提升、早期饱和，还是强烈依赖 subset composition。对我的 MT 项目来说，这很重要，因为它可以区分三种解释：模型需要更多数据，数据需要更好清洗，或者评估指标没有捕捉我真正关心的领域行为。