垂直大模型的效果差距,八成在数据和评测,不在模型参数量。本文讲清楚数据怎么配比、微调用哪种方式、评测集怎么建,以及上线后靠什么持续变好。
行业数据天然稀缺。真实工单、真实审图意见、真实处置记录,往往散在纸质档案、老系统、老师傅手里。第一步不是找模型,是把这些材料变成机器可读的问答对。
经验值:一个细分场景,五千到两万条高质量问答就能看到明显效果;但「高质量」三个字是门槛——一条错答案比十条缺答案伤害更大,因为它会把错误固化成模型的偏好。
做数据的顺序建议:先挑一百条做成金标准(由业务专家逐条确认),用它校准后续所有标注;再批量扩到几千条,每扩一轮抽检百分之十。没有金标准就直接批量标注,返工率极高。
只用行业数据微调,模型会变得「只会说行话」——问它一个常识问题都答不利索,这叫灾难性遗忘。
实践中的配比是行业数据为主、通用指令数据为辅,比例大约七比三到八比二。通用部分不需要很多,但必须在,它起到「锚」的作用,保住模型的基础语言能力和推理链。
另外要混入一定比例的「拒答样本」:客户问到知识库外的东西,模型应该说不知道并给出转人工的路径,而不是编一段。这类样本不混进去,上线后必然出现自信的胡说。
参数高效微调(LoRA 一类)的优势是便宜、可叠加、可回滚:一个场景一个适配器,互不干扰,出问题摘掉就行。绝大多数行业知识注入的需求,用它就够了。
全参微调适合的是「行为模式要整体改」的场景,比如要把一个通用模型改造成严格的表格抽取器。代价是每次迭代都要重训,且容易遗忘,需要更大的数据量和更严的评测。
顺序建议:提示词工程 → 检索增强 → 参数高效微调 → 全参微调。前两级能解决六成问题,且改一次只要几分钟;直接跳到微调,往往是在用贵办法解决便宜问题。
评测集要在训练之前就建好,并且和训练数据物理隔离,否则测出来的分数是自欺欺人。
评测至少三个维度:准确性(答案对不对)、依从性(格式、引用、单位是否合规)、拒答率(该说不的时候有没有说不)。三个维度要分别打分,混成一个总分看不出问题在哪。
还有一条容易被忽略:回归测试。每次换模型、换数据、换提示词,都跑一遍同一套评测集,看哪些题从对变错。没有回归,模型会一边修好旧问题一边弄坏新东西,而且没人发现。
上线不是终点。用户在界面上点的「这个答案不对」、改写的最终版本、转人工的对话,都是最贵的训练数据。把这些反馈回流成新样本,模型才能按业务真实分布持续变好。
工程上要提前埋点:记录问题、检索到的片段、模型原始输出、用户最终采纳的版本。四样东西齐全,一条反馈就能变成一条训练样本;缺了任何一样,这条反馈就只是抱怨。
一是算力,七 B 量级模型单卡可跑,三十二 B 量级至少要两张专业卡,再往上的模型在多数园区机房根本不具备条件。所以垂直场景更常见的选择是中等参数模型加高质量检索,而不是死磕大参数。
二是运维,模型文件、向量库、适配器、提示词模板都要版本化管理,能一键回滚。没有这套机制,一次升级事故就能让整个系统停摆,而且说不清是哪个版本出的问题。