生活分享
微调(Fine-tuning):让现有模型更适合你的任务
微调是在现有模型上继续训练,让它更适合特定任务或领域。本文以客服邮件分类说明数据整理、参数更新、保留测试集与版本部署,区分全量微调、LoRA、监督微调和 RAG,也解释训练成绩变好却实际退步的原因。读完能判断问题是否值得微调,以及如何检查格式一致性、未知类型、数据泄漏和原有能力退化。
阅读时间约 7 分钟

微调,英文 Fine-tuning,是从已训练的模型出发,使用更聚焦的数据继续训练,使它更适合某种任务或领域。它承接现有能力,而不是从随机参数模型参数(Model Parameters)是什么模型参数是训练时调整、用来把输入转成输出的数值,例如权重与偏置。本文用简单算式示例说明参数如何影响预测,区分模型参数、训练超参数、提示词与生成设置,并解释参数量、数值精度和激活参数为何是不同指标。读完能更准确地阅读模型规格,理解参数增加不等于知识逐条增加,也不代表每次聊天都在重新训练模型。阅读全文重新开始。对语言模型而言,微调可能用来改善分类、固定输出格式或领域文书处理;具体能改善什么,取决于训练目标与数据,不能只凭“定制模型”的名称推定。
微调会更新模型中某些可训练参数,与在提示词里放例子不同。本篇以虚构的客服邮件分类说明如何设计与验收,并区分微调方式、训练目标和外部检索。Hugging Face 的实现文档与 ULMFiT 原始研究提供延续现有模型训练的基础;以下没有宣称某组设置已实测成功,也不提供通用的数据条数保证。
先说清楚要改变什么
假设客服需要把邮件分成账号、付款和其他类别,通用模型虽理解大意,却常输出一长段说明,或使用不一致的类别名称。这时微调的目标可以是稳定完成分类与指定格式。若问题是数据库刚更新的订单状态,微调就不是合适的实时更新渠道,应该查询有权限访问的系统,再由模型处理结果。
微调也不是只能模仿口吻。它可针对分类、序列标注、生成等任务调整,但每一种都需要对应的数据与评估。训练数据越贴近真正使用场景,越能检验目标是否达成;若只收集好看、标准化的示范,模型可能在错别字、混合需求与模糊邮件上表现不稳。先把成功和失败条件写清楚,才知道训练是否值得做。
目标与更新方式是不同选择
监督微调使用输入及期望输出学习,偏好优化则可能使用同一问题下的较好与较差回答。这是在选择训练信号。全量微调更新大部分或全部模型参数,LoRA 等参数高效方法则更新较小的附加部分,这是在选择如何调整模型。两个维度可以组合,不能把 SFT 和 LoRA 当成彼此互斥的产品选项。
训练仍需要处理数据格式、token 化、损失计算、学习率与评估。只更改模型名称或把数据上传到某个界面,不表示所有步骤已正确完成。数据截断可能让期望答案消失,字段错位可能让模型学错目标,重复内容则可能使某些案例被过度强化。这些问题应在正式长时间训练前,先用少量样本检查。
阅读完整文字说明
现有模型以训练示范微调,另一组保留邮件只用于评估,通过后才形成可部署版本
示范:客服分类如何验收
设计输入“我忘记密码,付款通知又寄到旧邮箱”,不能随意指定唯一类别,应先决定业务规则:允许多类别、优先账号,或交人工处理。接着以一致的标准建立示范,保留一些未参与训练的邮件作测试。预期输出应遵守规则与格式,不是只让模型把训练邮件背得更像标准答案。
对照方案可先用原模型加清楚提示词及少量例子,再与微调版处理同一批未见邮件。记录类别是否正确、格式是否有效、模糊题是否保留人工处理,以及各类别的错误分布。如果只是格式进步但关键分类退步,不能只用整体平均说微调成功。这是评估设计,实际改进幅度仍需要测试。
也要保留超出范围的邮件,例如要求查询个人订单实时进度。分类模型可将其分配到合适渠道,但不能凭训练记忆编造订单状态。若模型回答越来越像客服人员,却开始捏造处理结果,代表输出行为超出了任务边界,需要调整示范与验收,而不是把流畅当作好效果。
为什么训练分数好看仍可能失败
过拟合是模型太贴近训练数据,遇到新案例却不稳。另一种问题是数据泄漏:同一封邮件的不同版本被分到训练与测试,使成绩看起来像泛化能力,实际上仍近似重复练习。可按来源、时间或相同案例分组划分,并检查近重复内容。数据划分方式必须反映产品真正会遇到的新输入。
现有能力也可能在聚焦训练后退化,例如变得只会输出客服类别,对原本能处理的问答更不自然。是否属于可接受取舍,要看部署用途;专用分类器和通用助手的标准不同。不能用一组任务进步推定所有能力都进步。重要的是保留需要维持的能力测试,并记录微调前后的差异。
从训练完成到可用模型
训练程序结束只表示产生一份模型状态,接下来还需验证加载、推理格式、延迟、部署版本与回退方式。使用附加参数时,还要确保它与指定基础模型兼容。提示词、tokenizer 与输出解析器也可能影响结果,因此应把整个推理组合一起记录,而不是只保存一个权重文件名。
开始前可以先尝试改善提示词、提供清楚示例及修复数据;若错误持续出现在可学习且稳定的行为上,再评估微调。数据常更新且需附来源的知识问答,则可先考虑 RAG。两者能共存:微调让模型遵守回答格式,检索提供当下证据。选择应以失败原因为依据,避免为了定制化而增加不必要的维护。
实际上线后要抽查新的邮件类型,尤其是业务规则改变时。旧模型若仍照旧分类,问题不只是提示词没写清楚,而可能是训练目标本身已过期。保留数据与模型版本、标注规则及评估结果,才能判断需要重新训练、修复预处理,或只更新外部流程。示范数据中的个人信息也应先按目的整理,避免把不必要的联系信息当作答案模式学进去。数据可用于训练的条件,与它是否曾出现在客服系统中,是不同问题。
| 方法 | 处理重点 | 需要留意 |
|---|---|---|
| 提示词与例子 | 改变当次输入 | 通常不改参数 |
| 微调 | 针对目标继续训练 | 需要数据与版本管理 |
| RAG | 提供外部依据 | 知识更新可与模型分离 |
监督微调(SFT):用好示范教模型完成任务监督式微调(SFT):用好示范教模型完成任务监督式微调以输入和期望输出作为训练示范,让现有模型学习更稳定的任务行为。本文用会议待办整理说明数据配对、对话角色、损失计算与保留测试集,区分 SFT、少样本提示、LoRA 和偏好优化,也解释示范中的猜测与格式错误如何被学进去。读完能检查训练数据是否真的教会模型保留未知信息,而不是只学会看起来完整。阅读全文
低秩适应(LoRA):少量可训练参数如何调整模型
检索增强生成(RAG)是什么:让回答附上可查的依据检索增强生成(RAG)是什么:让回答附上可查的依据检索增强生成会先从外部资料中找出相关内容,再交给语言模型组织回答。本文以活动报名规章的问答为例,拆解建立索引、检索、生成与来源核对,说明它和搜索、微调的区别,也解释为什么有引用仍可能答错。读完能判断问题出在资料未更新、文档没找齐,还是模型对证据过度解读,并知道什么情况应保留“不知道”的答案。阅读全文
AI 术语总索引:从 Loop Engineering 到生成式 AI
觉得这篇整理实用吗?分享给需要的朋友
同主题延伸阅读
生活分享
代理式检索增强生成(Agentic RAG):何时需要再查一次
代理式检索增强生成让模型参与检索决策,根据问题与已找到的证据选择数据来源、改写查询或继续补查。本文采用 LangGraph 文档中的具体流程,以比较场地借用条件示范它和固定式 RAG 的差别,并说明停止条件、权限、查询记录及成本控制。读完能判断任务需要动态探索,还是用可预测的固定流程就足够。
生活分享
图谱检索增强生成(GraphRAG):从关系看懂整批文档
GraphRAG 把实体及其关系纳入检索,帮助回答跨文档的关联与整体主题。本文以 Microsoft 原始论文及官方文档为范围,拆解实体抽取、社区摘要、局部搜索和全局搜索,以地方活动记录示范不同问题需要不同路径。也说明图谱漏连、名称误合并与摘要失真如何影响答案,避免把一张漂亮的关系图误认为已验证的事实。
生活分享
知识图谱(Knowledge Graph):把事物与关系说清楚
知识图谱用实体及关系组织数据,让“谁参与什么、在哪里、何时发生”能沿链接查询。本文以社群活动数据演示实体识别、关系方向、来源与时间,介绍资源描述框架(RDF)和属性图的表示差异,也说明图谱不等于可视化或可信事实。读完能判断数据适不适合建图,并理解它如何与数据表、向量搜索及图谱检索增强生成(GraphRAG)搭配。
生活分享
混合搜索(Hybrid Search):兼顾精确字词与语义
混合搜索将全文搜索与向量等不同检索结果合并,兼顾精确代码和自然语言需求。本文用设备说明书查询拆解候选获取、去重、排名融合和重新排序,介绍倒数排名融合(RRF)如何用名次融合不同搜索结果,也提醒混合不保证全面更准。读完能用代码题、改写题和无答案题检查质量,并辨认权限、筛选与重复内容造成的偏差。
引用本文的文章
资料来源
- Hugging Face:微调查证日期:
- Howard、Ruder:ULMFiT查证日期:
本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。