生活分享
监督式微调(SFT):用好示范教模型完成任务
监督式微调以输入和期望输出作为训练示范,让现有模型学习更稳定的任务行为。本文用会议待办整理说明数据配对、对话角色、损失计算与保留测试集,区分 SFT、少样本提示、LoRA 和偏好优化,也解释示范中的猜测与格式错误如何被学进去。读完能检查训练数据是否真的教会模型保留未知信息,而不是只学会看起来完整。
阅读时间约 6 分钟

监督式微调,英文 Supervised Fine-tuning,常缩写为 SFT,是利用输入与期望输出的示范,在现有模型上继续训练。以语言模型为例,输入可能是用户的要求及数据,期望输出则是符合规则的回答。模型在训练中调整参数模型参数(Model Parameters)是什么模型参数是训练时调整、用来把输入转成输出的数值,例如权重与偏置。本文用简单算式示例说明参数如何影响预测,区分模型参数、训练超参数、提示词与生成设置,并解释参数量、数值精度和激活参数为何是不同指标。读完能更准确地阅读模型规格,理解参数增加不等于知识逐条增加,也不代表每次聊天都在重新训练模型。阅读全文,使示范答案更有可能生成,逐渐学习任务格式、表述与处理方式。
“监督式”表示训练有明确的目标信号,不代表每一轮回答都有真人旁观,也不保证示范本身正确。本篇以将虚构会议记录整理成待办清单的情境,说明如何建立有用示范。参考 TRL 官方 SFT 文档及 InstructGPT 研究,但不把某个工具的默认设置当成所有模型的通用规则,更不宣称示例已完成训练测试。
好示范比漂亮答案更重要
假设目标是从会议记录提取工作事项、负责人与期限。示范需要教模型只填原文明示的信息,没有负责人便标示未指定,没有期限便保留空缺。如果标注者为了让表格完整而自行猜测日期,模型可能学到“缺信息也要补齐”的行为。输出看起来专业,反而偏离了任务真正要求的忠实整理。
数据配对还要保持一致。对相同模糊程度的句子,有的示范写成确定待办,有的保留待确认,模型就会收到冲突信号。开始收集大量数据之前,应先定义什么算承诺、讨论提案与背景信息,并让标注者处理同一小批案例,比对差异。SFT 的上限常受到目标本身是否清楚的影响,不是只靠增加示范数就能解决。
训练怎么使用输入与答案
常见语言模型 SFT 仍以预测答案 token 为核心,但数据被整理成明确的任务示范。对话数据需要保留系统、用户及助手角色,并符合该模型的对话模板。角色分错可能使模型学成模仿用户提问,或把应作背景的文字当成要输出的答案。因此数据格式不是包装细节,而是训练目标的一部分。
损失计算范围也值得检查。TRL 文档提供只对助手回答计算损失、或只对补全内容计算损失的选项;具体行为受数据类型与模板支持影响。不能看见有一栏答案,就假定工具一定只训练那一栏。训练前应读取实际 token 化与掩码结果,确认重要回答未被截断,且不打算学习的角色内容没有误入目标。
阅读完整文字说明
会议原文与期望待办配对,SFT 学习已知内容的整理与未知字段的保留,再用新会议验证
示范:会议待办如何配对
假设输入写着“小林下周寄出简报;场地是否更换,等管理员回复后再决定”。期望输出可以明确列出小林寄送简报的待办,期限保留原文的相对表达,并把换场地列为待确认事项。若没有会议日期,不能擅自把“下周”转成某个日历日期。这是原创教学示例,不是任何真实会议或模型测试结果。
接着做一个对照输入:“可以请小林考虑寄一份简报吗?”它可能只是提议,是否算正式交办应依数据标注规则决定。测试集应同时包含承诺、疑问、否定与待确认句,检查模型是否抓住任务语义。若只测与示范相同的句型,可能得到漂亮的格式分数,却看不到实际会议里的困难。
预期验收至少分成内容正确、字段格式与未知事项处理。模型若把人名放对字段,却把没有期限的事项补成明天,仍属失败。反之,一份诚实保留空缺的清单不应因为看起来比较不完整而被标成较差。这种评估设计会反过来影响数据质量,让模型学到产品真正需要的行为。
SFT 和其他方法怎么分工
少样本提示把例子放进当次上下文,通常不更新模型参数;SFT 则使用数据执行训练,效果存在于训练后的模型状态。LoRA 是一种参数高效更新方式,可以用来执行 SFT,不是另一种互斥的示范格式。偏好优化则利用较佳与较差回答的比较,与直接提供期望答案的信号不同,实践中可以接在示范学习之后。
如果问题是每周会议的最新内容,SFT 也不会替你自动读取。应用仍需提供会议逐字稿、相关项目资料及必要日期,模型才能处理当次任务。训练可以让它更会整理,数据管道则负责让它看到正确内容。把两者分开,才能避免以为“训练过公司数据”就能知道所有后续变动。
哪些证据才算训练有用
保留未见过的会议数据非常重要,最好按会议或项目切分,避免同场会议的改写版本同时出现在训练与测试中。评估时与使用清楚提示词的原模型比较,检视 SFT 是否在真实需求上改善,而不是只因用了更好的提示词。也要检查原本需保留的能力,有没有因专用训练而退化。
训练损失下降表示模型更适应所用目标,不能单独证明待办清单更可靠。上线前还要验证模型加载、对话模板、输出解析和版本兼容性;上线后则抽查新类型会议与规则变更。若改变了“提案是否算待办”的业务定义,旧示范可能也要重整,不能只期待推理时加一句话就完全抵消冲突。
一份可交接的 SFT 成果应包含标注规则、数据来源范围、训练和评估版本,以及代表性的错误案例。这些信息让下一位维护者知道模型学的是什么,哪些空缺是刻意保留。对一般读者而言,最值得记住的是:SFT 在放大示范的行为,所以数据中的诚实、不确定性与例外处理,都和正确答案一样重要。
| 方法 | 处理重点 | 需要留意 |
|---|---|---|
| 少样本提示 | 当次提供示范 | 通常不更新参数 |
| SFT | 学习从输入到期望输出 | 示范质量决定目标 |
| 偏好优化 | 比较不同回答质量 | 需要一致的偏好准则 |
微调(Fine-tuning):让现有模型更适合你的任务微调(Fine-tuning):让现有模型更适合你的任务微调是在现有模型上继续训练,让它更适合特定任务或领域。本文以客服邮件分类说明数据整理、参数更新、保留测试集与版本部署,区分全量微调、LoRA、监督微调和 RAG,也解释训练成绩变好却实际退步的原因。读完能判断问题是否值得微调,以及如何检查格式一致性、未知类型、数据泄漏和原有能力退化。阅读全文
少样本提示(Few-shot Prompting)是什么:用例子教清楚格式少样本提示(Few-shot Prompting)是什么:用例子讲清楚格式少样本提示是在同一次输入里放入少量示范,让模型按照示例处理新数据;它不等于给模型重新训练。本文用失物招领分类的情境,教你挑选普通案例、边界案例与数据不足案例,避免模型只模仿表面用词。附测试方法、比较表与原创图解,说明何时应增加例子、何时先改分类规则,以及为什么示范数据必须和验证数据分开。阅读全文
直接偏好优化(DPO):用回答比较直接调整模型
AI 名词总索引:从 Loop Engineering 到生成式 AI
觉得这篇整理实用吗?分享给需要的朋友
同主题延伸阅读
生活分享
代理式检索增强生成(Agentic RAG):何时需要再查一次
代理式检索增强生成让模型参与检索决策,根据问题与已找到的证据选择数据来源、改写查询或继续补查。本文采用 LangGraph 文档中的具体流程,以比较场地借用条件示范它和固定式 RAG 的差别,并说明停止条件、权限、查询记录及成本控制。读完能判断任务需要动态探索,还是用可预测的固定流程就足够。
生活分享
图谱检索增强生成(GraphRAG):从关系看懂整批文档
GraphRAG 把实体及其关系纳入检索,帮助回答跨文档的关联与整体主题。本文以 Microsoft 原始论文及官方文档为范围,拆解实体抽取、社区摘要、局部搜索和全局搜索,以地方活动记录示范不同问题需要不同路径。也说明图谱漏连、名称误合并与摘要失真如何影响答案,避免把一张漂亮的关系图误认为已验证的事实。
生活分享
知识图谱(Knowledge Graph):把事物与关系说清楚
知识图谱用实体及关系组织数据,让“谁参与什么、在哪里、何时发生”能沿链接查询。本文以社群活动数据演示实体识别、关系方向、来源与时间,介绍资源描述框架(RDF)和属性图的表示差异,也说明图谱不等于可视化或可信事实。读完能判断数据适不适合建图,并理解它如何与数据表、向量搜索及图谱检索增强生成(GraphRAG)搭配。
生活分享
混合搜索(Hybrid Search):兼顾精确字词与语义
混合搜索将全文搜索与向量等不同检索结果合并,兼顾精确代码和自然语言需求。本文用设备说明书查询拆解候选获取、去重、排名融合和重新排序,介绍倒数排名融合(RRF)如何用名次融合不同搜索结果,也提醒混合不保证全面更准。读完能用代码题、改写题和无答案题检查质量,并辨认权限、筛选与重复内容造成的偏差。
引用本文的文章
资料来源
- Hugging Face TRL:SFT 训练器查证日期:
- Ouyang 等:训练语言模型遵循指令查证日期:
本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。