生活分享
预训练(Pretraining):模型的基础能力从哪里来
预训练是在针对特定任务调整之前,让模型从大量数据中学到可复用表示与规律的阶段。本文用下一个 token 预测和遮住内容再还原的例子说明数据、目标与参数更新,区分预训练、微调和使用时提供上下文,也解释为什么学过文字不等于记得来源或保证事实正确。读完能理解基础模型的能力来源,以及训练数据质量和评估污染的影响。
阅读时间约 7 分钟

预训练,英文 Pretraining,是在针对特定任务调整之前,先让模型从数据中学到可复用规律与表示的训练阶段。在语言模型中,常见做法是预测接下来的 token,或根据上下文还原被遮住的内容。模型通过反复比较预测与目标来更新参数,逐渐形成可用于多种任务的能力,而不是先由人逐条写好所有语言规则。
“预”是相对后续用途而言,不代表这个阶段比较简单或只是热身。它可能占模型构建的大部分工作,数据整理与计算都很重要。本篇以 BERT 原始论文和 Hugging Face 的语言建模文档说明常见训练目标,示例都是简化的教学情境,不把某一个模型的流程当成所有 AI人工智能(Artificial Intelligence)是什么人工智能是涵盖多种技术与应用的总称,不等于聊天机器人,也不一定会生成文字。本文从 OECD 的系统定义出发,以照片分类和社区资源推荐为例,说明输入、推导、输出与人的目标如何关联,梳理它与机器学习、深度学习和生成式 AI 的关系。读完能用具体问题判断一项 AI 功能在做什么,并区分能力、自主程度与可信度。阅读全文 都必经的唯一路径。
模型究竟在练什么
因果语言建模通常利用前文预测下一个 token。例如给出“活动因大雨”,目标可能来自原文接下来的内容。模型不是先拿到完整的人类意图标签,而是从文本序列本身获得预测练习。这类由数据生成目标的方式常称为自监督,并不表示数据完全不需要人工处理,也不表示模型能自主判断哪些文字是真实或值得学习的。
掩码语言建模则把部分内容遮住,让模型从其余上下文预测被遮住的部分。BERT 的原始设计使用这类目标,结合双向上下文学习表示,与只看前文预测后文的方式有所不同。两种例子都能学到语言规律,但架构、目标与适合的下游任务不同,不能看到都叫预训练就假定它们产生相同能力。
数据与参数如何相互影响
训练时,模型先产生预测,损失函数衡量与目标的差距,再由优化程序调整参数。学习率、数据顺序、批次与训练长度会影响更新过程,但普通读者不必记住所有公式,先抓住一件事:预训练会改变模型内部参数。之后只在聊天框贴一份文档,通常是在提供当次上下文,并没有执行同样的参数更新。
数据内容也会影响模型较常接触哪些语言、写法与主题。如果某种台湾口语、罕见专有名词或文档格式在数据中不足,模型可能处理得较不稳定。更多数据并不自动等于更好的数据;重复、噪声与错误内容可能占用训练能力。谈模型的能力来源时,需要把数据分布与训练目标一起看,不能只问参数规模有多大。
阅读完整文字说明
原始文本可转成下一个 token 预测或掩码还原练习,预测差距用于更新参数,形成基础模型
示范:从句子练习到新输入
假设一个教学模型读到许多公告句子,例如“活动因大雨延期”与“报名截止后不再受理”。下一个 token 预测会让它学习在某些上下文后,哪些片段较常出现。之后遇到一段新的公告开头,模型可能生成合理的续文。但如果新活动其实照常举行,它仍可能接出“延期”,因为合理续写不等于知道这场活动的真实决策。
若改用掩码练习,把“报名截止后不再受理”中的某部分遮住,模型要利用前后文还原内容。预期学习成果是更能表示句子的关系,不是背出每份公告的出处。这两个例子刻意使用同一类文字,方便看出训练目标的不同;它们没有实际执行训练,也不能用来推算真实模型的准确率或所需数据量。
再把一份刚修订的公告贴给现有模型,它可以根据上下文回答,但那是推理阶段使用新数据。除非另外启动训练流程,不能说模型因这一轮对话就完成预训练或永久学会所有内容。产品是否把对话收集起来用于后续训练,是另一个数据使用政策问题,也需要与当次模型的计算机制分开理解。
学过不等于可靠记忆库
模型可能记住某些训练内容,也可能只学到概括规律,不能假定每一段文字都能被精准取回。回答一个问题时,生成的语句也不会自动附上对应的训练文档。对需要最新信息或定位来源的任务,外部检索仍很重要;预训练能力与检索能力可以互补,并不是模型越大就越不需要证据。
评估还要避免把测试题混入训练数据。如果模型已看过题目或答案,成绩可能高估它处理新问题的能力。对普通用户而言,可用自己新整理、答案能独立核查的案例观察表现;对训练团队而言,则需要数据去重、划分与版本记录。只报一个高分而不说明评估来源,难以判断能力能否迁移到实际情境。
预训练之后,还能做什么
预训练模型可以再接受领域数据的持续训练,也可用特定任务示范做微调,或进行偏好优化等后训练。不同团队对阶段名称的划分可能不完全一致,重点是实际使用什么数据、优化什么目标,以及哪些参数被更新。把所有后续改进都笼统说成预训练,会掩盖模型能力是在哪里形成的。
选择应用方案时,可以先问缺的是通用语言能力、特定输出行为,还是最新外部知识。前两者可能需要合适的基础模型或微调,最后一项通常需要数据管道。一般组织未必需要从头预训练;直接使用合适的基础模型,再设计检索与评估,常能更快验证需求。是否投入训练,仍应由实际问题与资源决定。
阅读模型介绍时,也别把“预训练数据截至某日”当成它知道那天之前的所有事情。日期最多提供数据时间范围的部分线索,覆盖率、来源质量与模型是否学到都仍不确定。对重要主张,要求可核对的外部来源,比猜测模型当年可能读过什么更实际。
| 方法 | 处理重点 | 需要留意 |
|---|---|---|
| 预训练 | 学习可复用表示与规律 | 会更新模型参数 |
| 微调 | 针对任务或领域调整 | 从现有参数继续训练 |
| 提供上下文 | 当次读取额外数据 | 通常不更新参数 |
微调(Fine-tuning):让现有模型更适合你的任务微调(Fine-tuning):让现有模型更适合你的任务微调是在现有模型上继续训练,让它更适合特定任务或领域。本文以客服邮件分类说明数据整理、参数更新、保留测试集与版本部署,区分全量微调、LoRA、监督微调和 RAG,也解释训练成绩变好却实际退步的原因。读完能判断问题是否值得微调,以及如何检查格式一致性、未知类型、数据泄漏和原有能力退化。阅读全文
模型参数(Model Parameters)是什么模型参数(Model Parameters)是什么模型参数是训练时调整、用来把输入转成输出的数值,例如权重与偏置。本文用简单算式示例说明参数如何影响预测,区分模型参数、训练超参数、提示词与生成设置,并解释参数量、数值精度和激活参数为何是不同指标。读完能更准确地阅读模型规格,理解参数增加不等于知识逐条增加,也不代表每次聊天都在重新训练模型。阅读全文
上下文学习(In-context Learning)是什么:当场适应新规则
AI 名词总索引:从 Loop Engineering 到生成式 AI
觉得这篇整理实用吗?分享给需要的朋友
同主题延伸阅读
生活分享
代理式检索增强生成(Agentic RAG):何时需要再查一次
代理式检索增强生成让模型参与检索决策,根据问题与已找到的证据选择数据来源、改写查询或继续补查。本文采用 LangGraph 文档中的具体流程,以比较场地借用条件示范它和固定式 RAG 的差别,并说明停止条件、权限、查询记录及成本控制。读完能判断任务需要动态探索,还是用可预测的固定流程就足够。
生活分享
图谱检索增强生成(GraphRAG):从关系看懂整批文档
GraphRAG 把实体及其关系纳入检索,帮助回答跨文档的关联与整体主题。本文以 Microsoft 原始论文及官方文档为范围,拆解实体抽取、社区摘要、局部搜索和全局搜索,以地方活动记录示范不同问题需要不同路径。也说明图谱漏连、名称误合并与摘要失真如何影响答案,避免把一张漂亮的关系图误认为已验证的事实。
生活分享
知识图谱(Knowledge Graph):把事物与关系说清楚
知识图谱用实体及关系组织数据,让“谁参与什么、在哪里、何时发生”能沿链接查询。本文以社群活动数据演示实体识别、关系方向、来源与时间,介绍资源描述框架(RDF)和属性图的表示差异,也说明图谱不等于可视化或可信事实。读完能判断数据适不适合建图,并理解它如何与数据表、向量搜索及图谱检索增强生成(GraphRAG)搭配。
生活分享
混合搜索(Hybrid Search):兼顾精确字词与语义
混合搜索将全文搜索与向量等不同检索结果合并,兼顾精确代码和自然语言需求。本文用设备说明书查询拆解候选获取、去重、排名融合和重新排序,介绍倒数排名融合(RRF)如何用名次融合不同搜索结果,也提醒混合不保证全面更准。读完能用代码题、改写题和无答案题检查质量,并辨认权限、筛选与重复内容造成的偏差。
引用本文的文章
资料来源
- Devlin 等:BERT查证日期:
- Hugging Face:因果语言建模查证日期:
本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。