生活分享

预训练(Pretraining):模型的基础能力从哪里来

预训练是在针对特定任务调整之前,让模型从大量数据中学到可复用表示与规律的阶段。本文用下一个 token 预测和遮住内容再还原的例子说明数据、目标与参数更新,区分预训练、微调和使用时提供上下文,也解释为什么学过文字不等于记得来源或保证事实正确。读完能理解基础模型的能力来源,以及训练数据质量和评估污染的影响。

阅读时间约 7 分钟

LINE 分享
多份不同文本数据进入模型节点网络,形成可复用的基础表示
图片:Mokaair (© Mokaair)
目录
  1. 1. 模型究竟在练什么
  2. 2. 数据与参数如何相互影响
  3. 3. 示范:从句子练习到新输入
  4. 4. 学过不等于可靠记忆库
  5. 5. 预训练之后,还能做什么

预训练,英文 Pretraining,是在针对特定任务调整之前,先让模型从数据中学到可复用规律与表示的训练阶段。在语言模型中,常见做法是预测接下来的 token,或根据上下文还原被遮住的内容。模型通过反复比较预测与目标来更新参数,逐渐形成可用于多种任务的能力,而不是先由人逐条写好所有语言规则。

“预”是相对后续用途而言,不代表这个阶段比较简单或只是热身。它可能占模型构建的大部分工作,数据整理与计算都很重要。本篇以 BERT 原始论文和 Hugging Face 的语言建模文档说明常见训练目标,示例都是简化的教学情境,不把某一个模型的流程当成所有 都必经的唯一路径。

模型究竟在练什么

因果语言建模通常利用前文预测下一个 token。例如给出“活动因大雨”,目标可能来自原文接下来的内容。模型不是先拿到完整的人类意图标签,而是从文本序列本身获得预测练习。这类由数据生成目标的方式常称为自监督,并不表示数据完全不需要人工处理,也不表示模型能自主判断哪些文字是真实或值得学习的。

掩码语言建模则把部分内容遮住,让模型从其余上下文预测被遮住的部分。BERT 的原始设计使用这类目标,结合双向上下文学习表示,与只看前文预测后文的方式有所不同。两种例子都能学到语言规律,但架构、目标与适合的下游任务不同,不能看到都叫预训练就假定它们产生相同能力。

数据与参数如何相互影响

训练时,模型先产生预测,损失函数衡量与目标的差距,再由优化程序调整参数。学习率、数据顺序、批次与训练长度会影响更新过程,但普通读者不必记住所有公式,先抓住一件事:预训练会改变模型内部参数。之后只在聊天框贴一份文档,通常是在提供当次上下文,并没有执行同样的参数更新。

数据内容也会影响模型较常接触哪些语言、写法与主题。如果某种台湾口语、罕见专有名词或文档格式在数据中不足,模型可能处理得较不稳定。更多数据并不自动等于更好的数据;重复、噪声与错误内容可能占用训练能力。谈模型的能力来源时,需要把数据分布与训练目标一起看,不能只问参数规模有多大。

原始文本可转成下一个 token 预测或掩码还原练习,预测差距用于更新参数,形成基础模型
不同预训练目标不应混成单一固定流程。 · 图片:Mokaair (© Mokaair)
阅读完整文字说明

原始文本可转成下一个 token 预测或掩码还原练习,预测差距用于更新参数,形成基础模型

示范:从句子练习到新输入

假设一个教学模型读到许多公告句子,例如“活动因大雨延期”与“报名截止后不再受理”。下一个 token 预测会让它学习在某些上下文后,哪些片段较常出现。之后遇到一段新的公告开头,模型可能生成合理的续文。但如果新活动其实照常举行,它仍可能接出“延期”,因为合理续写不等于知道这场活动的真实决策。

若改用掩码练习,把“报名截止后不再受理”中的某部分遮住,模型要利用前后文还原内容。预期学习成果是更能表示句子的关系,不是背出每份公告的出处。这两个例子刻意使用同一类文字,方便看出训练目标的不同;它们没有实际执行训练,也不能用来推算真实模型的准确率或所需数据量。

再把一份刚修订的公告贴给现有模型,它可以根据上下文回答,但那是推理阶段使用新数据。除非另外启动训练流程,不能说模型因这一轮对话就完成预训练或永久学会所有内容。产品是否把对话收集起来用于后续训练,是另一个数据使用政策问题,也需要与当次模型的计算机制分开理解。

学过不等于可靠记忆库

模型可能记住某些训练内容,也可能只学到概括规律,不能假定每一段文字都能被精准取回。回答一个问题时,生成的语句也不会自动附上对应的训练文档。对需要最新信息或定位来源的任务,外部检索仍很重要;预训练能力与检索能力可以互补,并不是模型越大就越不需要证据。

评估还要避免把测试题混入训练数据。如果模型已看过题目或答案,成绩可能高估它处理新问题的能力。对普通用户而言,可用自己新整理、答案能独立核查的案例观察表现;对训练团队而言,则需要数据去重、划分与版本记录。只报一个高分而不说明评估来源,难以判断能力能否迁移到实际情境。

预训练之后,还能做什么

预训练模型可以再接受领域数据的持续训练,也可用特定任务示范做微调,或进行偏好优化等后训练。不同团队对阶段名称的划分可能不完全一致,重点是实际使用什么数据、优化什么目标,以及哪些参数被更新。把所有后续改进都笼统说成预训练,会掩盖模型能力是在哪里形成的。

选择应用方案时,可以先问缺的是通用语言能力、特定输出行为,还是最新外部知识。前两者可能需要合适的基础模型或微调,最后一项通常需要数据管道。一般组织未必需要从头预训练;直接使用合适的基础模型,再设计检索与评估,常能更快验证需求。是否投入训练,仍应由实际问题与资源决定。

阅读模型介绍时,也别把“预训练数据截至某日”当成它知道那天之前的所有事情。日期最多提供数据时间范围的部分线索,覆盖率、来源质量与模型是否学到都仍不确定。对重要主张,要求可核对的外部来源,比猜测模型当年可能读过什么更实际。

概念对照;来源核查于 2026 年 9 月。
方法处理重点需要留意
预训练学习可复用表示与规律会更新模型参数
微调针对任务或领域调整从现有参数继续训练
提供上下文当次读取额外数据通常不更新参数

上下文学习(In-context Learning)是什么:当场适应新规则

AI 名词总索引:从 Loop Engineering 到生成式 AI

觉得这篇整理实用吗?分享给需要的朋友

LINE 分享
  • 生活分享

    代理式检索增强生成(Agentic RAG):何时需要再查一次

    代理式检索增强生成让模型参与检索决策,根据问题与已找到的证据选择数据来源、改写查询或继续补查。本文采用 LangGraph 文档中的具体流程,以比较场地借用条件示范它和固定式 RAG 的差别,并说明停止条件、权限、查询记录及成本控制。读完能判断任务需要动态探索,还是用可预测的固定流程就足够。

  • 生活分享

    图谱检索增强生成(GraphRAG):从关系看懂整批文档

    GraphRAG 把实体及其关系纳入检索,帮助回答跨文档的关联与整体主题。本文以 Microsoft 原始论文及官方文档为范围,拆解实体抽取、社区摘要、局部搜索和全局搜索,以地方活动记录示范不同问题需要不同路径。也说明图谱漏连、名称误合并与摘要失真如何影响答案,避免把一张漂亮的关系图误认为已验证的事实。

  • 生活分享

    知识图谱(Knowledge Graph):把事物与关系说清楚

    知识图谱用实体及关系组织数据,让“谁参与什么、在哪里、何时发生”能沿链接查询。本文以社群活动数据演示实体识别、关系方向、来源与时间,介绍资源描述框架(RDF)和属性图的表示差异,也说明图谱不等于可视化或可信事实。读完能判断数据适不适合建图,并理解它如何与数据表、向量搜索及图谱检索增强生成(GraphRAG)搭配。

  • 生活分享

    混合搜索(Hybrid Search):兼顾精确字词与语义

    混合搜索将全文搜索与向量等不同检索结果合并,兼顾精确代码和自然语言需求。本文用设备说明书查询拆解候选获取、去重、排名融合和重新排序,介绍倒数排名融合(RRF)如何用名次融合不同搜索结果,也提醒混合不保证全面更准。读完能用代码题、改写题和无答案题检查质量,并辨认权限、筛选与重复内容造成的偏差。

资料来源

本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。

生活分享