生活分享

过度拟合(过拟合,Overfitting)是什么:历年真题全对,新题却答错

过度拟合是模型连训练数据里的噪声与特例都学进去:训练时几乎全对,遇到没见过的数据就失准。用示例误差曲线说明训练集、验证集、测试集的分工,对照低度拟合,整理更多数据、正则化、dropout、提前停止等对策,并解读深度网络能记住随机标签的研究,以及基准测试题目泄露造成的“看起来会”。

阅读时间约 8 分钟

LINE 分享
数据点旁有两条线:一条剧烈弯折,穿过每个点,另一条平顺地沿着走势;右端的新点落在平顺线上,离弯折线很远
图片:Mokaair (© Mokaair)
目录
  1. 1. 训练集、验证集、测试集各管一件事
  2. 2. 示例:两条误差曲线从哪里分岔
  3. 3. 低度拟合、刚好、过度拟合怎么分
  4. 4. 常见对策:每一招在做什么
  5. 5. 网络能记住随机答案:Zhang 等人 2017 年的实验
  6. 6. 题目泄露:基准测试上的“看起来会”
  7. 7. 自己训练、微调或读分数时怎么用

过度拟合(overfitting)是的常见失败:模型把训练数据贴得太紧,连噪声和特例都学进去,训练时几乎全对,遇到新数据就答错,像背熟历年真题,换一份试卷就发挥失常。译名不统一:国家教育研究院乐词网在多数领域以及标注为人工智能的词条中使用“过度拟合”,也收录“过拟合”“过度配适”;Google 繁体中文教材多用“过度配适”。这里采用“过度拟合”,相反情况(underfitting)依照乐词网写作“低度拟合”。

以下说明数据怎么划分、曲线怎么看、对策在做什么,再谈网络记住随机标签的研究与基准测试的题目泄露。

训练集、验证集、测试集各管一件事

要知道模型有没有过度拟合,得用它没见过的数据来衡量。Google 机器学习速成课程建议把数据分成三份:训练集用来调整参数;验证集在开发中反复用来比较设置;测试集留到最后确认。每条数据只能属于其中一份。

Goodfellow 等人的《深度学习》第 5 章说得更明确:测试集不能参与任何选择,连超参数也不行,验证集要从训练数据中再划分出来,常见比例约为八成训练、两成验证。

Google 教材也提醒,测试集混入和训练集重复的样本,分数会好得不合理,要先删掉。

示例:两条误差曲线从哪里分岔

示例(数字为编拟,未实际训练):用酒店评论训练分类器,判断旅客会不会再次预订。每训练一轮,记下训练集与验证集的错误率:

  • 第 1 轮:训练误差 30%,验证误差 31%。
  • 第 8 轮:训练误差 8%,验证误差 12%,是验证误差最低点。
  • 第 20 轮:训练误差降到 1%,验证误差却回升到 20%。

前 8 轮两条线一起往下,模型学到较普遍的规律;之后训练误差持续下降,验证误差上升,表示它开始记住个别用词和特例。Google 教材把这种先同步、后分岔的损失曲线视为过度拟合的强烈信号。

Goodfellow 等人的定义是:训练误差降不下来是低度拟合,训练与测试误差差距太大是过度拟合。只看第 20 轮的 1% 会以为模型最好,两条线一起看,第 8 轮附近才较可靠。

示例误差曲线:训练误差一路下降,验证误差在第 8 轮最低后回升,两线差距在第 20 轮最大
示例数字是为教学编拟的设置;验证误差开始回升、两条线分岔的地方,就是过度拟合出现的位置。 · 图片:Mokaair (© Mokaair)
阅读完整文字说明

示例图,数字是为教学编拟的设置,未实际训练。横轴是训练轮数,纵轴是错误率。深绿色的训练误差从第 1 轮的 30% 一路降到第 20 轮的 1%;橙色的验证误差从 31% 降到第 8 轮的 12% 后回升,第 20 轮到 20%。第 8 轮以前两条线一起降,代表模型还在学普遍规律;第 8 轮以后两线分岔,差距越拉越大,就是过度拟合,提前停止会取第 8 轮的版本。右侧说明:一起降是还在学规律,训练降而验证升是过度拟合,两条都高是低度拟合。

低度拟合、刚好、过度拟合怎么分

Google 教材把原因粗分为两类:训练数据不能代表真实数据,或模型太复杂。Goodfellow 等人用“容量”形容模型能拟合多少种函数,容量太高就可能记住对新数据没用的细节。

概念对照,根据 Google 机器学习速成课程、《深度学习》第 5 章与 GSM1k 论文整理;资料截至 2026 年 10 月。
状态训练与验证误差可以先试
低度拟合两者都高,差距小换特征、多训练几轮、降低正则化强度
刚好两者都低,差距小保留这个版本,最后用测试集测一次
过度拟合训练低、验证高,差距大补数据、加强正则化、提前停止
题目泄露公开题分数高,新题明显较低改用未公开的新题重测

常见对策:每一招在做什么

  • 更多数据:Goodfellow 等人认为这是提升泛化(generalization,对新数据的表现)的最佳办法,但数据要有代表性。
  • 数据增强:对现有样本做不改变答案的变换,将其作为新样本,例如把图像平移几个像素。
  • 正则化:训练时同时惩罚模型的复杂度。L2 正则化(又称权重衰减)把权重往 0 推,强度太高会变成低度拟合。
  • dropout(Google 繁体中文术语表译为“丢弃正则化”):训练时每次随机暂时移除一部分单元,让单元无法只依赖特定的其他单元。
  • 提前停止:验证误差不再改善就停,取误差最低那一轮的参数;Google 教材说这种方法很快,但很少是最佳做法。
  • 简化模型:减少特征或缩小模型,降低容量。

dropout 最早见于 Hinton 等人 2012 年的预印本,Srivastava 等人 2014 年的期刊论文再完整说明,目的是减少大型的过度拟合。这些招数都不保证有效,选哪几招、强度多少,仍要看验证误差。

网络能记住随机答案:Zhang 等人 2017 年的实验

Zhang 等人发表于 ICLR 2017 的论文,把 CIFAR10(10 类小图片)与 ImageNet 的标签换成随机标签,再用标准的图像分类网络照常训练:CIFAR10 上训练误差仍降到 0 或接近 0,ImageNet 上训练准确率也有 95.20%,测试则都只剩乱猜的水平;在 CIFAR10 上把图片换成纯噪声也能记住。

论文表 1 的对照:在 CIFAR10 上,同一个网络关闭数据增强与权重衰减,用真实标签时训练准确率 100%、测试准确率 85.75%;用随机标签时训练仍是 100%,测试只有 9.78%,接近 10 类乱猜的 10%。

作者的结论是:这些网络的有效容量足以记住整份训练数据,传统复杂度指标分不出泛化好坏;权重衰减、dropout 等显式正则化可能改善泛化,但既非必要,单靠它也不足以控制训练与测试的差距。

它没说的事也要分清楚:没说大型网络在真实数据上一定过度拟合,同一个网络在新图片上仍有 85.75%;没说正则化没用,也没解开网络为何能泛化。实验只涵盖图像分类,不能直接套到大型语言模型。

所以“模型越大越容易过度拟合”不能当通则。Nakkiran 等人 2019 年在 CIFAR-10、CIFAR-100 图像分类与 IWSLT'14 德英翻译等设置下,观察到测试误差随模型变大先降、再升、又降,即双下降(double descent),高峰在模型刚好能把训练误差压到接近 0 之处;训练标签含噪声时最明显,部分设置里样本变多反而更差。

题目泄露:基准测试上的“看起来会”

Sainz 等人 2023 年的立场论文指出,最严重的数据污染是大型语言模型训练时见过某个基准测试的测试题,之后又用同一个基准评测,成绩因而被高估。测试集能衡量真本事,前提是题目对模型是新的;题目泄露后,分数衡量的可能只是记忆。

没泄露也可能被慢慢“调”进去:Goodfellow 等人写道,同一个测试集被研究界用了多年,评估会偏乐观。

Hugh Zhang 等人 2024 年请人工按照 GSM8K(小学数学应用题基准)的风格与难度,另写 1,205 题,组成发表时不公开的 GSM1k。在他们的设置下,模型准确率最多下降约 8%;模型生成 GSM8K 原题的概率越高,差距大致越大(Spearman r² = 0.36),显示部分模型可能背过原题。但许多模型几乎没有差距,所有模型整体上仍能解新题。

泄露和过度拟合也不是一一对应:有的模型差距大,却不像背过原题,作者推测是用了和基准很像的数据,或用基准分数挑选版本;少量泄露也不一定造成过度拟合。Recht 等人 2019 年为 CIFAR-10 与 ImageNet 重做测试集,他们评估的多种模型准确率分别下降 3% 到 15% 与 11% 到 14%,但他们认为主因是模型对稍难一点的新图片泛化不足,不是测试集被反复使用。新题掉分是警讯,原因要另外查。

自己训练、微调或读分数时怎么用

在已有模型上也是用自己的数据继续训练,同样要先划分出验证集与测试集、删掉重复的样本,验证误差回升就停下比较。

读别人的分数时,先问题目是否公开过、有没有在新题上重测。答案不能证明模型没问题,只能帮你判断分数要打几折。

想查其他术语,可以从AI 术语总索引找起。

觉得这篇整理实用吗?分享给需要的朋友

LINE 分享
  • 生活分享

    代理式检索增强生成(Agentic RAG):何时需要再查一次

    代理式检索增强生成让模型参与检索决策,根据问题与已找到的证据选择数据来源、改写查询或继续补查。本文采用 LangGraph 文档中的具体流程,以比较场地借用条件示范它和固定式 RAG 的差别,并说明停止条件、权限、查询记录及成本控制。读完能判断任务需要动态探索,还是用可预测的固定流程就足够。

  • 生活分享

    图谱检索增强生成(GraphRAG):从关系看懂整批文档

    GraphRAG 把实体及其关系纳入检索,帮助回答跨文档的关联与整体主题。本文以 Microsoft 原始论文及官方文档为范围,拆解实体抽取、社区摘要、局部搜索和全局搜索,以地方活动记录示范不同问题需要不同路径。也说明图谱漏连、名称误合并与摘要失真如何影响答案,避免把一张漂亮的关系图误认为已验证的事实。

  • 生活分享

    知识图谱(Knowledge Graph):把事物与关系说清楚

    知识图谱用实体及关系组织数据,让“谁参与什么、在哪里、何时发生”能沿链接查询。本文以社群活动数据演示实体识别、关系方向、来源与时间,介绍资源描述框架(RDF)和属性图的表示差异,也说明图谱不等于可视化或可信事实。读完能判断数据适不适合建图,并理解它如何与数据表、向量搜索及图谱检索增强生成(GraphRAG)搭配。

  • 生活分享

    混合搜索(Hybrid Search):兼顾精确字词与语义

    混合搜索将全文搜索与向量等不同检索结果合并,兼顾精确代码和自然语言需求。本文用设备说明书查询拆解候选获取、去重、排名融合和重新排序,介绍倒数排名融合(RRF)如何用名次融合不同搜索结果,也提醒混合不保证全面更准。读完能用代码题、改写题和无答案题检查质量,并辨认权限、筛选与重复内容造成的偏差。

资料来源

本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。

生活分享