生活分享
过度拟合(过拟合,Overfitting)是什么:历年真题全对,新题却答错
过度拟合是模型连训练数据里的噪声与特例都学进去:训练时几乎全对,遇到没见过的数据就失准。用示例误差曲线说明训练集、验证集、测试集的分工,对照低度拟合,整理更多数据、正则化、dropout、提前停止等对策,并解读深度网络能记住随机标签的研究,以及基准测试题目泄露造成的“看起来会”。
阅读时间约 8 分钟

目录
过度拟合(overfitting)是机器学习机器学习(Machine Learning)是什么机器学习通过数据调整模型,让它对未见过的输入做出预测或生成内容。本文用早餐店备料预估的例子,说明特征、标签、训练与测试如何配合,辨别监督学习、无监督学习和强化学习,并解释数据泄漏、过拟合与环境变化的影响。读完能看懂模型为何需要保留测试数据,也能用具体问题判断一个看似很准的预测是否值得相信。阅读全文的常见失败:模型把训练数据贴得太紧,连噪声和特例都学进去,训练时几乎全对,遇到新数据就答错,像背熟历年真题,换一份试卷就发挥失常。译名不统一:国家教育研究院乐词网在多数领域以及标注为人工智能的词条中使用“过度拟合”,也收录“过拟合”“过度配适”;Google 繁体中文教材多用“过度配适”。这里采用“过度拟合”,相反情况(underfitting)依照乐词网写作“低度拟合”。
以下说明数据怎么划分、曲线怎么看、对策在做什么,再谈网络记住随机标签的研究与基准测试的题目泄露。
训练集、验证集、测试集各管一件事
要知道模型有没有过度拟合,得用它没见过的数据来衡量。Google 机器学习速成课程建议把数据分成三份:训练集用来调整参数;验证集在开发中反复用来比较设置;测试集留到最后确认。每条数据只能属于其中一份。
Goodfellow 等人的《深度学习》第 5 章说得更明确:测试集不能参与任何选择,连超参数也不行,验证集要从训练数据中再划分出来,常见比例约为八成训练、两成验证。
Google 教材也提醒,测试集混入和训练集重复的样本,分数会好得不合理,要先删掉。
示例:两条误差曲线从哪里分岔
示例(数字为编拟,未实际训练):用酒店评论训练分类器,判断旅客会不会再次预订。每训练一轮,记下训练集与验证集的错误率:
- 第 1 轮:训练误差 30%,验证误差 31%。
- 第 8 轮:训练误差 8%,验证误差 12%,是验证误差最低点。
- 第 20 轮:训练误差降到 1%,验证误差却回升到 20%。
前 8 轮两条线一起往下,模型学到较普遍的规律;之后训练误差持续下降,验证误差上升,表示它开始记住个别用词和特例。Google 教材把这种先同步、后分岔的损失曲线视为过度拟合的强烈信号。
Goodfellow 等人的定义是:训练误差降不下来是低度拟合,训练与测试误差差距太大是过度拟合。只看第 20 轮的 1% 会以为模型最好,两条线一起看,第 8 轮附近才较可靠。
阅读完整文字说明
示例图,数字是为教学编拟的设置,未实际训练。横轴是训练轮数,纵轴是错误率。深绿色的训练误差从第 1 轮的 30% 一路降到第 20 轮的 1%;橙色的验证误差从 31% 降到第 8 轮的 12% 后回升,第 20 轮到 20%。第 8 轮以前两条线一起降,代表模型还在学普遍规律;第 8 轮以后两线分岔,差距越拉越大,就是过度拟合,提前停止会取第 8 轮的版本。右侧说明:一起降是还在学规律,训练降而验证升是过度拟合,两条都高是低度拟合。
低度拟合、刚好、过度拟合怎么分
Google 教材把原因粗分为两类:训练数据不能代表真实数据,或模型太复杂。Goodfellow 等人用“容量”形容模型能拟合多少种函数,容量太高就可能记住对新数据没用的细节。
| 状态 | 训练与验证误差 | 可以先试 |
|---|---|---|
| 低度拟合 | 两者都高,差距小 | 换特征、多训练几轮、降低正则化强度 |
| 刚好 | 两者都低,差距小 | 保留这个版本,最后用测试集测一次 |
| 过度拟合 | 训练低、验证高,差距大 | 补数据、加强正则化、提前停止 |
| 题目泄露 | 公开题分数高,新题明显较低 | 改用未公开的新题重测 |
常见对策:每一招在做什么
- 更多数据:Goodfellow 等人认为这是提升泛化(generalization,对新数据的表现)的最佳办法,但数据要有代表性。
- 数据增强:对现有样本做不改变答案的变换,将其作为新样本,例如把图像平移几个像素。
- 正则化:训练时同时惩罚模型的复杂度。L2 正则化(又称权重衰减)把权重往 0 推,强度太高会变成低度拟合。
- dropout(Google 繁体中文术语表译为“丢弃正则化”):训练时每次随机暂时移除一部分单元,让单元无法只依赖特定的其他单元。
- 提前停止:验证误差不再改善就停,取误差最低那一轮的参数;Google 教材说这种方法很快,但很少是最佳做法。
- 简化模型:减少特征或缩小模型,降低容量。
dropout 最早见于 Hinton 等人 2012 年的预印本,Srivastava 等人 2014 年的期刊论文再完整说明,目的是减少大型神经网络神经网络(Neural Network)是什么:由层与权重组成、能从数据学习的函数神经网络是由多层简单单元组成的函数:单元做加权求和,多半再经过非线性变换,权重由数据调整。用双开关走廊灯的手算示例,说明前向计算、损失、反向传播与梯度下降,区分训练与推理,并厘清参数数量、神经元数量与能力的差别,以及它与深度学习、Transformer 的关系。阅读全文的过度拟合。这些招数都不保证有效,选哪几招、强度多少,仍要看验证误差。
网络能记住随机答案:Zhang 等人 2017 年的实验
Zhang 等人发表于 ICLR 2017 的论文,把 CIFAR10(10 类小图片)与 ImageNet 的标签换成随机标签,再用标准的图像分类网络照常训练:CIFAR10 上训练误差仍降到 0 或接近 0,ImageNet 上训练准确率也有 95.20%,测试则都只剩乱猜的水平;在 CIFAR10 上把图片换成纯噪声也能记住。
论文表 1 的对照:在 CIFAR10 上,同一个网络关闭数据增强与权重衰减,用真实标签时训练准确率 100%、测试准确率 85.75%;用随机标签时训练仍是 100%,测试只有 9.78%,接近 10 类乱猜的 10%。
作者的结论是:这些网络的有效容量足以记住整份训练数据,传统复杂度指标分不出泛化好坏;权重衰减、dropout 等显式正则化可能改善泛化,但既非必要,单靠它也不足以控制训练与测试的差距。
它没说的事也要分清楚:没说大型网络在真实数据上一定过度拟合,同一个网络在新图片上仍有 85.75%;没说正则化没用,也没解开网络为何能泛化。实验只涵盖图像分类,不能直接套到大型语言模型。
所以“模型越大越容易过度拟合”不能当通则。Nakkiran 等人 2019 年在 CIFAR-10、CIFAR-100 图像分类与 IWSLT'14 德英翻译等设置下,观察到测试误差随模型变大先降、再升、又降,即双下降(double descent),高峰在模型刚好能把训练误差压到接近 0 之处;训练标签含噪声时最明显,部分设置里样本变多反而更差。
题目泄露:基准测试上的“看起来会”
Sainz 等人 2023 年的立场论文指出,最严重的数据污染是大型语言模型训练时见过某个基准测试的测试题,之后又用同一个基准评测,成绩因而被高估。测试集能衡量真本事,前提是题目对模型是新的;题目泄露后,分数衡量的可能只是记忆。
没泄露也可能被慢慢“调”进去:Goodfellow 等人写道,同一个测试集被研究界用了多年,评估会偏乐观。
Hugh Zhang 等人 2024 年请人工按照 GSM8K(小学数学应用题基准)的风格与难度,另写 1,205 题,组成发表时不公开的 GSM1k。在他们的设置下,模型准确率最多下降约 8%;模型生成 GSM8K 原题的概率越高,差距大致越大(Spearman r² = 0.36),显示部分模型可能背过原题。但许多模型几乎没有差距,所有模型整体上仍能解新题。
泄露和过度拟合也不是一一对应:有的模型差距大,却不像背过原题,作者推测是用了和基准很像的数据,或用基准分数挑选版本;少量泄露也不一定造成过度拟合。Recht 等人 2019 年为 CIFAR-10 与 ImageNet 重做测试集,他们评估的多种模型准确率分别下降 3% 到 15% 与 11% 到 14%,但他们认为主因是模型对稍难一点的新图片泛化不足,不是测试集被反复使用。新题掉分是警讯,原因要另外查。
自己训练、微调或读分数时怎么用
在已有模型上微调微调(Fine-tuning):让现有模型更适合你的任务微调是在现有模型上继续训练,让它更适合特定任务或领域。本文以客服邮件分类说明数据整理、参数更新、保留测试集与版本部署,区分全量微调、LoRA、监督微调和 RAG,也解释训练成绩变好却实际退步的原因。读完能判断问题是否值得微调,以及如何检查格式一致性、未知类型、数据泄漏和原有能力退化。阅读全文也是用自己的数据继续训练,同样要先划分出验证集与测试集、删掉重复的样本,验证误差回升就停下比较。
读别人的分数时,先问题目是否公开过、有没有在新题上重测。答案不能证明模型没问题,只能帮你判断分数要打几折。
想查其他术语,可以从AI 术语总索引找起。
觉得这篇整理实用吗?分享给需要的朋友
同主题延伸阅读
生活分享
代理式检索增强生成(Agentic RAG):何时需要再查一次
代理式检索增强生成让模型参与检索决策,根据问题与已找到的证据选择数据来源、改写查询或继续补查。本文采用 LangGraph 文档中的具体流程,以比较场地借用条件示范它和固定式 RAG 的差别,并说明停止条件、权限、查询记录及成本控制。读完能判断任务需要动态探索,还是用可预测的固定流程就足够。
生活分享
图谱检索增强生成(GraphRAG):从关系看懂整批文档
GraphRAG 把实体及其关系纳入检索,帮助回答跨文档的关联与整体主题。本文以 Microsoft 原始论文及官方文档为范围,拆解实体抽取、社区摘要、局部搜索和全局搜索,以地方活动记录示范不同问题需要不同路径。也说明图谱漏连、名称误合并与摘要失真如何影响答案,避免把一张漂亮的关系图误认为已验证的事实。
生活分享
知识图谱(Knowledge Graph):把事物与关系说清楚
知识图谱用实体及关系组织数据,让“谁参与什么、在哪里、何时发生”能沿链接查询。本文以社群活动数据演示实体识别、关系方向、来源与时间,介绍资源描述框架(RDF)和属性图的表示差异,也说明图谱不等于可视化或可信事实。读完能判断数据适不适合建图,并理解它如何与数据表、向量搜索及图谱检索增强生成(GraphRAG)搭配。
生活分享
混合搜索(Hybrid Search):兼顾精确字词与语义
混合搜索将全文搜索与向量等不同检索结果合并,兼顾精确代码和自然语言需求。本文用设备说明书查询拆解候选获取、去重、排名融合和重新排序,介绍倒数排名融合(RRF)如何用名次融合不同搜索结果,也提醒混合不保证全面更准。读完能用代码题、改写题和无答案题检查质量,并辨认权限、筛选与重复内容造成的偏差。
资料来源
- Google 机器学习速成课程:过度拟合(过度拟合、低度拟合、泛化曲线)查证日期:
- Google 机器学习速成课程:划分原始数据集(训练、验证、测试集与重复样本)查证日期:
- Google 机器学习速成课程:模型复杂度(模型复杂度与正则化)查证日期:
- Google 机器学习速成课程:L2 正则化(正则化率与提前停止)查证日期:
- Google 机器学习术语表(过度拟合、低度拟合、提前停止、丢弃正则化词条)查证日期:
- Google 机器学习速成课程繁体中文版:过度配适(官方译名对照)查证日期:
- 国家教育研究院乐词网:overfitting 检索结果(过度拟合、过拟合、过度配适)查证日期:
- Goodfellow、Bengio、Courville:《深度学习》第 5 章《机器学习基础》(作者官网全文)查证日期:
- Goodfellow、Bengio、Courville:《深度学习》第 7 章《深度学习中的正则化》(作者官网全文)查证日期:
- Srivastava 等人 2014:Dropout:防止神经网络过度拟合的简单方法(JMLR 15)查证日期:
- Hinton 等人 2012:通过防止特征检测器的共同适应来改进神经网络(arXiv:1207.0580,dropout 最早的预印本)查证日期:
- Zhang 等人 2017:理解深度学习需要重新思考泛化(ICLR 2017,arXiv:1611.03530)查证日期:
- Nakkiran 等人 2019:深度双下降:更大的模型和更多的数据反而有害的情形(arXiv:1912.02292)查证日期:
- Sainz 等人 2023:NLP 评估陷入困境:论衡量每个基准中 LLM 数据污染的必要性(arXiv:2310.18018)查证日期:
- Zhang 等人 2024:仔细审视大型语言模型在小学算术上的表现(GSM1k,arXiv:2405.00332)查证日期:
- Recht 等人 2019:ImageNet 分类器能泛化到 ImageNet 吗?(arXiv:1902.10811)查证日期:
本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。