ライフスタイル
過学習(過適合、Overfitting)とは:過去問は全問正解、新しい問題では誤答
過学習とは、モデルが訓練データのノイズや例外まで学んでしまうことです。訓練ではほぼ全問正解でも、未知のデータでは精度が落ちます。誤差曲線の例で訓練・検証・テストセットの役割を説明し、学習不足との違いや、データの追加、正則化、dropout、早期終了などの対策を整理します。深層ネットワークがランダムなラベルを暗記できるという研究や、ベンチマークの問題流出によって「できるように見える」現象も解説します。
読了目安 12 分

目次
過学習(overfitting)は、機械学習機械学習(Machine Learning)とは機械学習はデータを通じてモデルを調整し、未知の入力に対する予測やコンテンツ生成を可能にします。本記事では、朝食店の仕込み量の予測を例に、特徴量、ラベル、訓練、テストがどう連携するかを説明し、教師あり学習、教師なし学習、強化学習を区別したうえで、データ漏洩、過学習、環境変化の影響を解説します。読み終えると、モデルにテストデータの取り分けが必要な理由を理解でき、具体的な問いを通じて、一見精度の高い予測を信頼してよいか判断できます。記事全文を読むでよく起こる失敗です。モデルが訓練データに合わせすぎてノイズや例外まで学び、訓練ではほぼ全問正解でも、新しいデータでは間違えます。過去問を暗記しても、別の試験になると実力を発揮できないようなものです。中国語の訳語は統一されていません。国家教育研究院の樂詞網では、多くの分野と人工知能と明記された項目で「過度擬合」を使い、「過擬合」「過度配適」も収録しています。Google の繁体字中国語教材では主に「過度配適」を使います。本稿の原文では「過度擬合」を採用し、反対の状態である学習不足(underfitting)は、樂詞網に従い「低度擬合」と表記しています。
以下ではデータの分け方、曲線の読み方、対策の働きを説明し、続いてネットワークがランダムなラベルを暗記する研究と、ベンチマークの問題流出を取り上げます。
訓練・検証・テストセットはそれぞれ役割が違う
モデルが過学習しているかを知るには、見たことのないデータで測定する必要があります。Google の機械学習集中講座は、データを三つに分けることを勧めています。訓練セットでパラメータを調整し、検証セットは開発中に繰り返し使って設定を比較し、テストセットは最後の確認用に残します。各データは、いずれか一つのセットだけに属する必要があります。
Goodfellow らの『Deep Learning』第 5 章は、さらに明確に説明しています。テストセットは、ハイパーパラメータも含め、いかなる選択にも使ってはいけません。検証セットは訓練データからさらに切り出し、一般的には約八割を訓練、二割を検証に使います。
Google の教材は、テストセットに訓練セットと重複する例が混ざると、不自然なほど良いスコアになるため、先に削除するよう注意しています。
例:二本の誤差曲線はどこで分かれるか
例として、ホテルのレビューから旅行者が再予約するかを判定する分類器を訓練します。数値は説明用に作成したもので、実際に訓練した結果ではありません。訓練を一巡するたびに、訓練セットと検証セットの誤り率を記録します。
- 1 エポック目:訓練誤差は 30%、検証誤差は 31%。
- 8 エポック目:訓練誤差は 8%、検証誤差は 12% で、検証誤差が最小になります。
- 20 エポック目:訓練誤差は 1% に下がりますが、検証誤差は 20% に上がります。
最初の 8 エポックでは両方の線が下がり、モデルはより一般的な規則性を学んでいます。その後、訓練誤差が下がり続ける一方で検証誤差が上がるのは、個別の言葉遣いや例外を覚え始めたことを示します。Google の教材は、初めは一緒に下がり、その後分かれる損失曲線を、過学習の強い兆候としています。
Goodfellow らの定義では、訓練誤差を十分に下げられない状態が学習不足で、訓練誤差とテスト誤差の差が大きすぎる状態が過学習です。20 エポック目の 1% だけを見るとモデルが最良に思えますが、両方の線を見ると、8 エポック目前後のほうが信頼できます。
詳しい説明を読む
説明用の図。数値は教材用に作成したもので、実際に訓練した結果ではない。横軸は訓練のエポック数、縦軸は誤り率。濃い緑色の訓練誤差は、1 エポック目の 30% から 20 エポック目の 1% まで下がり続ける。オレンジ色の検証誤差は 31% から 8 エポック目の 12% まで下がった後に上昇し、20 エポック目には 20% になる。8 エポック目までは両方の線が下がり、モデルがまだ一般的な規則性を学んでいることを示す。8 エポック目を過ぎると線が分かれ、差が広がっていく。これが過学習で、早期終了では 8 エポック目のバージョンを採用する。右側の説明:両方が下がる間は規則性を学習中、訓練誤差が下がって検証誤差が上がると過学習、両方とも高いと学習不足。
学習不足・適切な学習・過学習の見分け方
Google の教材は、原因を大きく二つに分けています。訓練データが実際のデータを代表していない場合と、モデルが複雑すぎる場合です。Goodfellow らは、モデルがどれほど多様な関数に適合できるかを「容量」と呼びます。容量が大きすぎると、新しいデータには役立たない細部まで覚える可能性があります。
| 状態 | 訓練誤差と検証誤差 | まず試せること |
|---|---|---|
| 学習不足 | 両方とも高く、差は小さい | 特徴量を変える、訓練を数エポック増やす、正則化を弱める |
| 適切な学習 | 両方とも低く、差は小さい | このバージョンを残し、最後にテストセットで一度測定する |
| 過学習 | 訓練誤差は低く、検証誤差は高い。差が大きい | データを追加する、正則化を強める、早期終了する |
| 問題流出 | 公開問題のスコアは高く、新しい問題では明らかに低い | 未公開の新しい問題で再評価する |
よく使われる対策:それぞれ何をするのか
- データの追加:Goodfellow らは、汎化(generalization、新しいデータに対する性能)を高める最良の方法としています。ただし、データには代表性が必要です。
- データ拡張:既存のサンプルに正解を変えない変化を加え、新しいサンプルとして使います。例えば画像を数ピクセル平行移動させます。
- 正則化:訓練時にモデルの複雑さにもペナルティを与えます。L2 正則化(重み減衰とも呼ばれる)は重みを 0 に近づけますが、強すぎると学習不足になります。
- dropout(Google の繁体字中国語用語集では「丟棄正則化」):訓練時に毎回ランダムに一部のユニットを一時的に取り除き、特定のほかのユニットだけに依存できないようにします。
- 早期終了:検証誤差が改善しなくなったら停止し、検証誤差が最小だったエポックのパラメータを使います。Google の教材は、手早い方法ですが、最善の方法であることはまれだとしています。
- モデルの簡素化:特徴量を減らすかモデルを小さくし、容量を下げます。
dropout は Hinton らの 2012 年のプレプリントで初めて示され、Srivastava らの 2014 年の学術誌論文で詳しく説明されました。目的は、大規模なニューラルネットワークニューラルネットワーク(Neural Network)とは:層と重みから成り、データから学習する関数ニューラルネットワークは、単純なユニットを多層に組み合わせた関数です。各ユニットは重み付き和を計算し、多くの場合は非線形変換を加え、重みはデータから調整します。二つのスイッチで廊下の照明を操作する手計算の例で、順伝播、損失、逆伝播、勾配降下法を説明し、学習と推論を区別します。さらに、パラメータ数、ニューロン数、能力の違いと、深層学習や Transformer との関係を整理します。記事全文を読むの過学習を減らすことです。これらの対策は、どれも効果を保証するものではありません。どれを選び、どの程度の強さにするかは、検証誤差を見て判断する必要があります。
ネットワークはランダムな答えも暗記できる:Zhang らの 2017 年の実験
Zhang らが ICLR 2017 で発表した論文では、CIFAR10(10 クラスの小さな画像)と ImageNet のラベルをランダムなものに置き換え、標準的な画像分類ネットワークを通常どおり訓練しました。CIFAR10 の訓練誤差はそれでも 0 またはほぼ 0 になり、ImageNet の訓練正解率も 95.20% に達しましたが、テストではいずれも当てずっぽうの水準でした。CIFAR10 の画像を純粋なノイズに置き換えても暗記できました。
論文の表 1 の比較では、CIFAR10 で同じネットワークのデータ拡張と重み減衰を無効にした場合、正しいラベルでは訓練正解率が 100%、テスト正解率が 85.75% でした。ランダムなラベルでは訓練正解率は同じく 100% でも、テスト正解率は 9.78% にとどまり、10 クラスを当てずっぽうで選ぶ 10% に近い値でした。
著者らの結論は、これらのネットワークの実効容量は訓練データ全体を暗記するのに十分であり、従来の複雑さの指標では汎化の良し悪しを見分けられないというものです。重み減衰や dropout などの明示的な正則化は汎化を改善する可能性がありますが、必須ではなく、それだけで訓練とテストの差を抑えることもできません。
論文が述べていないことも区別する必要があります。大きなネットワークが実際のデータで必ず過学習するとは述べておらず、同じネットワークは新しい画像でも 85.75% の正解率を保っています。正則化が無意味だとも述べておらず、ネットワークが汎化できる理由も解明していません。実験は画像分類に限られ、大規模言語モデルにそのまま当てはめることはできません。
そのため、「モデルが大きいほど過学習しやすい」を一般則にはできません。Nakkiran らは 2019 年、CIFAR-10、CIFAR-100 の画像分類や IWSLT'14 のドイツ語から英語への翻訳などの設定で、モデルを大きくするとテスト誤差が下がり、上がり、再び下がる二重降下(double descent)を観察しました。ピークは、モデルがちょうど訓練誤差をほぼ 0 にできる地点にあります。訓練ラベルにノイズがあるときに最も顕著で、一部の設定ではサンプルを増やすとかえって悪化しました。
問題流出:ベンチマークでの「できるように見える」現象
Sainz らの 2023 年のポジションペーパーは、最も深刻なデータ汚染として、大規模言語モデルが訓練中にあるベンチマークのテスト問題を見た後、同じベンチマークで評価され、成績が過大評価されることを挙げています。テストセットが本当の実力を測れるのは、問題がモデルにとって未知であることが前提です。問題が流出すると、スコアが測っているのは記憶だけかもしれません。
流出がなくても、少しずつテストセットに合わせ込まれる可能性があります。Goodfellow らは、研究コミュニティが同じテストセットを長年使うと、評価が楽観的になると述べています。
Hugh Zhang らは 2024 年、GSM8K(小学校の算数文章題のベンチマーク)の形式と難易度に合わせて、人の手で新たに 1,205 問を作成し、発表時には非公開の GSM1k を用意しました。この実験設定では、モデルの正解率は最大で約 8% 下がりました。モデルが GSM8K の元の問題を生成する確率が高いほど、差もおおむね大きく(Spearman r² = 0.36)、一部のモデルは元の問題を暗記していた可能性があります。ただし、多くのモデルでは差がほぼなく、全体として、すべてのモデルが新しい問題も解けていました。
流出と過学習は一対一で対応するわけでもありません。差が大きくても元の問題を暗記したようには見えないモデルもあり、著者らは、ベンチマークによく似たデータを使ったか、ベンチマークのスコアでバージョンを選んだためではないかと推測しています。少量の流出が必ず過学習を引き起こすわけでもありません。Recht らは 2019 年、CIFAR-10 と ImageNet のテストセットを作り直し、評価した複数のモデルで正解率がそれぞれ 3% から 15%、11% から 14% 下がりました。ただし、主因はテストセットの繰り返し使用ではなく、少し難しい新しい画像にモデルが十分に汎化できないことだとしています。新しい問題でのスコア低下は警告ですが、原因は別途調べる必要があります。
自分で訓練・微調整するときやスコアを読むときの活用法
既存のモデルへのファインチューニングファインチューニング(Fine-tuning):既存のモデルを自分のタスクに合わせるファインチューニングは、既存のモデルに追加学習を行い、特定のタスクや分野に適するようにする手法です。本記事では、カスタマーサポートのメール分類を例に、データ整理、パラメータ更新、テストセットの確保、バージョンのデプロイを解説します。フルファインチューニング、LoRA、教師ありファインチューニング、RAG の違いと、学習成績が良くなっても実際の性能が下がる理由も説明します。読み終えると、ファインチューニングを行う価値がある問題かどうかを判断し、形式の一貫性、未知の種類、データリーク、既存の能力の低下を確認する方法がわかります。記事全文を読むも、自分のデータを使って訓練を続けることです。同じように、先に検証セットとテストセットを切り出して重複する例を削除し、検証誤差が上がり始めたら停止して比較する必要があります。
ほかの人のスコアを読むときは、まず問題が公開済みだったか、新しい問題で再評価したかを確認しましょう。その答えだけでモデルに問題がないとは証明できませんが、スコアをどれだけ割り引いて見るべきかを判断する助けになります。
ほかの用語を調べるには、AI 用語総索引から探してみてください。
この記事が役に立ったら、必要な方にシェアしてください
同じテーマの記事
ライフスタイル
エージェント型検索拡張生成(Agentic RAG):いつ再検索が必要か
エージェント型検索拡張生成では、モデルが検索の判断に関与し、質問とすでに得られた根拠に応じて情報源の選択、クエリの書き換え、追加検索を行います。本記事では LangGraph のドキュメントにある具体的なフローを採用し、会場の利用条件の比較を例に固定型 RAG との違いを示すとともに、停止条件、権限、検索履歴、コスト管理を説明します。読後には、タスクに動的な探索が必要か、予測可能な固定フローで十分かを判断できるようになります。
ライフスタイル
グラフ検索拡張生成(GraphRAG):関係から文書群全体を読み解く
GraphRAG はエンティティとその関係を検索に取り入れ、文書をまたぐ関連性や全体のテーマについての回答を支援します。本記事では Microsoft の原論文と公式ドキュメントを対象に、エンティティ抽出、コミュニティ要約、ローカル検索、グローバル検索を解説し、地域イベントの記録を例に、問いによって異なる経路が必要なことを示します。また、グラフの接続漏れ、名称の誤統合、要約の歪みが回答にどう影響するかを説明し、見栄えのよい関係図を検証済みの事実と取り違えないようにします。
ライフスタイル
ナレッジグラフ(Knowledge Graph):事物と関係を明確にする
ナレッジグラフはエンティティと関係でデータを整理し、「誰が何に参加し、どこで、いつ起きたか」をリンクに沿って検索できるようにします。本記事ではコミュニティイベントのデータを例に、エンティティの識別、関係の方向、出典、時間を説明します。リソース記述フレームワーク(RDF)とプロパティグラフの表現の違いを紹介し、グラフが可視化や信頼できる事実と同じではないことも解説します。読めば、データがグラフ化に適しているかを判断でき、テーブル、ベクトル検索、グラフ検索拡張生成(GraphRAG)との組み合わせ方も理解できます。
ライフスタイル
ハイブリッド検索(Hybrid Search):語句の正確さと意味を両立
ハイブリッド検索は、全文検索やベクトル検索などの異なる検索結果を統合し、正確なコードと自然言語による要求の両方に対応します。本記事では機器の取扱説明書の検索を例に、候補の取得、重複排除、順位融合、再ランキングを解説します。逆数順位融合(RRF)が順位を使って異なる検索結果を統合する仕組みを紹介するとともに、組み合わせればあらゆる面で精度が上がるわけではないことも説明します。コードを含む質問、言い換えた質問、答えのない質問で品質を確認し、権限、フィルター、重複コンテンツによる偏りを見分けられるようになります。
出典
- Google 機械学習集中講座:過学習(過学習・学習不足・汎化曲線)確認日:
- Google 機械学習集中講座:元のデータセットの分割(訓練・検証・テストセットと重複サンプル)確認日:
- Google 機械学習集中講座:モデルの複雑さ(モデルの複雑さと正則化)確認日:
- Google 機械学習集中講座:L2 正則化(正則化率と早期終了)確認日:
- Google 機械学習用語集(過学習、学習不足、早期終了、ドロップアウト正則化の項目)確認日:
- Google 機械学習集中講座・繁体字中国語版:過学習(公式訳語「過度配適」との対照)確認日:
- 国家教育研究院・樂詞網:overfitting の検索結果(訳語「過度擬合」「過擬合」「過度配適」)確認日:
- Goodfellow、Bengio、Courville:『Deep Learning』第 5 章「機械学習の基礎」(著者公式サイトの全文)確認日:
- Goodfellow、Bengio、Courville:『Deep Learning』第 7 章「深層学習の正則化」(著者公式サイトの全文)確認日:
- Srivastava ら 2014:ドロップアウト:ニューラルネットワークの過学習を防ぐ簡単な方法(JMLR 15)確認日:
- Hinton ら 2012:特徴検出器の共適応を防ぐことによるニューラルネットワークの改善(arXiv:1207.0580、dropout の最初のプレプリント)確認日:
- Zhang ら 2017:深層学習を理解するには汎化を考え直す必要がある(ICLR 2017、arXiv:1611.03530)確認日:
- Nakkiran ら 2019:深層学習の二重降下:大きなモデルと多いデータが逆効果になるとき(arXiv:1912.02292)確認日:
- Sainz ら 2023:危機にある NLP 評価:ベンチマークごとに LLM のデータ汚染を測定する必要性(arXiv:2310.18018)確認日:
- Zhang ら 2024:小学校算数における大規模言語モデルの性能の慎重な検証(GSM1k、arXiv:2405.00332)確認日:
- Recht ら 2019:ImageNet 分類器は ImageNet に汎化するか?(arXiv:1902.10811)確認日:
上記の参考資料および記載の確認日時点の情報をもとに整理しています。料金・時刻・機能・利用規約は変更される場合があるため、ご旅行や予約・購入の前には該当する公式サイトで最新情報をご確認ください。