ライフスタイル

過学習(過適合、Overfitting)とは:過去問は全問正解、新しい問題では誤答

過学習とは、モデルが訓練データのノイズや例外まで学んでしまうことです。訓練ではほぼ全問正解でも、未知のデータでは精度が落ちます。誤差曲線の例で訓練・検証・テストセットの役割を説明し、学習不足との違いや、データの追加、正則化、dropout、早期終了などの対策を整理します。深層ネットワークがランダムなラベルを暗記できるという研究や、ベンチマークの問題流出によって「できるように見える」現象も解説します。

読了目安 12 分

LINEで送る
データ点のそばに二本の線。一方は激しく折れ曲がって全点を通り、もう一方は全体の傾向に沿って滑らかに伸びる。右端の新しい点は滑らかな線上にあり、折れ曲がる線からは遠い
画像:Mokaair (© Mokaair)
目次
  1. 1. 訓練・検証・テストセットはそれぞれ役割が違う
  2. 2. 例:二本の誤差曲線はどこで分かれるか
  3. 3. 学習不足・適切な学習・過学習の見分け方
  4. 4. よく使われる対策:それぞれ何をするのか
  5. 5. ネットワークはランダムな答えも暗記できる:Zhang らの 2017 年の実験
  6. 6. 問題流出:ベンチマークでの「できるように見える」現象
  7. 7. 自分で訓練・微調整するときやスコアを読むときの活用法

過学習(overfitting)は、でよく起こる失敗です。モデルが訓練データに合わせすぎてノイズや例外まで学び、訓練ではほぼ全問正解でも、新しいデータでは間違えます。過去問を暗記しても、別の試験になると実力を発揮できないようなものです。中国語の訳語は統一されていません。国家教育研究院の樂詞網では、多くの分野と人工知能と明記された項目で「過度擬合」を使い、「過擬合」「過度配適」も収録しています。Google の繁体字中国語教材では主に「過度配適」を使います。本稿の原文では「過度擬合」を採用し、反対の状態である学習不足(underfitting)は、樂詞網に従い「低度擬合」と表記しています。

以下ではデータの分け方、曲線の読み方、対策の働きを説明し、続いてネットワークがランダムなラベルを暗記する研究と、ベンチマークの問題流出を取り上げます。

訓練・検証・テストセットはそれぞれ役割が違う

モデルが過学習しているかを知るには、見たことのないデータで測定する必要があります。Google の機械学習集中講座は、データを三つに分けることを勧めています。訓練セットでパラメータを調整し、検証セットは開発中に繰り返し使って設定を比較し、テストセットは最後の確認用に残します。各データは、いずれか一つのセットだけに属する必要があります。

Goodfellow らの『Deep Learning』第 5 章は、さらに明確に説明しています。テストセットは、ハイパーパラメータも含め、いかなる選択にも使ってはいけません。検証セットは訓練データからさらに切り出し、一般的には約八割を訓練、二割を検証に使います。

Google の教材は、テストセットに訓練セットと重複する例が混ざると、不自然なほど良いスコアになるため、先に削除するよう注意しています。

例:二本の誤差曲線はどこで分かれるか

例として、ホテルのレビューから旅行者が再予約するかを判定する分類器を訓練します。数値は説明用に作成したもので、実際に訓練した結果ではありません。訓練を一巡するたびに、訓練セットと検証セットの誤り率を記録します。

  • 1 エポック目:訓練誤差は 30%、検証誤差は 31%。
  • 8 エポック目:訓練誤差は 8%、検証誤差は 12% で、検証誤差が最小になります。
  • 20 エポック目:訓練誤差は 1% に下がりますが、検証誤差は 20% に上がります。

最初の 8 エポックでは両方の線が下がり、モデルはより一般的な規則性を学んでいます。その後、訓練誤差が下がり続ける一方で検証誤差が上がるのは、個別の言葉遣いや例外を覚え始めたことを示します。Google の教材は、初めは一緒に下がり、その後分かれる損失曲線を、過学習の強い兆候としています。

Goodfellow らの定義では、訓練誤差を十分に下げられない状態が学習不足で、訓練誤差とテスト誤差の差が大きすぎる状態が過学習です。20 エポック目の 1% だけを見るとモデルが最良に思えますが、両方の線を見ると、8 エポック目前後のほうが信頼できます。

誤差曲線の例:訓練誤差は下がり続け、検証誤差は 8 エポック目に最小となった後で上昇する。両者の差は 20 エポック目に最大となる
数値は教材用に作成した例です。検証誤差が上がり始め、二本の線が分かれるところが、過学習の現れる地点です。 · 画像:Mokaair (© Mokaair)
詳しい説明を読む

説明用の図。数値は教材用に作成したもので、実際に訓練した結果ではない。横軸は訓練のエポック数、縦軸は誤り率。濃い緑色の訓練誤差は、1 エポック目の 30% から 20 エポック目の 1% まで下がり続ける。オレンジ色の検証誤差は 31% から 8 エポック目の 12% まで下がった後に上昇し、20 エポック目には 20% になる。8 エポック目までは両方の線が下がり、モデルがまだ一般的な規則性を学んでいることを示す。8 エポック目を過ぎると線が分かれ、差が広がっていく。これが過学習で、早期終了では 8 エポック目のバージョンを採用する。右側の説明:両方が下がる間は規則性を学習中、訓練誤差が下がって検証誤差が上がると過学習、両方とも高いと学習不足。

学習不足・適切な学習・過学習の見分け方

Google の教材は、原因を大きく二つに分けています。訓練データが実際のデータを代表していない場合と、モデルが複雑すぎる場合です。Goodfellow らは、モデルがどれほど多様な関数に適合できるかを「容量」と呼びます。容量が大きすぎると、新しいデータには役立たない細部まで覚える可能性があります。

Google 機械学習集中講座、『Deep Learning』第 5 章、GSM1k 論文に基づく概念比較。情報は 2026 年 10 月時点。
状態訓練誤差と検証誤差まず試せること
学習不足両方とも高く、差は小さい特徴量を変える、訓練を数エポック増やす、正則化を弱める
適切な学習両方とも低く、差は小さいこのバージョンを残し、最後にテストセットで一度測定する
過学習訓練誤差は低く、検証誤差は高い。差が大きいデータを追加する、正則化を強める、早期終了する
問題流出公開問題のスコアは高く、新しい問題では明らかに低い未公開の新しい問題で再評価する

よく使われる対策:それぞれ何をするのか

  • データの追加:Goodfellow らは、汎化(generalization、新しいデータに対する性能)を高める最良の方法としています。ただし、データには代表性が必要です。
  • データ拡張:既存のサンプルに正解を変えない変化を加え、新しいサンプルとして使います。例えば画像を数ピクセル平行移動させます。
  • 正則化:訓練時にモデルの複雑さにもペナルティを与えます。L2 正則化(重み減衰とも呼ばれる)は重みを 0 に近づけますが、強すぎると学習不足になります。
  • dropout(Google の繁体字中国語用語集では「丟棄正則化」):訓練時に毎回ランダムに一部のユニットを一時的に取り除き、特定のほかのユニットだけに依存できないようにします。
  • 早期終了:検証誤差が改善しなくなったら停止し、検証誤差が最小だったエポックのパラメータを使います。Google の教材は、手早い方法ですが、最善の方法であることはまれだとしています。
  • モデルの簡素化:特徴量を減らすかモデルを小さくし、容量を下げます。

dropout は Hinton らの 2012 年のプレプリントで初めて示され、Srivastava らの 2014 年の学術誌論文で詳しく説明されました。目的は、大規模なの過学習を減らすことです。これらの対策は、どれも効果を保証するものではありません。どれを選び、どの程度の強さにするかは、検証誤差を見て判断する必要があります。

ネットワークはランダムな答えも暗記できる:Zhang らの 2017 年の実験

Zhang らが ICLR 2017 で発表した論文では、CIFAR10(10 クラスの小さな画像)と ImageNet のラベルをランダムなものに置き換え、標準的な画像分類ネットワークを通常どおり訓練しました。CIFAR10 の訓練誤差はそれでも 0 またはほぼ 0 になり、ImageNet の訓練正解率も 95.20% に達しましたが、テストではいずれも当てずっぽうの水準でした。CIFAR10 の画像を純粋なノイズに置き換えても暗記できました。

論文の表 1 の比較では、CIFAR10 で同じネットワークのデータ拡張と重み減衰を無効にした場合、正しいラベルでは訓練正解率が 100%、テスト正解率が 85.75% でした。ランダムなラベルでは訓練正解率は同じく 100% でも、テスト正解率は 9.78% にとどまり、10 クラスを当てずっぽうで選ぶ 10% に近い値でした。

著者らの結論は、これらのネットワークの実効容量は訓練データ全体を暗記するのに十分であり、従来の複雑さの指標では汎化の良し悪しを見分けられないというものです。重み減衰や dropout などの明示的な正則化は汎化を改善する可能性がありますが、必須ではなく、それだけで訓練とテストの差を抑えることもできません。

論文が述べていないことも区別する必要があります。大きなネットワークが実際のデータで必ず過学習するとは述べておらず、同じネットワークは新しい画像でも 85.75% の正解率を保っています。正則化が無意味だとも述べておらず、ネットワークが汎化できる理由も解明していません。実験は画像分類に限られ、大規模言語モデルにそのまま当てはめることはできません。

そのため、「モデルが大きいほど過学習しやすい」を一般則にはできません。Nakkiran らは 2019 年、CIFAR-10、CIFAR-100 の画像分類や IWSLT'14 のドイツ語から英語への翻訳などの設定で、モデルを大きくするとテスト誤差が下がり、上がり、再び下がる二重降下(double descent)を観察しました。ピークは、モデルがちょうど訓練誤差をほぼ 0 にできる地点にあります。訓練ラベルにノイズがあるときに最も顕著で、一部の設定ではサンプルを増やすとかえって悪化しました。

問題流出:ベンチマークでの「できるように見える」現象

Sainz らの 2023 年のポジションペーパーは、最も深刻なデータ汚染として、大規模言語モデルが訓練中にあるベンチマークのテスト問題を見た後、同じベンチマークで評価され、成績が過大評価されることを挙げています。テストセットが本当の実力を測れるのは、問題がモデルにとって未知であることが前提です。問題が流出すると、スコアが測っているのは記憶だけかもしれません。

流出がなくても、少しずつテストセットに合わせ込まれる可能性があります。Goodfellow らは、研究コミュニティが同じテストセットを長年使うと、評価が楽観的になると述べています。

Hugh Zhang らは 2024 年、GSM8K(小学校の算数文章題のベンチマーク)の形式と難易度に合わせて、人の手で新たに 1,205 問を作成し、発表時には非公開の GSM1k を用意しました。この実験設定では、モデルの正解率は最大で約 8% 下がりました。モデルが GSM8K の元の問題を生成する確率が高いほど、差もおおむね大きく(Spearman r² = 0.36)、一部のモデルは元の問題を暗記していた可能性があります。ただし、多くのモデルでは差がほぼなく、全体として、すべてのモデルが新しい問題も解けていました。

流出と過学習は一対一で対応するわけでもありません。差が大きくても元の問題を暗記したようには見えないモデルもあり、著者らは、ベンチマークによく似たデータを使ったか、ベンチマークのスコアでバージョンを選んだためではないかと推測しています。少量の流出が必ず過学習を引き起こすわけでもありません。Recht らは 2019 年、CIFAR-10 と ImageNet のテストセットを作り直し、評価した複数のモデルで正解率がそれぞれ 3% から 15%、11% から 14% 下がりました。ただし、主因はテストセットの繰り返し使用ではなく、少し難しい新しい画像にモデルが十分に汎化できないことだとしています。新しい問題でのスコア低下は警告ですが、原因は別途調べる必要があります。

自分で訓練・微調整するときやスコアを読むときの活用法

既存のモデルへのも、自分のデータを使って訓練を続けることです。同じように、先に検証セットとテストセットを切り出して重複する例を削除し、検証誤差が上がり始めたら停止して比較する必要があります。

ほかの人のスコアを読むときは、まず問題が公開済みだったか、新しい問題で再評価したかを確認しましょう。その答えだけでモデルに問題がないとは証明できませんが、スコアをどれだけ割り引いて見るべきかを判断する助けになります。

ほかの用語を調べるには、AI 用語総索引から探してみてください。

この記事が役に立ったら、必要な方にシェアしてください

LINEで送る
  • ライフスタイル

    エージェント型検索拡張生成(Agentic RAG):いつ再検索が必要か

    エージェント型検索拡張生成では、モデルが検索の判断に関与し、質問とすでに得られた根拠に応じて情報源の選択、クエリの書き換え、追加検索を行います。本記事では LangGraph のドキュメントにある具体的なフローを採用し、会場の利用条件の比較を例に固定型 RAG との違いを示すとともに、停止条件、権限、検索履歴、コスト管理を説明します。読後には、タスクに動的な探索が必要か、予測可能な固定フローで十分かを判断できるようになります。

  • ライフスタイル

    グラフ検索拡張生成(GraphRAG):関係から文書群全体を読み解く

    GraphRAG はエンティティとその関係を検索に取り入れ、文書をまたぐ関連性や全体のテーマについての回答を支援します。本記事では Microsoft の原論文と公式ドキュメントを対象に、エンティティ抽出、コミュニティ要約、ローカル検索、グローバル検索を解説し、地域イベントの記録を例に、問いによって異なる経路が必要なことを示します。また、グラフの接続漏れ、名称の誤統合、要約の歪みが回答にどう影響するかを説明し、見栄えのよい関係図を検証済みの事実と取り違えないようにします。

  • ライフスタイル

    ナレッジグラフ(Knowledge Graph):事物と関係を明確にする

    ナレッジグラフはエンティティと関係でデータを整理し、「誰が何に参加し、どこで、いつ起きたか」をリンクに沿って検索できるようにします。本記事ではコミュニティイベントのデータを例に、エンティティの識別、関係の方向、出典、時間を説明します。リソース記述フレームワーク(RDF)とプロパティグラフの表現の違いを紹介し、グラフが可視化や信頼できる事実と同じではないことも解説します。読めば、データがグラフ化に適しているかを判断でき、テーブル、ベクトル検索、グラフ検索拡張生成(GraphRAG)との組み合わせ方も理解できます。

  • ライフスタイル

    ハイブリッド検索(Hybrid Search):語句の正確さと意味を両立

    ハイブリッド検索は、全文検索やベクトル検索などの異なる検索結果を統合し、正確なコードと自然言語による要求の両方に対応します。本記事では機器の取扱説明書の検索を例に、候補の取得、重複排除、順位融合、再ランキングを解説します。逆数順位融合(RRF)が順位を使って異なる検索結果を統合する仕組みを紹介するとともに、組み合わせればあらゆる面で精度が上がるわけではないことも説明します。コードを含む質問、言い換えた質問、答えのない質問で品質を確認し、権限、フィルター、重複コンテンツによる偏りを見分けられるようになります。

出典

上記の参考資料および記載の確認日時点の情報をもとに整理しています。料金・時刻・機能・利用規約は変更される場合があるため、ご旅行や予約・購入の前には該当する公式サイトで最新情報をご確認ください。

ライフスタイル