라이프스타일

과적합(과잉 적합, Overfitting)이란: 기출문제는 다 맞히지만 새 문제는 틀린다

과적합은 모델이 학습 데이터의 잡음과 예외까지 학습하는 현상이다. 학습할 때는 거의 다 맞히지만 처음 보는 데이터에서는 정확도가 떨어진다. 예시 오차 곡선으로 학습·검증·테스트 세트의 역할을 설명하고 과소적합과 비교하며, 데이터 추가, 정규화, dropout, 조기 종료 등의 대책을 정리한다. 심층 신경망이 무작위 레이블까지 외운다는 연구와 벤치마크 문제 유출로 인한 ‘잘하는 듯한 모습’도 살펴본다.

읽는 데 약 11분

LINE 공유
데이터 점 옆에 두 선이 있다. 하나는 심하게 꺾이며 모든 점을 지나고, 다른 하나는 전체 추세를 매끄럽게 따른다. 오른쪽의 새 점은 매끄러운 선 위에 있으며 꺾인 선과는 멀리 떨어져 있다.
사진: Mokaair (© Mokaair)
목차
  1. 1. 학습·검증·테스트 세트는 각각 역할이 다르다
  2. 2. 예시: 두 오차 곡선은 어디서 갈라질까
  3. 3. 과소적합·적정 적합·과적합을 구분하는 법
  4. 4. 흔한 대책: 각 방법은 어떤 역할을 할까
  5. 5. 신경망은 무작위 정답도 외운다: Zhang 등의 2017년 실험
  6. 6. 문제 유출: 벤치마크에서 ‘잘하는 듯한 모습’
  7. 7. 직접 학습·미세 조정하거나 점수를 읽을 때 활용하는 법

과적합(overfitting)은 에서 흔히 나타나는 실패다. 모델이 학습 데이터에 지나치게 맞춰져 잡음과 예외까지 학습하면, 학습할 때는 거의 다 맞히지만 새 데이터에서는 틀린다. 기출문제를 외워 두었다가 시험지가 바뀌면 실력을 발휘하지 못하는 것과 같다. 중국어 번역 명칭은 통일되어 있지 않다. 국가교육연구원 러츠왕은 대부분의 분야와 인공지능으로 표시된 항목에서 ‘過度擬合’을 쓰며, ‘過擬合’과 ‘過度配適’도 수록한다. Google 번체 중국어 교재는 주로 ‘過度配適’을 쓴다. 이 글의 중국어 원문에서는 ‘過度擬合’을 쓰며, 반대 상황인 과소적합(underfitting)은 러츠왕에 따라 ‘低度擬合’으로 표기한다.

아래에서는 데이터를 나누는 방법, 곡선을 읽는 방법, 각 대책의 역할을 설명한 뒤, 신경망이 무작위 레이블을 외운다는 연구와 벤치마크 문제 유출을 살펴본다.

학습·검증·테스트 세트는 각각 역할이 다르다

모델이 과적합되었는지 알려면 모델이 보지 못한 데이터로 측정해야 한다. Google 머신러닝 단기집중과정은 데이터를 세 부분으로 나누도록 권한다. 학습 세트는 매개변수를 조정하는 데 쓰고, 검증 세트는 개발 과정에서 설정을 비교하는 데 반복해서 쓰며, 테스트 세트는 마지막 확인을 위해 남겨 둔다. 각 데이터는 이 중 하나에만 속해야 한다.

Goodfellow 등의 《Deep Learning》 제 5 장은 더 명확하게 설명한다. 테스트 세트는 하이퍼파라미터를 포함한 어떤 선택에도 관여해서는 안 되며, 검증 세트는 학습 데이터에서 따로 나눠야 한다. 보통 열에 여덟은 학습용, 둘은 검증용으로 나눈다.

Google 교재도 테스트 세트에 학습 세트와 중복되는 예제가 섞이면 점수가 비정상적으로 좋아지므로 먼저 삭제해야 한다고 강조한다.

예시: 두 오차 곡선은 어디서 갈라질까

예시(수치는 설명을 위해 만든 것으로 실제 학습 결과가 아님): 호텔 리뷰로 분류기를 학습시켜 여행객의 재예약 여부를 판단한다. 학습을 한 회차 마칠 때마다 학습 세트와 검증 세트의 오류율을 기록한다.

  • 1회차: 학습 오차 30%, 검증 오차 31%.
  • 8회차: 학습 오차 8%, 검증 오차 12%로, 검증 오차가 가장 낮다.
  • 20회차: 학습 오차는 1%로 내려가지만 검증 오차는 20%로 다시 올라간다.

처음 8회차까지 두 선이 함께 내려가는 동안 모델은 더 일반적인 규칙을 학습한다. 이후 학습 오차는 계속 줄지만 검증 오차는 커진다면 개별 표현과 예외를 외우기 시작했다는 뜻이다. Google 교재는 이처럼 처음에는 함께 움직이다가 나중에 갈라지는 손실 곡선을 과적합의 강력한 신호로 본다.

Goodfellow 등의 정의에 따르면, 학습 오차를 낮추지 못하는 것은 과소적합이고 학습 오차와 테스트 오차의 차이가 너무 큰 것은 과적합이다. 20회차의 1%만 보면 모델이 가장 좋다고 생각하기 쉽지만, 두 선을 함께 보면 8회차 부근이 더 믿을 만하다.

예시 오차 곡선: 학습 오차는 계속 내려가고 검증 오차는 8회차에 최저점을 찍은 뒤 다시 올라가며, 두 선의 차이는 20회차에 가장 크다.
예시 수치는 교육용으로 만든 설정이다. 검증 오차가 다시 커지면서 두 선이 갈라지는 지점이 과적합이 나타나는 곳이다. · 사진: Mokaair (© Mokaair)
자세한 설명 보기

예시 그림으로, 수치는 교육용으로 만든 설정이며 실제 학습 결과가 아니다. 가로축은 학습 회차, 세로축은 오류율이다. 짙은 녹색 학습 오차는 1회차의 30%에서 20회차의 1%까지 계속 내려간다. 주황색 검증 오차는 31%에서 8회차의 12%까지 내려갔다가 다시 올라가 20회차에는 20%가 된다. 8회차 전에는 두 선이 함께 내려가며, 모델이 여전히 일반적인 규칙을 학습하고 있음을 뜻한다. 8회차 이후 두 선이 갈라지고 차이가 점점 커지는 것이 과적합이며, 조기 종료는 8회차의 버전을 선택한다. 오른쪽 설명: 함께 내려가면 아직 규칙을 학습하는 중이고, 학습 오차는 내려가는데 검증 오차가 올라가면 과적합이며, 둘 다 높으면 과소적합이다.

과소적합·적정 적합·과적합을 구분하는 법

Google 교재는 원인을 크게 두 가지로 나눈다. 학습 데이터가 실제 데이터를 대표하지 못하거나, 모델이 지나치게 복잡한 경우다. Goodfellow 등은 모델이 얼마나 다양한 함수에 맞출 수 있는지를 ‘용량’으로 설명한다. 용량이 너무 크면 새 데이터에는 쓸모없는 세부 사항까지 외울 수 있다.

Google 머신러닝 단기집중과정, 《Deep Learning》 제 5 장, GSM1k 논문을 바탕으로 정리한 개념 비교. 자료 기준: 2026년 10월.
상태학습 오차와 검증 오차먼저 시도할 방법
과소적합둘 다 높고 차이가 작음특성 변경, 학습 회차 추가, 정규화 강도 낮추기
적정 적합둘 다 낮고 차이가 작음이 버전을 보관하고 마지막에 테스트 세트로 한 번 측정
과적합학습 오차는 낮고 검증 오차는 높으며 차이가 큼데이터 추가, 정규화 강화, 조기 종료
문제 유출공개 문제의 점수는 높고 새 문제에서는 뚜렷하게 낮음비공개 새 문제로 다시 평가

흔한 대책: 각 방법은 어떤 역할을 할까

  • 데이터 추가: Goodfellow 등은 일반화(generalization, 새 데이터에서의 성능)를 높이는 가장 좋은 방법으로 보지만, 데이터에 대표성이 있어야 한다.
  • 데이터 증강: 기존 샘플에 정답이 바뀌지 않는 변화를 주어 새 샘플로 쓴다. 예를 들어 이미지를 몇 픽셀 평행 이동한다.
  • 정규화: 학습할 때 모델의 복잡도에도 페널티를 준다. L2 정규화(가중치 감쇠라고도 함)는 가중치를 0에 가깝게 만든다. 강도가 너무 높으면 과소적합이 된다.
  • dropout(Google 번체 중국어 용어집에서는 ‘丟棄正則化’로 번역): 학습할 때마다 일부 유닛을 무작위로 잠시 제외해, 유닛이 특정한 다른 유닛에만 의존하지 못하게 한다.
  • 조기 종료: 검증 오차가 더 좋아지지 않으면 멈추고, 검증 오차가 가장 낮았던 회차의 매개변수를 선택한다. Google 교재는 빠르지만 최선의 방법인 경우는 드물다고 설명한다.
  • 모델 단순화: 특성을 줄이거나 모델을 작게 만들어 용량을 낮춘다.

dropout은 Hinton 등의 2012년 프리프린트에서 처음 등장했고, Srivastava 등의 2014년 학술지 논문에서 상세히 설명되었다. 목적은 대규모 의 과적합을 줄이는 것이다. 이런 방법들이 효과를 보장하지는 않는다. 어떤 방법을 골라 어느 정도 강도로 적용할지는 여전히 검증 오차를 보고 결정해야 한다.

신경망은 무작위 정답도 외운다: Zhang 등의 2017년 실험

Zhang 등이 ICLR 2017에서 발표한 논문은 CIFAR10(10개 범주의 작은 이미지)과 ImageNet의 레이블을 무작위 레이블로 바꾸고, 표준 이미지 분류 신경망을 평소처럼 학습시켰다. CIFAR10의 학습 오차는 여전히 0 또는 0에 가까운 수준까지 내려갔고, ImageNet의 학습 정확도도 95.20%에 달했다. 반면 테스트 성능은 둘 다 무작위 추측 수준에 그쳤다. CIFAR10에서는 이미지를 순수한 잡음으로 바꿔도 외울 수 있었다.

논문 표 1의 비교를 보면, CIFAR10에서 같은 신경망의 데이터 증강과 가중치 감쇠를 끈 경우 실제 레이블을 쓰면 학습 정확도는 100%, 테스트 정확도는 85.75%였다. 무작위 레이블을 쓰면 학습 정확도는 여전히 100%였지만 테스트 정확도는 9.78%에 그쳐, 10개 범주를 무작위로 추측할 때의 10%에 가까웠다.

저자들의 결론은 이렇다. 이 신경망들의 유효 용량은 학습 데이터 전체를 외우기에 충분하며, 전통적인 복잡도 지표로는 일반화의 좋고 나쁨을 구분할 수 없다. 가중치 감쇠와 dropout 같은 명시적 정규화는 일반화를 개선할 수 있지만 필수는 아니며, 그것만으로 학습과 테스트 간 격차를 제어하기에도 충분하지 않다.

논문에서 말하지 않은 내용도 구분해야 한다. 대규모 신경망이 실제 데이터에서 반드시 과적합된다고 말한 것은 아니다. 같은 신경망은 새 이미지에서도 여전히 85.75%를 기록했다. 정규화가 쓸모없다고 말한 것도 아니며, 신경망이 왜 일반화할 수 있는지도 밝혀내지 못했다. 실험은 이미지 분류만 다뤘으므로 대규모 언어 모델에 바로 적용할 수 없다.

따라서 ‘모델이 클수록 과적합되기 쉽다’를 일반 법칙으로 삼을 수는 없다. Nakkiran 등은 2019년 CIFAR-10·CIFAR-100 이미지 분류와 IWSLT'14 독일어·영어 번역 등의 설정에서 모델이 커질수록 테스트 오차가 내려갔다가 올라간 뒤 다시 내려가는 이중 하강(double descent)을 관찰했다. 정점은 모델이 학습 오차를 간신히 0에 가깝게 낮출 수 있는 지점이었다. 학습 레이블에 잡음이 있을 때 가장 뚜렷했으며, 일부 설정에서는 샘플이 늘어날수록 오히려 성능이 나빠졌다.

문제 유출: 벤치마크에서 ‘잘하는 듯한 모습’

Sainz 등의 2023년 입장 논문은 가장 심각한 데이터 오염을 대규모 언어 모델이 학습 중 어떤 벤치마크의 테스트 문제를 본 뒤 같은 벤치마크로 평가받아 성적이 과대평가되는 경우라고 지적한다. 테스트 세트가 진짜 실력을 측정하려면 모델에게 새로운 문제여야 한다. 문제가 유출되면 점수가 측정하는 것은 기억력뿐일 수 있다.

유출되지 않아도 조금씩 ‘맞춰질’ 수 있다. Goodfellow 등은 연구 공동체가 같은 테스트 세트를 여러 해 쓰면 평가가 낙관적으로 치우친다고 썼다.

Hugh Zhang 등은 2024년 GSM8K(초등학교 수학 문장제 벤치마크)의 스타일과 난이도에 맞춰 사람이 1,205개 문제를 새로 작성하도록 했다. 이렇게 만든 GSM1k의 문제는 발표 당시 공개하지 않았다. 이들의 설정에서 모델 정확도는 최대 약 8% 하락했다. 모델이 GSM8K의 원래 문제를 생성할 확률이 높을수록 대체로 격차도 컸으며(Spearman r² = 0.36), 이는 일부 모델이 원래 문제를 외웠을 가능성을 보여 준다. 하지만 많은 모델은 격차가 거의 없었고, 전체적으로는 모든 모델이 여전히 새 문제를 풀 수 있었다.

유출과 과적합이 일대일로 대응하는 것도 아니다. 일부 모델은 격차가 컸지만 원래 문제를 외운 것처럼 보이지 않았다. 저자들은 벤치마크와 매우 비슷한 데이터를 썼거나 벤치마크 점수로 버전을 골랐기 때문이라고 추측했다. 소량의 유출이 반드시 과적합을 일으키는 것도 아니다. Recht 등은 2019년 CIFAR-10과 ImageNet의 테스트 세트를 새로 만들었다. 평가한 여러 모델의 정확도는 각각 3%에서 15%, 11%에서 14%만큼 낮아졌지만, 저자들은 주원인을 테스트 세트의 반복 사용이 아니라 조금 더 어려운 새 이미지에 대한 모델의 일반화 부족으로 보았다. 새 문제에서 점수가 떨어지면 경고 신호지만, 원인은 따로 조사해야 한다.

직접 학습·미세 조정하거나 점수를 읽을 때 활용하는 법

기존 모델을 하는 것도 자신의 데이터로 학습을 이어 가는 일이다. 마찬가지로 검증 세트와 테스트 세트를 먼저 나누고 중복 예제를 삭제해야 하며, 검증 오차가 다시 커지면 멈추고 비교해야 한다.

다른 사람의 점수를 읽을 때는 문제가 공개된 적이 있는지, 새 문제로 다시 평가했는지부터 확인하자. 그 답이 모델에 문제가 없음을 증명하지는 못하지만, 점수를 얼마나 낮춰 받아들여야 할지 판단하는 데는 도움이 된다.

다른 용어를 찾아보려면 AI 용어 전체 색인에서 시작하면 된다.

이 정리가 도움이 되셨나요? 필요한 분께 공유해 보세요

LINE 공유
  • 라이프스타일

    에이전트형 검색 증강 생성(Agentic RAG): 언제 다시 검색해야 할까

    에이전트형 검색 증강 생성은 모델이 검색 결정에 참여해 질문과 이미 찾은 근거에 따라 자료 출처를 선택하거나 검색어를 재작성하거나 추가로 검색하게 합니다. 이 글은 LangGraph 문서의 구체적인 흐름을 바탕으로 장소 대관 조건 비교를 통해 고정형 RAG와의 차이를 보여 주고, 종료 조건, 권한, 검색 기록과 비용 관리를 설명합니다. 읽고 나면 작업에 동적 탐색이 필요한지, 예측 가능한 고정 절차로 충분한지 판단할 수 있습니다.

  • 라이프스타일

    그래프 검색 증강 생성(GraphRAG): 관계를 통해 문서 전체 이해하기

    GraphRAG는 엔터티와 그 관계를 검색에 활용해 문서 간 연관성과 전체 주제에 관한 질문에 답하도록 돕습니다. 이 글은 Microsoft의 원 논문과 공식 문서를 바탕으로 엔터티 추출, 커뮤니티 요약, 로컬 검색과 글로벌 검색을 설명하고, 지역 행사 기록을 통해 질문에 따라 다른 경로가 필요함을 보여 줍니다. 또한 그래프의 연결 누락, 이름의 잘못된 병합, 요약 왜곡이 답변에 미치는 영향을 설명해 보기 좋은 관계도를 검증된 사실로 오인하지 않도록 합니다.

  • 라이프스타일

    지식 그래프(Knowledge Graph): 대상과 관계를 명확히 설명하기

    지식 그래프는 개체와 관계로 데이터를 구성해 ‘누가 무엇에 참여했고, 어디서 언제 일어났는지’를 연결을 따라 조회할 수 있게 합니다. 이 글은 커뮤니티 행사 데이터를 예로 개체 식별, 관계 방향, 출처와 시간을 살펴보고, 자원 기술 프레임워크(RDF)와 속성 그래프의 표현 방식 차이를 소개합니다. 또한 그래프가 시각화나 신뢰할 만한 사실 그 자체는 아님을 설명합니다. 읽고 나면 데이터가 그래프 구축에 적합한지 판단하고, 데이터 테이블·벡터 검색·그래프 검색 증강 생성(GraphRAG)과 어떻게 결합하는지 이해할 수 있습니다.

  • 라이프스타일

    하이브리드 검색(Hybrid Search): 정확한 단어와 의미를 함께 고려하기

    하이브리드 검색은 전문 검색과 벡터 검색 등 서로 다른 검색 결과를 결합해 정확한 코드와 자연어로 표현한 요구를 모두 반영합니다. 장비 설명서 검색을 예로 후보 확보, 중복 제거, 순위 융합, 재순위화를 살펴보고, 역순위 융합(RRF)이 순위로 서로 다른 검색 결과를 결합하는 원리를 설명합니다. 하이브리드 방식이 모든 경우에 정확도 향상을 보장하지 않는다는 점도 짚습니다. 코드 질문, 표현을 바꾼 질문, 답이 없는 질문으로 품질을 확인하고, 권한·필터링·중복 콘텐츠로 인한 편향을 구분할 수 있습니다.

출처

위에 기재된 참고 자료와 확인일 기준 정보를 바탕으로 정리했습니다. 요금, 시간표, 기능, 이용 약관은 바뀔 수 있으므로 여행, 예약 또는 구매 전에 해당 공식 사이트에서 최신 정보를 확인해 주세요.

라이프스타일