라이프스타일
과적합(과잉 적합, Overfitting)이란: 기출문제는 다 맞히지만 새 문제는 틀린다
과적합은 모델이 학습 데이터의 잡음과 예외까지 학습하는 현상이다. 학습할 때는 거의 다 맞히지만 처음 보는 데이터에서는 정확도가 떨어진다. 예시 오차 곡선으로 학습·검증·테스트 세트의 역할을 설명하고 과소적합과 비교하며, 데이터 추가, 정규화, dropout, 조기 종료 등의 대책을 정리한다. 심층 신경망이 무작위 레이블까지 외운다는 연구와 벤치마크 문제 유출로 인한 ‘잘하는 듯한 모습’도 살펴본다.
읽는 데 약 11분

목차
과적합(overfitting)은 머신러닝머신러닝(Machine Learning)이란 무엇인가머신러닝은 데이터로 모델을 조정해, 이전에 접하지 못한 입력에 대해 예측하거나 콘텐츠를 생성하게 합니다. 이 글은 아침 식사 가게의 재료 준비량 예측 사례로 특성, 레이블, 훈련, 테스트가 어떻게 맞물리는지 설명하고 지도 학습, 비지도 학습, 강화 학습을 구분하며 데이터 누출, 과적합, 환경 변화의 영향을 살펴봅니다. 읽고 나면 모델에 테스트 데이터를 따로 남겨 두어야 하는 이유를 이해하고, 구체적인 질문으로 정확해 보이는 예측을 믿을 만한지 판단할 수 있습니다.전체 글 읽기에서 흔히 나타나는 실패다. 모델이 학습 데이터에 지나치게 맞춰져 잡음과 예외까지 학습하면, 학습할 때는 거의 다 맞히지만 새 데이터에서는 틀린다. 기출문제를 외워 두었다가 시험지가 바뀌면 실력을 발휘하지 못하는 것과 같다. 중국어 번역 명칭은 통일되어 있지 않다. 국가교육연구원 러츠왕은 대부분의 분야와 인공지능으로 표시된 항목에서 ‘過度擬合’을 쓰며, ‘過擬合’과 ‘過度配適’도 수록한다. Google 번체 중국어 교재는 주로 ‘過度配適’을 쓴다. 이 글의 중국어 원문에서는 ‘過度擬合’을 쓰며, 반대 상황인 과소적합(underfitting)은 러츠왕에 따라 ‘低度擬合’으로 표기한다.
아래에서는 데이터를 나누는 방법, 곡선을 읽는 방법, 각 대책의 역할을 설명한 뒤, 신경망이 무작위 레이블을 외운다는 연구와 벤치마크 문제 유출을 살펴본다.
학습·검증·테스트 세트는 각각 역할이 다르다
모델이 과적합되었는지 알려면 모델이 보지 못한 데이터로 측정해야 한다. Google 머신러닝 단기집중과정은 데이터를 세 부분으로 나누도록 권한다. 학습 세트는 매개변수를 조정하는 데 쓰고, 검증 세트는 개발 과정에서 설정을 비교하는 데 반복해서 쓰며, 테스트 세트는 마지막 확인을 위해 남겨 둔다. 각 데이터는 이 중 하나에만 속해야 한다.
Goodfellow 등의 《Deep Learning》 제 5 장은 더 명확하게 설명한다. 테스트 세트는 하이퍼파라미터를 포함한 어떤 선택에도 관여해서는 안 되며, 검증 세트는 학습 데이터에서 따로 나눠야 한다. 보통 열에 여덟은 학습용, 둘은 검증용으로 나눈다.
Google 교재도 테스트 세트에 학습 세트와 중복되는 예제가 섞이면 점수가 비정상적으로 좋아지므로 먼저 삭제해야 한다고 강조한다.
예시: 두 오차 곡선은 어디서 갈라질까
예시(수치는 설명을 위해 만든 것으로 실제 학습 결과가 아님): 호텔 리뷰로 분류기를 학습시켜 여행객의 재예약 여부를 판단한다. 학습을 한 회차 마칠 때마다 학습 세트와 검증 세트의 오류율을 기록한다.
- 1회차: 학습 오차 30%, 검증 오차 31%.
- 8회차: 학습 오차 8%, 검증 오차 12%로, 검증 오차가 가장 낮다.
- 20회차: 학습 오차는 1%로 내려가지만 검증 오차는 20%로 다시 올라간다.
처음 8회차까지 두 선이 함께 내려가는 동안 모델은 더 일반적인 규칙을 학습한다. 이후 학습 오차는 계속 줄지만 검증 오차는 커진다면 개별 표현과 예외를 외우기 시작했다는 뜻이다. Google 교재는 이처럼 처음에는 함께 움직이다가 나중에 갈라지는 손실 곡선을 과적합의 강력한 신호로 본다.
Goodfellow 등의 정의에 따르면, 학습 오차를 낮추지 못하는 것은 과소적합이고 학습 오차와 테스트 오차의 차이가 너무 큰 것은 과적합이다. 20회차의 1%만 보면 모델이 가장 좋다고 생각하기 쉽지만, 두 선을 함께 보면 8회차 부근이 더 믿을 만하다.
자세한 설명 보기
예시 그림으로, 수치는 교육용으로 만든 설정이며 실제 학습 결과가 아니다. 가로축은 학습 회차, 세로축은 오류율이다. 짙은 녹색 학습 오차는 1회차의 30%에서 20회차의 1%까지 계속 내려간다. 주황색 검증 오차는 31%에서 8회차의 12%까지 내려갔다가 다시 올라가 20회차에는 20%가 된다. 8회차 전에는 두 선이 함께 내려가며, 모델이 여전히 일반적인 규칙을 학습하고 있음을 뜻한다. 8회차 이후 두 선이 갈라지고 차이가 점점 커지는 것이 과적합이며, 조기 종료는 8회차의 버전을 선택한다. 오른쪽 설명: 함께 내려가면 아직 규칙을 학습하는 중이고, 학습 오차는 내려가는데 검증 오차가 올라가면 과적합이며, 둘 다 높으면 과소적합이다.
과소적합·적정 적합·과적합을 구분하는 법
Google 교재는 원인을 크게 두 가지로 나눈다. 학습 데이터가 실제 데이터를 대표하지 못하거나, 모델이 지나치게 복잡한 경우다. Goodfellow 등은 모델이 얼마나 다양한 함수에 맞출 수 있는지를 ‘용량’으로 설명한다. 용량이 너무 크면 새 데이터에는 쓸모없는 세부 사항까지 외울 수 있다.
| 상태 | 학습 오차와 검증 오차 | 먼저 시도할 방법 |
|---|---|---|
| 과소적합 | 둘 다 높고 차이가 작음 | 특성 변경, 학습 회차 추가, 정규화 강도 낮추기 |
| 적정 적합 | 둘 다 낮고 차이가 작음 | 이 버전을 보관하고 마지막에 테스트 세트로 한 번 측정 |
| 과적합 | 학습 오차는 낮고 검증 오차는 높으며 차이가 큼 | 데이터 추가, 정규화 강화, 조기 종료 |
| 문제 유출 | 공개 문제의 점수는 높고 새 문제에서는 뚜렷하게 낮음 | 비공개 새 문제로 다시 평가 |
흔한 대책: 각 방법은 어떤 역할을 할까
- 데이터 추가: Goodfellow 등은 일반화(generalization, 새 데이터에서의 성능)를 높이는 가장 좋은 방법으로 보지만, 데이터에 대표성이 있어야 한다.
- 데이터 증강: 기존 샘플에 정답이 바뀌지 않는 변화를 주어 새 샘플로 쓴다. 예를 들어 이미지를 몇 픽셀 평행 이동한다.
- 정규화: 학습할 때 모델의 복잡도에도 페널티를 준다. L2 정규화(가중치 감쇠라고도 함)는 가중치를 0에 가깝게 만든다. 강도가 너무 높으면 과소적합이 된다.
- dropout(Google 번체 중국어 용어집에서는 ‘丟棄正則化’로 번역): 학습할 때마다 일부 유닛을 무작위로 잠시 제외해, 유닛이 특정한 다른 유닛에만 의존하지 못하게 한다.
- 조기 종료: 검증 오차가 더 좋아지지 않으면 멈추고, 검증 오차가 가장 낮았던 회차의 매개변수를 선택한다. Google 교재는 빠르지만 최선의 방법인 경우는 드물다고 설명한다.
- 모델 단순화: 특성을 줄이거나 모델을 작게 만들어 용량을 낮춘다.
dropout은 Hinton 등의 2012년 프리프린트에서 처음 등장했고, Srivastava 등의 2014년 학술지 논문에서 상세히 설명되었다. 목적은 대규모 신경망신경망(Neural Network)이란: 층과 가중치로 이루어져 데이터로 학습하는 함수신경망은 여러 층의 단순한 단위로 이루어진 함수다. 각 단위는 가중합을 구하고 대개 비선형 변환을 거치며, 가중치는 데이터로 조정한다. 두 스위치로 복도 조명을 제어하는 예제를 손으로 계산하며 순전파 계산, 손실, 역전파와 경사 하강법을 설명한다. 학습과 추론을 구분하고 매개변수 수, 뉴런 수, 성능의 차이와 딥러닝 및 Transformer와의 관계도 살펴본다.전체 글 읽기의 과적합을 줄이는 것이다. 이런 방법들이 효과를 보장하지는 않는다. 어떤 방법을 골라 어느 정도 강도로 적용할지는 여전히 검증 오차를 보고 결정해야 한다.
신경망은 무작위 정답도 외운다: Zhang 등의 2017년 실험
Zhang 등이 ICLR 2017에서 발표한 논문은 CIFAR10(10개 범주의 작은 이미지)과 ImageNet의 레이블을 무작위 레이블로 바꾸고, 표준 이미지 분류 신경망을 평소처럼 학습시켰다. CIFAR10의 학습 오차는 여전히 0 또는 0에 가까운 수준까지 내려갔고, ImageNet의 학습 정확도도 95.20%에 달했다. 반면 테스트 성능은 둘 다 무작위 추측 수준에 그쳤다. CIFAR10에서는 이미지를 순수한 잡음으로 바꿔도 외울 수 있었다.
논문 표 1의 비교를 보면, CIFAR10에서 같은 신경망의 데이터 증강과 가중치 감쇠를 끈 경우 실제 레이블을 쓰면 학습 정확도는 100%, 테스트 정확도는 85.75%였다. 무작위 레이블을 쓰면 학습 정확도는 여전히 100%였지만 테스트 정확도는 9.78%에 그쳐, 10개 범주를 무작위로 추측할 때의 10%에 가까웠다.
저자들의 결론은 이렇다. 이 신경망들의 유효 용량은 학습 데이터 전체를 외우기에 충분하며, 전통적인 복잡도 지표로는 일반화의 좋고 나쁨을 구분할 수 없다. 가중치 감쇠와 dropout 같은 명시적 정규화는 일반화를 개선할 수 있지만 필수는 아니며, 그것만으로 학습과 테스트 간 격차를 제어하기에도 충분하지 않다.
논문에서 말하지 않은 내용도 구분해야 한다. 대규모 신경망이 실제 데이터에서 반드시 과적합된다고 말한 것은 아니다. 같은 신경망은 새 이미지에서도 여전히 85.75%를 기록했다. 정규화가 쓸모없다고 말한 것도 아니며, 신경망이 왜 일반화할 수 있는지도 밝혀내지 못했다. 실험은 이미지 분류만 다뤘으므로 대규모 언어 모델에 바로 적용할 수 없다.
따라서 ‘모델이 클수록 과적합되기 쉽다’를 일반 법칙으로 삼을 수는 없다. Nakkiran 등은 2019년 CIFAR-10·CIFAR-100 이미지 분류와 IWSLT'14 독일어·영어 번역 등의 설정에서 모델이 커질수록 테스트 오차가 내려갔다가 올라간 뒤 다시 내려가는 이중 하강(double descent)을 관찰했다. 정점은 모델이 학습 오차를 간신히 0에 가깝게 낮출 수 있는 지점이었다. 학습 레이블에 잡음이 있을 때 가장 뚜렷했으며, 일부 설정에서는 샘플이 늘어날수록 오히려 성능이 나빠졌다.
문제 유출: 벤치마크에서 ‘잘하는 듯한 모습’
Sainz 등의 2023년 입장 논문은 가장 심각한 데이터 오염을 대규모 언어 모델이 학습 중 어떤 벤치마크의 테스트 문제를 본 뒤 같은 벤치마크로 평가받아 성적이 과대평가되는 경우라고 지적한다. 테스트 세트가 진짜 실력을 측정하려면 모델에게 새로운 문제여야 한다. 문제가 유출되면 점수가 측정하는 것은 기억력뿐일 수 있다.
유출되지 않아도 조금씩 ‘맞춰질’ 수 있다. Goodfellow 등은 연구 공동체가 같은 테스트 세트를 여러 해 쓰면 평가가 낙관적으로 치우친다고 썼다.
Hugh Zhang 등은 2024년 GSM8K(초등학교 수학 문장제 벤치마크)의 스타일과 난이도에 맞춰 사람이 1,205개 문제를 새로 작성하도록 했다. 이렇게 만든 GSM1k의 문제는 발표 당시 공개하지 않았다. 이들의 설정에서 모델 정확도는 최대 약 8% 하락했다. 모델이 GSM8K의 원래 문제를 생성할 확률이 높을수록 대체로 격차도 컸으며(Spearman r² = 0.36), 이는 일부 모델이 원래 문제를 외웠을 가능성을 보여 준다. 하지만 많은 모델은 격차가 거의 없었고, 전체적으로는 모든 모델이 여전히 새 문제를 풀 수 있었다.
유출과 과적합이 일대일로 대응하는 것도 아니다. 일부 모델은 격차가 컸지만 원래 문제를 외운 것처럼 보이지 않았다. 저자들은 벤치마크와 매우 비슷한 데이터를 썼거나 벤치마크 점수로 버전을 골랐기 때문이라고 추측했다. 소량의 유출이 반드시 과적합을 일으키는 것도 아니다. Recht 등은 2019년 CIFAR-10과 ImageNet의 테스트 세트를 새로 만들었다. 평가한 여러 모델의 정확도는 각각 3%에서 15%, 11%에서 14%만큼 낮아졌지만, 저자들은 주원인을 테스트 세트의 반복 사용이 아니라 조금 더 어려운 새 이미지에 대한 모델의 일반화 부족으로 보았다. 새 문제에서 점수가 떨어지면 경고 신호지만, 원인은 따로 조사해야 한다.
직접 학습·미세 조정하거나 점수를 읽을 때 활용하는 법
기존 모델을 미세 조정파인튜닝(Fine-tuning): 기존 모델을 내 작업에 더 적합하게파인튜닝은 기존 모델의 학습을 이어가 특정 작업이나 분야에 더 적합하게 만드는 것입니다. 이 글은 고객 지원 메일 분류를 예로 데이터 정리, 매개변수 갱신, 테스트 세트 분리 보관과 버전 배포를 설명합니다. 전체 파인튜닝, LoRA, 지도 학습 기반 파인튜닝과 RAG를 구분하고, 학습 성적이 좋아져도 실제 성능은 떨어질 수 있는 이유를 살펴봅니다. 읽고 나면 파인튜닝을 적용할 만한 문제인지 판단하고, 형식 일관성, 알려지지 않은 유형, 데이터 누수와 기존 능력 저하를 점검할 수 있습니다.전체 글 읽기하는 것도 자신의 데이터로 학습을 이어 가는 일이다. 마찬가지로 검증 세트와 테스트 세트를 먼저 나누고 중복 예제를 삭제해야 하며, 검증 오차가 다시 커지면 멈추고 비교해야 한다.
다른 사람의 점수를 읽을 때는 문제가 공개된 적이 있는지, 새 문제로 다시 평가했는지부터 확인하자. 그 답이 모델에 문제가 없음을 증명하지는 못하지만, 점수를 얼마나 낮춰 받아들여야 할지 판단하는 데는 도움이 된다.
다른 용어를 찾아보려면 AI 용어 전체 색인에서 시작하면 된다.
이 정리가 도움이 되셨나요? 필요한 분께 공유해 보세요
같은 주제의 글
라이프스타일
에이전트형 검색 증강 생성(Agentic RAG): 언제 다시 검색해야 할까
에이전트형 검색 증강 생성은 모델이 검색 결정에 참여해 질문과 이미 찾은 근거에 따라 자료 출처를 선택하거나 검색어를 재작성하거나 추가로 검색하게 합니다. 이 글은 LangGraph 문서의 구체적인 흐름을 바탕으로 장소 대관 조건 비교를 통해 고정형 RAG와의 차이를 보여 주고, 종료 조건, 권한, 검색 기록과 비용 관리를 설명합니다. 읽고 나면 작업에 동적 탐색이 필요한지, 예측 가능한 고정 절차로 충분한지 판단할 수 있습니다.
라이프스타일
그래프 검색 증강 생성(GraphRAG): 관계를 통해 문서 전체 이해하기
GraphRAG는 엔터티와 그 관계를 검색에 활용해 문서 간 연관성과 전체 주제에 관한 질문에 답하도록 돕습니다. 이 글은 Microsoft의 원 논문과 공식 문서를 바탕으로 엔터티 추출, 커뮤니티 요약, 로컬 검색과 글로벌 검색을 설명하고, 지역 행사 기록을 통해 질문에 따라 다른 경로가 필요함을 보여 줍니다. 또한 그래프의 연결 누락, 이름의 잘못된 병합, 요약 왜곡이 답변에 미치는 영향을 설명해 보기 좋은 관계도를 검증된 사실로 오인하지 않도록 합니다.
라이프스타일
지식 그래프(Knowledge Graph): 대상과 관계를 명확히 설명하기
지식 그래프는 개체와 관계로 데이터를 구성해 ‘누가 무엇에 참여했고, 어디서 언제 일어났는지’를 연결을 따라 조회할 수 있게 합니다. 이 글은 커뮤니티 행사 데이터를 예로 개체 식별, 관계 방향, 출처와 시간을 살펴보고, 자원 기술 프레임워크(RDF)와 속성 그래프의 표현 방식 차이를 소개합니다. 또한 그래프가 시각화나 신뢰할 만한 사실 그 자체는 아님을 설명합니다. 읽고 나면 데이터가 그래프 구축에 적합한지 판단하고, 데이터 테이블·벡터 검색·그래프 검색 증강 생성(GraphRAG)과 어떻게 결합하는지 이해할 수 있습니다.
라이프스타일
하이브리드 검색(Hybrid Search): 정확한 단어와 의미를 함께 고려하기
하이브리드 검색은 전문 검색과 벡터 검색 등 서로 다른 검색 결과를 결합해 정확한 코드와 자연어로 표현한 요구를 모두 반영합니다. 장비 설명서 검색을 예로 후보 확보, 중복 제거, 순위 융합, 재순위화를 살펴보고, 역순위 융합(RRF)이 순위로 서로 다른 검색 결과를 결합하는 원리를 설명합니다. 하이브리드 방식이 모든 경우에 정확도 향상을 보장하지 않는다는 점도 짚습니다. 코드 질문, 표현을 바꾼 질문, 답이 없는 질문으로 품질을 확인하고, 권한·필터링·중복 콘텐츠로 인한 편향을 구분할 수 있습니다.
출처
- Google Machine Learning Crash Course: 과적합(과적합·과소적합·일반화 곡선)확인일:
- Google Machine Learning Crash Course: 원본 데이터 세트 나누기(학습·검증·테스트 세트와 중복 샘플)확인일:
- Google Machine Learning Crash Course: 모델 복잡도(모델 복잡도와 정규화)확인일:
- Google Machine Learning Crash Course: L2 정규화(정규화율과 조기 종료)확인일:
- Google Machine Learning Glossary(과적합·과소적합·조기 종료·드롭아웃 정규화 항목)확인일:
- Google 머신러닝 단기집중과정 번체 중국어판: 過度配適(공식 번역어 비교)확인일:
- 국가교육연구원 러츠왕: overfitting 검색 결과(過度擬合·過擬合·過度配適)확인일:
- Goodfellow, Bengio, Courville: Deep Learning 제 5 장 머신러닝 기초(저자 공식 사이트 전문)확인일:
- Goodfellow, Bengio, Courville: Deep Learning 제 7 장 딥러닝의 정규화(저자 공식 사이트 전문)확인일:
- Srivastava 등 2014: Dropout: 신경망의 과적합을 방지하는 간단한 방법(JMLR 15)확인일:
- Hinton 등 2012: 특성 검출기의 공동 적응을 방지해 신경망 개선하기(arXiv:1207.0580, dropout의 최초 프리프린트)확인일:
- Zhang 등 2017: 딥러닝을 이해하려면 일반화를 다시 생각해야 한다(ICLR 2017, arXiv:1611.03530)확인일:
- Nakkiran 등 2019: 심층 이중 하강: 더 큰 모델과 더 많은 데이터가 해가 되는 경우(arXiv:1912.02292)확인일:
- Sainz 등 2023: 위기에 놓인 NLP 평가: 벤치마크별 LLM 데이터 오염 측정의 필요성(arXiv:2310.18018)확인일:
- Zhang 등 2024: 초등학교 산술에서 대규모 언어 모델의 성능에 대한 면밀한 검토(GSM1k, arXiv:2405.00332)확인일:
- Recht 등 2019: ImageNet 분류기는 ImageNet에 일반화하는가?(arXiv:1902.10811)확인일:
위에 기재된 참고 자료와 확인일 기준 정보를 바탕으로 정리했습니다. 요금, 시간표, 기능, 이용 약관은 바뀔 수 있으므로 여행, 예약 또는 구매 전에 해당 공식 사이트에서 최신 정보를 확인해 주세요.