라이프스타일

사전 학습(Pretraining): 모델의 기초 능력은 어디에서 오는가

사전 학습은 특정 작업에 맞게 조정하기 전에 모델이 대량의 데이터에서 재사용 가능한 표현과 규칙성을 배우는 단계입니다. 이 글은 다음 token 예측과 가린 내용 복원 예시로 데이터, 목표, 파라미터 갱신을 설명하고, 사전 학습·미세 조정·사용 시 문맥 제공을 구분합니다. 또한 텍스트를 학습했다고 해서 출처를 기억하거나 사실의 정확성을 보장하는 것은 아닌 이유를 설명합니다. 기반 모델의 능력이 어디에서 비롯되는지, 학습 데이터 품질과 평가 오염이 어떤 영향을 미치는지 이해할 수 있습니다.

읽는 데 약 9분

LINE 공유
여러 종류의 텍스트 데이터가 모델의 노드 네트워크로 들어가 재사용 가능한 기초 표현을 형성하는 모습
사진: Mokaair (© Mokaair)
목차
  1. 1. 모델은 무엇을 연습하는가
  2. 2. 데이터와 파라미터는 서로 어떤 영향을 주는가
  3. 3. 예시: 문장 연습에서 새로운 입력까지
  4. 4. 학습했다고 신뢰할 수 있는 기억 저장소가 되는 것은 아니다
  5. 5. 사전 학습 이후에는 무엇을 할 수 있는가

사전 학습은 영어로 Pretraining이며, 특정 작업에 맞게 조정하기 전에 모델이 데이터에서 재사용 가능한 규칙성과 표현을 배우는 학습 단계입니다. 언어 모델에서는 다음 token을 예측하거나 문맥을 바탕으로 가린 내용을 복원하는 방식이 흔히 쓰입니다. 모델은 예측과 목표를 반복해서 비교하며 파라미터를 갱신해 여러 작업에 쓸 수 있는 능력을 점차 형성합니다. 사람이 모든 언어 규칙을 먼저 하나씩 작성해 넣는 방식이 아닙니다.

'사전'은 후속 용도를 기준으로 한 말이며, 이 단계가 더 간단하거나 준비 운동에 불과하다는 뜻은 아닙니다. 모델 구축 작업의 대부분을 차지할 수도 있으며, 데이터 정리와 연산 모두 중요합니다. 이 글에서는 BERT 원논문과 Hugging Face의 언어 모델링 문서를 바탕으로 일반적인 학습 목표를 설명합니다. 예시는 모두 교육용으로 단순화한 상황이며, 특정 모델의 과정을 모든 가 반드시 거쳐야 하는 유일한 경로로 여기지는 않습니다.

모델은 무엇을 연습하는가

인과 언어 모델링은 보통 앞의 내용을 이용해 다음 token을 예측합니다. 예를 들어 '행사가 폭우로'라는 문구가 주어지면, 목표는 원문에서 그다음에 이어지는 내용이 될 수 있습니다. 모델은 사람의 의도를 나타내는 완전한 레이블을 먼저 받는 것이 아니라, 텍스트 시퀀스 자체에서 예측 연습을 얻습니다. 이처럼 데이터에서 목표를 생성하는 방식을 흔히 자기 지도 학습이라고 합니다. 그렇다고 데이터에 사람의 처리가 전혀 필요 없다거나, 모델이 어떤 텍스트가 사실이고 학습할 가치가 있는지 스스로 판단할 수 있다는 뜻은 아닙니다.

마스크 언어 모델링은 내용의 일부를 가리고 모델이 나머지 문맥에서 가린 부분을 예측하게 합니다. BERT의 원래 설계는 이러한 목표를 사용해 양방향 문맥을 함께 활용하며 표현을 학습합니다. 이는 앞의 내용만 보고 뒤의 내용을 예측하는 방식과 다릅니다. 두 예시 모두 언어의 규칙성을 학습할 수 있지만, 구조와 목표, 적합한 다운스트림 작업이 다르므로 둘 다 사전 학습이라고 해서 같은 능력을 만들어 낸다고 가정해서는 안 됩니다.

데이터와 파라미터는 서로 어떤 영향을 주는가

학습 중에는 모델이 먼저 예측을 생성하고, 손실 함수가 목표와의 차이를 측정한 다음, 최적화 프로그램이 파라미터를 조정합니다. 학습률, 데이터 순서, 배치, 학습 기간은 갱신 과정에 영향을 줍니다. 하지만 일반 독자가 모든 공식을 외울 필요는 없습니다. 먼저 사전 학습이 모델 내부의 파라미터를 바꾼다는 한 가지를 이해하면 됩니다. 이후 채팅창에 문서 하나를 붙여 넣는 것은 보통 해당 대화의 문맥을 제공하는 것이며, 같은 파라미터 갱신을 수행하는 것은 아닙니다.

데이터 내용은 모델이 어떤 언어, 표현 방식, 주제를 더 자주 접하는지에도 영향을 줍니다. 특정 대만 구어 표현이나 드문 전문 용어, 문서 형식이 데이터에 부족하면 모델의 처리 결과가 더 불안정할 수 있습니다. 데이터가 많다고 자동으로 더 좋은 데이터가 되는 것은 아닙니다. 중복, 잡음, 잘못된 내용이 학습 용량을 차지할 수 있습니다. 모델 능력의 기원을 논할 때는 데이터 분포와 학습 목표를 함께 살펴야 하며, 파라미터 규모만 물어서는 안 됩니다.

원문 텍스트를 다음 token 예측이나 가린 내용 복원 연습으로 바꾸고, 예측 오차로 파라미터를 갱신해 기반 모델을 형성하는 과정
서로 다른 사전 학습 목표를 하나의 고정된 과정으로 뭉뚱그려서는 안 됩니다. · 사진: Mokaair (© Mokaair)
자세한 설명 보기

원문 텍스트를 다음 token 예측이나 가린 내용 복원 연습으로 바꾸고, 예측 오차로 파라미터를 갱신해 기반 모델을 형성하는 과정

예시: 문장 연습에서 새로운 입력까지

교육용 모델이 '행사가 폭우로 연기되었습니다', '신청 마감 후에는 접수하지 않습니다'와 같은 공지 문장을 많이 읽었다고 가정해 봅시다. 다음 token 예측을 통해 모델은 특정 문맥 뒤에 어떤 구절이 더 자주 나타나는지 학습합니다. 이후 새로운 공지의 첫 부분을 접하면 그럴듯한 뒷내용을 생성할 수 있습니다. 하지만 새 행사가 실제로는 정상적으로 진행되더라도 모델은 여전히 '연기'라는 말을 이어 쓸 수 있습니다. 그럴듯하게 이어 쓰는 것이 해당 행사의 실제 결정을 안다는 뜻은 아니기 때문입니다.

마스킹 연습으로 바꾸어 '신청 마감 후에는 접수하지 않습니다'의 일부를 가리면, 모델은 앞뒤 문맥을 이용해 내용을 복원해야 합니다. 기대하는 학습 성과는 문장 내 관계를 더 잘 표현하는 것이지, 모든 공지의 출처를 외워 말하는 것이 아닙니다. 이 두 예시는 학습 목표의 차이를 쉽게 볼 수 있도록 의도적으로 같은 종류의 텍스트를 사용했습니다. 실제로 학습을 실행한 것은 아니며, 실제 모델의 정확도나 필요한 데이터 양을 추산하는 데 사용할 수도 없습니다.

방금 수정된 공지를 기존 모델에 붙여 넣으면 모델은 문맥에 따라 답할 수 있지만, 이는 추론 단계에서 새 데이터를 사용하는 것입니다. 별도로 학습 과정을 시작하지 않는 한, 이번 대화만으로 모델이 사전 학습을 마쳤다거나 모든 내용을 영구적으로 익혔다고 말할 수는 없습니다. 제품이 대화를 수집해 후속 학습에 사용하는지는 별도의 데이터 이용 정책 문제이며, 해당 대화에서 모델이 계산하는 방식과도 구분해서 이해해야 합니다.

학습했다고 신뢰할 수 있는 기억 저장소가 되는 것은 아니다

모델은 일부 학습 내용을 기억할 수도 있고 일반적인 규칙성만 배울 수도 있으므로, 모든 텍스트를 정확히 불러올 수 있다고 가정해서는 안 됩니다. 질문에 답할 때 생성한 문장에 해당 학습 문서가 자동으로 첨부되는 것도 아닙니다. 최신 정보나 출처 확인이 필요한 작업에는 여전히 외부 검색이 중요합니다. 사전 학습 능력과 검색 능력은 서로 보완할 수 있으며, 모델이 커질수록 근거가 덜 필요해지는 것은 아닙니다.

평가할 때는 테스트 문항이 학습 데이터에 섞이지 않도록 해야 합니다. 모델이 이미 문제나 답을 본 적이 있다면 점수가 새로운 문제를 처리하는 능력을 과대평가할 수 있습니다. 일반 사용자는 직접 새로 정리하고 답을 독립적으로 확인할 수 있는 사례로 성능을 관찰할 수 있습니다. 학습 팀에는 데이터 중복 제거, 분할, 버전 기록이 필요합니다. 평가 출처를 설명하지 않고 높은 점수 하나만 제시하면 그 능력을 실제 상황에 적용할 수 있는지 판단하기 어렵습니다.

사전 학습 이후에는 무엇을 할 수 있는가

사전 학습 모델은 도메인 데이터로 계속 학습할 수 있고, 특정 작업의 시범 예시로 미세 조정하거나 선호도 최적화 같은 사후 학습을 수행할 수도 있습니다. 팀마다 단계의 명칭과 구분이 완전히 같지는 않을 수 있습니다. 중요한 것은 실제로 어떤 데이터를 사용하고, 어떤 목표를 최적화하며, 어떤 파라미터를 갱신하는지입니다. 이후의 모든 개선을 사전 학습이라고 뭉뚱그리면 모델의 능력이 어느 단계에서 형성되었는지 가려집니다.

적용 방안을 선택할 때는 부족한 것이 범용 언어 능력인지, 특정 출력 행동인지, 최신 외부 지식인지 먼저 물어볼 수 있습니다. 앞의 두 가지에는 적절한 기반 모델이나 미세 조정이 필요할 수 있고, 마지막 항목에는 보통 데이터 파이프라인이 필요합니다. 일반 조직이 반드시 처음부터 사전 학습을 해야 하는 것은 아닙니다. 적합한 기반 모델을 바로 사용하고 검색과 평가를 설계하면 요구 사항을 더 빨리 검증할 수 있는 경우가 많습니다. 학습에 투자할지는 여전히 실제 문제와 자원을 바탕으로 결정해야 합니다.

모델 소개를 읽을 때 '사전 학습 데이터가 특정 날짜까지다'라는 말을 그날 이전의 모든 일을 안다는 뜻으로 받아들여서는 안 됩니다. 날짜는 기껏해야 데이터의 시간 범위에 관한 일부 단서를 제공할 뿐이며, 범위가 얼마나 넓은지, 출처 품질은 어떤지, 모델이 실제로 학습했는지는 여전히 불확실합니다. 중요한 주장에는 모델이 당시 무엇을 읽었을지 추측하는 것보다 확인 가능한 외부 출처를 요구하는 편이 더 실용적입니다.

개념 비교. 출처 확인: 2026년 9월.
방법주요 목적유의할 점
사전 학습재사용 가능한 표현과 규칙성 학습모델 파라미터를 갱신함
미세 조정작업이나 도메인에 맞게 조정기존 파라미터에서 학습을 이어 감
문맥 제공해당 실행에서 추가 데이터 읽기보통 파라미터를 갱신하지 않음

문맥 내 학습(In-context Learning)이란: 새로운 규칙에 즉석에서 적응하기

AI 용어 전체 색인: Loop Engineering부터 생성형 AI까지

이 정리가 도움이 되셨나요? 필요한 분께 공유해 보세요

LINE 공유
  • 라이프스타일

    에이전트형 검색 증강 생성(Agentic RAG): 언제 다시 검색해야 할까

    에이전트형 검색 증강 생성은 모델이 검색 결정에 참여해 질문과 이미 찾은 근거에 따라 자료 출처를 선택하거나 검색어를 재작성하거나 추가로 검색하게 합니다. 이 글은 LangGraph 문서의 구체적인 흐름을 바탕으로 장소 대관 조건 비교를 통해 고정형 RAG와의 차이를 보여 주고, 종료 조건, 권한, 검색 기록과 비용 관리를 설명합니다. 읽고 나면 작업에 동적 탐색이 필요한지, 예측 가능한 고정 절차로 충분한지 판단할 수 있습니다.

  • 라이프스타일

    그래프 검색 증강 생성(GraphRAG): 관계를 통해 문서 전체 이해하기

    GraphRAG는 엔터티와 그 관계를 검색에 활용해 문서 간 연관성과 전체 주제에 관한 질문에 답하도록 돕습니다. 이 글은 Microsoft의 원 논문과 공식 문서를 바탕으로 엔터티 추출, 커뮤니티 요약, 로컬 검색과 글로벌 검색을 설명하고, 지역 행사 기록을 통해 질문에 따라 다른 경로가 필요함을 보여 줍니다. 또한 그래프의 연결 누락, 이름의 잘못된 병합, 요약 왜곡이 답변에 미치는 영향을 설명해 보기 좋은 관계도를 검증된 사실로 오인하지 않도록 합니다.

  • 라이프스타일

    지식 그래프(Knowledge Graph): 대상과 관계를 명확히 설명하기

    지식 그래프는 개체와 관계로 데이터를 구성해 ‘누가 무엇에 참여했고, 어디서 언제 일어났는지’를 연결을 따라 조회할 수 있게 합니다. 이 글은 커뮤니티 행사 데이터를 예로 개체 식별, 관계 방향, 출처와 시간을 살펴보고, 자원 기술 프레임워크(RDF)와 속성 그래프의 표현 방식 차이를 소개합니다. 또한 그래프가 시각화나 신뢰할 만한 사실 그 자체는 아님을 설명합니다. 읽고 나면 데이터가 그래프 구축에 적합한지 판단하고, 데이터 테이블·벡터 검색·그래프 검색 증강 생성(GraphRAG)과 어떻게 결합하는지 이해할 수 있습니다.

  • 라이프스타일

    하이브리드 검색(Hybrid Search): 정확한 단어와 의미를 함께 고려하기

    하이브리드 검색은 전문 검색과 벡터 검색 등 서로 다른 검색 결과를 결합해 정확한 코드와 자연어로 표현한 요구를 모두 반영합니다. 장비 설명서 검색을 예로 후보 확보, 중복 제거, 순위 융합, 재순위화를 살펴보고, 역순위 융합(RRF)이 순위로 서로 다른 검색 결과를 결합하는 원리를 설명합니다. 하이브리드 방식이 모든 경우에 정확도 향상을 보장하지 않는다는 점도 짚습니다. 코드 질문, 표현을 바꾼 질문, 답이 없는 질문으로 품질을 확인하고, 권한·필터링·중복 콘텐츠로 인한 편향을 구분할 수 있습니다.

출처

위에 기재된 참고 자료와 확인일 기준 정보를 바탕으로 정리했습니다. 요금, 시간표, 기능, 이용 약관은 바뀔 수 있으므로 여행, 예약 또는 구매 전에 해당 공식 사이트에서 최신 정보를 확인해 주세요.

라이프스타일