라이프스타일

지도 미세 조정(SFT): 좋은 예시로 모델에 작업 수행을 가르치기

지도 미세 조정은 입력과 기대 출력을 훈련 예시로 사용해 기존 모델이 더 안정적인 작업 수행 방식을 배우게 합니다. 이 글은 회의의 할 일 정리를 사례로 데이터 쌍 구성, 대화 역할, 손실 계산, 별도 테스트 세트 확보를 설명하고, SFT, 퓨샷 프롬프팅, LoRA, 선호도 최적화를 구분합니다. 모델이 예시 속 추측과 형식 오류까지 어떻게 배우는지도 설명합니다. 읽고 나면 훈련 데이터가 모델에 모르는 정보를 그대로 남기도록 가르치는지, 그저 완성되어 보이는 결과만 만들도록 가르치는지 점검할 수 있습니다.

읽는 데 약 9분

LINE 공유
입력과 정답이 쌍으로 배치되어 함께 지도 신호를 이루고 기존 모델에 전달되는 모습
사진: Mokaair (© Mokaair)
목차
  1. 1. 보기 좋은 답변보다 좋은 예시가 중요하다
  2. 2. 훈련에서 입력과 정답을 사용하는 방법
  3. 3. 예시: 회의 할 일의 입력과 출력 짝짓기
  4. 4. SFT와 다른 방법의 역할 분담
  5. 5. 어떤 근거가 있어야 훈련이 유용했다고 볼까

지도 미세 조정은 영어로 Supervised Fine-tuning이며, 흔히 SFT로 줄여 부릅니다. 입력과 기대 출력으로 이루어진 예시를 사용해 기존 모델을 계속 훈련하는 방법입니다. 언어 모델의 경우 입력은 사용자의 요구와 자료일 수 있고, 기대 출력은 규칙에 맞는 답변입니다. 모델은 훈련 중 를 조정하여 예시 답변이 생성될 가능성을 높이고, 점차 작업의 형식, 표현, 처리 방식을 학습합니다.

‘지도’는 훈련에 명확한 목표 신호가 있다는 뜻입니다. 매번 답변할 때 사람이 지켜본다는 의미는 아니며, 예시 자체가 올바르다는 보장도 아닙니다. 이 글은 가상의 회의록을 할 일 목록으로 정리하는 상황을 통해 유용한 예시를 만드는 방법을 설명합니다. TRL 공식 SFT 문서와 InstructGPT 연구를 참고하되, 특정 도구의 기본 설정을 모든 모델에 공통으로 적용되는 규칙으로 취급하지 않으며, 예시가 이미 훈련과 테스트를 마쳤다고 주장하지도 않습니다.

보기 좋은 답변보다 좋은 예시가 중요하다

회의록에서 작업 항목, 담당자, 기한을 추출하는 것이 목표라고 가정해 봅시다. 예시는 모델에 원문에 명시된 정보만 채우고, 담당자가 제시되지 않으면 미지정으로 표시하며, 기한이 없으면 빈칸으로 남기도록 가르쳐야 합니다. 라벨링 담당자가 표를 완성하려고 날짜를 임의로 추측하면 모델이 ‘정보가 없어도 채워 넣어야 한다’는 행동을 배울 수 있습니다. 출력은 전문적으로 보이지만, 오히려 원문에 충실하게 정리해야 한다는 작업의 실제 요구에서 벗어납니다.

데이터 쌍의 구성도 일관되어야 합니다. 같은 정도로 모호한 문장을 어떤 예시에서는 확정된 할 일로 쓰고, 다른 예시에서는 확인 필요 상태로 남기면 모델은 상충하는 신호를 받습니다. 대량의 데이터를 수집하기 전에 무엇을 이행 약속, 논의 중인 제안, 배경 정보로 볼지 먼저 정의하고, 라벨링 담당자들이 동일한 소규모 사례 묶음을 처리한 뒤 차이를 비교하도록 해야 합니다. SFT가 도달할 수 있는 수준은 목표 자체가 얼마나 명확한지에 영향을 받는 경우가 많으며, 예시 수만 늘린다고 해결되지 않습니다.

훈련에서 입력과 정답을 사용하는 방법

일반적인 언어 모델의 SFT도 여전히 답변 토큰을 예측하는 데 중점을 두지만, 데이터는 명확한 작업 예시로 구성됩니다. 대화 데이터에서는 시스템, 사용자, 어시스턴트 역할을 유지하고 해당 모델의 대화 템플릿을 따라야 합니다. 역할을 잘못 분류하면 모델이 사용자의 질문을 흉내 내도록 학습하거나, 배경으로 주어야 할 텍스트를 출력해야 하는 정답으로 받아들일 수 있습니다. 따라서 데이터 형식은 단순한 포장상의 세부 사항이 아니라 훈련 목표의 일부입니다.

손실을 계산하는 범위도 점검할 필요가 있습니다. TRL 문서에는 어시스턴트 답변에만 손실을 계산하거나 완성 텍스트에만 손실을 계산하는 옵션이 제시되어 있습니다. 구체적인 동작은 데이터 유형과 템플릿 지원 여부의 영향을 받습니다. 정답 열이 있다고 해서 도구가 반드시 그 열만 학습한다고 가정해서는 안 됩니다. 훈련 전에 실제 토큰화 결과와 마스킹 결과를 확인하여 중요한 답변이 잘리지 않았고, 학습시킬 의도가 없는 역할의 내용이 목표에 잘못 포함되지 않았는지 확인해야 합니다.

회의 원문과 기대하는 할 일 목록을 짝지어, SFT가 알려진 내용을 정리하고 미확인 필드를 남기는 법을 학습한 뒤 새 회의로 검증하는 과정
목표 출력은 형식이 올바를 뿐 아니라 원문에도 충실해야 합니다. · 사진: Mokaair (© Mokaair)
자세한 설명 보기

회의 원문과 기대하는 할 일 목록을 짝지어, SFT가 알려진 내용을 정리하고 미확인 필드를 남기는 법을 학습한 뒤 새 회의로 검증하는 과정

예시: 회의 할 일의 입력과 출력 짝짓기

입력에 ‘샤오린이 다음 주에 발표 자료를 발송한다. 장소를 바꿀지는 관리자의 답변을 기다린 뒤 결정한다’라고 적혀 있다고 가정해 봅시다. 기대 출력에는 샤오린의 발표 자료 발송을 명확한 할 일로 기재하고, 기한은 원문의 상대적인 표현을 유지하며, 장소 변경은 확인이 필요한 사항으로 분류할 수 있습니다. 회의 날짜가 없다면 ‘다음 주’를 임의의 달력 날짜로 바꾸어서는 안 됩니다. 이는 직접 만든 교육용 예시로, 실제 회의나 모델 테스트 결과가 아닙니다.

이어서 비교할 입력을 만들어 봅시다. ‘샤오린에게 발표 자료 한 부를 보내는 것을 고려해 달라고 부탁해도 될까요?’ 이는 단순한 제안일 수 있으므로 공식적인 업무 지시로 볼지는 데이터 라벨링 규칙에 따라 결정해야 합니다. 테스트 세트에는 이행 약속, 질문, 부정, 확인이 필요한 문장을 모두 포함하여 모델이 작업의 의미를 파악하는지 점검해야 합니다. 예시와 같은 문형만 테스트하면 형식 점수는 좋아 보일 수 있지만, 실제 회의에서 겪는 어려움은 드러나지 않을 수 있습니다.

검수 기준은 적어도 내용의 정확성, 필드 형식, 미확인 사항 처리로 나누어야 합니다. 모델이 사람 이름을 올바른 필드에 넣더라도 기한이 없는 항목에 내일이라는 기한을 채워 넣으면 여전히 실패입니다. 반대로, 솔직하게 빈칸을 남긴 목록을 겉보기에 덜 완성되어 있다는 이유로 더 나쁘다고 평가해서는 안 됩니다. 이런 평가 설계는 다시 데이터 품질에 영향을 주어 모델이 제품에서 실제로 필요로 하는 행동을 배우도록 합니다.

SFT와 다른 방법의 역할 분담

퓨샷 프롬프팅은 해당 요청의 맥락에 예시를 넣으며, 보통 모델 매개변수를 업데이트하지 않습니다. SFT는 데이터로 훈련을 수행하며 그 효과가 훈련 후 모델 상태에 남습니다. LoRA는 매개변수 효율성이 높은 업데이트 방식으로, SFT를 수행하는 데 사용할 수 있습니다. SFT와 상호 배타적인 다른 예시 형식이 아닙니다. 선호도 최적화는 더 나은 답변과 더 나쁜 답변을 비교하므로, 기대하는 정답을 직접 제공하는 신호와 다릅니다. 실제로는 예시 학습 이후에 적용할 수 있습니다.

질문이 매주 회의의 최신 내용에 관한 것이어도 SFT가 이를 자동으로 읽어 주지는 않습니다. 애플리케이션은 여전히 회의 녹취록, 관련 프로젝트 자료, 필요한 날짜를 제공해야 모델이 해당 작업을 처리할 수 있습니다. 훈련은 모델이 더 능숙하게 정리하도록 하고, 데이터 파이프라인은 올바른 내용을 접하도록 합니다. 이 둘을 구분해야 ‘회사 데이터로 훈련했다’는 이유만으로 이후의 모든 변동까지 알 것이라고 착각하지 않을 수 있습니다.

어떤 근거가 있어야 훈련이 유용했다고 볼까

모델이 보지 못한 회의 자료를 따로 남겨 두는 것이 매우 중요합니다. 같은 회의를 바꿔 쓴 자료가 훈련과 테스트에 동시에 들어가지 않도록 회의나 프로젝트 단위로 나누는 것이 좋습니다. 평가할 때는 명확한 프롬프트를 사용한 원래 모델과 비교하여, 단순히 더 나은 프롬프트를 쓴 덕분이 아니라 SFT가 실제 요구 사항에서 개선을 가져왔는지 확인해야 합니다. 원래 유지해야 했던 능력이 특정 용도에 맞춘 훈련으로 저하되지는 않았는지도 점검해야 합니다.

훈련 손실의 감소는 모델이 사용한 목표에 더 잘 적응했음을 뜻하지만, 그것만으로 할 일 목록의 신뢰성이 높아졌다고 입증할 수는 없습니다. 서비스에 적용하기 전에는 모델 로딩, 대화 템플릿, 출력 파싱, 버전 호환성도 검증해야 합니다. 적용 후에는 새로운 유형의 회의와 규칙 변경 상황을 표본 점검해야 합니다. ‘제안을 할 일로 볼 것인가’라는 업무상 정의가 바뀌면 기존 예시도 재정비해야 할 수 있습니다. 추론할 때 한 문장을 덧붙이면 충돌이 완전히 상쇄될 것이라고 기대해서는 안 됩니다.

인수인계할 수 있는 SFT 결과물에는 라벨링 규칙, 데이터 출처의 범위, 훈련 및 평가 버전, 대표적인 오류 사례가 포함되어야 합니다. 이런 정보가 있어야 다음 유지보수 담당자가 모델이 무엇을 배웠는지, 어떤 빈칸이 의도적으로 남겨졌는지 알 수 있습니다. 일반 독자가 가장 기억해야 할 점은 SFT가 예시에 담긴 행동을 강화한다는 것입니다. 따라서 데이터에 담긴 정직함, 불확실성, 예외 처리도 정답만큼 중요합니다.

개념 비교. 출처 확인: 2026년 9월.
방법핵심 처리 내용유의 사항
퓨샷 프롬프팅해당 요청에서 예시 제공보통 매개변수를 업데이트하지 않음
SFT입력에 따른 기대 출력 학습예시의 품질이 목표를 결정함
선호도 최적화여러 답변의 품질 비교일관된 선호 기준 필요

직접 선호도 최적화(DPO): 답변 비교로 모델을 직접 조정하기

AI 용어 총색인: Loop Engineering부터 생성형 AI까지

이 정리가 도움이 되셨나요? 필요한 분께 공유해 보세요

LINE 공유
  • 라이프스타일

    에이전트형 검색 증강 생성(Agentic RAG): 언제 다시 검색해야 할까

    에이전트형 검색 증강 생성은 모델이 검색 결정에 참여해 질문과 이미 찾은 근거에 따라 자료 출처를 선택하거나 검색어를 재작성하거나 추가로 검색하게 합니다. 이 글은 LangGraph 문서의 구체적인 흐름을 바탕으로 장소 대관 조건 비교를 통해 고정형 RAG와의 차이를 보여 주고, 종료 조건, 권한, 검색 기록과 비용 관리를 설명합니다. 읽고 나면 작업에 동적 탐색이 필요한지, 예측 가능한 고정 절차로 충분한지 판단할 수 있습니다.

  • 라이프스타일

    그래프 검색 증강 생성(GraphRAG): 관계를 통해 문서 전체 이해하기

    GraphRAG는 엔터티와 그 관계를 검색에 활용해 문서 간 연관성과 전체 주제에 관한 질문에 답하도록 돕습니다. 이 글은 Microsoft의 원 논문과 공식 문서를 바탕으로 엔터티 추출, 커뮤니티 요약, 로컬 검색과 글로벌 검색을 설명하고, 지역 행사 기록을 통해 질문에 따라 다른 경로가 필요함을 보여 줍니다. 또한 그래프의 연결 누락, 이름의 잘못된 병합, 요약 왜곡이 답변에 미치는 영향을 설명해 보기 좋은 관계도를 검증된 사실로 오인하지 않도록 합니다.

  • 라이프스타일

    지식 그래프(Knowledge Graph): 대상과 관계를 명확히 설명하기

    지식 그래프는 개체와 관계로 데이터를 구성해 ‘누가 무엇에 참여했고, 어디서 언제 일어났는지’를 연결을 따라 조회할 수 있게 합니다. 이 글은 커뮤니티 행사 데이터를 예로 개체 식별, 관계 방향, 출처와 시간을 살펴보고, 자원 기술 프레임워크(RDF)와 속성 그래프의 표현 방식 차이를 소개합니다. 또한 그래프가 시각화나 신뢰할 만한 사실 그 자체는 아님을 설명합니다. 읽고 나면 데이터가 그래프 구축에 적합한지 판단하고, 데이터 테이블·벡터 검색·그래프 검색 증강 생성(GraphRAG)과 어떻게 결합하는지 이해할 수 있습니다.

  • 라이프스타일

    하이브리드 검색(Hybrid Search): 정확한 단어와 의미를 함께 고려하기

    하이브리드 검색은 전문 검색과 벡터 검색 등 서로 다른 검색 결과를 결합해 정확한 코드와 자연어로 표현한 요구를 모두 반영합니다. 장비 설명서 검색을 예로 후보 확보, 중복 제거, 순위 융합, 재순위화를 살펴보고, 역순위 융합(RRF)이 순위로 서로 다른 검색 결과를 결합하는 원리를 설명합니다. 하이브리드 방식이 모든 경우에 정확도 향상을 보장하지 않는다는 점도 짚습니다. 코드 질문, 표현을 바꾼 질문, 답이 없는 질문으로 품질을 확인하고, 권한·필터링·중복 콘텐츠로 인한 편향을 구분할 수 있습니다.

출처

위에 기재된 참고 자료와 확인일 기준 정보를 바탕으로 정리했습니다. 요금, 시간표, 기능, 이용 약관은 바뀔 수 있으므로 여행, 예약 또는 구매 전에 해당 공식 사이트에서 최신 정보를 확인해 주세요.

라이프스타일