라이프스타일

토큰화(Tokenization)란: 모델에 입력되기 전 텍스트 나누기

토큰화는 원시 텍스트를 토큰과 번호로 바꾸는 처리 단계로, 중국어 문장에서 문법적인 단어를 찾아내는 것과는 다릅니다. 이 글은 아침 식사 가게의 메뉴 이름을 정리하는 예시로 어휘집, 서브워드, 공백, 정규화가 결과에 미치는 영향을 설명하고, BPE, Unigram과 토큰화 도구의 역할을 구분합니다. 번체 중국어, 여러 언어가 섞인 텍스트, 드문 기호를 점검하는 방법도 소개합니다. 읽고 나면 문제가 텍스트 분할, 모델의 이해, 파일 읽기 중 어느 단계에 있는지 판단할 수 있습니다.

읽는 데 약 9분

LINE 공유
왼쪽 문서 카드와 오른쪽의 길이가 서로 다른 둥근 모서리 색상 블록 세 개를 주황색 직선으로 구분해, 추상적인 도형으로 텍스트 분할을 나타냅니다.
사진: Mokaair (© Mokaair)
목차
  1. 1. 토큰화 결과가 생각했던 단어와 다른 이유
  2. 2. 어휘집, 알고리즘, 도구는 각각 무엇을 담당할까
  3. 3. 아침 메뉴로 전체 처리 과정 점검하기
  4. 4. 공백과 텍스트 정리가 결과를 바꾸는 이유
  5. 5. 토큰화는 검색용 청킹도 중국어 이해력 시험도 아니다

토큰화(Tokenization)는 원시 텍스트를 모델이 처리할 수 있는 단위로 바꾸는 단계입니다. 일상적으로 말하는 ‘문장을 단어로 나눈다’는 표현은 중국어 수업을 떠올리게 하지만, 언어 모델의 토크나이저는 한 단어를 더 작은 조각으로 나누기도 하고 공백과 문장부호를 표현에 포함하기도 합니다. 목표는 계산 가능한 인코딩 방식이며, 사람이 자연스럽다고 여기는 단어 경계와 반드시 일치하는 것은 아닙니다.

이어서 아침 식사 가게에서 메뉴 이름을 정리하는 예시로 토크나이저가 하는 일과 하지 않는 일을 살펴보겠습니다. 직접 토크나이저를 학습시키지 않아도 중국어, 영어 약어, 특수 기호가 섞여 있을 때 텍스트가 시스템에 제대로 전달되었는지 확인하는 방법을 익힐 수 있습니다. 답변이 틀렸다는 이유만으로 모델이 중국어를 이해하지 못한다고 탓할 필요는 없습니다.

토큰화 결과가 생각했던 단어와 다른 이유

메뉴에 ‘치즈 달걀전’, ‘아이스 두유’, 새로 이름을 붙인 세트 메뉴가 있다고 가정해 봅시다. 사람은 의미를 바탕으로 이를 음식으로 이해하지만, 토크나이저는 이미 구축된 어휘집과 규칙에 따라 조각을 결정합니다. 흔한 텍스트는 더 온전한 형태로 표현될 수 있고, 드문 새 이름은 더 잘게 나뉠 수 있습니다. 실제 경계는 사용하는 토크나이저에 따라 달라지므로 눈으로만 보고 추정할 수는 없습니다.

조각을 나눈 뒤 프로그램은 각 조각을 해당 번호로 변환합니다. 모델의 수치 연산은 이 번호에 대응하는 표현을 사용하며, 종이 위 글자 모양을 직접 놓고 사고하는 것은 아닙니다. 같은 텍스트라도 모델이 달라지면 토큰 수가 달라질 수 있는 이유도 여기에 있습니다. 토크나이저와 어휘집이 다르면 선택되는 조각도 달라질 수 있습니다.

그렇다고 잘게 나뉘면 전혀 이해할 수 없다고 생각해서는 안 됩니다. 서브워드 방식은 원래 제한된 어휘집으로 더 많은 텍스트 조합을 처리하기 위한 방법입니다. 반대로 어떤 메뉴가 우연히 적은 수의 토큰만 차지한다고 해서 모델이 그 재료나 가격을 안다는 증거도 아닙니다. 텍스트를 표현할 수 있는지와 모델이 그 정보를 알고 있는지는 서로 다른 문제입니다.

메뉴 원문을 토크나이저로 조각과 번호로 변환한 뒤 모델에 전달해 분류합니다. 다른 경로에서는 텍스트를 복원해 원문과 대조합니다.
파일 읽기, 분할, 모델의 판단을 나누어 점검해야 데이터가 변형된 단계를 찾을 수 있습니다. · 사진: Mokaair (© Mokaair)
자세한 설명 보기

메뉴 원문을 토크나이저로 조각과 번호로 변환한 뒤 모델에 전달해 분류합니다. 다른 경로에서는 텍스트를 복원해 원문과 대조합니다.

어휘집, 알고리즘, 도구는 각각 무엇을 담당할까

Hugging Face 문서에는 BPE, Unigram, WordPiece 같은 서브워드 방식이 정리되어 있습니다. 직관적으로 설명하면 BPE는 어휘집을 만들 때 자주 함께 나타나는 조각을 점차 합칩니다. Unigram은 후보 조각과 확률을 바탕으로 적절한 표현을 선택합니다. 서로 다른 전략이므로 이름만 보고 어느 방식이 모든 중국어 작업에 가장 적합한지 판단할 수는 없습니다.

SentencePiece는 토큰화와 텍스트 복원을 구현한 도구로, BPE나 Unigram 같은 방식을 사용할 수 있습니다. 원본 프로젝트의 설명에 따르면 언어별 단어 분리 절차에 먼저 의존하지 않고 원시 문장에서 직접 학습할 수 있습니다. 따라서 ‘SentencePiece와 BPE 중 어느 것이 더 좋은가’라는 질문은 때로 비교하는 층위가 잘못된 것입니다. 소프트웨어 도구와 그 도구 안에서 사용하는 연산 방식 하나를 서로 배타적인 제품으로 취급하는 셈입니다.

일반 사용자는 모델과 토크나이저가 서로 맞는지에 더 주의해야 합니다. 직접 API를 연결하거나 모델을 내려받을 때 다른 토크나이저가 만든 번호를 임의로 모델에 입력해서는 안 됩니다. 같은 번호라도 어휘집에 따라 다른 조각을 나타낼 수 있습니다. 프로그램에서 곧바로 오류가 나지 않더라도 입력의 의미는 이미 달라졌을 수 있습니다. 모델에 포함되거나 공식적으로 지정된 토큰화 설정을 사용하면 이런 혼동을 가장 쉽게 피할 수 있습니다.

아침 메뉴로 전체 처리 과정 점검하기

다음은 예시 작업입니다. 흔한 음식, 새 세트 메뉴 이름, 영어 약어, 전각 문장부호, 이모지가 포함된 테스트 메뉴를 준비합니다. 먼저 일반 텍스트 원문을 한 부 보관한 다음, 해당 토큰화 도구로 조각, 번호, 총개수를 확인합니다. 이 기록의 목적은 보기 좋은 분할 방식을 찾는 것이 아니라 비교할 수 있는 기준을 마련하는 것입니다.

다음 단계에서는 번호를 텍스트로 복원해 원문과 항목별로 대조합니다. 이 처리 과정에서 이름, 문장부호, 공백이 어떻게 보존되는지 확인하는 것이 목적입니다. 일부 설정에는 정규화가 포함되므로 먼저 도구의 규칙을 살펴봐야 하며, 모든 차이를 오류로 간주해서는 안 됩니다. 특히 전각과 반각, 겉보기에는 같지만 인코딩이 다른 기호, 불필요한 줄바꿈에 주의하세요.

이어서 같은 메뉴를 모델에 전달하고 달걀이 들어간 품목만 원래 이름과 함께 나열하도록 요청합니다. 복원한 텍스트에 이미 글자가 빠져 있다면 먼저 파일 읽기, 인코딩, 전처리를 점검해야 합니다. 복원은 정확한데 모델이 잘못된 품목을 골랐다면 작업 지시, 데이터 부족, 이해에 문제가 있을 가능성이 더 큽니다. 이렇게 단계별로 점검하면 질문 방식을 반복해서 바꾸는 것보다 실제로 실패한 지점을 찾기 쉽습니다.

공백과 텍스트 정리가 결과를 바꾸는 이유

PDF에서 메뉴를 복사하면 글자 사이마다 공백이 끼어들 수 있습니다. 표의 줄바꿈 때문에 이름과 가격이 서로 다른 줄로 나뉠 수도 있습니다. 사람에게는 단순한 편집상의 흠이지만 토크나이저와 이후 모델에는 서로 다른 입력입니다. 추출한 일반 텍스트를 먼저 살펴보는 편이 잘못된 데이터에 지시를 더 추가하는 것보다 대개 효과적입니다.

다만 정리한다고 해서 모든 공백을 지워야 하는 것은 아닙니다. 영어 이름 속 공백, 품목과 주석 사이의 구분, 표의 열 사이 경계에는 필요한 구조가 담겨 있을 수 있습니다. 원문을 보관하고 명확한 규칙을 정하는 편이 좋습니다. 예를 들어 PDF 때문에 생긴 비정상적인 줄바꿈만 합치고, 경계에 해당하는 사례 몇 건을 사람이 직접 확인한 뒤 전체 데이터를 일괄 변환합니다.

정규화에도 목적이 필요합니다. 같은 종류의 음식을 찾으려면 일부 글자 형태의 차이를 통일하는 것이 대조에 도움이 될 수 있습니다. 계약서, 일련번호, 원문 인용문을 글자 그대로 옮겨야 한다면 문자를 바꾸는 과정에서 정보가 손실될 수 있습니다. 토큰화 도구가 제공하는 기능과 데이터의 원형 보존 요구를 각각 확인해야 하며, “가 알아보기만 하면 된다”는 말로 데이터 품질 검사를 대신해서는 안 됩니다.

토큰화는 검색용 청킹도 중국어 이해력 시험도 아니다

문서 청킹은 보통 긴 자료를 문단이나 조각으로 나누어 검색하기 쉽게 만드는 작업입니다. 토큰화는 모델에 입력할 텍스트를 토큰으로 표현하는 작업입니다. 매뉴얼 전체를 먼저 장별로 나눈 뒤, 그중 한 장을 토크나이저로 인코딩할 수 있습니다. 두 작업은 함께 존재하며 서로 다른 목적을 수행합니다. 청킹 단위를 더 작게 조정한다고 해서 모델의 토큰화 방식이 바뀌는 것은 아닙니다.

마찬가지로 검색 엔진의 중국어 단어 분리는 흔히 색인을 만드는 데 사용되며, 검색어와 문서의 단어를 어떻게 대응시킬지가 핵심입니다. 언어 모델의 토큰화는 모델의 입력 및 학습 당시의 표현과 관련됩니다. 이름이 비슷할 때는 먼저 ‘이렇게 나눈 결과를 누가 사용하는가’를 물어보면 검색 설정과 모델 설정을 혼동하지 않을 수 있습니다.

채팅 인터페이스만 사용한다면 대개 내부 토크나이저를 바꿀 수 없습니다. 그래도 원본 텍스트를 먼저 정리하고, 필드를 명확히 유지하고, 의미 없는 반복을 피할 수는 있습니다. 직접 처리 흐름을 개발한다면 모델 이름, 토큰화 설정, 전처리 버전을 함께 기록해야 합니다. 나중에 토큰 수가 갑자기 달라졌을 때 내용이 바뀐 것인지 인코딩 규칙이 바뀐 것인지 알 수 있습니다.

개념과 사용 상황 비교. 2026년 9월에 확인.
개념분할 대상주요 목적
언어 모델 토큰화텍스트를 토큰으로 변환모델의 표현
중국어 단어 분리문장 속 단어언어 분석 또는 검색 색인
문서 청킹긴 문서의 문단검색 및 데이터 정리

토큰(Token)이란: AI는 텍스트 길이를 어떻게 계산할까

문서 청킹(Chunking): 답이 잘리지 않으려면 어느 길이로 나눠야 할까

AI 용어 전체 색인: Loop Engineering부터 생성형 AI까지

이 정리가 도움이 되셨나요? 필요한 분께 공유해 보세요

LINE 공유
  • 라이프스타일

    에이전트형 검색 증강 생성(Agentic RAG): 언제 다시 검색해야 할까

    에이전트형 검색 증강 생성은 모델이 검색 결정에 참여해 질문과 이미 찾은 근거에 따라 자료 출처를 선택하거나 검색어를 재작성하거나 추가로 검색하게 합니다. 이 글은 LangGraph 문서의 구체적인 흐름을 바탕으로 장소 대관 조건 비교를 통해 고정형 RAG와의 차이를 보여 주고, 종료 조건, 권한, 검색 기록과 비용 관리를 설명합니다. 읽고 나면 작업에 동적 탐색이 필요한지, 예측 가능한 고정 절차로 충분한지 판단할 수 있습니다.

  • 라이프스타일

    그래프 검색 증강 생성(GraphRAG): 관계를 통해 문서 전체 이해하기

    GraphRAG는 엔터티와 그 관계를 검색에 활용해 문서 간 연관성과 전체 주제에 관한 질문에 답하도록 돕습니다. 이 글은 Microsoft의 원 논문과 공식 문서를 바탕으로 엔터티 추출, 커뮤니티 요약, 로컬 검색과 글로벌 검색을 설명하고, 지역 행사 기록을 통해 질문에 따라 다른 경로가 필요함을 보여 줍니다. 또한 그래프의 연결 누락, 이름의 잘못된 병합, 요약 왜곡이 답변에 미치는 영향을 설명해 보기 좋은 관계도를 검증된 사실로 오인하지 않도록 합니다.

  • 라이프스타일

    지식 그래프(Knowledge Graph): 대상과 관계를 명확히 설명하기

    지식 그래프는 개체와 관계로 데이터를 구성해 ‘누가 무엇에 참여했고, 어디서 언제 일어났는지’를 연결을 따라 조회할 수 있게 합니다. 이 글은 커뮤니티 행사 데이터를 예로 개체 식별, 관계 방향, 출처와 시간을 살펴보고, 자원 기술 프레임워크(RDF)와 속성 그래프의 표현 방식 차이를 소개합니다. 또한 그래프가 시각화나 신뢰할 만한 사실 그 자체는 아님을 설명합니다. 읽고 나면 데이터가 그래프 구축에 적합한지 판단하고, 데이터 테이블·벡터 검색·그래프 검색 증강 생성(GraphRAG)과 어떻게 결합하는지 이해할 수 있습니다.

  • 라이프스타일

    하이브리드 검색(Hybrid Search): 정확한 단어와 의미를 함께 고려하기

    하이브리드 검색은 전문 검색과 벡터 검색 등 서로 다른 검색 결과를 결합해 정확한 코드와 자연어로 표현한 요구를 모두 반영합니다. 장비 설명서 검색을 예로 후보 확보, 중복 제거, 순위 융합, 재순위화를 살펴보고, 역순위 융합(RRF)이 순위로 서로 다른 검색 결과를 결합하는 원리를 설명합니다. 하이브리드 방식이 모든 경우에 정확도 향상을 보장하지 않는다는 점도 짚습니다. 코드 질문, 표현을 바꾼 질문, 답이 없는 질문으로 품질을 확인하고, 권한·필터링·중복 콘텐츠로 인한 편향을 구분할 수 있습니다.

출처

위에 기재된 참고 자료와 확인일 기준 정보를 바탕으로 정리했습니다. 요금, 시간표, 기능, 이용 약관은 바뀔 수 있으므로 여행, 예약 또는 구매 전에 해당 공식 사이트에서 최신 정보를 확인해 주세요.

라이프스타일