라이프스타일
추론(Inference)이란: 모델 학습이 끝난 뒤 매번 응답할 때 수행하는 계산
추론은 학습된 모델로 새로운 입력을 처리하고 출력을 만드는 과정이며, 이 단계에서 가중치는 고정된다. 언어 모델의 추론을 프롬프트 읽기(prefill)와 순차 생성(decode)으로 나누어 첫 토큰 수신 시간, 전체 응답 시간, 처리량의 차이를 설명한다. 추론(inference)과 추리(reasoning), 클라우드와 로컬을 구분하고, 배치 처리·양자화·캐싱이 각각 무엇을 줄이는지 살펴본다.
읽는 데 약 10분

목차
추론(inference)은 학습된 모델로 새로운 입력을 처리하고 출력을 만드는 과정이다. 전송 버튼을 누를 때마다 모델이 프롬프트를 읽고 마지막 토큰을 생성하기까지 수행하는 모든 계산이 추론이다. 이 동안 가중치 등 모델 매개변수는 고정되며, 가중치를 조정하는 것은 학습의 역할이다. 자주 혼용되는 또 다른 용어인 추리(reasoning)는 모델이 여러 단계에 걸쳐 답을 도출하는 능력을 뜻한다. 이 사이트에서는 inference를 ‘추론’, reasoning을 ‘추리’로 구분하며, 그 이유는 글 끝에서 설명한다.
이 글에서는 가상의 민박 예약 도우미를 예로 들어, 한 번의 응답이 어떻게 두 단계로 나뉘는지, 출력이 길수록 보통 시간이 오래 걸리는 이유, 두 지연 시간 지표의 차이, 배치 처리·양자화·캐싱이 각각 무엇을 줄이는지 설명한다. 주로 Google 용어집, 논문 두 편, 각 업체의 공식 문서를 근거로 삼았다. 가격이나 속도 수치는 모델과 하드웨어에 따라 달라지므로 제시하지 않는다.
추론과 학습은 어떻게 다른가
Google 머신러닝 용어집은 전통적인 머신러닝에서 추론을 학습된 모델을 라벨이 없는 예시에 적용해 예측하는 과정으로 정의한다. 대규모 언어 모델에서는 학습된 모델로 입력 프롬프트에 대한 응답을 생성하는 과정이다. 학습은 모델 매개변수인 가중치와 편향을 결정하는 과정으로, 시스템이 예시를 읽고 매개변수를 점진적으로 조정한다. 둘을 가르는 기준은 매개변수가 바뀌는지 여부다. 용어집은 통계학에서 inference의 의미가 조금 다르다고도 명시한다. 여기서는 머신러닝에서의 의미를 사용한다.
추론 중에는 이번 질문으로 인해 가중치가 바뀌지 않는다. 프롬프트에 예시를 몇 개 넣으면 모델이 그 형식대로 답할 수 있지만, 예시는 이번 계산의 입력일 뿐이다. 서비스 제공자가 대화를 저장하거나 나중에 학습에 사용하는지는 제품 약관과 설정의 문제이며, 추론 자체에 해당하지 않는다.
| 구분 | 학습 | 추론 |
|---|---|---|
| 가중치 | 점진적으로 조정 | 고정된 상태로 계산에만 사용 |
| 발생 빈도 | 모델 완성 전이나 버전 업데이트 시 집중 | 요청마다 계산 |
| 비용 구조 | 모델 완성 전의 연산·데이터 투입 | 요청 수와 길이에 따라 누적 |
한 번의 응답을 이루는 두 단계: 프롬프트 읽기와 순차 생성
대규모 언어 모델의 추론은 두 단계로 나뉜다. 첫 단계는 프롬프트 읽기(prefill)다. 프롬프트의 모든 토큰이 이미 주어져 있으므로 한꺼번에 병렬로 처리할 수 있다. 이때 첫 번째 새 토큰의 확률을 계산하고, 각 위치의 중간 결과인 key와 value를 저장한다. 이를 통틀어 KV 캐시라고 한다. vLLM 논문은 이 단계를 prompt phase, Pope 등은 prefill이라고 부른다.
두 번째 단계는 순차 생성(decode)이다. 각 단계에서 직전에 생성한 새 토큰만 모델에 넣어 다음 토큰을 계산하며, 종료 기호나 길이 상한에 도달할 때까지 반복한다. 앞선 토큰의 KV 캐시가 이미 저장되어 있어 매번 새 토큰 하나만 추가로 계산하지만, 다음 단계는 이전 단계가 끝나야 시작할 수 있으므로 병렬로 처리할 수 없다. vLLM 논문은 이 단계에서 GPU 연산 능력을 충분히 활용하기 어렵고, 메모리 읽기의 제약을 받으며, 단일 요청 지연 시간의 대부분을 차지한다고 설명한다.
출력이 길수록 시간이 오래 걸리는 이유가 여기에 있다. 토큰이 많을수록 반복할 단계가 늘어나고, 매 단계마다 모델 가중치와 KV 캐시를 읽어야 한다. 입력이 길어지면 주로 한 번 수행하는 prefill의 부담이 커지며, 이후 각 단계에서 읽어야 할 KV 캐시도 커진다. OpenAI의 지연 시간 가이드도 토큰 생성이 거의 항상 가장 오래 걸리는 단계이며, 입력이 아주 길지 않다면 보통 주된 원인은 아니라고 설명한다.
자세한 설명 보기
시간축 그림. 요청은 먼저 대기열과 네트워크를 거친 뒤 프롬프트 읽기(prefill) 단계로 들어가 프롬프트 전체를 한꺼번에 병렬 처리한다. 이어 순차 생성(decode) 단계에서 끝날 때까지 한 단계에 토큰 하나씩 생성한다. 첫 토큰 수신 시간에는 대기열·네트워크와 프롬프트 읽기가 포함되고, 생성 시간에는 그 이후의 토큰을 하나씩 생성하는 시간이 포함된다. 둘을 더하면 전체 응답 시간이 된다. 입력이 길수록 주로 첫 토큰 수신 시간이 길어지고, 출력이 길수록 주로 생성 시간이 길어진다. 가중치는 전 과정에서 고정되며 갱신되지 않는다.
예시: 민박 도우미에게 묻는 두 가지 방식
다음은 실제 측정하지 않은 예시다. 질문 A는 긴 숙박 안내문을 붙여 넣고 ‘체크아웃이 몇 시인가요?’라고 묻는 방식으로, 입력은 길고 출력은 한 문장이다. 질문 B는 자료를 붙이지 않고 주변 산책 코스를 아주 길게 소개해 달라고 요청하는 방식으로, 입력은 짧고 출력은 길다. A는 안내문을 먼저 읽어야 하므로 첫 글자가 늦게 나타나지만, 응답은 금방 끝날 것으로 예상된다. B는 첫 글자가 빨리 나타나지만, 전체 응답 시간은 주로 많은 토큰을 하나씩 생성하는 데 쓰일 것이다.
실측 결과가 예상과 다르다면 이 설명을 억지로 적용하지 말자. 첫 토큰 수신 시간이 길다면 대기열, 네트워크 왕복, 예상보다 긴 프롬프트가 원인일 수 있다. 생성이 느리다면 동시에 처리하는 요청이 많거나 출력이 예상보다 길 수 있다. NVIDIA 문서에 따르면 TTFT에는 보통 대기열, prefill, 네트워크 지연이 포함된다. 어디서 시간이 걸리는지 알려면 구간별로 측정해야 한다.
두 가지 느림: 첫 토큰 수신 시간과 전체 응답 시간
첫 토큰 수신 시간(time to first token, TTFT)은 요청을 보낸 순간부터 첫 토큰을 받을 때까지의 시간이다. 전체 응답 시간(end-to-end latency)은 마지막 토큰을 받을 때까지 측정하며, NVIDIA 문서는 이를 TTFT와 생성 시간을 더한 값으로 나타낸다. Anthropic 문서는 스트리밍 출력에서 TTFT가 특히 중요하다고 설명한다. 스트리밍은 사용자가 응답의 앞부분을 먼저 보게 해 체감 속도를 높이지만, 전체 토큰 수는 바뀌지 않는다.
처리량(throughput)은 전체 시스템이 초당 생성할 수 있는 토큰 수를 나타낸다. NVIDIA 문서는 동시에 처리하는 요청이 많아지면 자원을 모두 활용할 때까지 시스템의 총처리량이 증가하지만, 사용자별 속도는 떨어진다고 설명한다. 따라서 지연 시간과 처리량 사이에는 절충이 필요하다.
비용 절감: 배치 처리, 양자화, 캐싱
요청별 비용은 하드웨어를 얼마나 오래 점유하는지에서 비롯된다. Pope 등은 이를 토큰당 칩 사용 시간이나 금액으로 측정한다. 여러 가속 칩에서 실행되는 초대형 Transformer의 추론을 분석하면서, 배치가 작으면 지연 시간이 짧을 수 있지만 토큰당 비용은 높아지며, 오프라인 처리에서는 배치를 크게 하는 편이 보통 가장 경제적이라고 설명한다. 흔히 쓰는 비용 절감 방법은 세 가지이며, 여기서는 간단히 짚는다.
- 배치 처리(batching): 여러 요청을 묶어 계산한다. vLLM 논문은 KV 캐시가 크고 동적으로 늘거나 줄기 때문에 낭비되는 메모리가 배치 크기를 제한한다고 지적하며, 이를 해결하기 위해 PagedAttention을 제안했다.
- 양자화(quantization): 가중치를 더 낮은 정밀도의 수치로 표현해 메모리 요구량을 줄인다. Pope 등의 실험은 bfloat16 가중치와 int8로 양자화한 가중치를 비교했다.
- 캐싱(caching): 동일한 접두부의 KV 캐시처럼 이미 계산한 결과를 재사용한다. OpenAI 가이드는 바뀌는 내용을 프롬프트 뒷부분에 배치하도록 권장한다.
자세한 내용은 양자화(Quantization)와 프롬프트 캐싱(Prompt Caching)을 참고하자. 프롬프트 캐싱은 프롬프트를 읽는 단계만 줄이며, 순차 생성 시간은 줄이지 않는다.
클라우드와 로컬: 누구의 하드웨어를 쓰고, 누가 기다리는가
클라우드 추론은 서비스 제공자의 클러스터에서 실행되며 많은 사람을 동시에 지원한다. 요청은 대기열을 거치고 다른 사람의 요청과 배치로 묶일 수 있으며, 네트워크 왕복도 필요하다. 이 모든 시간이 대기 시간에 포함된다. 사용자가 조정할 수 있는 것은 대부분 프롬프트와 출력의 길이, 스트리밍 여부, 모델 크기다. Anthropic과 OpenAI의 지연 시간 문서 모두 이러한 항목을 제시한다.
로컬 추론에서는 보통 네트워크 왕복과 다른 사람의 요청이 빠지지만, 연산 자원과 메모리를 직접 마련해야 하며 모델 크기도 기기의 제약을 받는다. llama.cpp 프로젝트는 다양한 하드웨어에서 로컬 및 클라우드 추론을 실행하는 것을 목표로 한다고 설명하며, 메모리 사용량을 줄이기 위한 정수 양자화를 제공한다. 양쪽 모두 prefill과 decode가 있으며, 차이는 누가 자원을 제공하고 몇 명이 공유하느냐에 있다.
용어: 추론, 추리, 추론 시 연산
중국어 번체에서는 inference와 reasoning의 번역어가 통일되어 있지 않다. Google 머신러닝 용어집 중국어 번체판은 inference를 ‘추론’으로 번역하고, 모델이 답을 도출하는 과정을 ‘추리’로 설명한다. 국가교육연구원 러츠왕의 학문별 용어집에는 두 번역어가 모두 쓰인다. 통계학 용어집은 ‘추론’, 전자계산기 용어집은 ‘추리’로 번역하며, inference engine은 ‘추리 엔진’ 또는 ‘추리 기계’로 옮긴다. 따라서 ‘추론=inference, 추리=reasoning’은 이 사이트가 두 개념을 구분하기 위해 택한 용법이지, 사전이 정한 규칙은 아니다. ‘추리 엔진’이라는 용어를 만나면 문맥을 살펴야 한다.
관련 개념: 추리 모델(Reasoning Model)은 여러 단계가 필요한 문제를 풀도록 설계된 모델 유형이며, 응답할 때 수행하는 계산은 여전히 추론이다. 추론 시 연산(Test-time Compute)은 추론 단계에서 연산 자원을 더 투입하는 전략이다. 다른 용어는 AI 용어 전체 색인을 참고하자.
이 정리가 도움이 되셨나요? 필요한 분께 공유해 보세요
같은 주제의 글
라이프스타일
에이전트형 검색 증강 생성(Agentic RAG): 언제 다시 검색해야 할까
에이전트형 검색 증강 생성은 모델이 검색 결정에 참여해 질문과 이미 찾은 근거에 따라 자료 출처를 선택하거나 검색어를 재작성하거나 추가로 검색하게 합니다. 이 글은 LangGraph 문서의 구체적인 흐름을 바탕으로 장소 대관 조건 비교를 통해 고정형 RAG와의 차이를 보여 주고, 종료 조건, 권한, 검색 기록과 비용 관리를 설명합니다. 읽고 나면 작업에 동적 탐색이 필요한지, 예측 가능한 고정 절차로 충분한지 판단할 수 있습니다.
라이프스타일
그래프 검색 증강 생성(GraphRAG): 관계를 통해 문서 전체 이해하기
GraphRAG는 엔터티와 그 관계를 검색에 활용해 문서 간 연관성과 전체 주제에 관한 질문에 답하도록 돕습니다. 이 글은 Microsoft의 원 논문과 공식 문서를 바탕으로 엔터티 추출, 커뮤니티 요약, 로컬 검색과 글로벌 검색을 설명하고, 지역 행사 기록을 통해 질문에 따라 다른 경로가 필요함을 보여 줍니다. 또한 그래프의 연결 누락, 이름의 잘못된 병합, 요약 왜곡이 답변에 미치는 영향을 설명해 보기 좋은 관계도를 검증된 사실로 오인하지 않도록 합니다.
라이프스타일
지식 그래프(Knowledge Graph): 대상과 관계를 명확히 설명하기
지식 그래프는 개체와 관계로 데이터를 구성해 ‘누가 무엇에 참여했고, 어디서 언제 일어났는지’를 연결을 따라 조회할 수 있게 합니다. 이 글은 커뮤니티 행사 데이터를 예로 개체 식별, 관계 방향, 출처와 시간을 살펴보고, 자원 기술 프레임워크(RDF)와 속성 그래프의 표현 방식 차이를 소개합니다. 또한 그래프가 시각화나 신뢰할 만한 사실 그 자체는 아님을 설명합니다. 읽고 나면 데이터가 그래프 구축에 적합한지 판단하고, 데이터 테이블·벡터 검색·그래프 검색 증강 생성(GraphRAG)과 어떻게 결합하는지 이해할 수 있습니다.
라이프스타일
하이브리드 검색(Hybrid Search): 정확한 단어와 의미를 함께 고려하기
하이브리드 검색은 전문 검색과 벡터 검색 등 서로 다른 검색 결과를 결합해 정확한 코드와 자연어로 표현한 요구를 모두 반영합니다. 장비 설명서 검색을 예로 후보 확보, 중복 제거, 순위 융합, 재순위화를 살펴보고, 역순위 융합(RRF)이 순위로 서로 다른 검색 결과를 결합하는 원리를 설명합니다. 하이브리드 방식이 모든 경우에 정확도 향상을 보장하지 않는다는 점도 짚습니다. 코드 질문, 표현을 바꾼 질문, 답이 없는 질문으로 품질을 확인하고, 권한·필터링·중복 콘텐츠로 인한 편향을 구분할 수 있습니다.
이 글을 인용한 글
출처
- Google: 머신러닝 용어집(inference, training 등 항목)확인일:
- Google: 머신러닝 용어집(중국어 번체판, inference를 ‘추론’으로 번역)확인일:
- Kwon 등: PagedAttention을 활용한 대규모 언어 모델 서빙의 효율적인 메모리 관리(vLLM, SOSP 2023)확인일:
- Pope 등: Transformer 추론의 효율적인 확장(2022)확인일:
- NVIDIA: NIM LLMs 벤치마킹, 지표(TTFT, ITL, 처리량의 정의)확인일:
- Anthropic: 지연 시간 줄이기(공식 문서)확인일:
- OpenAI: 지연 시간 최적화(공식 문서)확인일:
- llama.cpp: 프로젝트 소개(로컬 추론의 공식 구현 문서)확인일:
- 국가교육연구원 러츠왕: inference 항목(학문별 용어집의 번역어 비교)확인일:
- 국가교육연구원 러츠왕: inference engine 정확 일치 검색 결과(용어집별로 ‘추리 엔진’, ‘추리 기계’로 번역)확인일:
위에 기재된 참고 자료와 확인일 기준 정보를 바탕으로 정리했습니다. 요금, 시간표, 기능, 이용 약관은 바뀔 수 있으므로 여행, 예약 또는 구매 전에 해당 공식 사이트에서 최신 정보를 확인해 주세요.