라이프스타일
어텐션(Attention) 메커니즘이란: 모델은 참고할 토큰을 어떻게 정할까
어텐션 메커니즘은 시퀀스의 각 위치에서 query와 key를 비교해 가중치를 계산하고, 각 위치의 value를 가중평균해 새로운 표현을 만든다. 2014년 번역 정렬에서 2017년 Transformer까지 살펴보며, 예시로 Q, K, V와 자기 어텐션, 교차 어텐션, 멀티헤드 어텐션을 설명한다. 표준 방식의 연산량이 길이의 제곱에 비례해 증가하는 문제와 어텐션 가중치를 모델의 판단 근거로 곧바로 볼 수 없는 이유도 다룬다.
읽는 데 약 11분

목차
어텐션(Attention) 메커니즘은 시퀀스의 특정 위치를 처리할 때 참고할 수 있는 모든 위치에 관련성 점수를 매기고, 이를 합이 1인 가중치로 바꾼 뒤, 각 위치의 내용을 가중평균해 새로운 표현을 만드는 계산 방식이다. 자기 어텐션에서는 자기 자신도 참고 대상에 포함된다. ‘어텐션’은 수학적인 가중치 부여를 가리키는 이름이며, 인간의 의식적인 집중을 뜻하지 않는다. 멀리 떨어진 두 단어도 같은 층에서 직접 비교할 수 있지만, 표준 방식의 연산량은 대략 시퀀스 길이의 제곱에 비례해 증가한다.
이 글은 번역 정렬 문제에서 시작해 Q, K, V와 자기 어텐션, 멀티헤드 어텐션을 살펴보고, 가중치를 ‘모델의 판단 근거’로 곧바로 해석할 수 없는 이유와 길이와 비용의 관계를 설명한다. 자료 기준은 2026년 10월이다. ‘예시’로 표시한 내용은 교육용으로 구성했으며 실측하지 않았다.
번역 정렬에서 어텐션만 사용하는 방식으로
2014년 Bahdanau 등은 기계 번역을 연구했다. 당시 흔히 쓰이던 인코더–디코더 구조는 원문 전체를 고정 길이 벡터 하나로 압축한 뒤 번역문을 생성했다. 이들은 이를 병목으로 추정하고, 디코더가 목표 단어 하나를 생성할 때마다 원문의 각 위치 표현에 점수를 매기고 가중치로 바꾼 뒤, 가중평균으로 해당 단계에 사용할 문맥 벡터를 만들도록 변경했다. 점수 계산에는 번역 모델과 함께 학습하는 작은 순방향 신경망신경망(Neural Network)이란: 층과 가중치로 이루어져 데이터로 학습하는 함수신경망은 여러 층의 단순한 단위로 이루어진 함수다. 각 단위는 가중합을 구하고 대개 비선형 변환을 거치며, 가중치는 데이터로 조정한다. 두 스위치로 복도 조명을 제어하는 예제를 손으로 계산하며 순전파 계산, 손실, 역전파와 경사 하강법을 설명한다. 학습과 추론을 구분하고 매개변수 수, 뉴런 수, 성능의 차이와 딥러닝 및 Transformer와의 관계도 살펴본다.전체 글 읽기을 사용했다. 이 논문의 영어–프랑스어 번역 실험에서 기본 구조는 문장이 길어질수록 성능이 뚜렷하게 떨어졌다. 반면 최대 50개 단어로 이루어진 문장으로 학습한 정렬 버전은 50개 단어를 넘는 문장에서도 성능이 떨어지지 않았다. 이는 해당 논문의 실험 설정에서 얻은 결과다.
2017년 Vaswani 등은 당시 어텐션이 대부분 순환 신경망과 함께 사용된다는 점을 지적하고, 순환과 합성곱 없이 전적으로 어텐션에 의존하는 Transformer 구조Transformer 아키텍처(Transformer)란 무엇인가Transformer는 어텐션 메커니즘으로 시퀀스 내 관계를 처리하는 신경망 아키텍처로, 많은 언어 모델과 멀티모달 모델의 중요한 기반이다. 이 글은 행사 공지의 대명사와 어순 예시를 통해 셀프 어텐션, 위치 정보, 피드포워드 네트워크, 마스크가 어떻게 협력하는지 설명하고, 원래의 인코더·디코더 설계와 이후 변형을 구분한다. 모델이 컨텍스트를 활용하는 방식을 이해하고, 어텐션 가중치가 인간의 주의나 완전한 의사결정 설명은 아니며 긴 시퀀스에는 여전히 연산과 검증 비용이 든다는 점도 알 수 있다.전체 글 읽기를 제안했다. 논문에서는 어텐션을 하나의 query와 ‘key-value 쌍’ 집합을 하나의 출력으로 매핑하는 것으로 정의한다. 출력은 각 value의 가중합이며, 가중치는 query와 각 key의 호환성 함수, 즉 둘이 얼마나 잘 맞는지 측정하는 함수로 계산한다.
Q, K, V: 비교, 가중치 부여, 혼합
각 위치(언어 모델에서는 보통 하나의 토큰)는 학습된 세 종류의 행렬을 통해 각각 query, key, value 벡터를 만든다. 대략적으로 query는 ‘무엇을 찾는가’, key는 ‘나는 어떤 기준으로 비교되는가’, value는 ‘선택되면 내놓는 내용’으로 이해할 수 있다. 셋 모두 학습된 수치이며, 누군가 미리 단어에 주어나 대명사라는 표시를 붙여 놓은 것이 아니다.
- query와 각 위치의 key를 내적해 점수를 구한다.
- 점수를 key 차원의 제곱근으로 나눈다. 원 논문에서는 차원이 클 때 내적값이 너무 커지고 softmax의 기울기가 너무 작아지는 현상을 막을 수 있다고 추정했다.
- softmax로 음이 아니며 합이 1인 가중치로 바꾼다.
- 가중치에 따라 각 위치의 value를 가중평균해 새로운 표현을 얻는다.
예시(교육용이며, 토큰 분할은 개념 설명을 위한 것으로 실제 모델에서 측정하지 않았다): ‘샤오야는 캐리어를 트렁크에 넣었다. 그것이 너무 무거웠기 때문이다.’ ‘그것’을 처리할 때 가중치가 캐리어 0.55, 트렁크 0.25, 샤오야 0.10, 나머지 단어 합계 0.10이라고 가정하면 총합은 1이다. ‘그것’의 새로운 표현은 각 value의 혼합이며, 캐리어가 가장 큰 비중을 차지한다.
캐리어와 트렁크의 가중치를 서로 바꾸면 새로운 표현이 트렁크 쪽으로 치우쳐, 뒤의 층에서 ‘너무 무겁다’를 잘못된 대상과 연결할 수 있다. 실제 모델의 가중치는 직접 추출해야 알 수 있으며, 가중치는 혼합 비율일 뿐 최종 답은 아니다.
자세한 설명 보기
‘그것’을 query로 삼아 샤오야, 캐리어, 트렁크, 나머지 단어의 key와 비교하고 softmax로 가중치로 바꾼다. 예시 가중치는 순서대로 0.10, 0.55, 0.25, 0.10이며 합은 1이다. 이어서 가중치에 따라 각 위치의 value를 혼합해 ‘그것’의 새로운 표현을 얻으며, 캐리어의 내용이 가장 큰 비중을 차지한다. 가중치는 교육용 예시이며 실측값이 아니다.
자기 어텐션과 교차 어텐션
둘은 query, key, value의 출처가 다르며 계산 방식은 같다. 자기 어텐션(self-attention)은 셋 모두 같은 시퀀스에서 가져온다. 교차 어텐션(cross-attention, 원 논문에서는 인코더–디코더 어텐션이라고 부름)은 query를 디코더에서, key와 value를 인코더 출력에서 가져온다. Bahdanau 등의 메커니즘도 디코더가 원문을 조회하는 방식이지만, 내적 대신 작은 신경망으로 점수를 계산한다. 디코더의 자기 어텐션에는 추가로 마스크를 적용해 각 위치가 자기 자신과 앞선 위치만 볼 수 있게 한다.
멀티헤드 어텐션은 무엇을 할까
멀티헤드 어텐션(multi-head attention)은 각각 학습한 투영으로 query, key, value를 더 작은 벡터 h개 묶음으로 바꾸고, 각 묶음에서 어텐션을 병렬로 수행한 뒤 이어 붙여 원래 차원으로 다시 투영한다. 원 논문의 기본 설정은 헤드 8개, 헤드당 64차원, 모델 차원 512로, 총연산량은 단일 헤드로 전체 차원을 처리할 때와 비슷하다. 저자들은 여러 헤드가 있으면 서로 다른 표현 부분공간과 서로 다른 위치에서 동시에 정보를 가져올 수 있지만, 단일 헤드만 사용하면 가중평균이 이를 방해한다고 설명했다.
그렇다고 각 헤드가 항상 특정 의미를 담당한다는 뜻은 아니다. 해당 논문의 영어–독일어 번역 절제 실험에서는 총연산량을 고정했을 때 단일 헤드의 성능이 최적 설정보다 낮았고, 헤드 수가 너무 많아도 품질이 떨어졌다. 부록 그림은 총 6개 층 중 인코더의 5번째 층에서 두 헤드가 영어 대명사 its를 처리하는 가중치를 보여 준다. 저자들은 이 헤드들이 대명사의 지시 대상과 관련이 ‘있어 보인다’고 했지만, 이는 특정 모델과 층, 문장에 대한 관찰이며 다른 모델에서도 재현된다는 보장은 없다.
어텐션 가중치가 곧 모델의 판단 근거는 아니다
가중치는 흔히 히트맵으로 표시되어 ‘모델은 이 단어들 때문에 이렇게 답했다’는 인상을 준다. Jain과 Wallace(NAACL 2019)는 이러한 직관을 검증했다. 이들은 어텐션을 갖춘 양방향 LSTM으로 영어 텍스트 분류, 질의응답, 자연어 추론을 수행했다. 그 결과 순환 인코더의 어텐션 가중치는 ‘어떤 단어가 중요한가’를 측정하는 다른 두 지표인 기울기와 단어 제거 후 출력 변화와의 상관관계가 약하고 일관되지 않았다. 다른 매개변수를 고정한 채로도, 초점을 두는 위치는 다르지만 예측은 거의 변하지 않는 가중치를 별도로 구성할 수 있는 경우가 많았다. 이들은 표준 어텐션을 의미 있는 설명으로 간주해서는 안 된다고 주장했다.
Wiegreffe와 Pinter(EMNLP 2019)는 이중 부정으로 된 제목으로 응답했다. 이들은 상관관계에 관한 실험은 설득력이 있다고 봤으며, 논쟁은 후반부에 있다고 지적했다. 결론은 ‘설명’을 어떻게 정의하느냐에 달려 있다. 모델의 계산을 충실히 반영해야 한다는 요구와 사람이 이해할 수 있고 말이 되기만 하면 된다는 요구는 서로 다른 기준이다. 또한 반례를 구성할 때 모델의 나머지 부분은 무시하고 가중치만 바꿔서는 안 된다고 봤다. 이들은 전체 모델과 함께 학습하는 방식으로 초점이 다른 ‘적대적’ 가중치를 찾은 뒤, 이를 고정 가중치로 삼아 문맥을 볼 수 없는 간단한 진단 모델에 사용했다. 영어 이진 분류 데이터셋 네 개 중 세 개에서 원래 학습된 가중치를 썼을 때보다 성적이 뚜렷하게 낮았다. 나머지 하나에서는 두 방식의 성적이 비슷했으며, 저자들은 해당 데이터셋의 자료 특성과 관련이 있다고 봤다. 이를 근거로 앞선 연구가 어텐션이 설명에 쓸모없음을 입증하지는 못했다고 주장했다. 다만 이들도 일부 분류 과제에서는 이러한 적대적 가중치를 실제로 찾을 수 있음을 확인했으며, 앞선 방식으로 찾은 것만큼 극단적이지는 않았다.
두 논문은 주로 어텐션을 갖춘 순환 모델과 영어 과제를 연구했으며, 오늘날의 대규모 Transformer 언어 모델을 직접 검증하지 않았다. 따라서 어느 쪽의 결론도 그대로 확장 적용할 수 없다. 신중하게 말하면, 가중치는 특정 층의 특정 헤드가 내용을 혼합하는 비율을 나타낸다. 뒤에는 여전히 많은 층이 있으므로, 가중치 그림 하나만으로 답의 인과적 근거를 설명하기에는 부족하다.
시퀀스가 길어질 때의 비용과 컨텍스트 윈도
표준 자기 어텐션은 모든 위치를 모든 위치와 짝짓는다. n개의 토큰에서 n 곱하기 n개의 점수를 계산하므로 길이가 두 배가 되면 쌍의 수는 약 네 배가 된다. 원 논문의 표 1(아래 표 참조. n은 시퀀스 길이, d는 표현 차원)은 여러 종류의 층을 비교한다. 자기 어텐션의 연산량은 n의 제곱에 비례해 증가하지만, 임의의 두 위치 사이 최장 경로는 상수 차수다. 아무리 멀리 떨어진 두 단어도 한 층에서 직접 비교할 수 있다. 반면 순환 층의 경로는 n에 비례해 길어진다.
| 층 유형 | 층별 연산량 | 임의의 두 위치 사이 최장 경로 |
|---|---|---|
| 자기 어텐션 | O(n²·d) | O(1) |
| 순환 층 | O(n·d²) | O(n) |
| 인접한 r개 위치만 보는 자기 어텐션 | O(r·n·d) | O(n/r) |
이는 입력이 길어질수록 연산과 메모리 요구량이 커지는 이유 중 하나지만, 구현마다 차이가 있다. FlashAttention 논문 역시 자기 어텐션의 시간 및 메모리 복잡도가 길이의 제곱에 비례한다고 지적하면서 ‘정확한’(exact) 알고리즘을 제안했다. 수학적으로 계산하는 어텐션은 같지만 GPU 메모리 읽기와 쓰기를 줄여 속도를 높이므로, 실제 속도를 제곱 공식만으로 추산할 수는 없다. 윈도에 들어간다고 해서 잘 활용한다는 뜻도 아니다. Liu 등(TACL 2024)은 다중 문서 질의응답과 키–값 조회 실험에서 관련 정보가 긴 입력의 중간에 있을 때, 시작이나 끝에 있을 때보다 성능이 뚜렷하게 떨어지는 경우가 많다고 관찰했다. 컨텍스트 윈도도 참고하자.
토큰을 하나씩 생성할 때는 Hugging Face 공식 문서에서 설명하는 KV 캐시를 사용할 수 있다. 이전 토큰의 key와 value를 저장하고 각 단계에서는 새 토큰의 것만 계산한다. 대신 메모리 사용량이 시퀀스 길이에 비례해 선형으로 증가한다.
관련 용어를 더 읽고 싶다면 AI 용어 전체 색인부터 시작하자.
이 정리가 도움이 되셨나요? 필요한 분께 공유해 보세요
같은 주제의 글
라이프스타일
에이전트형 검색 증강 생성(Agentic RAG): 언제 다시 검색해야 할까
에이전트형 검색 증강 생성은 모델이 검색 결정에 참여해 질문과 이미 찾은 근거에 따라 자료 출처를 선택하거나 검색어를 재작성하거나 추가로 검색하게 합니다. 이 글은 LangGraph 문서의 구체적인 흐름을 바탕으로 장소 대관 조건 비교를 통해 고정형 RAG와의 차이를 보여 주고, 종료 조건, 권한, 검색 기록과 비용 관리를 설명합니다. 읽고 나면 작업에 동적 탐색이 필요한지, 예측 가능한 고정 절차로 충분한지 판단할 수 있습니다.
라이프스타일
그래프 검색 증강 생성(GraphRAG): 관계를 통해 문서 전체 이해하기
GraphRAG는 엔터티와 그 관계를 검색에 활용해 문서 간 연관성과 전체 주제에 관한 질문에 답하도록 돕습니다. 이 글은 Microsoft의 원 논문과 공식 문서를 바탕으로 엔터티 추출, 커뮤니티 요약, 로컬 검색과 글로벌 검색을 설명하고, 지역 행사 기록을 통해 질문에 따라 다른 경로가 필요함을 보여 줍니다. 또한 그래프의 연결 누락, 이름의 잘못된 병합, 요약 왜곡이 답변에 미치는 영향을 설명해 보기 좋은 관계도를 검증된 사실로 오인하지 않도록 합니다.
라이프스타일
지식 그래프(Knowledge Graph): 대상과 관계를 명확히 설명하기
지식 그래프는 개체와 관계로 데이터를 구성해 ‘누가 무엇에 참여했고, 어디서 언제 일어났는지’를 연결을 따라 조회할 수 있게 합니다. 이 글은 커뮤니티 행사 데이터를 예로 개체 식별, 관계 방향, 출처와 시간을 살펴보고, 자원 기술 프레임워크(RDF)와 속성 그래프의 표현 방식 차이를 소개합니다. 또한 그래프가 시각화나 신뢰할 만한 사실 그 자체는 아님을 설명합니다. 읽고 나면 데이터가 그래프 구축에 적합한지 판단하고, 데이터 테이블·벡터 검색·그래프 검색 증강 생성(GraphRAG)과 어떻게 결합하는지 이해할 수 있습니다.
라이프스타일
하이브리드 검색(Hybrid Search): 정확한 단어와 의미를 함께 고려하기
하이브리드 검색은 전문 검색과 벡터 검색 등 서로 다른 검색 결과를 결합해 정확한 코드와 자연어로 표현한 요구를 모두 반영합니다. 장비 설명서 검색을 예로 후보 확보, 중복 제거, 순위 융합, 재순위화를 살펴보고, 역순위 융합(RRF)이 순위로 서로 다른 검색 결과를 결합하는 원리를 설명합니다. 하이브리드 방식이 모든 경우에 정확도 향상을 보장하지 않는다는 점도 짚습니다. 코드 질문, 표현을 바꾼 질문, 답이 없는 질문으로 품질을 확인하고, 권한·필터링·중복 콘텐츠로 인한 편향을 구분할 수 있습니다.
출처
- Bahdanau, Cho, Bengio: 정렬과 번역의 공동 학습을 통한 신경망 기계 번역(arXiv:1409.0473, ICLR 2015)확인일:
- Vaswani 등: 필요한 것은 어텐션뿐(arXiv:1706.03762)확인일:
- Jain, Wallace: 어텐션은 설명이 아니다(arXiv:1902.10186)확인일:
- ACL Anthology: 어텐션은 설명이 아니다(NAACL 2019, N19-1357)확인일:
- Wiegreffe, Pinter: 어텐션은 설명이 아닌 것은 아니다(arXiv:1908.04626)확인일:
- ACL Anthology: 어텐션은 설명이 아닌 것은 아니다(EMNLP 2019, D19-1002)확인일:
- Dao 등: FlashAttention: 입출력을 고려한 빠르고 메모리 효율적인 정확한 어텐션(arXiv:2205.14135)확인일:
- Liu 등: 중간에서 길을 잃다: 언어 모델은 긴 문맥을 어떻게 활용하는가(arXiv:2307.03172, TACL 2024)확인일:
- Hugging Face Transformers 공식 문서: 캐싱의 작동 방식(KV 캐시)확인일:
위에 기재된 참고 자료와 확인일 기준 정보를 바탕으로 정리했습니다. 요금, 시간표, 기능, 이용 약관은 바뀔 수 있으므로 여행, 예약 또는 구매 전에 해당 공식 사이트에서 최신 정보를 확인해 주세요.