라이프스타일
신경망(Neural Network)이란: 층과 가중치로 이루어져 데이터로 학습하는 함수
신경망은 여러 층의 단순한 단위로 이루어진 함수다. 각 단위는 가중합을 구하고 대개 비선형 변환을 거치며, 가중치는 데이터로 조정한다. 두 스위치로 복도 조명을 제어하는 예제를 손으로 계산하며 순전파 계산, 손실, 역전파와 경사 하강법을 설명한다. 학습과 추론을 구분하고 매개변수 수, 뉴런 수, 성능의 차이와 딥러닝 및 Transformer와의 관계도 살펴본다.
읽는 데 약 11분

목차
신경망은 머신러닝머신러닝(Machine Learning)이란 무엇인가머신러닝은 데이터로 모델을 조정해, 이전에 접하지 못한 입력에 대해 예측하거나 콘텐츠를 생성하게 합니다. 이 글은 아침 식사 가게의 재료 준비량 예측 사례로 특성, 레이블, 훈련, 테스트가 어떻게 맞물리는지 설명하고 지도 학습, 비지도 학습, 강화 학습을 구분하며 데이터 누출, 과적합, 환경 변화의 영향을 살펴봅니다. 읽고 나면 모델에 테스트 데이터를 따로 남겨 두어야 하는 이유를 이해하고, 구체적인 질문으로 정확해 보이는 예측을 믿을 만한지 판단할 수 있습니다.전체 글 읽기의 한 모델이다. 입력을 층마다 변환해 출력으로 만들며, 각 단위는 먼저 가중합을 구하고 보통 비선형 변환을 한 차례 거친다. 신경망이 무엇을 할 수 있는지는 가중치라는 숫자들의 집합에 달려 있다. 이 숫자는 사람이 하나씩 입력하는 것이 아니라 데이터로 반복해서 조정한다.
이 글에서는 ‘두 스위치로 전등 하나 제어하기’라는 작은 과제를 통해 순전파 계산 한 번과 가중치 갱신 한 단계를 손으로 계산한다. 학습과 사용이 왜 별개의 단계인지 설명하고, 생물학적 뉴런에 빗댄 설명이 어디까지 유효한지도 짚는다. 예제의 수치는 손으로 계산하기 위한 교육용 설정이며 실제로 학습시킨 결과가 아니다.
각 단위가 하는 일은 두 가지: 가중합과 변환
Google 머신러닝 용어집에 따르면 뉴런은 두 단계를 수행한다. 각 입력에 가중치를 곱해 합산한 뒤, 그 합을 활성화 함수(activation function, 활성 함수라고도 번역함)에 전달한다. 편향은 학습으로 결정되는 또 하나의 상수다. 단위들은 층을 이룬다. 입력층, 출력층, 그리고 그 사이에 있으며 값이 외부로 직접 드러나지 않는 은닉층이다.
생물학적 뉴런에 빗댄 설명은 적절한 위치에 두어야 한다. Rosenblatt는 퍼셉트론(perceptron)을 가상의 신경계 또는 기계라고 설명했다. 특정 생물체의 대개 알려지지 않은 조건에 깊이 얽매이지 않고 지능 시스템의 기본 성질을 설명하려는 목적이었다. Google 용어집은 이런 단위가 뇌 속 뉴런의 행동을 ‘모방’한다고 설명한다. 하지만 양쪽이 제시한 작동 정의는 모두 합산한 뒤 한 차례 변환한다는 것뿐이다. 실제 뉴런과 닮았는지는 신경과학적 증거로 답해야 하며, 여기서는 이름의 유래로만 다룬다.
퍼셉트론에서 다층 신경망으로: 중간층도 학습하는가
Rosenblatt의 퍼셉트론은 보상과 벌로 단위의 ‘값’을 조정한다. 그 자신도 자극 사이의 관계를 인식하기는 극히 어려워진다는 한계를 적었다. Rumelhart 등은 퍼셉트론 중간층의 연결이 미리 고정되어 있어 학습하는 은닉 단위로 볼 수 없다고 지적했다. 이들의 역전파는 은닉 단위가 필요한 특징을 스스로 학습하도록 했다. LeCun 등은 이 방법을 1970년대부터 1980년대 사이에 여러 연구팀이 독립적으로 발견했다고 덧붙였다.
비선형 변환이 꼭 필요한 이유
Google 교재는 은닉층을 추가해도 단위가 가중합만 구한다면 전체 신경망은 여전히 선형임을 보여 준다. 선형 변환에 선형 변환을 이어도 여전히 선형이므로, 층을 더 쌓아도 비선형 관계를 학습하지 못한다. 따라서 은닉층의 단위 뒤에는 비선형 활성화 함수를 연결해야 한다. 출력층에도 연결할지는 과제에 따라 다르며, 아래 예제에서는 연결하지 않는다.
흔히 쓰이는 함수로 sigmoid, tanh, ReLU가 있다. ReLU는 입력이 0보다 작으면 0을 출력하고, 그렇지 않으면 입력을 그대로 출력한다. LeCun 등은 2015년에 ReLU가 다층 신경망에서 대체로 더 빠르게 학습한다고 썼으며, Google 교재는 지금도 ReLU부터 시도하라고 권한다. Cybenko(1989)는 은닉층 하나, 연속적인 sigmoid형 비선형 함수, 유한한 수의 단위를 갖춘 피드포워드 신경망이 단위 초입방체 위의 연속함수를 임의의 정확도로 근사할 수 있음을 증명했다. 이는 ‘표현할 수 있다’는 뜻이며, 학습으로 그 해를 찾을 수 있는지는 별개의 문제다.
예제: 두 스위치로 전등 하나 제어하기
예제(실측하지 않은 손계산): 복도 양 끝에 스위치 a와 b가 하나씩 있다. 위로 올리면 1, 아래로 내리면 0으로 표시하고, 정확히 하나만 위로 올라가 있을 때 전등이 켜진다. (1,0)과 (0,1)은 1을, (0,0)과 (1,1)은 0을 출력해야 한다. 가중합을 구한 뒤 임계값과 비교하는 단위 하나만으로는 이를 구현할 수 없다. 켜져야 할 두 조합을 더하고 꺼져야 할 두 조합을 더하면 서로 모순되는 부등식이 나오기 때문이다.
신경망은 입력 2개, 은닉 뉴런 2개, 출력 1개로 구성하며 매개변수는 총 9개다. 가중치는 직접 고른다. 첫 번째 은닉 뉴런의 가중치는 1과 1, 편향은 0이다. 두 번째 은닉 뉴런의 가중치는 1과 1, 편향은 −1이며, 둘 다 ReLU를 사용한다. 출력의 가중치는 1과 −2, 편향은 0이며 활성화 함수는 넣지 않는다.
- (0,0): 은닉값은 0과 0, 출력은 0으로 전등이 꺼진다.
- (1,0) 또는 (0,1): 은닉값은 1과 0, 출력은 1로 전등이 켜진다.
- (1,1): 은닉값은 2와 1, 출력은 2 − 2 = 0으로 전등이 꺼진다.
이 가중치는 직접 고른 것이다. 실제 학습은 무작위 가중치에서 시작하며, 정답이 되는 가중치 조합도 하나뿐이 아니다.
학습: 손실, 역전파와 경사 하강법
학습은 다음 네 단계를 반복하는 과정이다.
- 순전파 계산: 현재 가중치로 예측을 계산한다.
- 손실: 예측이 정답에서 얼마나 떨어져 있는지 측정한다. Rumelhart 등은 E = ½ ΣΣ (y − d)²를 사용해 각 표본의 모든 출력에 대해 합산했다. y는 출력, d는 원하는 값이다.
- 역전파: 연쇄 법칙으로 출력부터 거슬러 계산해, 각 가중치가 조금 변할 때 손실이 얼마나 늘거나 줄어드는지, 즉 기울기를 구한다. 쉽게 말하면 각 가중치가 오차에 얼마나 책임이 있는지 묻는 것이다.
- 경사 하강법: 가중치를 기울기의 반대 방향으로 조금 바꾼다. 변화의 보폭은 학습률로 결정하며, 학습률은 사람이 설정하는 하이퍼파라미터다.
앞선 예제를 이어 보자(손계산 예제). 은닉층은 그대로 두고, 출력층 가중치가 아직 제대로 조정되지 않아 1과 −1.2이고 편향은 0이라고 가정한다. 입력이 (1,1)이면 은닉값은 2와 1, 출력은 0.8이다. 원하는 값은 0이고 손실은 0.32다. 출력에 대한 손실의 변화율은 0.8이다. 여기에 각 가중치를 거쳐 온 은닉값을 곱하면 두 가중치의 기울기는 1.6과 0.8이고, 편향의 기울기는 0.8이다. 계산을 쉽게 하려고 이번 단계에서는 출력층만 바꾼다. 학습률을 0.1로 잡으면 가중치는 0.84와 −1.28, 편향은 −0.08이 되어 출력이 0.32로 내려간다. 실제 학습에서는 은닉층 가중치도 같은 단계에서 갱신한다. 오차에 출력 가중치를 곱하고 ReLU가 활성화되었는지 확인하며 계속 뒤로 전달하는 것이 바로 ‘역방향’이다. 은닉층까지 함께 바꾸면 계산 결과는 여기와 달라진다.
하지만 이 단계는 다른 입력에도 영향을 준다. (0,1)의 출력은 원래 1이었지만 출력층만 바꾼 뒤에는 0.76이 된다. 모든 입력이 가중치를 공유하므로 한 표본에 맞춰 바꾸면 다른 표본도 영향을 받는다. 따라서 표본 묶음의 평균 기울기를 보고 작은 보폭으로 여러 차례 반복해야 한다. LeCun 등이 설명한 확률적 경사 하강법은 매번 작은 표본 묶음만으로 기울기를 추정한다.
학습이 끝나면 가중치는 고정되고, 사용할 때는 순전파 계산만 수행하며 손실을 계산하거나 가중치를 바꾸지 않는다. Google 용어집에 따르면 학습은 가중치를 결정하는 과정이고, 추론추론(Inference)이란: 모델 학습이 끝난 뒤 매번 응답할 때 수행하는 계산추론은 학습된 모델로 새로운 입력을 처리하고 출력을 만드는 과정이며, 이 단계에서 가중치는 고정된다. 언어 모델의 추론을 프롬프트 읽기(prefill)와 순차 생성(decode)으로 나누어 첫 토큰 수신 시간, 전체 응답 시간, 처리량의 차이를 설명한다. 추론(inference)과 추리(reasoning), 클라우드와 로컬을 구분하고, 배치 처리·양자화·캐싱이 각각 무엇을 줄이는지 살펴본다.전체 글 읽기(inference)은 학습한 가중치로 예측하는 과정이다. 이후 가중치를 갱신하려면 별도의 학습을 해야 한다.
자세한 설명 보기
위쪽은 학습이다. 순전파 계산, 손실, 역전파, 경사 하강법의 네 단계를 반복하며, 매 반복마다 가운데의 가중치와 편향에 새 가중치를 기록한다. 입력 둘, 은닉 뉴런 둘, 출력 하나인 작은 신경망을 예로 들면 매개변수는 모두 아홉 개다. 아래쪽은 추론이다. 새 입력이 들어오면 순전파 계산이 고정된 가중치를 읽어 출력을 생성하며, 손실을 계산하거나 가중치를 바꾸지 않는다.
매개변수, 뉴런, 성능은 서로 다른 개념
앞선 예제에는 계산하는 단위가 3개뿐이지만 매개변수는 9개다. 각 은닉 뉴런에는 가중치 2개와 편향 1개가 있고, 출력 단위도 2개에 1개를 더한다. 은닉층을 뉴런 100개로 늘리면 매개변수는 100 × (2 + 1) + (100 + 1) = 401개다. Google 용어집은 매개변수를 학습 중에 배운 가중치와 편향으로 정의하며, 학습률은 사람이 정하는 하이퍼파라미터로 구분한다. 자세한 내용은 모델 매개변수모델 매개변수(Model Parameters)란 무엇인가모델 매개변수는 학습 중 조정되며 입력을 출력으로 바꾸는 데 쓰이는 가중치와 편향 등의 수치입니다. 이 글은 간단한 수식 예시로 매개변수가 예측에 미치는 영향을 설명하고, 모델 매개변수와 학습 하이퍼파라미터, 프롬프트, 생성 설정을 구분합니다. 또한 매개변수 수, 수치 정밀도, 활성 매개변수가 서로 다른 지표인 이유를 설명합니다. 읽고 나면 모델 사양을 더 정확히 읽고, 매개변수 증가가 지식의 항목별 증가를 뜻하지 않으며 매번 대화할 때마다 모델을 다시 학습하는 것도 아님을 이해할 수 있습니다.전체 글 읽기를 참고하자.
매개변수가 많다고 성능이 좋은 것은 아니다. 구조, 학습 데이터와 손실 설계도 살펴봐야 한다. LeCun 등의 종설은 모델의 우수성을 학습 때 본 적 없는 테스트 데이터에서의 성능, 즉 일반화 능력으로 판단해야 한다고 강조한다. Cybenko의 결과 역시 충분히 큰 신경망이 표현할 수 있다는 뜻일 뿐, 학습으로 그 해를 찾을 수 있다는 보장은 아니다. 뉴런 수, 매개변수 수, 층수를 보면 다시 물어야 한다. 자신의 과제에서 본 적 없는 데이터를 얼마나 잘 처리하는가?
| 용어 | 예제에서의 의미 | 흔한 오해 |
|---|---|---|
| 뉴런 | 계산을 수행하는 단위 | 생물학적 신경세포와 같다 |
| 가중치와 편향 | 학습해야 할 9개의 숫자 | 사람이 직접 작성한 규칙이다 |
| 활성화 함수 | 은닉층 뒤의 ReLU | 있어도 없어도 상관없다 |
| 학습률 | 0.1, 사람이 설정 | 신경망이 스스로 학습한다 |
딥러닝 및 Transformer와의 관계
Google 용어집은 은닉층이 한 층보다 많은 신경망을 심층 모델이라고 부른다. LeCun 등은 딥러닝을 단순한 비선형 모듈 여러 개를 쌓아 데이터로 각 층의 표현을 학습하는 방법으로 정의한다. 간단히 말해 신경망은 구조이고, 딥러닝딥러닝(Deep Learning)이란딥러닝은 다층 신경망으로 데이터에서 여러 수준의 표현을 학습하며, 이미지·음성·텍스트 작업에 널리 쓰인다. 이 글은 재활용품 사진 분류를 예로 은닉층, 비선형성, 훈련과 추론의 역할을 설명하고, 모델이 물건 대신 배경을 기억할 수 있다는 점과 데이터·연산 자원·해석 가능성 사이의 절충을 살펴본다. 읽고 나면 딥러닝과 일반적인 머신러닝의 관계를 구분하고, 새로운 촬영 조건으로 모델이 유용한 패턴을 실제로 배웠는지 확인할 수 있다.전체 글 읽기은 다층 구조로 표현을 학습하는 방법이다. 정의의 경계는 출처마다 조금씩 다르다. Google 용어집은 신경망을 ‘은닉층을 적어도 하나 포함하는’ 모델로 정의하므로, 이 정의에 따르면 입력을 출력에 직접 연결한 모델은 신경망에 해당하지 않는다. 한편 Rumelhart 등은 원래 퍼셉트론의 중간층 연결이 고정되어 있어 진정한 은닉 단위로 볼 수 없다고 여겼다. 이 글 도입부의 설명은 은닉층 유무로 경계를 나누지 않는다. 글을 읽을 때는 상대가 어떤 정의를 쓰는지 먼저 확인해야 한다.
Transformer는 신경망을 구성하는 방식의 하나다. Vaswani 등(2017)은 이를 전적으로 어텐션 메커니즘에 기반한 신경망 구조라고 설명했다. 각 층에는 셀프 어텐션 외에도 두 선형 변환 사이에 ReLU를 둔 피드포워드 신경망이 있으며, 이는 앞서 설명한 가중합에 비선형 변환을 더한 것이다. 이후 언어 모델이 이를 채택했는지, 어떻게 바꿨는지는 각 모델의 기술 문서를 확인해야 한다. 따라서 신경망은 상위 범주이고, 챗봇은 그 용도 중 하나일 뿐이다. 사진을 분류하는 작은 신경망도 여기에 속한다.
다른 용어를 살펴보려면 AI 용어 전체 색인에서 시작하면 된다.
이 정리가 도움이 되셨나요? 필요한 분께 공유해 보세요
같은 주제의 글
라이프스타일
에이전트형 검색 증강 생성(Agentic RAG): 언제 다시 검색해야 할까
에이전트형 검색 증강 생성은 모델이 검색 결정에 참여해 질문과 이미 찾은 근거에 따라 자료 출처를 선택하거나 검색어를 재작성하거나 추가로 검색하게 합니다. 이 글은 LangGraph 문서의 구체적인 흐름을 바탕으로 장소 대관 조건 비교를 통해 고정형 RAG와의 차이를 보여 주고, 종료 조건, 권한, 검색 기록과 비용 관리를 설명합니다. 읽고 나면 작업에 동적 탐색이 필요한지, 예측 가능한 고정 절차로 충분한지 판단할 수 있습니다.
라이프스타일
그래프 검색 증강 생성(GraphRAG): 관계를 통해 문서 전체 이해하기
GraphRAG는 엔터티와 그 관계를 검색에 활용해 문서 간 연관성과 전체 주제에 관한 질문에 답하도록 돕습니다. 이 글은 Microsoft의 원 논문과 공식 문서를 바탕으로 엔터티 추출, 커뮤니티 요약, 로컬 검색과 글로벌 검색을 설명하고, 지역 행사 기록을 통해 질문에 따라 다른 경로가 필요함을 보여 줍니다. 또한 그래프의 연결 누락, 이름의 잘못된 병합, 요약 왜곡이 답변에 미치는 영향을 설명해 보기 좋은 관계도를 검증된 사실로 오인하지 않도록 합니다.
라이프스타일
지식 그래프(Knowledge Graph): 대상과 관계를 명확히 설명하기
지식 그래프는 개체와 관계로 데이터를 구성해 ‘누가 무엇에 참여했고, 어디서 언제 일어났는지’를 연결을 따라 조회할 수 있게 합니다. 이 글은 커뮤니티 행사 데이터를 예로 개체 식별, 관계 방향, 출처와 시간을 살펴보고, 자원 기술 프레임워크(RDF)와 속성 그래프의 표현 방식 차이를 소개합니다. 또한 그래프가 시각화나 신뢰할 만한 사실 그 자체는 아님을 설명합니다. 읽고 나면 데이터가 그래프 구축에 적합한지 판단하고, 데이터 테이블·벡터 검색·그래프 검색 증강 생성(GraphRAG)과 어떻게 결합하는지 이해할 수 있습니다.
라이프스타일
하이브리드 검색(Hybrid Search): 정확한 단어와 의미를 함께 고려하기
하이브리드 검색은 전문 검색과 벡터 검색 등 서로 다른 검색 결과를 결합해 정확한 코드와 자연어로 표현한 요구를 모두 반영합니다. 장비 설명서 검색을 예로 후보 확보, 중복 제거, 순위 융합, 재순위화를 살펴보고, 역순위 융합(RRF)이 순위로 서로 다른 검색 결과를 결합하는 원리를 설명합니다. 하이브리드 방식이 모든 경우에 정확도 향상을 보장하지 않는다는 점도 짚습니다. 코드 질문, 표현을 바꾼 질문, 답이 없는 질문으로 품질을 확인하고, 권한·필터링·중복 콘텐츠로 인한 편향을 구분할 수 있습니다.
이 글을 인용한 글
출처
- Rosenblatt 1958: 퍼셉트론(Psychological Review 65(6), 퍼셉트론 원 논문)확인일:
- Rumelhart, Hinton, Williams 1986: 오차 역전파를 통한 표현 학습(Nature 323)확인일:
- LeCun, Bengio, Hinton 2015: 딥러닝(Nature 521)확인일:
- Cybenko 1989: 시그모이드 함수의 중첩을 통한 근사(Math. Control Signals Systems 2)확인일:
- Vaswani 외 2017: 어텐션만 있으면 된다(arXiv:1706.03762, Transformer 원 논문)확인일:
- Google 머신러닝 단기집중과정: 신경망(단원 개요)확인일:
- Google 머신러닝 단기집중과정: 노드와 은닉층확인일:
- Google 머신러닝 단기집중과정: 활성화 함수확인일:
- Google 머신러닝 단기집중과정: 역전파를 이용한 학습확인일:
- Google 머신러닝 용어집(신경망, 뉴런, 가중치, 매개변수, 역전파 등의 항목)확인일:
위에 기재된 참고 자료와 확인일 기준 정보를 바탕으로 정리했습니다. 요금, 시간표, 기능, 이용 약관은 바뀔 수 있으므로 여행, 예약 또는 구매 전에 해당 공식 사이트에서 최신 정보를 확인해 주세요.