Inkling 2 Mini 출시: 총 약 26B 파라미터, 토큰당 3B만 활성화하는 로컬용 멀티모달 MoE 모델, transformers·llama.cpp·MLX 지원
Hugging Face가 11월 20일 Thinking Machines Lab의 Inkling 2 Mini를 소개했다. 로컬 환경에서 실행할 수 있는 멀티모달 MoE 루프 모델로, transformers, llama.cpp, MLX, SGLang을 지원한다.
뉴스 날짜: 읽는 데 약 6분
목차
Hugging Face는 2026년 11월 20일 게시글에서 Thinking Machines Lab과 협력해 내놓은 Inkling 2 Mini를 소개하며, 로컬 환경을 염두에 두고 설계한 중형 모델이라고 설명했다. 이 모델은 MoE(Mixture of Experts, 전문가 혼합) 방식으로, 내부에 '전문가'라 불리는 여러 하위 네트워크를 두고 토큰(모델이 텍스트를 나누는 최소 단위)을 처리할 때 그중 일부만 활성화한다. 그래서 총 파라미터는 약 26B이지만 실제로는 매번 약 3B만 사용한다. 글에는 여러 추론 프레임워크의 지원 현황과 사용법이 나와 있으며, 프리뷰, 대기자 명단, 지역 제한에 대한 언급은 없다. 자신의 컴퓨터에서 모델을 돌리려는 개발자에게는 더 작은 선택지가 생긴 셈이지만, 글 속 성능 비교는 대부분 Hugging Face의 자체 설명이며 해당 회사도 더 많은 검증이 필요하다고 밝혔다.
Inkling 2 Mini와 Inkling 2 Small은 어떻게 다른가?
Hugging Face 설명에 따르면 Inkling 2 Mini는 루프형 트랜스포머다. 24개 디코더 층 중 6~17번째 층이 가중치를 공유한 채 세 번 반복 실행되므로, 연산상으로는 논리적 48층(6 + 3×12 + 6)에 해당한다. 즉 파일에는 24층 분량의 가중치만 저장하면서도 48층에 가까운 연산을 수행한다. 반복 구간을 한 번 통과하는 것을 '패스'라고 하는데, 패스 사이에는 '패스 간 메시지(cross-pass messages)'로 정보를 전달한다. 작은 게이트 제어기가 현재 입력을 얼마나 잊고 메시지를 얼마나 더할지 결정한다.
글에 따르면 Mini와 Small은 토큰당 48회 층을 거친다는 점은 같지만, 은닉 차원(모델 내부에서 정보를 표현하는 벡터의 폭)은 2,304(Small은 4,608)이고, 층마다 전문가 128개 중 8개를 선택한다(Small은 384개 중 8개). 6층 블록마다 슬라이딩 윈도우 층(인접한 텍스트만 보는 층) 5개와 전체 어텐션 층(전체 내용을 보는 층) 1개가 있으며, 로컬 윈도우는 최대 1,024토큰이다.
| 항목 | Inkling 2 Mini | Inkling 2 Small |
|---|---|---|
| 은닉 차원 | 2,304 | 4,608 |
| 층당 전문가 수 | 128개 (매번 8개 선택) | 384개 (매번 8개 선택) |
| 층 방문 횟수 | 토큰당 48회 | 토큰당 48회 |
| 포지셔닝 | 로컬 환경용으로 설계 | 글에서는 Mini가 훨씬 작다고 설명 |
성능은 어떻고, 어떤 한계가 있나?
Hugging Face는 Inkling 2 Mini가 Artificial Analysis Intelligence Index v5에서 동급 최고 수준이며, Gemma 4 31B, Muse Glimmer, Qwen3.8-27B, Nemotron 3.5 Super VL과 비교해 48개 벤치마크 중 32개에서 앞선다고 밝혔다. 또 FrontierCode v2.0에서는 앞서고, Terminal-Bench 4.0에서는 Qwen3.8-27B와 비슷하며, AutomationBench-AA v1.0.6에서는 Qwen에 뒤진다고 했다. 전체 점수는 공식 모델 카드를 참고하라.
어떤 플랫폼과 추론 방식을 지원하나?
| 프레임워크 | 글에 나온 지원 내용 | 비고 |
|---|---|---|
| transformers | AutoModelForMultimodalLM, 고정 루프 및 가변 루프 버전 지원 | reasoning_effort로 추론 강도 설정 가능 |
| Llama App / llama.cpp | GGUF 4비트(IQ4_NL) 및 8비트(Q8_0) | Llama App은 macOS와 Windows를 지원하며 로컬 OpenAI 호환 API 제공 |
| MLX | mlx-lm에 업스트림 반영, 이미지·텍스트 입력 지원 | 원본 체크포인트를 nvfp4 + mxfp8로 변환 없이 사용 가능 |
| SGLang | Day-0 지원, 데이터센터 배포 대상 | SM103 필요, DSPARK 추측 디코딩(작은 모델이 먼저 추측하고 큰 모델이 검증해 가속) 추가 가능 |
어떻게 시작하나?
아래는 글에 나온 명령어만 정리한 것이다. GGUF는 llama.cpp가 쓰는 모델 파일 형식이다. 4비트·8비트는 양자화 수준, 즉 가중치를 더 적은 비트로 압축하는 정도를 뜻하며, 4비트는 메모리를 더 절약하고 8비트는 정밀도를 더 많이 유지한다. Linux에서 또는 명령줄을 쓰고 싶다면 글이 제시한 고정 루프 모델용 명령은 다음과 같다. 8비트 가중치를 불러오려면 접미사를 :Q8_0으로 바꾼다.
llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NLtransformers에서는 글이 모델 ID thinkingmachines/Inkling-2-Mini를 AutoProcessor, AutoModelForMultimodalLM과 함께 사용한다. 추론 강도는 none, minimal, low, medium, high(기본값, 0.9), xhigh, max로 설정할 수 있고, 0.0~0.99 사이의 수치를 넘길 수도 있다.
자주 묻는 질문
Inkling 2 Mini는 이미지를 처리할 수 있나?
그렇다. Hugging Face에 따르면 이미지와 텍스트 입력을 받는 멀티모달 모델이며 1M 토큰 컨텍스트를 지원한다. 컨텍스트는 모델이 한 번에 읽을 수 있는 내용의 길이를 말한다.
가변 루프 버전은 무엇인가?
같은 아키텍처의 연구용 버전(TML-d24-varloop-research)으로, 다양한 루프 횟수를 받도록 학습되었다. 1회 또는 2회로 설정하면 추론이 빨라지지만 출력 품질이 다소 낮아질 수 있으며, Hugging Face는 깊이 있는 평가는 아직 하지 않았다고 밝혔다.
글에 가격이나 지역별 제공 정보가 있나?
없다. 글에는 가격, 라이선스 세부 조건, 특정 지역의 제공 현황에 대한 언급이 없으므로 공식 모델 페이지를 확인하라.
이 벤치마크 결과를 독립 검증으로 볼 수 있나?
볼 수 없다. 현재 정보는 Hugging Face의 글 한 편에서 나온 회사 자체 설명이며, 글에서도 더 많은 검증이 필요하다고 밝혔다.
같은 주제의 글
Claude Code 2.1.330: 엔터프라이즈 관리 콘솔 로그인, easel 차트 모듈, 예약 작업 최대 30일로 연장
Anthropic은 Claude Code 2.1.330 변경 로그에서 엔터프라이즈 관리 콘솔 로그인, 내장 차트 모듈 easel, 최대 30일 예약 작업, 더 엄격한 rm 명령 승인을 소개했습니다.
AWS Quick 업데이트: 대화형 플로 생성, 멀티 에이전트 협업, Meta ads·Amplitude 커넥터 추가… AWS "Quick 제공 전 리전에서 즉시 이용 가능"
AWS, 분산 KV 캐시 에이전트 스킬 공개: AWS "자체 호스팅 LLM 비용 최대 40%↓, 첫 토큰 지연 최대 80%↓"
Amazon SageMaker HyperPod Slurm, 클러스터 확장 기능 출시: 관측성·사용자 관리 두 가지 관리형 확장, HyperPod 지원 전 리전에서 사용 가능
출처
위에 기재된 참고 자료와 확인일 기준 정보를 바탕으로 정리했습니다. 요금, 시간표, 기능, 이용 약관은 바뀔 수 있으므로 여행, 예약 또는 구매 전에 해당 공식 사이트에서 최신 정보를 확인해 주세요.