Inkling 2 Mini 發表:約 26B 參數、每 token 啟用 3B 的本地端多模態 MoE 模型,支援 transformers、llama.cpp 與 MLX
Hugging Face 於 11 月 20 日介紹 Thinking Machines Lab 的 Inkling 2 Mini,這是一款可在本地端執行的多模態 MoE 迴圈模型,提供 transformers、llama.cpp、MLX 與 SGLang 支援。
新聞日期: 閱讀時間約 5 分鐘
Hugging Face 於 2026 年 11 月 20 日發文,介紹與 Thinking Machines Lab 合作推出的 Inkling 2 Mini,並稱其為專為本地端設定設計的中型模型。它是 MoE(混合專家)模型:模型內含許多稱為「專家」的子網路,處理每個 token(模型切分文字的最小單位)時只啟用其中一小部分,因此總參數約 26B,實際每次只動用約 3B。文章列出多種推論框架的支援與使用方式,並未提及預覽、候補名單或地區限制。對想在自己電腦上跑模型的開發者而言,這代表有更小的選擇;但文中的效能比較多為 Hugging Face 自述,且該公司也表示需要更多驗證。
Inkling 2 Mini 和 Inkling 2 Small 有何不同?
據 Hugging Face 說明,Inkling 2 Mini 是迴圈式 transformer:24 層解碼層中,第 6 至 17 層會重複執行三次且共用權重,因此運算上相當於 48 個邏輯層(6 + 3×12 + 6)。換句話說,檔案只需儲存 24 層的權重,卻能做接近 48 層的運算。每次迴圈之間透過「跨回合訊息」傳遞資訊,由一個小型閘控器決定要遺忘多少當前輸入、加入多少訊息。
文章指出,Mini 與 Small 同樣每個 token 執行 48 次層訪問,但隱藏維度(模型內部表示資訊的向量寬度)為 2,304(Small 為 4,608),且每次從每層 128 個專家中選 8 個(Small 為 384 個中選 8 個)。每六層區塊含五個滑動視窗層(只看鄰近文字)與一個全注意力層(看整段內容),局部視窗最多 1,024 個 token。
| 項目 | Inkling 2 Mini | Inkling 2 Small |
|---|---|---|
| 隱藏維度 | 2,304 | 4,608 |
| 每層專家數 | 128(每次選 8) | 384(每次選 8) |
| 層訪問次數 | 每 token 48 次 | 每 token 48 次 |
| 定位 | 針對本地端設定設計 | 文中稱 Mini 小得多 |
效能表現如何?有哪些限制?
Hugging Face 表示,Inkling 2 Mini 在 Artificial Analysis Intelligence Index v5 屬同級最佳,與 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL 相比,在 48 項基準中領先 32 項。文章也稱它在 FrontierCode v2.0 領先、Terminal-Bench 4.0 與 Qwen3.8-27B 持平,在 AutomationBench-AA v1.0.6 則落後 Qwen。完整分數請見官方模型卡。
支援哪些平台與推論方式?
| 框架 | 文章所述支援內容 | 備註 |
|---|---|---|
| transformers | AutoModelForMultimodalLM;支援固定迴圈與可變迴圈版本 | 可用 reasoning_effort 設定推理強度 |
| Llama App/llama.cpp | GGUF 4-bit(IQ4_NL)與 8-bit(Q8_0) | Llama App 支援 macOS 與 Windows,提供本機 OpenAI 相容 API |
| MLX | 已上游至 mlx-lm,支援圖文輸入 | 原始檢查點可用 nvfp4 + mxfp8,無需重轉 |
| SGLang | Day-0 支援,面向資料中心部署 | 需 SM103;可加 DSPARK 推測解碼(用小模型先猜字、大模型驗證以加速) |
如何開始試用?
以下僅列出文章中出現的指令。GGUF 是 llama.cpp 使用的模型檔格式;4-bit、8-bit 指的是量化程度,也就是把權重壓縮成較少位元,4-bit 較省記憶體,8-bit 保留較多精度。在 Linux 或想用命令列時,文章給出的固定迴圈模型指令如下;若要載入 8-bit 權重,將後綴改為 :Q8_0。
llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL在 transformers 中,文章使用模型 ID thinkingmachines/Inkling-2-Mini,搭配 AutoProcessor 與 AutoModelForMultimodalLM。推理強度可設為 none、minimal、low、medium、high(預設,0.9)、xhigh 與 max,也可傳入 0.0 至 0.99 的數值。
常見問題
Inkling 2 Mini 能處理圖片嗎?
能。Hugging Face 表示它接受圖片與文字輸入,是多模態模型,並支援 1M token 上下文。上下文是指模型一次能讀入的內容長度。
可變迴圈版本是什麼?
這是同架構的研究版本(TML-d24-varloop-research),訓練成可接受不同迴圈次數。設為 1 或 2 次可加快推論,但輸出品質可能略低;Hugging Face 稱尚未深入評估。
文章有提供價格或台灣供應資訊嗎?
沒有。文章未提及價格、授權條款細節或特定地區供應情形,請以官方模型頁面為準。
這些基準結果可以視為獨立驗證嗎?
不行。目前資訊僅來自 Hugging Face 一篇文章,屬該公司自述,且文中表示需要更多驗證。
同主題延伸閱讀
Claude Code 2.1.330:企業管理主控台登入、easel 圖表模組、排程任務延長至 30 天
Anthropic 在 Claude Code 2.1.330 更新日誌中列出企業管理主控台登入、內建圖表模組 easel、排程任務最長 30 天,以及更嚴格的 rm 指令審核。
AWS Quick 更新:對話建立流程、多代理協作、新增 Meta ads 與 Amplitude 連接器,AWS 稱所有 Quick 區域即日可用
AWS 推出分散式 KV 快取 Agent Skill:AWS 稱自架 LLM 成本最多降 40%、首字延遲最多降 80%
Amazon SageMaker HyperPod Slurm 推出叢集擴充功能:可觀測性與使用者管理兩項託管擴充,全 HyperPod 支援區域可用
資料來源
本文依據上方所列參考來源與標示之核對日期整理;票價、時刻、功能規格或服務條款可能變動,出發、預訂或購買前請至相關官方網站確認最新資訊。