Inkling 2 Mini 發表:約 26B 參數、每 token 啟用 3B 的本地端多模態 MoE 模型,支援 transformers、llama.cpp 與 MLX

Hugging Face 於 11 月 20 日介紹 Thinking Machines Lab 的 Inkling 2 Mini,這是一款可在本地端執行的多模態 MoE 迴圈模型,提供 transformers、llama.cpp、MLX 與 SGLang 支援。

新聞日期: 閱讀時間約 5 分鐘

目錄
  1. 1. Inkling 2 Mini 和 Inkling 2 Small 有何不同?
  2. 2. 效能表現如何?有哪些限制?
  3. 3. 支援哪些平台與推論方式?
  4. 4. 如何開始試用?

Hugging Face 於 2026 年 11 月 20 日發文,介紹與 Thinking Machines Lab 合作推出的 Inkling 2 Mini,並稱其為專為本地端設定設計的中型模型。它是 MoE(混合專家)模型:模型內含許多稱為「專家」的子網路,處理每個 token(模型切分文字的最小單位)時只啟用其中一小部分,因此總參數約 26B,實際每次只動用約 3B。文章列出多種推論框架的支援與使用方式,並未提及預覽、候補名單或地區限制。對想在自己電腦上跑模型的開發者而言,這代表有更小的選擇;但文中的效能比較多為 Hugging Face 自述,且該公司也表示需要更多驗證。

Inkling 2 Mini 和 Inkling 2 Small 有何不同?

據 Hugging Face 說明,Inkling 2 Mini 是迴圈式 transformer:24 層解碼層中,第 6 至 17 層會重複執行三次且共用權重,因此運算上相當於 48 個邏輯層(6 + 3×12 + 6)。換句話說,檔案只需儲存 24 層的權重,卻能做接近 48 層的運算。每次迴圈之間透過「跨回合訊息」傳遞資訊,由一個小型閘控器決定要遺忘多少當前輸入、加入多少訊息。

文章指出,Mini 與 Small 同樣每個 token 執行 48 次層訪問,但隱藏維度(模型內部表示資訊的向量寬度)為 2,304(Small 為 4,608),且每次從每層 128 個專家中選 8 個(Small 為 384 個中選 8 個)。每六層區塊含五個滑動視窗層(只看鄰近文字)與一個全注意力層(看整段內容),局部視窗最多 1,024 個 token。

依 Hugging Face 文章整理的 Mini 與 Small 差異
項目Inkling 2 MiniInkling 2 Small
隱藏維度2,3044,608
每層專家數128(每次選 8)384(每次選 8)
層訪問次數每 token 48 次每 token 48 次
定位針對本地端設定設計文中稱 Mini 小得多

效能表現如何?有哪些限制?

Hugging Face 表示,Inkling 2 Mini 在 Artificial Analysis Intelligence Index v5 屬同級最佳,與 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL 相比,在 48 項基準中領先 32 項。文章也稱它在 FrontierCode v2.0 領先、Terminal-Bench 4.0 與 Qwen3.8-27B 持平,在 AutomationBench-AA v1.0.6 則落後 Qwen。完整分數請見官方模型卡。

支援哪些平台與推論方式?

Inkling 2 Mini 的推論支援(依 Hugging Face 文章)
框架文章所述支援內容備註
transformersAutoModelForMultimodalLM;支援固定迴圈與可變迴圈版本可用 reasoning_effort 設定推理強度
Llama App/llama.cppGGUF 4-bit(IQ4_NL)與 8-bit(Q8_0)Llama App 支援 macOS 與 Windows,提供本機 OpenAI 相容 API
MLX已上游至 mlx-lm,支援圖文輸入原始檢查點可用 nvfp4 + mxfp8,無需重轉
SGLangDay-0 支援,面向資料中心部署需 SM103;可加 DSPARK 推測解碼(用小模型先猜字、大模型驗證以加速)

如何開始試用?

以下僅列出文章中出現的指令。GGUF 是 llama.cpp 使用的模型檔格式;4-bit、8-bit 指的是量化程度,也就是把權重壓縮成較少位元,4-bit 較省記憶體,8-bit 保留較多精度。在 Linux 或想用命令列時,文章給出的固定迴圈模型指令如下;若要載入 8-bit 權重,將後綴改為 :Q8_0。

文章所列 llama.cpp 指令 · bash
llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL

在 transformers 中,文章使用模型 ID thinkingmachines/Inkling-2-Mini,搭配 AutoProcessor 與 AutoModelForMultimodalLM。推理強度可設為 none、minimal、low、medium、high(預設,0.9)、xhigh 與 max,也可傳入 0.0 至 0.99 的數值。

常見問題

Inkling 2 Mini 能處理圖片嗎?

能。Hugging Face 表示它接受圖片與文字輸入,是多模態模型,並支援 1M token 上下文。上下文是指模型一次能讀入的內容長度。

可變迴圈版本是什麼?

這是同架構的研究版本(TML-d24-varloop-research),訓練成可接受不同迴圈次數。設為 1 或 2 次可加快推論,但輸出品質可能略低;Hugging Face 稱尚未深入評估。

文章有提供價格或台灣供應資訊嗎?

沒有。文章未提及價格、授權條款細節或特定地區供應情形,請以官方模型頁面為準。

這些基準結果可以視為獨立驗證嗎?

不行。目前資訊僅來自 Hugging Face 一篇文章,屬該公司自述,且文中表示需要更多驗證。

查看同分類最新消息

覺得這篇整理實用嗎?分享給需要的朋友

資料來源

本文依據上方所列參考來源與標示之核對日期整理;票價、時刻、功能規格或服務條款可能變動,出發、預訂或購買前請至相關官方網站確認最新資訊。

生活分享