Inkling 2 Mini 发布:约 26B 参数、每 token 激活 3B 的本地多模态 MoE 模型,支持 transformers、llama.cpp 与 MLX

Hugging Face 于 11 月 20 日介绍 Thinking Machines Lab 的 Inkling 2 Mini,这是一款可在本地运行的多模态 MoE 循环模型,提供 transformers、llama.cpp、MLX 与 SGLang 支持。

新闻日期: 阅读时间约 5 分钟

目录
  1. 1. Inkling 2 Mini 和 Inkling 2 Small 有何不同?
  2. 2. 性能表现如何?有哪些限制?
  3. 3. 支持哪些平台与推理方式?
  4. 4. 如何开始试用?

Hugging Face 于 2026 年 11 月 20 日发文,介绍与 Thinking Machines Lab 合作推出的 Inkling 2 Mini,并称其为专为本地设置(在自己的电脑上运行)设计的中型模型。它是 MoE(混合专家)模型:模型内含许多称为“专家”的子网络,处理每个 token(模型切分文本的最小单位)时只激活其中一小部分,因此总参数约 26B,实际每次只动用约 3B。文章列出了多种推理框架的支持与使用方式,并未提及预览、候补名单或地区限制。对想在自己电脑上运行模型的开发者而言,这意味着多了一个更小的选择;但文中的性能比较多为 Hugging Face 自述,且该公司也表示需要更多验证。

Inkling 2 Mini 和 Inkling 2 Small 有何不同?

据 Hugging Face 介绍,Inkling 2 Mini 是循环式 transformer:24 层解码层中,第 6 至 17 层会重复执行三次且共享权重,因此运算上相当于 48 个逻辑层(6 + 3×12 + 6)。换句话说,文件只需存储 24 层的权重,却能完成接近 48 层的运算。每次循环之间通过“跨轮消息”传递信息,由一个小型门控器决定要遗忘多少当前输入、加入多少消息。

文章指出,Mini 与 Small 同样每个 token 执行 48 次层访问,但隐藏维度(模型内部表示信息的向量宽度)为 2,304(Small 为 4,608),且每次从每层 128 个专家中选 8 个(Small 为 384 个中选 8 个)。每六层区块包含五个滑动窗口层(只看邻近文本)和一个全注意力层(看整段内容),局部窗口最多 1,024 个 token。

依据 Hugging Face 文章整理的 Mini 与 Small 差异
项目Inkling 2 MiniInkling 2 Small
隐藏维度2,3044,608
每层专家数128(每次选 8)384(每次选 8)
层访问次数每 token 48 次每 token 48 次
定位针对本地设置设计文中称 Mini 小得多

性能表现如何?有哪些限制?

Hugging Face 表示,Inkling 2 Mini 在 Artificial Analysis Intelligence Index v5 上属同级最佳,与 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL 相比,在 48 项基准中领先 32 项。文章还称它在 FrontierCode v2.0 上领先,在 Terminal-Bench 4.0 上与 Qwen3.8-27B 持平,在 AutomationBench-AA v1.0.6 上则落后于 Qwen。完整分数请见官方模型卡(模型页面上的说明文档)。

支持哪些平台与推理方式?

Inkling 2 Mini 的推理支持(依据 Hugging Face 文章)
框架文章所述支持内容备注
transformersAutoModelForMultimodalLM;支持固定循环与可变循环版本可用 reasoning_effort 设置推理强度
Llama App/llama.cppGGUF 4-bit(IQ4_NL)与 8-bit(Q8_0)Llama App 支持 macOS 与 Windows,提供本地 OpenAI 兼容 API
MLX已合入上游 mlx-lm,支持图文输入原始检查点可用 nvfp4 + mxfp8,无需重新转换
SGLangDay-0 支持,面向数据中心部署需 SM103;可加 DSPARK 推测解码(用小模型先猜词、大模型验证以加速)

如何开始试用?

以下仅列出文章中出现的命令。GGUF 是 llama.cpp 使用的模型文件格式;4-bit、8-bit 指的是量化程度,也就是把权重压缩成更少的位数,4-bit 更省内存,8-bit 保留更多精度。在 Linux 或想使用命令行时,文章给出的固定循环模型命令如下;若要加载 8-bit 权重,将后缀改为 :Q8_0。

文章所列 llama.cpp 命令 · bash
llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL

在 transformers 中,文章使用模型 ID thinkingmachines/Inkling-2-Mini,搭配 AutoProcessor 与 AutoModelForMultimodalLM。推理强度可设为 none、minimal、low、medium、high(默认,0.9)、xhigh 与 max,也可传入 0.0 至 0.99 的数值。

常见问题

Inkling 2 Mini 能处理图片吗?

能。Hugging Face 表示它接受图片与文本输入,是多模态模型,并支持 1M token 上下文。上下文是指模型一次能读入的内容长度。

可变循环版本是什么?

这是同架构的研究版本(TML-d24-varloop-research),训练为可接受不同循环次数。设为 1 或 2 次可加快推理,但输出质量可能略低;Hugging Face 称尚未深入评估。

文章有提供价格或特定地区的供应信息吗?

没有。文章未提及价格、许可条款细节或特定地区的供应情况,请以官方模型页面为准。

这些基准结果可以视为独立验证吗?

不可以。目前信息仅来自 Hugging Face 的一篇文章,属于该公司自述,且文中表示需要更多验证。

查看同分类最新消息

觉得这篇整理实用吗?分享给需要的朋友

资料来源

本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。

生活分享