Inkling 2 Mini 发布:约 26B 参数、每 token 激活 3B 的本地多模态 MoE 模型,支持 transformers、llama.cpp 与 MLX
Hugging Face 于 11 月 20 日介绍 Thinking Machines Lab 的 Inkling 2 Mini,这是一款可在本地运行的多模态 MoE 循环模型,提供 transformers、llama.cpp、MLX 与 SGLang 支持。
新闻日期: 阅读时间约 5 分钟
Hugging Face 于 2026 年 11 月 20 日发文,介绍与 Thinking Machines Lab 合作推出的 Inkling 2 Mini,并称其为专为本地设置(在自己的电脑上运行)设计的中型模型。它是 MoE(混合专家)模型:模型内含许多称为“专家”的子网络,处理每个 token(模型切分文本的最小单位)时只激活其中一小部分,因此总参数约 26B,实际每次只动用约 3B。文章列出了多种推理框架的支持与使用方式,并未提及预览、候补名单或地区限制。对想在自己电脑上运行模型的开发者而言,这意味着多了一个更小的选择;但文中的性能比较多为 Hugging Face 自述,且该公司也表示需要更多验证。
Inkling 2 Mini 和 Inkling 2 Small 有何不同?
据 Hugging Face 介绍,Inkling 2 Mini 是循环式 transformer:24 层解码层中,第 6 至 17 层会重复执行三次且共享权重,因此运算上相当于 48 个逻辑层(6 + 3×12 + 6)。换句话说,文件只需存储 24 层的权重,却能完成接近 48 层的运算。每次循环之间通过“跨轮消息”传递信息,由一个小型门控器决定要遗忘多少当前输入、加入多少消息。
文章指出,Mini 与 Small 同样每个 token 执行 48 次层访问,但隐藏维度(模型内部表示信息的向量宽度)为 2,304(Small 为 4,608),且每次从每层 128 个专家中选 8 个(Small 为 384 个中选 8 个)。每六层区块包含五个滑动窗口层(只看邻近文本)和一个全注意力层(看整段内容),局部窗口最多 1,024 个 token。
| 项目 | Inkling 2 Mini | Inkling 2 Small |
|---|---|---|
| 隐藏维度 | 2,304 | 4,608 |
| 每层专家数 | 128(每次选 8) | 384(每次选 8) |
| 层访问次数 | 每 token 48 次 | 每 token 48 次 |
| 定位 | 针对本地设置设计 | 文中称 Mini 小得多 |
性能表现如何?有哪些限制?
Hugging Face 表示,Inkling 2 Mini 在 Artificial Analysis Intelligence Index v5 上属同级最佳,与 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL 相比,在 48 项基准中领先 32 项。文章还称它在 FrontierCode v2.0 上领先,在 Terminal-Bench 4.0 上与 Qwen3.8-27B 持平,在 AutomationBench-AA v1.0.6 上则落后于 Qwen。完整分数请见官方模型卡(模型页面上的说明文档)。
支持哪些平台与推理方式?
| 框架 | 文章所述支持内容 | 备注 |
|---|---|---|
| transformers | AutoModelForMultimodalLM;支持固定循环与可变循环版本 | 可用 reasoning_effort 设置推理强度 |
| Llama App/llama.cpp | GGUF 4-bit(IQ4_NL)与 8-bit(Q8_0) | Llama App 支持 macOS 与 Windows,提供本地 OpenAI 兼容 API |
| MLX | 已合入上游 mlx-lm,支持图文输入 | 原始检查点可用 nvfp4 + mxfp8,无需重新转换 |
| SGLang | Day-0 支持,面向数据中心部署 | 需 SM103;可加 DSPARK 推测解码(用小模型先猜词、大模型验证以加速) |
如何开始试用?
以下仅列出文章中出现的命令。GGUF 是 llama.cpp 使用的模型文件格式;4-bit、8-bit 指的是量化程度,也就是把权重压缩成更少的位数,4-bit 更省内存,8-bit 保留更多精度。在 Linux 或想使用命令行时,文章给出的固定循环模型命令如下;若要加载 8-bit 权重,将后缀改为 :Q8_0。
llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL在 transformers 中,文章使用模型 ID thinkingmachines/Inkling-2-Mini,搭配 AutoProcessor 与 AutoModelForMultimodalLM。推理强度可设为 none、minimal、low、medium、high(默认,0.9)、xhigh 与 max,也可传入 0.0 至 0.99 的数值。
常见问题
Inkling 2 Mini 能处理图片吗?
能。Hugging Face 表示它接受图片与文本输入,是多模态模型,并支持 1M token 上下文。上下文是指模型一次能读入的内容长度。
可变循环版本是什么?
这是同架构的研究版本(TML-d24-varloop-research),训练为可接受不同循环次数。设为 1 或 2 次可加快推理,但输出质量可能略低;Hugging Face 称尚未深入评估。
文章有提供价格或特定地区的供应信息吗?
没有。文章未提及价格、许可条款细节或特定地区的供应情况,请以官方模型页面为准。
这些基准结果可以视为独立验证吗?
不可以。目前信息仅来自 Hugging Face 的一篇文章,属于该公司自述,且文中表示需要更多验证。
同主题延伸阅读
Claude Code 2.1.330:企业管理控制台登录、easel 图表模块、定时任务延长至 30 天
Anthropic 在 Claude Code 2.1.330 更新日志中列出企业管理控制台登录、内置图表模块 easel、定时任务最长 30 天,以及更严格的 rm 命令审核。
AWS Quick 更新:对话创建流程、多智能体协作、新增 Meta ads 与 Amplitude 连接器,AWS 称所有 Quick 区域即日可用
AWS 推出分布式 KV 缓存 Agent Skill:AWS 称自建 LLM 成本最多降 40%、首字延迟最多降 80%
Amazon SageMaker HyperPod Slurm 推出集群扩展功能:可观测性与用户管理两项托管扩展,所有 HyperPod 支持区域可用
资料来源
本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。