Hugging Face 公开 harness adapters 配方:Qwen3.8-27B 在 pi 上 SWE-bench Pro 由 39.2% 升至 64.7%
Hugging Face 发布 harness adapters 做法:在目标 agent harness 内以 RL 训练 LoRA,Qwen3.8-27B 准确率提高且工具调用减少。配方与成品公开,但结果为官方自行评测。
新闻日期: 阅读时间约 6 分钟
目录
Hugging Face 于 2026 年 11 月 20 日发表文章,介绍 harness adapters 的做法。agent harness 是让 AI 模型读写文件、执行命令、调用工具来完成编程任务的运行框架,例如 pi、Hermes Agent、OpenCode。这项做法在特定 harness 内,以强化学习(RL,让模型反复尝试并依结果给予奖励来学习)训练 LoRA adapter。LoRA 不改动原模型权重,只外挂一小组额外参数。目的是让 Qwen3.8-27B 更贴合该 harness 与任务类型。Hugging Face 表示已公开完整训练配方,成品(adapter、GGUF 模型文件、RL 任务、safeagents 插件)可在其 Hugging Face collection 浏览。
harness adapters 改变了什么?
Hugging Face 指出,模型通常针对通用表现训练,并未针对特定 harness 与实际任务优化。文章开头举例:Qwen3.8-27B 在 pi harness 的 Terminal-Bench 2.1 得分为 39%,平均每题用 2.9K tokens(token 是模型处理文本的基本单位)。冻结权重并加上 RL 训练的 LoRA adapter 后,pass@1(每题只尝试一次的成功率)为 55%,平均 1.5K tokens。Hugging Face 说主因是模型推理较少、调用工具较少,且第一次就做得更好。
据 Hugging Face 说明,多数 RL 框架训练的是重新实现的 agent 循环。这项做法则让 harness 原样运行,训练器从实际产生的 token 学习;这些 token 由 harness 与 vLLM(模型推理服务器)之间的 proxy 记录。文中使用的版本为 Pi 1.5.2、OpenCode 2.2.7、Hermes Agent v0.22.6。
训练数据与流程是怎么建立的?
- 任务来源有三个:SWE-smith(在 Python、Go 项目中注入错误)、SWE-Gym(真实 GitHub issue,经 TaskTrove 封装),以及用 Tasksmith 从已合并 pull request 生成的任务。
- 验证:用 openenv validate(检查任务与评分器是否正确的工具)筛选后,1,127 个 Hub 候选任务中有 858 个通过。
- 难度筛选:442 个已评分任务中,基础模型每次都解出 151 个、从未解出 120 个。其余 171 个只是有时能解出,列为合格任务,因为全对或全错的题目无法提供学习信号。
- 数据集 harness-hub/agentic-coding-envs 含 871 个任务,来自 35 个仓库。
- 训练:每个 harness adapter 使用 2 张 NVIDIA B200(一张跑 vLLM、一张训练),LoRA 采用 all-linear 设置。rollout(训练时模型实际作答的过程)关闭 thinking 模式(先写出推理再作答的模式)。奖励为验证器判定的正确性,加上 0.1 的工具效率奖励;最终学习率 2e-5。
- 安全:训练中接入 safeagents(拦截模型可疑操作的工具),共检查 130 万次工具调用、阻止 647 次。
效果如何?专用 adapter 与 super-adapter 差在哪?
Hugging Face 称,三个专用 adapter 在各自 harness 下的两项基准测试都胜过基础模型。在基础模型与 adapter 都解出的任务上,SWE-bench Pro 的工具调用少 56–72%,Terminal-Bench 2.1 少 53–70%。Terminal-Bench 2.1 方面,pi 提升 16.3 个百分点、hermes 提升 14.1、opencode 整体提升 6.0。
super-adapter 用 PEFT 的 cat 方式沿 rank 维度拼接三个 adapter。rank 可理解为 adapter 的容量,合并后为 96,即单个 adapter 32 的三倍。最终采用权重 ½,使用 pi step 160、hermes step 160、opencode step 150 的检查点。下表是 Hugging Face 在 Terminal-Bench 2.1 以 step-120 adapter 比较不同合并权重的结果。
| 设置 | pi | hermes | opencode | 三者合计 / 每题工具调用 |
|---|---|---|---|---|
| 基础模型 | 39.1% | 46.0% | 44.8% | 43.3% / 49.2 |
| 权重 ⅓(平均) | 49.4% | 51.2% | 47.1% | 49.2% / 35.6 |
| 权重 ½(最终采用) | 48.8% | 53.5% | 55.2% | 52.5% / 25.9 |
| 权重 1(直接相加) | 40.2% | 62.8% | 47.1% | 50.0% / 13.4 |
Hugging Face 表示,thinking 关闭时,super-adapter 在六组 harness–基准测试组合全面优于基础模型(平均 pass@1 由 39.5% 升至 49.0%)。在两者都解出的任务上,它的工具调用少 53–73%。thinking 开启时,它在六组中有五组胜过同等级的基础模型 thinking、一组持平(平均 55.5% 升至 63.5%),尽管训练时并未开启 thinking。若只用单一 harness 且关闭 thinking,Hugging Face 建议采用该 harness 的专用 adapter,因为专用版在六组中有四组领先。
能否跨 harness 或用在其他任务?
Hugging Face 把 pi adapter 放到其他 harness 测试。在 OpenCode 的 Terminal-Bench 2.1,得分由 44.8% 升至 54.0%(OpenCode 专用版为 46.4% 升至 52.4%);在 Hermes 由 46.3% 升至 56.1%(专用版为 44.7% 升至 58.8%)。在 300 题 AutomationBench(商务自动化流程任务,使用该基准自己的 agent 循环)上,基础模型为 23.0%,pi 27.0%、opencode 25.3%、合并版 23.7%、hermes 17.7%。Hugging Face 认为差异多在噪声范围内:RL 既未明显迁移到该场景,也未破坏模型。
想自己尝试要注意什么?
Hugging Face 表示已公开完整配方,鼓励开发者用自己的代码库创建 RL 任务,再应用到自己常用的模型与 harness。文中另提到,任何 Harbor 格式任务都可用 openenv validate 加上 --sandbox hf-sandbox 选项验证。
常见问题
harness adapter 是什么?
据 Hugging Face 说明,它是在目标 agent harness 内以 RL 训练的 LoRA adapter。基础模型权重保持冻结,只加上一小组额外参数,让模型更适合该 harness 与任务分布。
只用单一 harness 时该选专用 adapter 还是 super-adapter?
Hugging Face 建议,若只使用单一 harness 且关闭 thinking,就采用该 harness 的专用 adapter,因为专用版在六组测试中有四组领先。super-adapter 则可在 pi、Hermes Agent 与 OpenCode 下不经修改地运行。
开启 thinking 模式时用哪一个?
Hugging Face 表示,super-adapter 虽然训练时没有开启 thinking,却是其评测中开启 thinking 后最强的模型。它在六组中有五组胜过基础模型 thinking、一组持平;在 pi 的 SWE-bench Pro 上两者同为 74%。
成品和数据可以在哪里找到?
Hugging Face 表示,adapter、GGUF、RL 任务与 safeagents 插件都可通过其 Hugging Face collection 浏览。任务数据集为 harness-hub/agentic-coding-envs,safeagents 插件在 harness-hub/qwen-safeagents-plugin,最终评测的模型轨迹则放在公开 bucket harness-hub/harness-adapters-trajectories。
训练和评测用了什么硬件?
Hugging Face 表示,每个 harness adapter 用 2 张 NVIDIA B200 训练,一张跑 vLLM、一张负责训练。评测时,每个 LoRA 检查点先合并进基础权重,再以 vLLM 在单张 GPU 上提供服务。
同主题延伸阅读
Claude Code 2.1.330:企业管理控制台登录、easel 图表模块、定时任务延长至 30 天
Anthropic 在 Claude Code 2.1.330 更新日志中列出企业管理控制台登录、内置图表模块 easel、定时任务最长 30 天,以及更严格的 rm 命令审核。
AWS Quick 更新:对话创建流程、多智能体协作、新增 Meta ads 与 Amplitude 连接器,AWS 称所有 Quick 区域即日可用
AWS 推出分布式 KV 缓存 Agent Skill:AWS 称自建 LLM 成本最多降 40%、首字延迟最多降 80%
Amazon SageMaker HyperPod Slurm 推出集群扩展功能:可观测性与用户管理两项托管扩展,所有 HyperPod 支持区域可用
资料来源
本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。