Hugging Face 公開 harness adapters 配方:Qwen3.8-27B 在 pi 上 SWE-bench Pro 由 39.2% 升至 64.7%
Hugging Face 發表 harness adapters 做法:在目標 agent harness 內以 RL 訓練 LoRA,Qwen3.8-27B 準確度提高且工具呼叫減少。配方與成品公開,但結果為官方自行評測。
新聞日期: 閱讀時間約 6 分鐘
目錄
Hugging Face 於 2026 年 11 月 20 日發表文章,介紹 harness adapters 的做法。agent harness 是讓 AI 模型讀寫檔案、執行指令、呼叫工具來完成程式任務的執行框架,例如 pi、Hermes Agent、OpenCode。這項做法在特定 harness 內,以強化學習(RL,讓模型反覆嘗試並依結果給予獎勵來學習)訓練 LoRA adapter。LoRA 不改動原模型權重,只外掛一小組額外參數。目的是讓 Qwen3.8-27B 更貼合該 harness 與任務類型。Hugging Face 表示已公開完整訓練配方,成品(adapter、GGUF 模型檔、RL 任務、safeagents 外掛)可在其 Hugging Face collection 瀏覽。
harness adapters 改變了什麼?
Hugging Face 指出,模型通常針對一般表現訓練,並未針對特定 harness 與實際任務優化。文章開頭舉例:Qwen3.8-27B 在 pi harness 的 Terminal-Bench 2.1 分數為 39%,平均每題用 2.9K tokens(token 是模型處理文字的基本單位)。凍結權重並加上 RL 訓練的 LoRA adapter 後,pass@1(每題只嘗試一次的成功率)為 55%,平均 1.5K tokens。Hugging Face 說主因是模型推理較少、呼叫工具較少,且第一次就做得更好。
據 Hugging Face 說明,多數 RL 框架訓練的是重新實作的 agent 迴圈。這項做法則讓 harness 照原樣執行,訓練器從實際產生的 token 學習;這些 token 由 harness 與 vLLM(模型推論伺服器)之間的 proxy 記錄。文中使用的版本為 Pi 1.5.2、OpenCode 2.2.7、Hermes Agent v0.22.6。
訓練資料與流程是怎麼建立的?
- 任務來源有三個:SWE-smith(在 Python、Go 專案中注入錯誤)、SWE-Gym(真實 GitHub issue,經 TaskTrove 封裝),以及用 Tasksmith 從已合併 pull request 生成的任務。
- 驗證:用 openenv validate(檢查任務與評分器是否正確的工具)篩選後,1,127 個 Hub 候選任務中有 858 個通過。
- 難度篩選:442 個已評分任務中,基礎模型每次都解出 151 個、從未解出 120 個。其餘 171 個只有時解得出,列為合格任務,因為全對或全錯的題目無法提供學習訊號。
- 資料集 harness-hub/agentic-coding-envs 含 871 個任務,來自 35 個儲存庫。
- 訓練:每個 harness adapter 使用 2 張 NVIDIA B200(一張跑 vLLM、一張訓練),LoRA 採 all-linear 設定。rollout(訓練時模型實際作答的過程)關閉 thinking 模式(先寫出推理再作答的模式)。獎勵為驗證器判定的正確性,加上 0.1 的工具效率獎勵;最終學習率 2e-5。
- 安全:訓練中接入 safeagents(攔截模型可疑操作的工具),共檢查 130 萬次工具呼叫、阻擋 647 次。
效果如何?專用 adapter 與 super-adapter 差在哪?
Hugging Face 稱,三個專用 adapter 在各自 harness 下的兩項基準測試都勝過基礎模型。在基礎模型與 adapter 都解出的任務上,SWE-bench Pro 的工具呼叫少 56–72%,Terminal-Bench 2.1 少 53–70%。Terminal-Bench 2.1 方面,pi 提升 16.3 個百分點、hermes 提升 14.1、opencode 整體提升 6.0。
super-adapter 用 PEFT 的 cat 方式沿 rank 維度串接三個 adapter。rank 可理解為 adapter 的容量,合併後為 96,即單一 adapter 32 的三倍。最終採用權重 ½,使用 pi step 160、hermes step 160、opencode step 150 的檢查點。下表是 Hugging Face 在 Terminal-Bench 2.1 以 step-120 adapter 比較不同合併權重的結果。
| 設定 | pi | hermes | opencode | 三者合計 / 每題工具呼叫 |
|---|---|---|---|---|
| 基礎模型 | 39.1% | 46.0% | 44.8% | 43.3% / 49.2 |
| 權重 ⅓(平均) | 49.4% | 51.2% | 47.1% | 49.2% / 35.6 |
| 權重 ½(最終採用) | 48.8% | 53.5% | 55.2% | 52.5% / 25.9 |
| 權重 1(直接相加) | 40.2% | 62.8% | 47.1% | 50.0% / 13.4 |
Hugging Face 表示,thinking 關閉時,super-adapter 在六組 harness–基準測試組合全面優於基礎模型(平均 pass@1 由 39.5% 升至 49.0%)。在兩者都解出的任務上,它的工具呼叫少 53–73%。thinking 開啟時,它在六組中有五組勝過同等級的基礎模型 thinking、一組持平(平均 55.5% 升至 63.5%),儘管訓練時並未開啟 thinking。若只用單一 harness 且關閉 thinking,Hugging Face 建議採用該 harness 的專用 adapter,因為專用版在六組中有四組領先。
能否跨 harness 或用在其他任務?
Hugging Face 把 pi adapter 放到其他 harness 測試。在 OpenCode 的 Terminal-Bench 2.1,分數由 44.8% 升至 54.0%(OpenCode 專用版為 46.4% 升至 52.4%);在 Hermes 由 46.3% 升至 56.1%(專用版為 44.7% 升至 58.8%)。在 300 題 AutomationBench(商務自動化流程任務,使用該基準自己的 agent 迴圈)上,基礎模型為 23.0%,pi 27.0%、opencode 25.3%、合併版 23.7%、hermes 17.7%。Hugging Face 認為差異多在雜訊範圍內:RL 既未明顯轉移到該情境,也未破壞模型。
想自己嘗試要注意什麼?
Hugging Face 表示已公開完整配方,鼓勵開發者用自己的程式碼庫建立 RL 任務,再套用到自己慣用的模型與 harness。文中另提到,任何 Harbor 格式任務都可用 openenv validate 加上 --sandbox hf-sandbox 選項驗證。
常見問題
harness adapter 是什麼?
依 Hugging Face 的說明,它是在目標 agent harness 內以 RL 訓練的 LoRA adapter。基礎模型權重保持凍結,只加上一小組額外參數,讓模型更適合該 harness 與任務分佈。
只用單一 harness 時該選專用 adapter 還是 super-adapter?
Hugging Face 建議,若只使用單一 harness 且關閉 thinking,就採用該 harness 的專用 adapter,因為專用版在六組測試中有四組領先。super-adapter 則可在 pi、Hermes Agent 與 OpenCode 下不經修改地執行。
開啟 thinking 模式時用哪一個?
Hugging Face 表示,super-adapter 雖然訓練時沒有開啟 thinking,卻是其評測中開啟 thinking 後最強的模型。它在六組中有五組勝過基礎模型 thinking、一組持平;在 pi 的 SWE-bench Pro 上兩者同為 74%。
成品和資料可以在哪裡找到?
Hugging Face 表示,adapter、GGUF、RL 任務與 safeagents 外掛都可透過其 Hugging Face collection 瀏覽。任務資料集為 harness-hub/agentic-coding-envs,safeagents 外掛在 harness-hub/qwen-safeagents-plugin,最終評測的模型軌跡則放在公開 bucket harness-hub/harness-adapters-trajectories。
訓練和評測用了什麼硬體?
Hugging Face 表示,每個 harness adapter 用 2 張 NVIDIA B200 訓練,一張跑 vLLM、一張負責訓練。評測時,每個 LoRA 檢查點先合併進基礎權重,再以 vLLM 在單張 GPU 上提供服務。
同主題延伸閱讀
Claude Code 2.1.330:企業管理主控台登入、easel 圖表模組、排程任務延長至 30 天
Anthropic 在 Claude Code 2.1.330 更新日誌中列出企業管理主控台登入、內建圖表模組 easel、排程任務最長 30 天,以及更嚴格的 rm 指令審核。
AWS Quick 更新:對話建立流程、多代理協作、新增 Meta ads 與 Amplitude 連接器,AWS 稱所有 Quick 區域即日可用
AWS 推出分散式 KV 快取 Agent Skill:AWS 稱自架 LLM 成本最多降 40%、首字延遲最多降 80%
Amazon SageMaker HyperPod Slurm 推出叢集擴充功能:可觀測性與使用者管理兩項託管擴充,全 HyperPod 支援區域可用
資料來源
本文依據上方所列參考來源與標示之核對日期整理;票價、時刻、功能規格或服務條款可能變動,出發、預訂或購買前請至相關官方網站確認最新資訊。