Hugging Face 公開 harness adapters 配方:Qwen3.8-27B 在 pi 上 SWE-bench Pro 由 39.2% 升至 64.7%

Hugging Face 發表 harness adapters 做法:在目標 agent harness 內以 RL 訓練 LoRA,Qwen3.8-27B 準確度提高且工具呼叫減少。配方與成品公開,但結果為官方自行評測。

新聞日期: 閱讀時間約 6 分鐘

目錄
  1. 1. harness adapters 改變了什麼?
  2. 2. 訓練資料與流程是怎麼建立的?
  3. 3. 效果如何?專用 adapter 與 super-adapter 差在哪?
  4. 4. 能否跨 harness 或用在其他任務?
  5. 5. 想自己嘗試要注意什麼?

Hugging Face 於 2026 年 11 月 20 日發表文章,介紹 harness adapters 的做法。agent harness 是讓 AI 模型讀寫檔案、執行指令、呼叫工具來完成程式任務的執行框架,例如 pi、Hermes Agent、OpenCode。這項做法在特定 harness 內,以強化學習(RL,讓模型反覆嘗試並依結果給予獎勵來學習)訓練 LoRA adapter。LoRA 不改動原模型權重,只外掛一小組額外參數。目的是讓 Qwen3.8-27B 更貼合該 harness 與任務類型。Hugging Face 表示已公開完整訓練配方,成品(adapter、GGUF 模型檔、RL 任務、safeagents 外掛)可在其 Hugging Face collection 瀏覽。

harness adapters 改變了什麼?

Hugging Face 指出,模型通常針對一般表現訓練,並未針對特定 harness 與實際任務優化。文章開頭舉例:Qwen3.8-27B 在 pi harness 的 Terminal-Bench 2.1 分數為 39%,平均每題用 2.9K tokens(token 是模型處理文字的基本單位)。凍結權重並加上 RL 訓練的 LoRA adapter 後,pass@1(每題只嘗試一次的成功率)為 55%,平均 1.5K tokens。Hugging Face 說主因是模型推理較少、呼叫工具較少,且第一次就做得更好。

據 Hugging Face 說明,多數 RL 框架訓練的是重新實作的 agent 迴圈。這項做法則讓 harness 照原樣執行,訓練器從實際產生的 token 學習;這些 token 由 harness 與 vLLM(模型推論伺服器)之間的 proxy 記錄。文中使用的版本為 Pi 1.5.2、OpenCode 2.2.7、Hermes Agent v0.22.6。

訓練資料與流程是怎麼建立的?

  • 任務來源有三個:SWE-smith(在 Python、Go 專案中注入錯誤)、SWE-Gym(真實 GitHub issue,經 TaskTrove 封裝),以及用 Tasksmith 從已合併 pull request 生成的任務。
  • 驗證:用 openenv validate(檢查任務與評分器是否正確的工具)篩選後,1,127 個 Hub 候選任務中有 858 個通過。
  • 難度篩選:442 個已評分任務中,基礎模型每次都解出 151 個、從未解出 120 個。其餘 171 個只有時解得出,列為合格任務,因為全對或全錯的題目無法提供學習訊號。
  • 資料集 harness-hub/agentic-coding-envs 含 871 個任務,來自 35 個儲存庫。
  • 訓練:每個 harness adapter 使用 2 張 NVIDIA B200(一張跑 vLLM、一張訓練),LoRA 採 all-linear 設定。rollout(訓練時模型實際作答的過程)關閉 thinking 模式(先寫出推理再作答的模式)。獎勵為驗證器判定的正確性,加上 0.1 的工具效率獎勵;最終學習率 2e-5。
  • 安全:訓練中接入 safeagents(攔截模型可疑操作的工具),共檢查 130 萬次工具呼叫、阻擋 647 次。

效果如何?專用 adapter 與 super-adapter 差在哪?

Hugging Face 稱,三個專用 adapter 在各自 harness 下的兩項基準測試都勝過基礎模型。在基礎模型與 adapter 都解出的任務上,SWE-bench Pro 的工具呼叫少 56–72%,Terminal-Bench 2.1 少 53–70%。Terminal-Bench 2.1 方面,pi 提升 16.3 個百分點、hermes 提升 14.1、opencode 整體提升 6.0。

super-adapter 用 PEFT 的 cat 方式沿 rank 維度串接三個 adapter。rank 可理解為 adapter 的容量,合併後為 96,即單一 adapter 32 的三倍。最終採用權重 ½,使用 pi step 160、hermes step 160、opencode step 150 的檢查點。下表是 Hugging Face 在 Terminal-Bench 2.1 以 step-120 adapter 比較不同合併權重的結果。

Terminal-Bench 2.1 全部 89 題,step-120 adapter 的合併權重比較(資料來源:Hugging Face)
設定pihermesopencode三者合計 / 每題工具呼叫
基礎模型39.1%46.0%44.8%43.3% / 49.2
權重 ⅓(平均)49.4%51.2%47.1%49.2% / 35.6
權重 ½(最終採用)48.8%53.5%55.2%52.5% / 25.9
權重 1(直接相加)40.2%62.8%47.1%50.0% / 13.4

Hugging Face 表示,thinking 關閉時,super-adapter 在六組 harness–基準測試組合全面優於基礎模型(平均 pass@1 由 39.5% 升至 49.0%)。在兩者都解出的任務上,它的工具呼叫少 53–73%。thinking 開啟時,它在六組中有五組勝過同等級的基礎模型 thinking、一組持平(平均 55.5% 升至 63.5%),儘管訓練時並未開啟 thinking。若只用單一 harness 且關閉 thinking,Hugging Face 建議採用該 harness 的專用 adapter,因為專用版在六組中有四組領先。

能否跨 harness 或用在其他任務?

Hugging Face 把 pi adapter 放到其他 harness 測試。在 OpenCode 的 Terminal-Bench 2.1,分數由 44.8% 升至 54.0%(OpenCode 專用版為 46.4% 升至 52.4%);在 Hermes 由 46.3% 升至 56.1%(專用版為 44.7% 升至 58.8%)。在 300 題 AutomationBench(商務自動化流程任務,使用該基準自己的 agent 迴圈)上,基礎模型為 23.0%,pi 27.0%、opencode 25.3%、合併版 23.7%、hermes 17.7%。Hugging Face 認為差異多在雜訊範圍內:RL 既未明顯轉移到該情境,也未破壞模型。

想自己嘗試要注意什麼?

Hugging Face 表示已公開完整配方,鼓勵開發者用自己的程式碼庫建立 RL 任務,再套用到自己慣用的模型與 harness。文中另提到,任何 Harbor 格式任務都可用 openenv validate 加上 --sandbox hf-sandbox 選項驗證。

常見問題

harness adapter 是什麼?

依 Hugging Face 的說明,它是在目標 agent harness 內以 RL 訓練的 LoRA adapter。基礎模型權重保持凍結,只加上一小組額外參數,讓模型更適合該 harness 與任務分佈。

只用單一 harness 時該選專用 adapter 還是 super-adapter?

Hugging Face 建議,若只使用單一 harness 且關閉 thinking,就採用該 harness 的專用 adapter,因為專用版在六組測試中有四組領先。super-adapter 則可在 pi、Hermes Agent 與 OpenCode 下不經修改地執行。

開啟 thinking 模式時用哪一個?

Hugging Face 表示,super-adapter 雖然訓練時沒有開啟 thinking,卻是其評測中開啟 thinking 後最強的模型。它在六組中有五組勝過基礎模型 thinking、一組持平;在 pi 的 SWE-bench Pro 上兩者同為 74%。

成品和資料可以在哪裡找到?

Hugging Face 表示,adapter、GGUF、RL 任務與 safeagents 外掛都可透過其 Hugging Face collection 瀏覽。任務資料集為 harness-hub/agentic-coding-envs,safeagents 外掛在 harness-hub/qwen-safeagents-plugin,最終評測的模型軌跡則放在公開 bucket harness-hub/harness-adapters-trajectories。

訓練和評測用了什麼硬體?

Hugging Face 表示,每個 harness adapter 用 2 張 NVIDIA B200 訓練,一張跑 vLLM、一張負責訓練。評測時,每個 LoRA 檢查點先合併進基礎權重,再以 vLLM 在單張 GPU 上提供服務。

查看同分類最新消息

覺得這篇整理實用嗎?分享給需要的朋友

資料來源

本文依據上方所列參考來源與標示之核對日期整理;票價、時刻、功能規格或服務條款可能變動,出發、預訂或購買前請至相關官方網站確認最新資訊。

生活分享