Hugging Face が harness adapters のレシピを公開:Qwen3.8-27B の pi 上 SWE-bench Pro が 39.2% から 64.7% に向上

Hugging Face が harness adapters を発表。対象の agent harness 内で RL により LoRA を訓練し、Qwen3.8-27B は精度が向上しツール呼び出しも減少。レシピと成果物は公開済みだが、結果は同社の自己評価。

ニュース日: 読了目安 9 分

LINEで送るThreadsFacebookX
目次
  1. 1. harness adapters は何を変えるのか
  2. 2. 訓練データと手順はどう作られたか
  3. 3. 効果は?専用 adapter と super-adapter の違い
  4. 4. 他の harness や別のタスクにも使えるか
  5. 5. 自分で試すときの注意点

Hugging Face は 2026 年 11 月 20 日、harness adapters の手法を紹介する記事を公開した。agent harness とは、AI モデルがファイルの読み書き、コマンド実行、ツール呼び出しを行ってプログラミング作業をこなすための実行基盤で、pi、Hermes Agent、OpenCode などが該当する。この手法では、特定の harness 内で強化学習(RL。モデルが試行を繰り返し、結果に応じた報酬で学ぶ方法)により LoRA adapter を訓練する。LoRA は元のモデルの重みを変更せず、少量の追加パラメータを外付けする方式で、Qwen3.8-27B をその harness とタスクの種類により適合させることが狙いだ。Hugging Face は訓練レシピをすべて公開したとしており、成果物(adapter、GGUF モデルファイル、RL タスク、safeagents プラグイン)は同社の Hugging Face collection で閲覧できる。

harness adapters は何を変えるのか

Hugging Face は、モデルは通常、汎用的な性能を狙って訓練されており、特定の harness や実際のタスクには最適化されていないと指摘する。記事の冒頭では、Qwen3.8-27B の pi harness における Terminal-Bench 2.1 スコアは 39%、1 問あたり平均 2.9K トークン(token はモデルが処理する文字の基本単位)だった。重みを固定して RL 訓練済みの LoRA adapter を加えると、pass@1(1 問につき 1 回だけ試したときの成功率)は 55%、平均 1.5K トークンになった。Hugging Face は、主な要因として推論量とツール呼び出しが減り、1 回目からより良く解けるようになったことを挙げている。

Hugging Face の説明では、多くの RL フレームワークは再実装された agent ループを訓練する。この手法は harness をそのまま動かし、訓練器は実際に生成されたトークンから学習する。そのトークンは harness と vLLM(モデル推論サーバー)の間に置いた proxy が記録する。記事で使われているバージョンは Pi 1.5.2、OpenCode 2.2.7、Hermes Agent v0.22.6 である。

訓練データと手順はどう作られたか

  • タスクの出所は 3 つ:SWE-smith(Python・Go のプロジェクトにバグを注入)、SWE-Gym(実際の GitHub issue。TaskTrove で整形)、そして Tasksmith でマージ済み pull request から生成したタスク。
  • 検証:openenv validate(タスクと採点器が正しいか確認するツール)で選別し、Hub の候補 1,127 件のうち 858 件が通過した。
  • 難易度の選別:採点済み 442 件のうち、ベースモデルが毎回解いたものが 151 件、一度も解けなかったものが 120 件。残る 171 件は解けたり解けなかったりするため適格タスクとした。全問正解や全問不正解の問題では学習信号が得られないためである。
  • データセット harness-hub/agentic-coding-envs は 35 のリポジトリに由来する 871 タスクを含む。
  • 訓練:各 harness adapter に NVIDIA B200 を 2 枚使用(1 枚は vLLM、1 枚は訓練)し、LoRA は all-linear 設定。rollout(訓練中にモデルが実際に解答する過程)は thinking モード(推論を書き出してから答えるモード)をオフにした。報酬は検証器による正誤判定に 0.1 のツール効率報酬を加えたもので、最終学習率は 2e-5。
  • 安全性:訓練中に safeagents(モデルの疑わしい操作を遮断するツール)を組み込み、130 万回のツール呼び出しを検査して 647 回をブロックした。

効果は?専用 adapter と super-adapter の違い

Hugging Face によると、3 つの専用 adapter は、それぞれの harness で 2 つのベンチマークともベースモデルを上回った。ベースモデルと adapter の両方が解けたタスクでは、ツール呼び出しが SWE-bench Pro で 56〜72%、Terminal-Bench 2.1 で 53〜70% 少なかった。Terminal-Bench 2.1 では、pi が 16.3 ポイント、hermes が 14.1 ポイント向上し、opencode は全体で 6.0 ポイント向上した。

super-adapter は、PEFT の cat 方式で 3 つの adapter を rank 次元に沿って連結したものだ。rank は adapter の容量と考えてよく、統合後は 96 で、単体 adapter の 32 の 3 倍にあたる。最終的には重み ½ を採用し、チェックポイントは pi が step 160、hermes が step 160、opencode が step 150 を使った。下の表は、Hugging Face が Terminal-Bench 2.1 で step-120 の adapter を用い、統合時の重みを比較した結果である。

Terminal-Bench 2.1 全 89 問、step-120 adapter の統合重みの比較(出典:Hugging Face)
設定pihermesopencode3 者合計 / 1 問あたりツール呼び出し
ベースモデル39.1%46.0%44.8%43.3% / 49.2
重み ⅓(平均)49.4%51.2%47.1%49.2% / 35.6
重み ½(最終採用)48.8%53.5%55.2%52.5% / 25.9
重み 1(単純加算)40.2%62.8%47.1%50.0% / 13.4

Hugging Face は、thinking オフでは super-adapter が harness とベンチマークの 6 組すべてでベースモデルを上回った(平均 pass@1 は 39.5% から 49.0%)としている。両者が解けたタスクでは、ツール呼び出しが 53〜73% 少ない。thinking オンでは、同等のベースモデル(thinking オン)に対し 6 組中 5 組で上回り、1 組は同等だった(平均 55.5% から 63.5%)。訓練時には thinking をオンにしていないにもかかわらずである。単一の harness を thinking オフで使う場合、専用版が 6 組中 4 組でリードしているため、その harness の専用 adapter を勧めると Hugging Face は述べている。

他の harness や別のタスクにも使えるか

Hugging Face は pi adapter を他の harness でも試した。OpenCode の Terminal-Bench 2.1 では 44.8% から 54.0%(OpenCode 専用版は 46.4% から 52.4%)、Hermes では 46.3% から 56.1%(専用版は 44.7% から 58.8%)となった。300 問の AutomationBench(ビジネス自動化ワークフローのタスクで、このベンチマーク独自の agent ループを使用)では、ベースモデルが 23.0%、pi が 27.0%、opencode が 25.3%、統合版が 23.7%、hermes が 17.7% だった。Hugging Face は、差の多くはノイズの範囲内であり、RL はこの状況に明確には転移しなかったが、モデルを壊してもいないと見ている。

自分で試すときの注意点

Hugging Face は、レシピを完全に公開したとして、開発者に自分のコードベースで RL タスクを作り、普段使うモデルと harness に適用するよう促している。また、Harbor 形式のタスクであれば、openenv validate に --sandbox hf-sandbox オプションを付けて検証できるとも記している。

よくある質問

harness adapter とは何ですか?

Hugging Face の説明では、対象の agent harness 内で RL により訓練した LoRA adapter のことです。ベースモデルの重みは固定したまま少量の追加パラメータを加え、その harness とタスク分布にモデルをより適合させます。

単一の harness だけを使う場合、専用 adapter と super-adapter のどちらを選ぶべきですか?

Hugging Face は、単一の harness を thinking オフで使うなら、その harness の専用 adapter を勧めています。専用版が 6 組中 4 組でリードしているためです。super-adapter は pi、Hermes Agent、OpenCode のどれでも、変更なしで動かせます。

thinking モードをオンにする場合はどちらを使いますか?

Hugging Face によると、super-adapter は訓練時に thinking をオンにしていないにもかかわらず、同社の評価で thinking オン時に最も強いモデルでした。6 組中 5 組でベースモデルの thinking を上回り、1 組は同等で、pi の SWE-bench Pro では両者とも 74% です。

成果物やデータはどこで入手できますか?

Hugging Face によると、adapter、GGUF、RL タスク、safeagents プラグインは同社の Hugging Face collection から閲覧できます。タスクのデータセットは harness-hub/agentic-coding-envs、safeagents プラグインは harness-hub/qwen-safeagents-plugin、最終評価のモデル軌跡は公開 bucket の harness-hub/harness-adapters-trajectories にあります。

訓練と評価にはどんなハードウェアが使われましたか?

Hugging Face によると、各 harness adapter の訓練には NVIDIA B200 を 2 枚使い、1 枚で vLLM を動かし、もう 1 枚で訓練しました。評価では、各 LoRA チェックポイントをベースの重みに統合したうえで、vLLM により GPU 1 枚で提供しています。

このトピックの最新ニュースを見る

この記事が役に立ったら、必要な方にシェアしてください

LINEで送るThreadsFacebookX

出典

上記の参考資料および記載の確認日時点の情報をもとに整理しています。料金・時刻・機能・利用規約は変更される場合があるため、ご旅行や予約・購入の前には該当する公式サイトで最新情報をご確認ください。

ライフスタイル