Hugging Face, harness adapters 레시피 공개: Qwen3.8-27B의 pi 환경 SWE-bench Pro 점수 39.2%에서 64.7%로 상승
Hugging Face가 대상 에이전트 harness 안에서 RL로 LoRA를 학습하는 harness adapters 방식을 발표했다. Qwen3.8-27B의 정확도는 오르고 도구 호출은 줄었다. 레시피와 결과물은 공개됐지만 결과는 자체 평가다.
뉴스 날짜: 읽는 데 약 8분
목차
Hugging Face는 2026년 11월 20일 harness adapters 방식을 소개하는 글을 발표했다. agent harness는 AI 모델이 파일을 읽고 쓰고, 명령을 실행하고, 도구를 호출해 코딩 작업을 수행하게 하는 실행 틀로, pi, Hermes Agent, OpenCode 등이 있다. 이 방식은 특정 harness 안에서 강화학습(RL, 모델이 반복 시도하고 결과에 따라 보상을 받으며 학습하는 방식)으로 LoRA adapter를 학습한다. LoRA는 원래 모델 가중치를 바꾸지 않고 소규모 추가 파라미터만 덧붙인다. 목적은 Qwen3.8-27B를 해당 harness와 과제 유형에 더 잘 맞추는 것이다. Hugging Face는 전체 학습 레시피를 공개했으며, 결과물(adapter, GGUF 모델 파일, RL 과제, safeagents 플러그인)은 Hugging Face collection에서 볼 수 있다고 밝혔다.
harness adapters는 무엇을 바꾸나?
Hugging Face는 모델이 보통 범용 성능을 기준으로 학습되며 특정 harness와 실제 과제에 맞춰 최적화되지는 않는다고 지적한다. 글 첫머리의 예시에서 Qwen3.8-27B는 pi harness의 Terminal-Bench 2.1에서 39%를 기록했고 문제당 평균 2.9K 토큰(토큰은 모델이 텍스트를 처리하는 기본 단위)을 썼다. 가중치를 고정하고 RL로 학습한 LoRA adapter를 붙이자 pass@1(문제당 한 번만 시도했을 때의 성공률)은 55%, 평균 토큰은 1.5K였다. Hugging Face는 주된 이유로 추론이 줄고 도구 호출이 줄었으며 첫 시도에서 더 잘 해결하게 된 점을 꼽는다.
Hugging Face 설명에 따르면 대부분의 RL 프레임워크는 다시 구현한 agent 루프를 학습한다. 이 방식은 harness를 원형 그대로 실행하고, trainer가 실제로 생성된 토큰에서 학습한다. 이 토큰은 harness와 vLLM(모델 추론 서버) 사이의 proxy가 기록한다. 글에서 사용한 버전은 Pi 1.5.2, OpenCode 2.2.7, Hermes Agent v0.22.6이다.
학습 데이터와 과정은 어떻게 만들었나?
- 과제 출처는 세 가지다. SWE-smith(Python, Go 프로젝트에 버그를 주입), SWE-Gym(실제 GitHub issue를 TaskTrove로 패키징), 그리고 Tasksmith로 병합된 pull request에서 생성한 과제다.
- 검증: openenv validate(과제와 채점기가 올바른지 확인하는 도구)로 거른 결과, Hub 후보 과제 1,127개 중 858개가 통과했다.
- 난이도 선별: 채점된 442개 과제 중 기본 모델이 매번 푼 과제가 151개, 한 번도 풀지 못한 과제가 120개였다. 나머지 171개는 풀 때도 있고 못 풀 때도 있어 적합 과제로 분류했다. 전부 맞히거나 전부 틀리는 문제는 학습 신호를 주지 못하기 때문이다.
- 데이터셋 harness-hub/agentic-coding-envs는 35개 저장소에서 나온 871개 과제를 담고 있다.
- 학습: harness adapter마다 NVIDIA B200 2장(한 장은 vLLM, 한 장은 학습)을 사용했고 LoRA는 all-linear 설정이다. rollout(학습 중 모델이 실제로 문제를 푸는 과정)에서는 thinking 모드(추론을 먼저 쓴 뒤 답하는 모드)를 껐다. 보상은 검증기가 판정한 정확성에 0.1의 도구 효율 보상을 더한 것이며 최종 학습률은 2e-5다.
- 안전: 학습 중 safeagents(모델의 의심스러운 동작을 차단하는 도구)를 연결해 도구 호출 130만 건을 검사했고 647건을 차단했다.
효과는 어떤가? 전용 adapter와 super-adapter의 차이는?
Hugging Face는 세 전용 adapter가 각자의 harness에서 두 벤치마크 모두 기본 모델을 앞섰다고 밝혔다. 기본 모델과 adapter가 모두 푼 과제에서 도구 호출은 SWE-bench Pro가 56–72%, Terminal-Bench 2.1이 53–70% 적었다. Terminal-Bench 2.1에서는 pi가 16.3%p, hermes가 14.1%p 올랐고 opencode는 전체 기준 6.0%p 올랐다.
super-adapter는 PEFT의 cat 방식으로 세 adapter를 rank 차원에 따라 이어 붙인다. rank는 adapter의 용량으로 이해할 수 있으며, 합친 뒤 96으로 단일 adapter 32의 세 배다. 최종적으로 가중치 ½를 채택했고 pi step 160, hermes step 160, opencode step 150 체크포인트를 사용했다. 아래 표는 Hugging Face가 Terminal-Bench 2.1에서 step-120 adapter로 합성 가중치별 결과를 비교한 것이다.
| 설정 | pi | hermes | opencode | 세 harness 합계 / 문제당 도구 호출 |
|---|---|---|---|---|
| 기본 모델 | 39.1% | 46.0% | 44.8% | 43.3% / 49.2 |
| 가중치 ⅓(평균) | 49.4% | 51.2% | 47.1% | 49.2% / 35.6 |
| 가중치 ½(최종 채택) | 48.8% | 53.5% | 55.2% | 52.5% / 25.9 |
| 가중치 1(단순 합산) | 40.2% | 62.8% | 47.1% | 50.0% / 13.4 |
Hugging Face에 따르면 thinking을 끈 상태에서 super-adapter는 여섯 가지 harness–벤치마크 조합 모두에서 기본 모델을 앞섰다(평균 pass@1 39.5%→49.0%). 둘 다 푼 과제에서 도구 호출은 53–73% 적었다. thinking을 켜면 여섯 조합 중 다섯에서 동급 기본 모델의 thinking을 앞서고 하나는 동률이었다(평균 55.5%→63.5%). 학습 때 thinking을 켜지 않았는데도 그렇다. 단일 harness만 쓰고 thinking을 끈다면, 전용 버전이 여섯 조합 중 네 곳에서 앞서므로 해당 harness의 전용 adapter를 권장한다.
다른 harness나 다른 과제에도 쓸 수 있나?
Hugging Face는 pi adapter를 다른 harness에서도 시험했다. OpenCode의 Terminal-Bench 2.1에서는 44.8%→54.0%(OpenCode 전용 버전은 46.4%→52.4%), Hermes에서는 46.3%→56.1%(전용 버전은 44.7%→58.8%)였다. 300문제 AutomationBench(업무 자동화 워크플로 과제, 해당 벤치마크 자체의 agent 루프 사용)에서는 기본 모델이 23.0%, pi 27.0%, opencode 25.3%, 합성 버전 23.7%, hermes 17.7%였다. Hugging Face는 차이가 대부분 노이즈 범위 안에 있다고 보며, RL이 이 환경으로 뚜렷하게 전이되지도 않았지만 모델을 망가뜨리지도 않았다고 해석한다.
직접 해 보려면 무엇을 주의해야 하나?
Hugging Face는 전체 레시피를 공개했으며, 개발자가 자신의 코드베이스로 RL 과제를 만들어 자신이 쓰는 모델과 harness에 적용해 보길 권한다. 글에는 Harbor 형식의 과제라면 openenv validate에 --sandbox hf-sandbox 옵션을 붙여 검증할 수 있다는 설명도 있다.
자주 묻는 질문
harness adapter란 무엇인가?
Hugging Face 설명에 따르면 대상 agent harness 안에서 RL로 학습한 LoRA adapter다. 기본 모델 가중치는 고정하고 소규모 추가 파라미터만 붙여, 모델이 해당 harness와 과제 분포에 더 잘 맞게 한다.
harness를 하나만 쓴다면 전용 adapter와 super-adapter 중 무엇을 고르나?
Hugging Face는 harness 하나만 쓰고 thinking을 끈다면 해당 harness의 전용 adapter를 권장한다. 전용 버전이 여섯 조합 중 네 곳에서 앞서기 때문이다. super-adapter는 pi, Hermes Agent, OpenCode에서 수정 없이 실행할 수 있다.
thinking 모드를 켜면 어느 쪽을 쓰나?
Hugging Face에 따르면 super-adapter는 학습 때 thinking을 켜지 않았는데도 thinking을 켠 평가에서 가장 강한 모델이었다. 여섯 조합 중 다섯에서 기본 모델 thinking을 앞서고 하나는 동률이며, pi의 SWE-bench Pro에서는 둘 다 74%다.
결과물과 데이터는 어디서 찾을 수 있나?
Hugging Face에 따르면 adapter, GGUF, RL 과제, safeagents 플러그인은 Hugging Face collection에서 볼 수 있다. 과제 데이터셋은 harness-hub/agentic-coding-envs, safeagents 플러그인은 harness-hub/qwen-safeagents-plugin, 최종 평가의 모델 궤적은 공개 bucket harness-hub/harness-adapters-trajectories에 있다.
학습과 평가에 어떤 하드웨어를 썼나?
Hugging Face에 따르면 harness adapter마다 NVIDIA B200 2장으로 학습했으며, 한 장은 vLLM, 한 장은 학습을 맡았다. 평가 때는 각 LoRA 체크포인트를 기본 가중치에 병합한 뒤 vLLM으로 GPU 한 장에서 서빙했다.
같은 주제의 글
Claude Code 2.1.330: 엔터프라이즈 관리 콘솔 로그인, easel 차트 모듈, 예약 작업 최대 30일로 연장
Anthropic은 Claude Code 2.1.330 변경 로그에서 엔터프라이즈 관리 콘솔 로그인, 내장 차트 모듈 easel, 최대 30일 예약 작업, 더 엄격한 rm 명령 승인을 소개했습니다.
AWS Quick 업데이트: 대화형 플로 생성, 멀티 에이전트 협업, Meta ads·Amplitude 커넥터 추가… AWS "Quick 제공 전 리전에서 즉시 이용 가능"
AWS, 분산 KV 캐시 에이전트 스킬 공개: AWS "자체 호스팅 LLM 비용 최대 40%↓, 첫 토큰 지연 최대 80%↓"
Amazon SageMaker HyperPod Slurm, 클러스터 확장 기능 출시: 관측성·사용자 관리 두 가지 관리형 확장, HyperPod 지원 전 리전에서 사용 가능
출처
위에 기재된 참고 자료와 확인일 기준 정보를 바탕으로 정리했습니다. 요금, 시간표, 기능, 이용 약관은 바뀔 수 있으므로 여행, 예약 또는 구매 전에 해당 공식 사이트에서 최신 정보를 확인해 주세요.