"실패 원인만 골라 강화학습"…4분의 1 데이터로 상용 모델 넘은 '트레이스' 공개

AI 에이전트가 같은 실수를 반복하는 문제를 스스로 진단하고, 부족한 역량만 집중적으로 강화하는 새로운 학습 시스템이 등장했다. 스탠포드대학교 연구진은 최근 에이전트의 실패 원인을 자동 분석한 뒤 해당 역량만을 훈련할 수 있는 오픈소스 프레임워크 '트레이스(TRACE·Turning Recurrent Agent failures into Capability-targeted training Environments)'를 온라인 아카이브를 통해 공개했다. 이 시스템을 적용한 270억개(27B) 규모의 오픈웨이트 모델은 소프트웨어 엔지니어링 벤치마크에서 기존 최고 수준의 상용 AI 모델들을 뛰어넘는 성능을 기록했다. 연구진은 기존 AI 에이전트가 특정 작업에서 동일한 유형의 실패를 반복하는 경향이 있지만, 일반적인 강화학습(RL)이나 지도학습(SFT)은 어떤 역량이 부족한지 명확히 파악하지 못한 채 전체 모델을 학습하기 때문에 효율이 낮고 일반화 성능도 제한적이었다고 지적했다. 트레이스는 이러한 한계를 해결하기 위해 에이전트의 반복적인 실패를 '부족한 핵심 역량'으로 분해한 뒤 해당 역량만 집중적으로 학습하는 자동화 파이프라인을 구축했다. 연구진은 이를 깃허브를 통해 MIT 라이선스로 오픈소스 공개했다. 트레이스는 크게 4단계로 작동한다. 첫 번째 단계인 대조적 역량 분석(Contrastive Capability Analysis)에서는 동일한 작업에서 성공한 실행 경로와 실패한 실행 경로를 비교해 실패에 공통적으로 나타나는 역량 부족을 자동으로 추출한다. 분석 결과는 역량이 존재하는지(PRESENT), 부족한지(LACKING), 해당되지 않는지(NA)로 구분되며, 실패 사례에서 집중적으로 나타나는 핵심 역량만 선별한다. 이어 목표 지향적 환경 합성(Targeted Environment Synthesis)이 수행된다. 추출된 역량마다 별도의 합성 강화학습 환경을 자동 생성하며, 각 환경은 하나의 역량만 집중적으로 요구하도록 설계된다. 작업은 무작위 시드 기반으로 절차적으로 생성되며, 검증 역시 알고리즘 기반으로 이뤄져 사람의 레이블링이나 LLM 평가자가 필요하지 않다. 세 번째 단계는 역량별 어댑터 학습(Capability Adapter Training)이다. 역량마다 별도의 LoRA 어댑터를 생성하고 그룹 상대 정책 최적화(GRPO) 강화학습 알고리즘으로 학습한다. 이 과정에서는 기본 모델은 고정한 채 필요한 역량만 추가로 습득하도록 설계했다. 마지막 단계에서는 전문가 혼합(MoE) 구조를 구성한다. 여러 역량별 어댑터를 하나의 모델로 결합하고, 토큰 단위 라우팅을 통해 상황에 맞는 전문가를 실시간으로 선택한다. 추론 과정에서는 토큰마다 가장 적합한 하나의 역량 어댑터만 활성화돼 효율성을 유지하면서도 작업 중간에 필요한 전문성을 동적으로 전환할 수 있다. 실험에서는 트레이스가 반복적인 실패 원인을 효과적으로 찾아냈다. 고객 서비스 에이전트 벤치마크인 '타우2(τ²) 벤치'에서는 구조화 데이터 추론, 다단계 작업 수행, 사전조건 검증, 도구 호출 정확성 등 4가지 핵심 역량 부족이 반복적인 실패의 대부분을 설명하는 것으로 나타났다. 성능 향상도 두드러졌다. '큐원3-30B-A3B' 기반 실험에서 트레이스는 타우2-벤치 점수를 기존 모델보다 15.3%포인트, 소프트웨어 개발 벤치마크인 'SWE-벤치 베리파이드'에서는 Pass@1 기준 15.0%포인트 향상했다. 또 기존 대표 기법인 'GEPA와 SWE-RL'보다 각각 8.6%포인트, 8.4%포인트 높은 성능을 기록했다. 학습 효율도 크게 개선됐다. 기존 강화학습 방식보다 4분의 1 이하의 롤아웃 데이터만 사용하고도 GRPO와 GEPA보다 더 높은 최종 정확도를 달성했으며, 툴샌드박스 벤치마크에서도 동일한 성능 개선 경향을 확인했다. 또 트레이스를 적용한 '큐원3.6-27B'는 SWE-벤치 베리파이드에서 73.2% Pass@1을 기록하며 'GPT-5.2 코덱스(72.8%)' 'GLM 5' '클로드 소네트 4.5' 등 최고 수준의 상용 모델들을 제치고 상위권에 올랐다. 연구진은 "에이전트의 실패는 무작위가 아니라 반복 가능한 소수의 역량 부족에서 비롯되는 경우가 많다"라며 "반복되는 실패를 정확히 진단하고 해당 역량만 집중적으로 강화하는 방식이 기존의 범용 미세조정보다 높은 성능과 데이터 효율성을 제공한다"라고 설명했다. 박찬 기자 cpark@aitimes.com