미세조정 없이 토큰 38% 절감…라이터, '에이전트 하네스' 비용 혁신 기술 공개

AI 에이전트 서비스가 보편화되며 기업들은 성능 향상보다 급증하는 토큰 비용을 더 큰 고민으로 떠안고 있다. 이런 가운데 대형언어모델(LLM) 자체를 바꾸거나 미세조정을 하지 않고도 AI를 감싸는 오케스트레이션 계층인 '하네스(Harness)'만 최적화해 토큰 소비를 약 40% 줄이고 비용은 41% 절감할 수 있다는 연구 결과가 나왔다. AI 기업 라이터(Writer) 연구진은 최근 논문 ‘하네스 효과: 오케스트레이션 디자인이 기업용 에이전트 AI의 토큰 경제를 설정하는 방법(The Harness Effect: How Orchestration Design Sets the Token Economics of Enterprise Agentic AI)’을 발표했다. 이를 통해 파운데이션 모델을 변경하지 않고 하네스만 최적화해 엔터프라이즈 AI 시스템의 비용과 성능을 동시에 개선하는 방법을 공개했다. 연구는 AI 산업에서 유행하는 '토큰맥싱(Tokenmaxxing)' 문제를 해결하는 데 초점을 맞췄다. 토큰맥싱은 긴 컨텍스트와 반복적인 추론, 과도한 도구 호출 등을 통해 성능을 확보하는 대신 토큰 사용량이 폭증하는 현상을 의미한다. 특히 에이전트 기반 워크로드에서는 작업이 반복될수록 누적된 컨텍스트가 매번 다시 전송돼 작업당 토큰 수가 기하급수적으로 증가한다는 것이 연구진의 설명이다. 연구진은 동일한 22개의 기업용 AI 업무를 대상으로 '클로드 소네트 4.6' '제미나이 3.1' '제미나이 플래시 3.5' '큐원 3.6' 'GLM-5.1' '팔미라 X6' 등 6개 주요 LLM을 비교했다. 모델과 업무는 동일하게 유지한 채 기존 에이전트 루프와 최적화된 라이트 에이전트 하네스(Writer Agent Harness)만 교체해 오케스트레이션 계층의 효과를 측정했다. 그 결과, 하네스 최적화만으로 작업당 평균 토큰 사용량은 1만4200개에서 8800개로 38% 감소했다. 평균 비용은 0.21달러에서 0.12달러로 41% 절감됐다. 작업 처리 시간도 중앙값 기준 48초에서 27초로 44% 단축됐다. 반면 작업 성공률은 78%에서 81%로 소폭 향상돼 성능 저하 없이 비용 효율을 높인 것으로 나타났다. 연구진은 모델 종류와 관계없이 모든 모델에서 비용이 33~61% 감소했으며, 100만 토큰당 완료 가능한 작업 수도 54.9건에서 92건으로 크게 늘었다고 설명했다. 연구진은 핵심 전략으로 '투 존 프롬프트(Two-Zone Prompt)' 구조를 제안했다. 시스템 규칙이나 도구 정의처럼 변하지 않는 내용을 프롬프트 상단에 고정하고, 사용자 요청과 현재 작업 상태처럼 변하는 정보만 하단에 배치해 프롬프트 캐시를 최대한 활용하는 방식이다. 이를 통해 동일한 시스템 지시문을 반복 전송하지 않아도 되며 토큰 소비를 크게 줄일 수 있다. 또 다른 핵심 기술은 '컨텍스트 오프로딩(Context Offloading)'이다. 기존에는 모든 대화 기록과 검색 결과를 하나의 긴 프롬프트에 계속 추가했지만, 필요한 정보만 외부 저장소에서 다시 불러오는 방식으로 변경했다. 검색과 같은 작업은 별도의 서브 에이전트가 수행하고 핵심 결과만 메인 에이전트에 전달해 컨텍스트 창이 불필요하게 커지는 것을 방지했다. 연구진은 이와 함께 작업별 토큰 상한선 설정, 에이전트 반복 횟수 제한, 실패 이후 추가 비용 제한 등 하드 예산(Hard Budget)과 가드레일을 코드 수준에서 강제해야 한다고 강조했다. 모델이 스스로 비용을 통제하도록 맡기는 것이 아니라 시스템 차원에서 예산을 관리해야 한다는 것이다. 다만 복잡한 멀티 에이전트 구조는 모든 모델에 적합하지는 않았다. 경량 모델인 제미나이 플래시 3.5와 큐원 3.6은 서브 에이전트 협업에서 충분한 신뢰성을 확보하지 못했으며, 팔미라 X6와 클로드 소네트 4.6은 높은 성능을 기록했다. 연구진은 앞으로 파운데이션 모델이 자체적으로 계획 수립과 도구 선택 능력을 내장하게 되더라도 하네스의 중요성은 오히려 커질 것으로 전망했다. 기업별 예산 관리, 권한 제어, 데이터 접근 제한, 감사 기록, 긴급 중단 기능 등은 모델 내부가 아니라 외부 오케스트레이션 계층에서 계속 관리해야 하기 때문이다. 또 앞으로 AI 경쟁력이 모델 자체뿐 아니라 이를 운영하는 소프트웨어 아키텍처 설계에서 결정될 가능성이 커질 것으로 전망했다. 연구를 이끈 와심 알셰이크 라이터 CTO는 "기업들은 몇 달 동안 모델을 비교 평가하면서도 정작 더 큰 비용을 결정하는 오케스트레이션 계층은 외부 프레임워크에 의존한다"라며 "AI 시대에는 하네스가 단순한 연결 코드가 아니라 기업의 비용 구조와 운영 경쟁력을 좌우하는 핵심 소프트웨어 자산이 될 것"이라고 강조했다. 박찬 기자 cpark@aitimes.com