실행 결과 학습해 진화하는 '동적 피드백' 라우터 등장..."AI 비용 2.6배 절감"

기업들이 여러 대형언어모델(LLM)을 동시에 활용하는 시대가 되면서 가장 적합한 AI 모델을 자동으로 선택하는 '모델 라우팅(Model Routing)' 기술이 AI 인프라의 핵심 요소로 떠오르고 있다. 싱가포르 국립대와 알리바바 DAMO 아카데미 등의 연구진은 최근 기존의 정적인 라우팅 방식을 넘어 실행 결과를 학습하며 스스로 최적화하는 새로운 오픈소스 프레임워크 '라우터형 에이전트(Agent-as-a-Router)'와 이를 구현한 'AC라우터(ACRouter)'를 온라인 아카이브를 통해 공개했다. 연구진은 기존 모델 라우터가 프롬프트만 분석해 모델을 선택하는 '정적 분류기' 방식에 머물러 실제 업무 환경에서는 한계가 있다고 지적했다. 반면, 라우터형 에이전트는 라우터 자체를 경험을 축적하는 AI 에이전트로 설계해 실행 과정에서 성공과 실패를 학습하고 시간이 지날수록 더 정확한 모델을 선택하도록 만든 것이 특징이다. 현재 기업들은 GPT 계열과 클로드, 큐원, 키미, GLM 등 다양한 AI 모델을 함께 활용하고 있다. 모델마다 강점과 가격이 다르며, 모든 작업에서 최적화된 단일 모델은 존재하지 않는다. 이에 따라 AI 엔지니어들은 간단한 작업에는 저렴한 오픈소스 모델을 사용하고 복잡한 추론이 필요한 경우에만 고가의 최첨단 모델을 사용하는 '모델 라우팅' 기술을 활용하고 있다. 하지만 현재 널리 사용되는 라우팅 방식은 크게 2가지다. 하나는 특정 키워드나 규칙에 따라 모델을 선택하는 규칙 기반(Heuristic) 방식이고, 다른 하나는 과거 데이터로 학습한 머신러닝 분류기를 이용하는 정적 정책(Static Policy)이다. 연구진은 이들 방식이 모두 ‘정보 부족(Information Deficit)’이라는 근본적인 한계를 갖고 있다고 분석했다. 프롬프트 내용만 보고 모델을 선택할 뿐 실제 작업이 성공했는지 실패했는지를 전혀 학습하지 못하기 때문이다. 이 때문에 새로운 유형의 업무가 등장하거나 사용자 패턴이 바뀌면 성능이 급격히 떨어지고, 새로운 AI 모델이 출시돼도 기존 분류기를 다시 학습해야 하는 문제가 발생한다. 이를 해결하기 위해 연구진은 맥락-행동-피드백(Context-Action-Feedback) 루프를 중심으로 한 라우터형 에이전트를 제안했다. 새로운 요청이 들어오면 라우터는 먼저 작업의 유형과 난이도 등 맥락(Context)을 분석한 뒤, 과거 유사한 작업에서 어떤 모델이 성공하거나 실패했는지 메모리에서 검색한다. 이후 가장 적합한 모델을 선택해 실행(Action)하고, 코드 실행이나 데이터베이스 질의 결과 등을 통해 성공 여부를 확인한 뒤 그 결과를 다시 메모리에 저장(Feedback)한다. 예를 들어 기업의 SQL 생성 업무에서 저렴한 모델이 존재하지 않는 컬럼 명을 만들어 오류를 발생시키면, 시스템은 이를 실패 사례로 기록한다. 이후 유사한 SQL 요청이 들어오면 이전 경험을 바탕으로 더 성능이 뛰어난 모델인 클로드 오퍼스(Claude Opus) 계열을 자동 선택하는 방식이다. 연구진은 이러한 개념을 실제 구현한 오픈소스 프로젝트 'AC라우터'도 공개했다. AC라우터는 모델을 선택하는 오케스트레이터(Orchestrator), 결과를 검증하는 베리파이어(Verifier), 경험을 저장하는 메모리(Memory) 등 3개의 핵심 모듈로 구성된다. 여기에 파이썬 실행 환경이나 데이터베이스, 에이전트 샌드박스 등 실제 실행 환경과 연결되는 도구 계층(Tool Layer)이 추가돼 실행 결과를 객관적으로 검증한다. 특히 오케스트레이터는 수천억개의 매개변수를 가진 대형 모델이 아니라 약 8억개(0.8B)의 매개변수를 갖는 '큐원 3.5' 기반 경량 모델을 사용해 기업이 자체 서버에서도 손쉽게 운영할 수 있도록 설계됐다. 성능 평가를 위해 연구진은 1만개의 코딩 작업으로 구성된 벤치마크 '코드라우터벤치(CodeRouterBench)'도 새롭게 구축했다. 여기에는 '클로드 오퍼스 4.6' 'GPT-5.4' '큐원3-맥스' 'GLM-5' '키미-K2.5' 등 8개의 첨단 AI 모델이 포함됐으며, 일반적인 코딩 작업뿐 아니라 여러 단계의 계획과 파일 탐색, 반복적인 디버깅이 필요한 에이전트형 프로그래밍 작업도 평가 대상에 포함됐다. 실험 결과, AC라우터는 기존 정적 라우터는 물론, 모든 요청을 최고급 모델인 클로드 오퍼스로 처리하는 방식보다도 우수한 비용 대비 성능을 기록했다. 특히 일반 코딩 작업 전체를 수행하는 데 드는 비용은 13.21달러로, 모든 작업을 오퍼스 모델에 맡겼을 때의 34.02달러보다 2.6배 저렴하면서도 누적 후회도(Cumulative Regret) 기준 가장 높은 성능을 보였다. 즉, 작업별로 가장 적합한 모델을 선택해 비용은 크게 줄이고 성능은 유지하거나 높인 것이다. 다만 연구진은 이 프레임워크가 모든 분야에 적합한 것은 아니라고 설명했다. 코딩이나 데이터 조회처럼 성공 여부를 명확하게 검증할 수 있는 업무에서는 큰 효과를 발휘하지만, 창작 글쓰기처럼 정답을 객관적으로 판단하기 어려운 작업에서는 활용성이 제한될 수 있다. 연구진은 AC라우터의 소스코드와 오케스트레이터 모델 가중치를 아파치 2.0 라이선스로 공개했으며, '클로드 코드'와 '코덱스' '오픈코드' 등 다양한 AI 개발 환경과 호환된다고 밝혔다. 박찬 기자 cpark@aitimes.com