[7월16일] AI 비용 부담의 중심에 선 앤트로픽, 어떤 돌파구를 준비할까

생성 AI가 기업 업무에 본격적으로 도입되면서 성능 못지않게 중요한 화두로 떠오른 것이 비용입니다. 최근에는 비용 부담을 이유로 고가의 폐쇄형 모델 대신 오픈소스나 저렴한 중국산 모델을 선택하는 사례가 잇따르고 있습니다. 특히 최고 성능을 앞세운 앤트로픽은 이 문제에서 자유롭지 않습니다. 클로드나 페이블은 대표적인 고가 모델로 분류됩니다. 기업의 비용 부담이 커질수록 사용량 조정 대상에는 앤트로픽 모델이 포함될 가능성이 큽니다. 그렇다면 앤트로픽은 이 문제를 어떻게 바라보고 있을까요. 앤트로픽 개발자 플랫폼의 공동 리더인 케이틀린 레시와 안젤라 장은 15일(현지시간) 한 팟캐스트에 출연, 이 문제에 대한 힌트를 남겼습니다. 이들도 기업의 비용 문제에 대해 공감한다고 밝혔습니다. "AI 모델이 더 높은 수준의 지능에 도달하고 나면, 그다음 맞닥뜨릴 차원은 단연 비용과 속도"라며 "우리도 이 두 가지가 비즈니스의 지속 가능성을 결정하는 핵심 요인임을 매우 잘 인지하고 있으며, 플랫폼 차원에서 이를 무겁게 다루고 있다"라고 말했습니다. 그러나 비용 부담을 이유로 사내 AI 사용을 통제하거나 차단하는 방식은 기업의 혁신을 가로막는 가장 아쉬운 대처라고 반대했습니다. "이는 '섀도 AI(Shadow AI)'처럼 직원들이 보이지 않는 곳에서 우회해 쓰게 만드는 부작용만 낳을 뿐, 근본적인 해결책이 될 수 없다"라고도 강조했습니다. 또 회사 내부에서는 업무 특성에 따라 저렴한 하이쿠와 고성능 페이블 5를 선택적으로 사용하는 라우팅 방식을 활용한다고 소개했습니다. 프롬프트 캐싱도 중요한 방법으로 제시했습니다. 반복적으로 사용하는 시스템 프롬프트나 긴 문맥(Context)을 매번 새로 처리하는 대신 재활용하면 토큰 사용량과 지연 시간을 모두 줄일 수 있다는 것입니다. 긴 응답을 무조건 생성하는 것도 비용 증가의 원인으로 꼽았습니다. 필요한 수준까지만 응답을 생성하도록 제어하고, 작업 목적에 맞게 출력 길이를 조정하는 것만으로도 상당한 비용을 절감할 수 있다고 소개했습니다. 이처럼 대부분은 이미 잘 알려진 전략입니다. 사실 이날 인터뷰에서 가장 눈길을 끈 부분은 마지막에 등장했습니다. 레시 리더는 "우리가 도달하려는 최종 지점은 사용자가 에이전트에게 '내가 원하는 결과물은 이것이고, 내가 사용하고자 하는 예산은 이만큼'이라고 말만 하면 작동하는 단계"라며 "그렇게 되면 사용자는 그 하위 구조에서 일어나는 어떤 것들에 대해서도 전혀 신경 쓸 필요가 없어지게 될 것"이라고 말했습니다. 자세한 설명은 없었지만, 이는 사용자가 원하는 결과와 사용할 예산만 제시하면, 어떤 모델을 사용할지 얼마나 긴 추론을 수행할지 어떤 도구를 호출할지 등을 AI가 판단하고 실행하는 구조를 말합니다. 장 리더도 같은 맥락에서 "앞으로 중요한 것은 사용자가 토큰을 일일이 계산하는 것이 아니라, '토큰 예산'을 어떻게 배분할 것인지에 대한 고차원 전략"이라고 설명했습니다. 앤트로픽은 장기적으로 비용 관리도 AI가 담당하는 방향을 제시한 것입니다. 이는 비용 최적화를 개별 기능이 아니라 플랫폼 전반에서 해결해야 할 문제로 보고 있다는 의미입니다. 사실 기업 내 수많은 부서의 수많은 프로젝트에 따라 일일이 예산을 배분하고 토큰 비용을 계산하는 것은 쉬운 문제가 아닙니다. 현재는 라우터를 도입하고 사람의 수동 계산으로 비용을 낮춰가는 과정이지, 아직 최적화 단계에는 이르지 못한 것으로 볼 수 있습니다. 앤트로픽은 이 같은 비용 관리도 AI가 담당하는 방향을 구상하는 것입니다. 현실화한다면 비용 관리 기능 자체가 AI 플랫폼의 새로운 경쟁력이 될 가능성이 있습니다. 결국 이번 인터뷰는 비용 절감 방법 소개를 넘어, 앤트로픽이 비용 관리 자체를 제품 기능으로 흡수하려는 방향성을 엿볼 수 있습니다. 비용 절감을 단순한 사용 요령이 아니라 플랫폼이 해결해야 할 문제로 보는 것입니다. 실제로 앤트로픽은 지난달 16일 클로드 코드에 관리자용 실시간 대시보드 기능을 추가했습니다. 이를 통해 관리자가 각 팀이 어떤 코드 작업을 하고 있는지, 어떤 AI 도구를 얼마나 활용하고 있는지는 물론, 비용까지 파악하도록 지원합니다. 현재는 사용량과 비용을 관리하는 수준이지만, 향후 영상에서 언급한 '예산 기반 운영' 개념이 반영된다면 비용을 모니터링하는 단계를 넘어 AI가 예산 내에서 모델 선택과 추론 전략까지 조정하는 형태로 발전할 가능성도 있습니다. 결국 앤트로픽은 AI 비용 문제를 피하기보다, AI가 스스로 해결하도록 만드는 방향을 그리는 것으로 해석할 수 있습니다. 이어 15일 주요 뉴스입니다. 국산 AI 모델과 AI 반도체를 결합해 '다음'에서 AI 서비스를 시작했다는 점이 강조됐습니다. 해외 GPU와 LLM에 의존하지 않고 하드웨어부터 모델, 서비스까지 국산 기술만으로 구현한 첫 '풀스택 소버린 AI' 사례라는 점을 강조했습니다. 오픈AI의 코딩 에이전트 '코덱스'와 챗GPT 워크의 활성 사용자가 하루 만에 700만명에서 800만명으로 늘었습니다. 알트먼 CEO는 GPT-5.6 출시 이후 "성장세가 미쳤다"라고 평가했으며, 급증한 수요에 대응하기 위해 사용량 제한을 다시 완화했습니다. 오픈AI가 첫 소비자용 하드웨어로 화면 없는 휴대형 AI 스피커를 준비 중인 것으로 전해졌습니다. 단순한 스마트 스피커를 넘어 챗GPT 기반의 'AI 동반자'를 목표로 하는 제품으로, 애플과의 하드웨어 소송이 제기된 직후 알려졌다는 점에서도 주목됩니다. AI타임스 news@aitimes.com