[AI는 지금] AI 에이전트 증가에 따른 비용 '눈덩이'…코히어, SaaS 비용 구조 개선 주목

기업의 생성형 AI 활용이 상시 업무로 확대되면서 모델 성능뿐 아니라 운영비와 통제권이 경쟁력으로 부상했습니다. 토큰 사용량과 인프라 비용이 급증하자 외부 AI 활용 여부에 대한 선택이 중요해졌는데, 코히어는 'AI 총소유비용'을 기준으로 접근해야 한다고 강조했습니다. 검색증강생성(RAG)과 AI 에이전트 적용 시 비용 구조가 복잡해지는 점을 지적하며, 고성능 모델 사용이나 반복 작업 시 토큰 소비 및 인프라 비용이 함께 증가한다고 분석했습니다. 자체 H100 서버의 경우 100만 토큰당 비용이 클라우드(0.89달러)나 프런티어 모델 API(2달러)에 비해 저렴한 것으로 나타났습니다. 다만 수요 변동성이 큰 기업은 API나 클라우드 사용이 경제적일 수 있다고 제안하며, 상시 대규모 추론 업무에서는 자체 인프라의 비용 경쟁력을 강조했습니다. 이는 글로벌 SaaS 기업들의 AI 확장 전략과 대비되는 전략적 통찰을 제공합니다.