새로운 모델 나오면 요동치는 AI 순위…진실은

새로운 모델 나오면 요동치는 AI 순위…진실은 어서와. 문과 고득점 위한 '벼락치기' 횡행 실제 성능과 벤치마크 평가 간극 고득점 위한 '벼락치기' 횡행 실제 성능과 벤치마크 평가 간극 최근 글로벌 인공지능(AI) 업계를 놀라게 한 중국 문샷AI의 ‘키미 K3’는 공개된 지 48시간 만에 신규 가입과 유료 구독을 중단했다. 앤트로픽의 페이블 5(60점), 오픈AI의 GPT-5.6 Sol(59점)을 턱밑까지 추격한 벤치마크 점수(57점)를 기록했지만, 이용자가 몰리고 연산량을 감당할 그래픽처리장치(GPU) 인프라가 포화되자 신규 이용자를 받지 않기로 한 것이다. 글로벌 AI 시장에서는 신규 대규모언어모델(LLM)이 등장할 때마다 벤치마크 순위가 요동친다. 최근 국내 스타트업 모티프테크놀로지스의 ‘모티프 3 베타’도 44점을 받아 중국 딥시크의 최고 모델인 V4프로와 같은 점수를 기록했다. 하지만 업계에서는 키미 K3의 현재 상황이 벤치마크 점수와 실제 서비스 경쟁력 사이의 간극을 보여준 사례라는 평가가 나온다. 벤치마크 순위가 실제 사용 환경에서의 경쟁력을 그대로 보여주는 것은 아니라는 것이다. 적게는 3000억개에서 최대 2조8000억개의 파라미터를 가진 거대 모델은 막대한 연산량을 투입하거나 벤치마크에 유리한 방식으로 성능을 최적화해 높은 점수를 받는 게 가능하다. 높은 순위가 실제 성능보다는 시험을 잘 보기 위한 ‘벼락치기’의 결과일 수 있다는 것이다. 평가 때 더 많은 추론 토큰을 사용하면 정답률을 높일 수 있지만 실제 서비스에서는 비용이 늘고 응답 속도가 느려진다. 실제 모티프 3 베타의 경우도 소설 작성을 지시했을 때 답변을 끝내지 못하고 오류를 반복하는 현상이 나타났다. AI 모델 순위가 빠르게 뒤바뀌는 배경에는 ‘증류’ 논란도 있다. 앤트로픽은 지난 2월 중국 AI 기업들이 수 만 개의 가짜 계정을 만들어 클로드의 추론·코딩 능력을 무단으로 추출했다고 주장했다. 막대한 연구개발비를 투입한 미국 프론티어 모델의 결과물을 후발 업체가 성능 격차를 좁히는 통로로 악용하고 있다는 얘기다. 라현진 기자 raraland@hankyung.com 글로벌 AI 시장에서는 신규 대규모언어모델(LLM)이 등장할 때마다 벤치마크 순위가 요동친다. 최근 국내 스타트업 모티프테크놀로지스의 ‘모티프 3 베타’도 44점을 받아 중국 딥시크의 최고 모델인 V4프로와 같은 점수를 기록했다. 하지만 업계에서는 키미 K3의 현재 상황이 벤치마크 점수와 실제 서비스 경쟁력 사이의 간극을 보여준 사례라는 평가가 나온다. 벤치마크 순위가 실제 사용 환경에서의 경쟁력을 그대로 보여주는 것은 아니라는 것이다. 적게는 3000억개에서 최대 2조8000억개의 파라미터를 가진 거대 모델은 막대한 연산량을 투입하거나 벤치마크에 유리한 방식으로 성능을 최적화해 높은 점수를 받는 게 가능하다. 높은 순위가 실제 성능보다는 시험을 잘 보기 위한 ‘벼락치기’의 결과일 수 있다는 것이다. 평가 때 더 많은 추론 토큰을 사용하면 정답률을 높일 수 있지만 실제 서비스에서는 비용이 늘고 응답 속도가 느려진다. 실제 모티프 3 베타의 경우도 소설 작성을 지시했을 때 답변을 끝내지 못하고 오류를 반복하는 현상이 나타났다. AI 모델 순위가 빠르게 뒤바뀌는 배경에는 ‘증류’ 논란도 있다. 앤트로픽은 지난 2월 중국 AI 기업들이 수 만 개의 가짜 계정을 만들어 클로드의 추론·코딩 능력을 무단으로 추출했다고 주장했다. 막대한 연구개발비를 투입한 미국 프론티어 모델의 결과물을 후발 업체가 성능 격차를 좁히는 통로로 악용하고 있다는 얘기다. 라현진 기자 raraland@hankyung.com ⓒ 한경닷컴, 무단전재 및 재배포 금지 ADVERTISEMENT