AMD·세레브라스, AI 추론 플랫폼 협력..."프롬프트-토큰 생성 분리로 성능 5배 높인다"

AMD와 세레브라스가 차세대 AI 추론(inference) 플랫폼을 공동 개발한다. AMD의 차세대 랙 스케일 AI 인프라 '헬리오스(Helios)'와 세레브라스의 웨이퍼 스케일 엔진(WSE)을 결합해 추론 과정을 역할별로 분리하는 방식으로, 전력 대비 토큰 생성 성능을 최대 5배 높인다는 목표다. 양사는 23일(현지시간) AMD의 헬리오스 랙 스케일 인프라와 세레브라스 WSE를 통합한 분산형(disaggregated) AI 추론 플랫폼을 공동 개발한다고 발표했다. 새로운 플랫폼은 하나의 추론 워크플로 안에서 서로 다른 하드웨어가 각자의 강점을 살려 작업을 분담하도록 설계됐다. 플랫폼에서는 AMD의 헬리오스 시스템이 대규모 프롬프트 처리와 긴 컨텍스트 연산을 담당한다. 헬리오스는 AMD 에픽(EPYC) 프로세서와 차세대 '인스팅트 MI400' 시리즈 AI 가속기를 기반으로 구축되며, 복잡한 요청과 대용량 컨텍스트를 처리하는 '프리필(prefill)' 단계에 최적화된다. 세레브라스의 웨이퍼 스케일 엔진은 메모리 대역폭 의존도가 높은 '디코드(decode)' 단계, 즉 실제 토큰 생성 작업을 전담한다. 토큰 생성은 응답 지연 시간을 최소화해야 하는 추론 과정의 핵심 단계로, WSE의 높은 메모리 대역폭과 처리량을 활용해 성능을 극대화한다. 양사는 이처럼 AI 추론 과정을 아키텍처별로 분리함으로써 기존 단일 시스템 대비 와트당 토큰 생성 성능(Tokens per Second per Watt)을 최대 5배까지 향상할 수 있을 것으로 기대하고 있다. AMD 플랫폼은 대규모 연산 처리 능력을, 세레브라스는 고속 토큰 생성 능력을 각각 담당하면서 하나의 추론 시스템처럼 동작하는 구조다. 이번 접근 방식은 엔비디아가 제시한 분산형 추론 구조인 'CPX' 개념과 유사하지만, 각 하드웨어의 역할은 반대로 배치했다는 점이 특징이다. 엔비디아는 프리필 단계에는 연산 성능이 뛰어난 GPU를, 토큰 생성 단계에는 고대역폭메모리(HBM)를 갖춘 GPU를 사용하는 구조를 제안했다. 반면 AMD와 세레브라스는 AMD 헬리오스가 프롬프트와 대규모 컨텍스트를 처리하고, 세레브라스 WSE가 지연 시간에 민감한 토큰 생성 작업을 맡는 방식으로 역할을 나눴다. 세레브라스는 자체 데이터센터에 AMD 헬리오스 시스템을 구축해 기존 WSE 랙과 통합 운영할 계획이다. 공동 플랫폼은 2026년 하반기부터 세레브라스 클라우드를 통해 우선 제공될 예정이다. 한편, AI 추론 비중이 급격히 커지면서 스타트업은 물론 기존 하이퍼스케일러까지 자체 칩 개발에 나서고 있다. 엔비디아도 지난해 그로크(Groq)의 기술과 인력을 확보하며 추론 분야를 대폭 강화했다. 박찬 기자 cpark@aitimes.com