엔비디아, LLM 배포 가속 '모델익스프레스' 발표..."서버 대기 8분에서 1분대로 단축"

대형언어모델(LLM)의 규모가 테라바이트(TB)에 이르면서 모델 가중치를 이동하는 시간이 AI 서비스의 새로운 병목으로 떠오르고 있다. 엔비디아가 이러한 문제를 해결하기 위해 GPU 간 직접 전송 기술을 활용한 새로운 모델 배포 인프라를 공개했다. 엔비디아는 24일(현지시간) LLM의 배포와 확장, 강화학습(RL) 사후학습 과정에서 발생하는 모델 가중치 이동을 최적화하는 소프트웨어 인프라 ‘모델익스프레스(ModelExPress)’를 발표했다. AI 모델의 규모가 테라바이트(TB) 수준으로 커지면서, 새로운 AI 서버를 켤 때마다 모델 데이터를 불러오는 데만 수십 분이 걸리는 문제가 AI 업계의 거대한 걸림돌로 떠올랐다. 엔비디아가 선보인 모델익스프레스(MX)는 이러한 대기 시간을 근본적으로 줄여주는 기술이다. 기존 방식에서는 새로운 AI 서버를 추가할 때마다 원격 저장소나 디스크에서 엄청난 크기의 모델 데이터를 일일이 새로 내려받아 그래픽처리장치(GPU) 메모리에 올리는 과정을 거쳐야 했다. 이 때문에 갑자기 사용자가 몰려 서버를 급하게 늘리거나 시스템을 업데이트할 때 서비스가 즉각 작동하지 못하고 길게는 10분 넘게 멈춰 서는 '콜드 스타트' 현상이 빈번했다. MX는 데이터 전송 방식을 효율적으로 바꿔 이 문제를 해결했다. 새로 켜지는 서버가 외부 저장소에서 데이터를 다운로드하는 대신, 이미 같은 AI 모델을 띄워두고 일하고 있는 옆 서버의 GPU에서 직접 필요한 데이터를 전송받도록 만든 것이다. 중앙 저장소나 컴퓨터의 메인 메모리를 거치지 않고 GPU와 GPU가 직접 고속 도로로 데이터를 주고받기 때문에 불필요한 중계 과정이 사라진다. 만약 클러스터에 처음으로 켜지는 서버여서 데이터를 받아올 다른 GPU가 없는 경우에도, 중앙 저장소에서 디스크를 거치지 않고 GPU 메모리로 데이터를 즉시 흘려보내는 방식을 사용해 초기 로딩을 극대화한다. 성능 개선 효과는 상당하다. 엔비디아에 따르면, 800GB가 넘는 초대형 모델 기준으로 기존에는 서버가 작동하기까지 8분 이상 걸렸지만, MX를 적용하면 불과 1분44초 만에 서비스 준비를 마칠 수 있다. 특히 이미 켜져 있는 기존 서버에서 새로 들어온 서버로 모델 데이터를 복사하는 자체 시간은 10초도 채 걸리지 않는 것으로 나타났다. 이 기술은 AI 모델의 초기 가동뿐만 아니라, 모델을 로딩한 직후 일어나는 추가 계산 작업까지 빠르게 건너뛰게 해준다. 최근 AI 시스템은 첫 가동 시 최적의 작동 환경을 만들기 위해 수 분 동안 자체 컴파일 및 최적화 과정을 진행한다. MX는 앞서 가동된 서버가 이미 완료한 이 최적화 작업 결과물까지 새 서버로 한 번에 복사해 전달하므로, 매번 똑같은 최적화 과정을 반복하지 않아도 된다. 또 강화학습(RL) 과정에서도 학습 서버와 추론 서버 간의 데이터 주고받기를 효율화해 전체적인 AI 고도화 속도를 크게 끌어올릴 수 있다. MX는 vLLM, SGLang 등 현재 AI 업계에서 가장 범용적으로 쓰이는 오픈소스 추론 엔진들과 즉시 연동되며, 향후 다양한 AI 프레임워크와의 통합을 지속해서 확대해 나갈 계획이다. 엔비디아는 이번 기술 발표로 대규모 AI 클러스터를 운영하는 기업들이 서버 추가 시 발생하는 대기 시간을 획기적으로 줄이고, 안정적이고 빠른 AI 서비스를 제공할 수 있을 것으로 기대했다. 박찬 기자 cpark@aitimes.com