엔비디아, 'GB300 NVL72'로 MoE 모델 사전학습 성능 3배 향상

엔비디아가 첨단 AI 인프라 플랫폼 'GB300 NVL72'를 앞세워 대형 전문가 혼합(MoE) 모델 사전학습 성능에서 세계 최고 기록을 달성했다. 최근 주요 모델이 채택하는 MoE 아키텍처에 최적화된 풀스택 설계를 통해 GPU당 초당 1648테라플롭스(TFLOPs)의 처리 성능을 기록하며 이전 세대 대비 3배 향상된 성능을 입증했다. 엔비디아는 21일(현지시간) '딥시크-V3 671B'의 사전학습 환경에서 256개의 GPU를 활용한 테스트 결과, GPU당 1648TFLOPs의 연산 성능을 달성했다고 밝혔다. 이는 기존 'GB200 NVL72'에서 기록했던 GPU당 606TFLOPs보다 2.7~3배 높은 수치로, 대규모 AI 모델 학습 분야에서 새로운 기준을 제시했다는 설명이다. 이번 기록은 단순히 GPU 성능 향상만으로 달성된 것이 아니라, 실리콘과 네트워크, 소프트웨어를 하나의 플랫폼으로 통합 설계한 '초밀접(co-design) 풀스택' 전략의 결과라고 밝혔다. 최근 GPT 계열과 딥시크 등 최첨단 AI 모델들은 대부분 MoE 구조를 채택하고 있다. '딥시크-V3'는 총 6710억개의 매개변수를 갖고 있지만, 실제 추론 과정에서는 약 370억개의 매개변수만 활성화한다. 이 때문에 연산 효율은 높지만, 각 GPU에 분산된 전문가 사이에서 데이터를 주고받는 대규모 올-투-올(All-to-All) 통신이 새로운 병목으로 떠오른다. 엔비디아는 이러한 문제를 해결하기 위해 5세대 NV링크(NVLink)를 적용했다. NV링크는 GPU별로 초당 1.8테라바이트(TB)의 대역폭과 랙 전체 기준 초당 130TB의 논블로킹(All-to-All) 통신을 제공해 72개의 블랙웰 울트라 GPU를 하나의 거대한 가속기처럼 동작하도록 설계됐다. GPU들이 서로의 HBM 메모리에 직접 접근하는 메모리 시맨틱(memory-semantic) 방식도 적용돼 통신 지연을 최소화했다. 랙 외부의 확장(scale-out) 구간은 GPU별로 초당 800기가비트(Gb) 속도의 커넥트X-8 슈퍼NIC과 퀀텀-X800 인피니밴드, 스펙트럼-X 이더넷이 담당하며, 대규모 GPU 클러스터에서도 통신 병목을 줄였다. 여기에 블루필드(BlueField) DPU가 스토리지, 보안, 가상 네트워크, 모니터링 등 인프라 작업을 처리해 CPU 부담을 낮췄다. 소프트웨어 최적화도 성능 향상에 큰 역할을 했다. 엔비디아는 자체 학습 프레임워크인 메가트론 코어(Megatron Core)뿐 아니라 오픈소스 프레임워크인 토치타이탄(TorchTitan)과 JAX에도 지속적으로 최적화 코드를 기여하고 있다. 그 결과, 동일한 GB300 NVL72 하드웨어에서도 최근 6개월 동안 소프트웨어 개선만으로 학습 성능이 약 1.5배 향상됐으며, 토치타이탄은 동일 인프라에서 약 6배, JAX는 약 10배에 이르는 성능 개선 효과를 기록했다. 최신 JAX 환경에서는 GPU당 1025TFLOPs의 처리 성능을 달성했다. 확장성도 뛰어났다. 딥시크-V3 671B 학습을 256개 GPU에서 1024개 GPU로 확대했을 때 메가트론 코어는 GPU당 성능의 98.5%, 토치타이탄과 JAX는 각각 97%를 유지하며 거의 선형적인 확장성을 입증했다. GPU 수를 늘려도 통신 오버헤드가 성능 저하로 이어지지 않았다는 의미다. 엔비디아는 이번 성과가 하드웨어뿐 아니라 네트워크와 소프트웨어를 함께 최적화한 플랫폼 전략의 결과라고 강조했다. GB300 NVL72가 동일한 AI 모델을 이전 세대보다 훨씬 적은 장비로 학습할 수 있도록 해 AI 팩토리의 효율성을 크게 높일 것이라며, 앞으로도 소프트웨어 개선을 통해 동일한 하드웨어에서 성능을 지속적으로 끌어올릴 계획이라고 밝혔다. 박찬 기자 cpark@aitimes.com