앤트그룹, 로봇 제어 VLA 모델 '링봇-VA 2.0'·실시간 월드 모델 동시 공개

중국 앤트그룹이 공간 인식 비전 파운데이션 모델 '링봇-비전(LingBot-Vision)'과 공간 인식 모델 '링봇-뎁스(LingBot-Depth) 2.0'에 이어, 로봇 제어에 특화된 핵심 기반 모델을 공개하며 피지컬 AI 플랫폼 구축에 속도를 내고 있다. 앤트그룹은 10일(현지시간) 차세대 비전·언어·행동(VLA) 모델인 '링봇-VA(LingBot-VA) 2.0'을 공개했다. 링봇-VA 2.0은 비디오와 로봇의 행동을 함께 학습하는 '네이티브 비디오-액션(Native Video-Action) 프리트레이닝' 아키텍처를 기반으로 처음부터 설계된 AI 모델이다. 기존 VLA 모델들이 일반적인 영상 생성 AI를 로봇 제어용으로 미세조정해 사용했다면, 링봇-VA 2.0은 데이터 처리 방식부터 AI 구조와 학습 방식까지 모든 요소를 로봇이 움직이고 작업하는 데 최적화해 새롭게 개발한 것이 가장 큰 특징이다. 연구진은 기존 VLA 모델이 일반 영상 생성 AI를 기반으로 만들어졌기 때문에 로봇이 실제 세상을 이해하고 움직이는 데 한계가 있다고 설명했다. 기존 모델은 화면 속 이미지를 자연스럽게 만드는 데는 뛰어나지만, 실제 사물의 물리적 특성이나 로봇의 움직임이 주변 환경을 어떻게 바꾸는지는 충분히 학습하지 못했다. 또 실시간으로 주변 상황을 계속 확인하며 움직여야 하는 로봇 제어에는 처리 속도도 충분히 빠르지 않았다고 지적했다. 이를 해결하기 위해 링봇-VA 2.0은 영상과 로봇의 움직임을 하나의 데이터로 함께 이해하도록 설계된 새로운 토크나이저를 적용했다. 이를 통해 인터넷에 있는 방대한 동영상만으로도 로봇의 움직임과 그에 따른 환경 변화를 효과적으로 학습할 수 있으며, 실제 작업에서도 더 자연스럽고 정확하게 행동할 수 있게 됐다는 설명이. 링봇-VA 2.0은 영상을 이해하는 비디오 전문가(Video Expert)와 로봇의 움직임을 제어하는 행동 전문가(Action Expert)가 하나의 인과적 자기주의(Self-Attention)를 공유하며 협력하는 트랜스포머 혼합(MoT·Mixture of Transformers) 구조를 채택했다. 또 필요한 전문가만 선택적으로 활성화하는 희소 전문가 혼합(MoE) 방식을 적용해 전체 모델은 약 153억개의 매개변수로 구성되지만, 실제 추론 시에는 약 25억개만 사용한다. 이를 통해 높은 성능을 유지하면서도 처리 속도와 연산 효율을 크게 높였다. 실시간 로봇 제어를 위한 다양한 기술도 적용됐다. 대표적인 기능인 '포사이트 리즈닝(Foresight Reasoning)'은 로봇이 현재 작업을 수행하는 동안 다음에 수행할 행동과 그 결과를 예측해 동시에 준비하는 기술이다. 이후 실제 센서 정보가 들어오면 이를 즉시 반영해 예측을 수정함으로써 작업이 끊기지 않도록 하고, 제어 지연과 오차도 크게 줄였다. 추론 속도도 대폭 향상됐다. 연구진은 일관성 증류(Consistency Distillation)와 FP8 텐서RT 컴파일, 장기 시퀀스 최적화 등 3단계 가속 기술을 적용해 기존 대비 4배 이상의 종단간 성능 향상을 달성하면서도 부드러운 로봇 제어를 유지했다고 밝혔다. 새로운 작업에 대한 적응력도 강화됐다. 인컨텍스트 러닝(ICL) 기능을 통해 사람이나 로봇이 작업하는 시범 영상 한 편만 입력하면 별도의 재학습 없이 새로운 물체 배치와 작업 절차를 이해해 수행할 수 있다. 또 저주파 플래너(Low-frequency Planner)가 장기 목표를 여러 개의 하위 작업으로 분해하고, 고주파 제어기가 이를 실시간으로 실행하는 계층형 구조를 적용해 복잡한 장기 작업도 수행할 수 있도록 했다. 실제 성능 평가에서는 펜 수거, 과일 분류, 서랍 정리, 접시 전달 등 4개의 실제 로봇 작업과 '로보트윈(RoboTwin)' 시뮬레이션 벤치마크에서 기존 링봇-VA 1.0과 타우 0.5(π₀.₅) 모델보다 높은 성공률을 기록했다. 에어하키처럼 빠른 동작부터 반도체 칩 집기, 컨베이어벨트 분류, 책상 정리와 같은 장기 작업까지 안정적인 제어 성능을 보였다는 설명이다. 앤트그룹은 이와 함께 차세대 월드 모델인 '링봇-월드 인피니티(LingBot-World-Infinity, LingBot-World 2.0)'도 공개했다. 이 모델은 사용자의 행동에 따라 실시간으로 미래 장면을 생성하는 개방형 인과 월드 모델(Open Causal World Model)로, 장시간 생성 시 발생하는 영상 품질 저하와 지연 문제를 해결하는 데 초점을 맞췄다. 링봇-월드 인피니티는 양방향과 자기회귀 방식을 결합한 MoBA(Mixture of Bidirectional and Autoregressive) 어텐션 마스크를 적용해 장시간 생성에서도 일관성을 유지하도록 설계됐으며, 증류 기술을 통해 실시간 처리 성능도 확보했다. 대표 모델은 140억개의 매개변수를 갖췄으며, 경량 13억 매개변수 버전도 제공될 예정이다. 특히 배포 환경에서는 시공간 리파이너와 텐서RT 엔진을 활용해 최대 초당 60프레임의 실시간 영상 생성이 가능하다고 밝혔다. 박찬 기자 cpark@aitimes.com