노타, 글로벌 학회 'ICML 2026' AI 모델 최적화 챌린지 세계 3위 기록

노타(대표 채명수)는 글로벌 머신러닝 학회 'ICML 2026'에서 열린 오픈소스 대형언어모델(LLM) '큐원' 최적화 챌린지에서 3위를 차지했다고 13일 밝혔다. 엔비디아 'A10G' GPU 환경에서 '큐원3.5-4B'의 성능은 유지하면서 답변 생성 속도를 얼마나 향상했는지 평가하는 대회로 전 세계 40여개 팀이 참가했다. 노타는 평균 6.978배 빠른 추론 최적화 기술로 3위에 올랐다. 자체 양자화 기술을 적용해 모델의 메모리 사용량과 연산량을 줄이고, 후속 학습으로 성능을 보완했다고 전했다. 여기에 최근 입력 정보를 중심으로 처리하는 '슬라이딩 윈도우 어텐션(Sliding-window Attention)' 기법으로 불필요한 연산을 줄이고, 초안 모델이 답변 후보를 생성하면 본 모델이 이를 검증해 최종 답변을 완성하는 '추측적 디코딩(Speculative Decoding)'으로 추론 속도를 향상했다고 설명했다. 노타는 이번 학회 중 '자원 적응형 파운데이션 모델 추론(AdaptFM) 워크숍'서 전문가 혼합(MoE) 구조 기반 LLM 양자화 관련 논문 2편이 채택됐다. 학회 기간에 맞춰 코엑스 인근에서 자체 행사를 열고, 오픈AI·구글·퀄컴 등 글로벌 기업 관계자를 대상으로 AI 최적화 연구 동향과 산업 적용 가능성을 소개했다. 김태호 노타 최고 기술책임자(CTO) 겸 공동 창립자는 "이번 성과는 AI 모델인 큐웬을 대상으로 노타의 추론 최적화 기술력을 검증받은 사례"라며 "앞으로도 다양한 AI 서비스와 온디바이스·엣지 AI 환경에 최적화 기술을 적용해 나갈 것"이라고 말했다. 김해원 기자 hwkim@aitimes.com