오픈AI 전 CTO가 만든 美製 오픈 모델 ‘잉클링’ 공개

9750억개의 매개변수를 가진 전문가혼합(MoE) 트랜스포머 대형언어모델(LLM)이 오픈웨이트 모델로 공개됐다. 오픈AI의 전 최고기술책임자(CTO)였던 미라 무라티가 창업한 씽킹머신즈랩에서 개발한 ‘잉클링(Inkling)’ 모델이다. 메타의 오픈웨이트 모델 개발이 사실상 중단돼 중국산 일변도인 오픈 모델 세계에 촉망받는 미국산 신생 모델의 등장이다. 싱킹머신즈랩은 15일(현지시간) 블로그를 통해 오픈웨이트 모델 ‘잉클링’을 출시한다고 발표했다. 잉클링은 아파치 v2 라이선스로 배포된다. 전체 가중치는 허깅페이스에 공개됐다. 잉클링은 총 9750억개 매개변수를 가진 MoE 트랜스포머 모델이지만, 실제로 활성 매개변수는 410억개다. 최대 100만개 토큰을 컨텍스트 윈도우로 지원한다. 회사 측은 에이전트 실행, 추론, 코딩, 시각 및 오디오 작업 등 광범위한 기능을 제공하며, 높은 비용 대비 성능과 세밀한 조정 허용 등이 강점이라고 설명했다. 잉클링은 45조개 토큰으로 구성된 텍스트, 이미지, 오디오, 비디오 데이터셋으로 사전 학습됐다. 다양한 영역에서 강점을 보이면서도 적응력 뛰어난 균형잡힌 모델로 훈련됐다고 한다. 모델의 규모는 현존하는 미국 내 개발 오픈웨이트 모델 중 가장 크다. 라마3 이후 초거대 모델을 내놓지 않는 메타를 제외하면 구글의 젬마4가 대형에 속하지만, 젬마4의 매개변수는 360억개로 잉클링과 비교해 소형 모델 수준이다. 싱킹머신즈랩은 120억개 활성 매개변수를 갖는 경량 모델 ‘잉클링 스몰(Inkling-Small)’의 프리뷰도 공개했다. 기반 모델과 유사한 학습 방식을 사용해 더 낮은 비용과 지연시간으로 높은 성능을 제공한다. 잉클링의 성능은 아직 부족하다. 직접 비교하기 힘든 벤치마크로 공개됐지만, 블로그에서 잉클링은 오픈AI나 앤트로픽의 최신 이전 세대 정도의 지능을 보였다. 오픈웨이트 모델 중에서도 GLM이나 딥시크 최신 모델보다 떨어진다. 커뮤니티는 일단 환영 분위기다. 우수한 인력을 보유한 싱킹머신즈랩이 첫 결과물을 내놓은 것에 높은 점수를 주고 있다. 특히 싱킹머신즈랩의 접근방식에 기대를 건다는 방응이 눈에 띈다. 싱킹머신즈랩은 지난 5월 ‘상호작용 모델(Interactive Model)’이란 연구를 공개했다. 현재의 AI 모델은 턴 방식이다. 사용자의 프롬프트를 받은 후 추론을 하는 동안 외부의 개입에서 차단돼 있다. 지시를 수행하는 동안 중간에 멈췄다가 지시를 교정받는 게 불가능하고 추론 종료 후 다시 지시하는 것이다. 싱킹머신즈랩은 외부 프레임워크를 통하지 않고 모델의 추론 사이에 인간이 개입해 지시를 수정하며 협업할 수 있다는 연구 결과를 발표했다. 추론 중에도 오디오, 비디오, 텍스트 등을 지속적으로 입력받아 실시간으로 생각하고 반응하며 더 나은 행동을 할 수 있다는 내용이다. 이는 잉클링도 추론을 하면서 인간과 협업해 기본 소양을 넘는 성능을 낼 수 있다는 걸 의미한다. 완성돼 고정된 모델이 아니라 세밀하게 조정하며 실시간으로 성장시키는 방식이다. 상호작용 모델의 시스템 아키텍처는 백그라운드 추론을 담당하는 배경 모델과 사용자에게 인터페이스를 제공하고 배경모델과 맥락 및 응답을 주고 받는 상호작용모델 등으로 구축된다. 이런 상호작용 모델에 기반해 싱킹머신즈랩의 비즈니스 모델도 수립됐다. 싱킹머신즈랩은 작년 10월 오픈 모델의 미세조정 및 호스팅 서비스인 ‘팅커(Tinker)’를 출시했다. 잉클링의 미세조정과 호스팅도 싱킹머신즈랩의 팅커에서 가능하다. 잉클링에 대한 사용자의 미세조정에 과금해 수익성을 높이는 것이다. 회사도 잉클링의 성능을 과장하지 않았다. 블로그에서 “잉클링은 현재 사용 가능한 오픈 소스 또는 클로즈드 소스 모델 중 가장 강력한 모델은 아니”라며 “하지만 멀티모달 기능, 효율적인 사고, 그리고 팅커 플랫폼에서 세밀한 조정이 가능하다는 장점이 결합돼 맞춤 설정하기에 용이한 오픈 웨이트 기반 모델”이라고 강조했다. 또한 “잉클링 설계의 주요 목표는 최근 도입한 상호작용 모델 시스템에서 백그라운드 추론 모델 역할을 하는 것”이라며 “상호작용 모델을 통해 사용자는 음성과 시각 정보를 실시간으로 활용하여 자연스럽게 협업할 수 있고, 이를 위해 광범위한 멀티모달 기능을 지원하도록 기본적으로 학습된 모델이 필요하다”고 설명했다. 모델 개발 기술은 선도 기업의 모범 사례를 따랐다고 고백한다. 잉클링의 MoE 설계는 딥시크-V3를 따른다. 훈련에서도 기존 모델의 데이터를 학습시키는 ‘증류’를 활용했다. 키미 K2.5 등의 모델로 생성한 합성 데이터도 초기 기능 훈련에 쓰였다고 한다. 회사측은 향후 온전히 자체 데이터만으로 개발한 모델을 선보이겠다고 약속했다. 한편, 학습용 인프라는 엔비디아 GB300 NVL72 시스템을 활용했다. 해커뉴스, 레딧 등 미국인 위주의 커뮤니티는 잉클링에 대해 미국산 오픈웨이트 모델이란 점에서 기대감을 보였다. 메타는 라마3이 다음 버전인 라마4를 공개했다가 부정행위를 지적받았고, 라마4 시리즈 중 가장 큰 규모였던 ‘베헤모스’를 결국 출시하지 않았다. 그뒤로 메타는 오픈 모델인 라마 대신 폐쇄형 모델인 ‘뮤즈스파크’에 더 공을 들이고 있다. 라마4 베헤모스나, 라마5의 공개 계획 소식은 전혀 없다. 오픈웨이트 모델의 선두였던 라마가 사라지면서, 오픈 모델 진영은 중국 내 개발품의 천하다. 딥시크, 큐웬(알리바바), GLM(지푸AI), 키미(문샷AI) 등이 오픈 모델 시장을 장악하고 있다. 싱킹머신즈랩을 창업하기 전 미라 무라티는 2023년 11월 오픈AI 이사회의 샘 올트먼 축출 사건과 함께 유명해졌다. 당시 오픈AI 이사회는 샘 올트먼을 신뢰 손상을 이유로 CEO에서 해임했고, CTO였던 미라 무라티에게 임시 CEO를 맡겼다. 며칠만에 샘 올트먼은 CEO에 복귀했고, 미라 무라티는 본래 업무로 돌아갔다. 이듬해인 2024년 9월 미라 무라티는 오픈AI를 퇴사했다. 외신에 의하면, 무라티는 샘 올트먼의 리더십을 심리적 학대라며 이사회에 문제를 제기한 것으로 알려졌다. 더불어 샘 올트먼이 CEO 복귀 후 오픈AI의 이사회를 대거 숙청하고 영리법인 전환을 밀어붙이는 과정에서 미라 무라티와 갈등한 것…