프롬프트·카르파시 루프 넘어 AI가 연구 방법 바꾸는 '이중 루프' 시대 개막

생성 AI 활용 방식이 단순히 프롬프트를 입력하고 답변을 받는 단계를 넘어, AI가 스스로 실험과 검증을 반복하며 결과를 개선하는 '루프 엔지니어링(Loop Engineering)' 시대로 빠르게 진화하고 있다. 안드레이 카르파시가 공개한 '오토리서치(Autoresearch)'가 자율적인 코드 최적화 가능성을 증명한 데 이어, 최근에는 AI가 연구 방법 자체를 실시간으로 개선하는 '이중 루프' 아키텍처까지 등장해 AI 성능 향상의 새로운 패러다임을 제시하고 있다. 목표만 설정하면 AI가 스스로 계획 수립, 실행, 평가, 개선을 무한 반복하는 루프 시스템은 최근 AI 업계의 가장 뜨거운 화두다. 이러한 개념을 대중화한 대표적 사례가 안드레이 카르파시의 오픈소스 프로젝트 '오토리서치'다. 카르파시 루프는 'GPT-2' 사전학습 코드를 대상으로 AI가 직접 코드 변경안을 제안하고 학습과 검증을 반복하는 구조다. 성능이 개선된 경우에만 코드를 유지하는 방식으로, 약 이틀간 700여 차례의 자율 실험을 통해 모델 학습 시간을 약 11% 단축하는 성과를 거뒀다. 토비 뤼트케 쇼피파이 CEO 역시 내부 모델에 이를 적용해 약 19%의 성능 개선 효과를 보았다고 밝히며 효율성을 입증했다. 하지만 단일 루프 방식은 AI가 기존에 성공했던 특정 탐색 패턴에만 갇히거나 성능 향상이 정체되는 '병목 현상'이라는 한계가 있었다. 이에 독립 AI 연구진 쿠야오난과 멩루는 AI가 연구 대상뿐 아니라 연구 방법 자체까지 최적화하는 '이중 레벨 자동 연구(Bilevel Autoresearch)' 프레임워크를 공개했다. 이 구조의 핵심은 '내부 루프(Inner Loop)'와 '외부 루프(Outer Loop)'의 상호작용이다. 내부 루프는 기존 방식처럼 하이퍼파라미터 변경을 제안하고 학습·평가를 반복하며 기본 탐색 전략을 수행한다. 외부 루프는 내부 루프의 동작 과정을 실시간으로 분석하다가 병목을 발견하면, 새로운 탐색 메커니즘을 담은 파이썬 코드를 즉석에서 생성해 실행 중인 시스템에 주입한다. 조합 최적화나 다중 무장 강도(Multi-armed Bandit) 등 새로운 분야의 탐색 기법을 주입해 고정된 경로를 벗어나도록 유도하는 역할이다. 실험 결과는 정교한 탐색 구조의 중요성을 여실히 보여줬다. GPT 사전학습 벤치마크에서 이중 레벨 구조를 적용한 결과, 기존 단일 루프 대비 성능(val_bpb) 개선 폭이 약 5배(-0.045 대 -0.009)에 달하는 압도적인 성과를 기록했다. 특히 내부 루프와 외부 루프 모두 동일한 대형언어모델(LLM)을 기반으로 작동했음에도 불구하고 이 같은 차이를 만들어냈다. 이는 단순히 AI 모델 자체의 체급을 키우는 것보다, AI가 스스로 문제를 탐색하고 해결 경로를 수정해 나가는 '구조적 아키텍처'를 설계하는 것이 자율형 AI 연구의 성패를 가르는 핵심임을 시사한다. 연구진은 내부 루프가 기존에 성공했던 탐색 패턴을 반복하는 경향이 있지만, 외부 루프는 조합 최적화나 다중 무장 강도(Multi-armed Bandit), 실험 설계 등 다른 분야의 탐색 기법을 새롭게 도입해 기존의 탐색 경로를 벗어나도록 만들었다고 설명했다. 박찬 기자 cpark@aitimes.com