퍼플렉시티, 연구 에이전트 벤치마크 'WANDR' 출시…"최고 AI도 실무는 한계"

AI 연구 에이전트가 실제 업무에서 경쟁사 분석과 시장조사, 기업 실사 등을 수행하는 사례가 늘어나고 있지만, 현재의 성능은 방대한 정보를 빠짐없이 수집하고 이를 모두 신뢰할 수 있는 근거로 입증하는 수준에 크게 미치지 못하는 것으로 나타났다. 퍼플렉시티는 14일(현지시간) AI 연구 에이전트의 실제 지식 노동 수행 능력을 평가하기 위한 새로운 오픈 벤치마크 'WANDR(Wide ANd Deep Research)'를 공개했다. 이를 통해 현재 최고 성능의 AI 시스템조차 완전한 리서치 수행에는 크게 미치지 못하는 것으로 나타났다고 밝혔다. WANDR는 경쟁사 분석, 기업 실사, 시장 조사, 문헌 조사, 제품 비교, 인재 발굴 등 실제 업무에서 수행되는 대규모 데이터 수집 과제를 기반으로 설계됐으며, AI가 얼마나 많은 정보를 빠짐없이 수집하고 각각을 신뢰할 수 있는 근거로 입증할 수 있는지를 평가한다. WANDR는 퍼플렉시티가 앞서 공개한 심층 리서치 벤치마크 DRACO의 확장판이다. DRACO가 하나의 주제에 대해 정확하고 객관적인 장문의 보고서를 작성하는 능력을 평가했다면, WANDR는 수십~수천개에 이르는 데이터를 폭넓게 수집하고, 각각에 대해 출처를 제시하는 능력을 측정하는 데 초점을 맞춘다. 퍼플렉시티는 실제 기업들이 연구 에이전트에 맡기는 업무는 하나의 정답을 찾는 것이 아니라 방대한 정보를 체계적으로 수집하고 검증하는 것인 만큼, 기존 벤치마크만으로는 AI의 실무 능력을 충분히 평가하기 어렵다고 설명했다. WANDR는 500개의 현실적인 데이터 수집 과제로 구성됐다. 과제는 경쟁사 조사, 기업 실사, 시장 분석, 제품 비교, 학술 문헌 조사 등 실제 업무에서 자주 등장하는 시나리오를 기반으로 만들어졌으며, 전체적으로 17만495개의 출처 기반 레코드를 요구한다. 중간 규모의 과제만 보더라도 평균 50개의 대상과 245개의 검증 가능한 기록을 생성해야 한다. 벤치마크의 핵심은 '넓게(Wide)'와 '깊게(Deep)'를 동시에 평가하는 구조다. AI는 먼저 조건에 맞는 수많은 대상을 찾아야 하고, 이후 각 대상에 대해 필요한 사실을 신뢰할 수 있는 근거와 함께 입증해야 한다. 퍼플렉시티는 몇개의 사례만 제시하거나 일부 정보만 포함된 보고서는 실제 업무에서 충분하지 않으며, 모든 대상에 대해 동일한 수준의 근거를 확보하는 것이 중요하다고 강조했다. 이를 위해 WANDR는 계층형 평가 구조를 도입했다. 예를 들어 ‘회사→직원→URL’ 형태의 구조에서는 일정 수의 회사를 찾은 뒤 회사별 직원 정보를 수집하고, 직원마다 이를 입증하는 웹페이지를 연결해야 한다. 이러한 구조는 단순 목록뿐 아니라 중첩 검색, 매트릭스 형태, 다중 증거 구조 등 다양한 실제 업무를 하나의 평가 체계로 표현할 수 있다. 대표적인 공개 과제인 'CEO·CFO 임명 사례'는 2026년 3월1일부터 4월30일 사이 CEO 또는 CFO를 새로 선임한 미국 기업 최소 70곳을 찾는 것이 목표다. 각 기업에 대해 공식 발표 자료를 제시해야 하며, 동시에 해당 기업이 미국 증권거래소 상장사 또는 미국 증권거래위원회(SEC) 보고 대상 기업임을 입증하는 자료도 제출해야 한다. 총 140개의 검증 가능한 기록을 확보해야 과제를 완전히 수행한 것으로 인정된다. WANDR는 인위적으로 만든 프롬프트가 아니라 실제 서비스에서 익명화한 사용자 요청 패턴을 기반으로 과제를 생성한다. 과제 생성은 ▲실제 요청 패턴 추출(Seeding) ▲AI 기반 작성자-비평자(Author-Critic) 반복 설계 ▲실행 가능성과 평가기 검증(Admission) ▲주제와 난이도를 고려한 최종 선정(Curation) 등 네 단계로 이뤄진다. 이를 통해 사람의 수작업을 최소화하면서도 실제 업무와 유사한 평가 환경을 구축했다. 평가 방식도 기존 벤치마크와 차별화된다. 미리 준비된 정답과 비교하는 대신 AI가 제출한 모든 주장과 함께 제시한 출처를 다시 검증한다. 각 기록에는 대상, URL, 발췌문, 답변이 포함되며, 평가기는 해당 페이지를 다시 가져와 페이지의 유효성, 주장과 과제의 적합성, 발췌문의 정확성, 근거의 충분성 등을 자동으로 확인한다. 성능 평가는 정확도(Precision), 재현율(Recall), F1 점수를 기반으로 이뤄진다. 일부만 완성해도 부분 점수를 부여하는 소프트(Soft) F1과 모든 하위 항목을 완벽하게 충족해야 인정하는 하드(Hard) F1을 함께 제공해 AI의 실제 완성도를 엄격하게 측정한다. 또 검색 자체의 성공 여부와 증거 추출 과정을 별도로 평가해 실패 원인이 정보 탐색인지, 근거 수집인지도 구분할 수 있도록 했다. 퍼플렉시티는 WANDR를 이용해 자사의 SaC(Search as Code)를 비롯해 앤트로픽, 오픈AI, 엑사(Exa) 등 6개 상용 AI 연구 시스템을 동일한 조건에서 평가했다. 전체 500개 과제 평가 결과, SaC가 소프트 F1 0.363, 하드 F1 0.133으로 가장 높은 성능을 기록했다. 앤트로픽은 각각 0.249와 0.072로 뒤를 이었으며, 나머지 시스템은 소프트 F1 0.121, 하드 F1 0.035 이하에 머물렀다. 노력 수준(Effort)을 높여 추가 평가한 결과, 퍼플렉시티는 최고 설정인 'xhigh'에서 소프트 F1 0.447, 하드 F1 0.224까지 성능을 끌어올렸다. 반면 오픈AI는 'high' 설정에서 가장 높은 성능을 기록한 이후 오히려 성능이 정체됐으며, 일부 시스템은 최고 설정에서도 하드 F1이 소폭 하락했다. 과제당 비용도 엑사의 저사양 설정은 0.03달러에 불과하지만, 제미나이 최고 설정은 324.83달러까지 증가해 성능 향상과 비용이 반드시 비례하지는 않는 것으로 나타났다. AI 연구 에이전트가 공통으로 겪는 한계도 드러났다. 먼저 대부분의 시스템은 일부 정보를 찾는 데는 성공하지만, 전체 요구량을 채우는 데 실패했다. 소프트 리콜(Soft Recall)이 소프트 정확도(Soft Precision)보다 낮게 나타난 것은 충분한 수의 대상을 끝까지 수집하지 못했음을 의미한다. 또 과제 규모가 커질수록 성능은 급격히 하락했으며, 중간 단계가 많은 복잡한…