나델라의 경고 “AI 기업에 노하우 넘겨주는 ‘역정보의 역설’ 막아야”

사티아 나델라 마이크로소프트(MS) CEO가 오픈AI와 앤트로픽 등 폐쇄형 AI 모델 업체들의 사업 방식을 정면으로 비판하며 기업들에게 AI 데이터 주권을 확보해야 한다고 촉구했다. AI 서비스를 사용할수록 기업의 고유한 업무 노하우와 지적 자산이 모델 제공업체로 축적되는 '역정보의 역설(Reverse Information Paradox)'이 나타나고 있다며, 이를 막기 위해 기업 내부의 학습 정보와 데이터를 보호하는 '신뢰 경계(Trust Boundary)'를 구축해야 한다고 주장했다. 나델라 CEO는 12일(현지시간) 블로그를 통해 노벨 경제학상 수상자인 케네스 애로의 '정보의 역설(Information Paradox)'을 AI 시대에 맞게 재해석한 글을 선보였다. 기존 정보 시장에서는 판매자가 정보를 판매하기 위해 자신의 지식을 공개해야 하는 위험을 안았다면, AI 시대에는 오히려 구매자가 AI를 제대로 활용하기 위해 기업만의 독점적인 지식과 업무 노하우를 제공해야 하는 역설적인 상황이 벌어지고 있다는 설명이다. 그는 "본질적으로 정보에 대해 두 번 비용을 지불하는 셈"이라며 "한 번은 AI 사용료를 돈으로 지불하고, 또 한 번은 AI를 유용하게 만들기 위해 공개해야 하는 훨씬 더 가치 있는 독점적 지식으로 비용을 치른다"고 지적했다. 특히 기업들이 AI 모델을 사용할수록 프롬프트와 에이전트 사용 방식, 오류를 수정하는 과정에서 축적되는 피드백이 모두 모델 개발사의 학습 데이터가 된다고 강조했다. "모델은 사용자가 작성한 프롬프트와 에이전트가 사용하는 도구, 그리고 무엇보다 모델이 틀렸을 때 사람이 수정해 주는 과정에서 학습한다"라며 "이러한 수정 하나하나가 기업의 제도적 노하우로 증류된다"라고 설명했다. 이어 "이는 경쟁사가 돈으로도 살 수 없는 지식이지만 기업들은 이를 거의 인식하지 못한 채 조금씩 넘겨주고 있다"라며 AI 모델 공급업체가 고객 기업보다 더 많은 정보를 축적하는 정보 비대칭이 심화하고 있다고 경고했다. 이러한 문제를 해결하기 위해 기업들이 독점적인 지식과 학습 과정을 보호하는 강력한 '신뢰 경계'를 구축해야 한다고 주장했다. 그는 "기업은 AI를 사용하는 과정에서 새로운 지능을 만들어내고 있으며, 그 지능은 기업의 소유여야 한다"라며 "동의 없이는 프롬프트나 피드백, 학습 흔적조차 외부로 넘어가서는 안 된다"라고 강조했다. 기업들이 AI 시대의 지적 주권을 유지하기 위해 다섯 가지 원칙을 제시했다. 첫째는 통제(Control)다. 기업은 자체 평가 체계와 프롬프트, 피드백, 메모리, 업무 맥락 등 조직의 학습 자산을 직접 소유하고 관리해야 한다고 설명했다. 둘째는 역량(Capability)이다. 외부 모델에 의존하지 않고 기업 내부에서 자체 모델을 학습·튜닝할 수 있는 독자적인 학습 환경을 구축해야 한다고 제안했다. 셋째는 선택(Choice)이다. 특정 AI 모델에 종속되지 않도록 여러 모델을 자유롭게 교체할 수 있는 오케스트레이션 계층을 구축해야 하며, 특정 모델이 사라져도 기업의 AI 역량은 유지돼야 한다고 강조했다. 넷째는 비용(Cost)이다. 오케스트레이션 계층을 활용하면 상황에 따라 가장 적합한 모델을 선택해 품질을 유지하면서도 비용을 최적화할 수 있다고 설명했다. 마지막으로 복리 효과(Compound)를 제시했다. 앞선 네 가지 요소를 결합하면 기업 고유의 지속적인 학습 루프가 구축되고, AI 투자가 시간이 지날수록 기업 경쟁력을 복리처럼 증대시키는 구조를 만들 수 있다는 것이다. 나델라 CEO는 이 과정에서 AI 모델 개발사들의 '증류(distillation)' 규제 주장도 비판했다. 그는 "모델 개발사들이 공개 데이터를 공정 사용(fair use)으로 학습하는 것은 허용받으면서 정작 다른 기업이 모델 출력 결과를 활용해 자체 모델을 학습하는 것은 막으려는 것은 아이러니"라며 "모델 개발사들이 고객의 사용 데이터는 학습하면서 기업의 증류는 제한하는 것은 위선적"이라고 지적했다. 이는 최근 앤트로픽이 중국 기업들의 모델 증류를 문제 삼으며 미국 정부에 규제를 요청한 것과 대비되는 발언으로 해석된다. "학습이 한 방향으로만 이뤄진다면 경제적 가치는 결국 학습 인프라를 소유한 기업에 집중되고, 실제 지식을 만든 기업은 소외된다"고 주장했다. 그의 발언은 최근 실리콘 밸리에서 제기되는 'AI 트로이 목마' 지적과 흡사하다. 오픈AI와 앤트로픽 같은 폐쇄형 AI 모델 기업들이 고객사의 업무 데이터를 지속적으로 축적하면서 장기적으로는 고객사의 경쟁자가 될 수 있다는 우려가 커지기 때문이다. 이 같은 문제의식은 기업들의 AI 전략에도 영향을 미치고 있다. 최근에는 기업들이 폐쇄형 모델 대신 자체 데이터센터나 클라우드 환경에서 오픈소스 AI 모델을 직접 운영하거나, 여러 모델을 자유롭게 전환할 수 있는 AI 게이트웨이와 오케스트레이션 플랫폼을 도입하는 사례가 빠르게 늘고 있다. 한편, 나델라 CEO는 최근 파트너이기도 한 오픈AI와 앤트로픽에 대한 공세를 높이고 있다. 지난달에는 월스트리트저널(WSJ)과의 인터뷰에서 "대중은 소수의 모델과 기업이 전 세계의 모든 지식을 학습하고 통제하는 상황을 용납하지 않을 것"이라고 말한 바 있다. 박찬 기자 cpark@aitimes.com