[7월14일] 'AI 2027'은 경고였다…이번에는 "2040년까지 초지능 개발을 멈추자"

지난해 4월 공개된 'AI 2027'이라는 보고서는 실리콘 밸리에서 화제가 됐습니다. 이 보고서는 불과 몇 년 안에 AGI가 달성되고, 나아가 AI가 더 뛰어난 AI를 개발하는 단계까지 진입할 수 있다는 가상의 시나리오를 제시했습니다. 당시에는 다소 급진적인 전망이라는 평가도 있었지만, AI의 발전 속도와 안전 문제를 둘러싼 논의를 본격화했다는 점에서 큰 영향을 미쳤습니다. 그런데 AI 2027을 만든 연구진이 이번에는 한층 더 강경한 메시지를 내놨습니다. 새 프로젝트 'AI 2040'을 통해 인간보다 뛰어난 초지능의 개발을 최소 2040년까지 유예해야 한다는 국제 협약을 제안한 것입니다. 단순히 위험을 경고하는 수준을 넘어, 이제는 실제 정책과 국제 규범을 바꿔야 한다는 주장으로 발전한 셈입니다. AI 2040 프로젝트는 현재와 같은 AI 경쟁이 계속되면 인류가 감당하기 어려운 위험에 직면할 수 있다고 경고합니다. 최악의 시나리오로 인류의 멸종을 제시하는 한편, 멸종까지는 아니더라도 극소수 기업이나 국가, 혹은 단 한 명의 개인이 초지능 AI를 독점하면서 전 세계 권력을 장악하는 '글로벌 독재'가 나타날 가능성도 언급했습니다. 연구진은 이러한 위험이 단순한 공상과학이 아니라, AI 경쟁이 통제되지 않으면 충분히 고려해야 할 정책적 위험이라고 주장했습니다. 이를 막기 위해 AI 2040이 제안하는 핵심 해법은 단순합니다. 인간보다 뛰어난 AI의 개발 경쟁 자체를 일정 기간 멈추자는 것입니다. 구체적으로는 2040년까지 미국과 중국의 합의로 초지능 개발을 유예하고, 이를 관리하기 위한 국제 협약과 감시 체계를 구축해야 한다고 제안했습니다. 이를 통해 초지능 개발 속도를 늦춘 뒤 이를 통제할 기술적, 제도적 장치가 갖춰지면 본격적으로 개발을 다시 시작하자는 것입니다. 이것이 이들이 주장하는 '플랜 A'입니다. 불과 1년 전 등장한 AI 2027과 비교하면 큰 변화입니다. AI 2027은 "이런 미래가 올 수도 있다"는 가상 시나리오를 통해 AI의 발전 속도를 보여주는 데 초점을 맞췄습니다. 당시 많은 사람은 AI가 AI를 개발하고 AGI가 등장하는 과정을 흥미로운 미래 예측으로 받아들였습니다. 하지만 AI 2040은 한 걸음 더 나아갔습니다. 미래를 설명하는 데 그치지 않고 "그 미래를 막기 위해 지금 무엇을 해야 하는가"라는 질문을 던지고 있습니다. AI 논의가 예측 단계에서 정책 제안 단계로 넘어간 것입니다. 이 같은 변화는 지난 1년 동안 AI 산업이 보여준 발전 속도와 무관하지 않습니다. 주요 AI 기업들은 더 강력한 모델을 잇달아 공개하고 있으며, AI는 단순한 대화형 챗봇을 넘어 실제 업무를 수행하는 에이전트로 빠르게 발전하고 있습니다. 연구진도 지난해에는 AI 에이전트가 신뢰할 수 없다고 지적했는데, 이제는 미국 노동시장 전체와 비교할 수 있는 "새로운 노동력"으로 표현했습니다. 규모로는 미국 노동인구(1억6500만명)에 비견될 정도라는 것입니다. 이처럼 AI 2027이 제시했던 시나리오가 예상보다 빠르게 현실화하며 안전 연구자들의 위기의식도 더 커진 것으로 볼 수 있습니다. AI 2040 프로젝트에는 주요 AI 기업 출신 안전 분야 연구자들이 대거 참여하고 있으며, 이들은 현재의 경쟁 구도를 가장 큰 문제로 지목했습니다. 기업 입장에서는 경쟁에서 뒤처지지 않기 위해 더 강력한 모델을 개발할 수밖에 없고, 국가도 기술 패권 경쟁 속에서 AI 개발 속도를 늦추기 어렵습니다. 결국 누구도 브레이크를 밟지 못하는 상황이 가장 큰 위험이라는 것입니다. 실제로 오픈AI에서 미래 예측(Forecasting)을 담당했던 다니엘 코코타일로는 최근 팟캐스트에서 "초지능 AI가 군사·정치·경제적 실권을 장악할 경우 인류가 통제권을 잃고 멸종으로 이어질 가능성을 약 70%로 본다"라고 말했습니다. 그는 이러한 위험성을 매우 현실적으로 받아들이고 있으며, 이 같은 불확실성 때문에 아내와 더 이상 아이를 갖지 않기로 했다고 공개적으로 밝혔습니다. 이는 AI 2040 프로젝트가 단순한 문제 제기가 아니라, 연구진도 실제 삶의 선택에 영향받을 만큼 심각하게 받아들이고 있다는 것을 보여주는 부분입니다. 하지만, 이들의 제안이 현실적으로 받아들여질 가능성은 높지 않다는 평가도 적지 않습니다. 현재 오픈AI와 앤트로픽, 구글, 메타, 스페이스XAI 등은 AGI를 목표로 막대한 투자를 이어가고 있습니다. 여기에 미국과 중국은 AI를 국가 경쟁력의 핵심으로 규정하고 있어 개발 경쟁은 오히려 더욱 치열해지는 분위기입니다. 이런 상황에서 15년 가까운 개발 유예에 국제사회가 합의하기는 쉽지 않을 것이라는 지적입니다. 그럼에도 AI 2040이 보여주는 것은 AI 안전을 둘러싼 논의가 이제 기술적 위험성을 설명하는 수준을 넘어 국제 규범과 정책 설계의 영역으로 이동하고 있다는 것을 보여줍니다. 또 연구진의 문제의식이 어떻게 변화했는지를 보여주는 사례로 볼 수 있습니다. 2023년에도 일론 머스크를 포함한 1000여명이 'AI 개발 6개월 유예'를 요구하는 공개서한을 낸 적이 있습니다. 하지만, 지금은 당시와 분위기가 다르고 내용도 매우 구체적입니다. AI 2040은 초지능 개발을 어떤 국제 체제로 통제할 것인지, 미국과 중국은 어떤 역할을 맡아야 하는지, 기업은 어떻게 감시할 것인지까지 포함한 구체적인 정책 시나리오를 제시했습니다. 한편, AI 2040은 하나의 결론을 제시하지는 않았습니다. 국가와 기업이 어떤 선택을 하느냐에 따라 여러 미래를 가정한 '플랜 A~S' 시나리오도 제시했습니다. 플랜 B는 미국과 중국의 합의가 실패하며 양국이 AI 선두를 두고 여전히 다투는 것입니다. 플랜 C와 D는 국가 간에는 합의했지만, 기업들이 개발 중단에 합의하거나 그렇지 않은 경우입니다. 이들이 꼽은 가장 이상적인 '플랜 S'는 국가와 기업 모두가 합의해 초지능 개발을 완전히 멈추는 것입니다. 그리고 이를 결정할 시간은 2029년, 불과 3년밖에 남지 않은 것으로 봤습니다. 이어 13일 주요 뉴스입니다. 앤트로픽이 유료 이용자를 대상으로 진행 중인 '페이블 5' 무료 사용 프로모션을 다시 연장했습니다. 당초 한시…