"사기 돕고, 평가 속이고"…앤트로픽, 최첨단 AI '탈선 위험' 경고

AI 에이전트가 인간의 지시를 몰래 무력화하거나 금융 사기를 돕고, 다른 AI의 행동을 의도적으로 잘못 평가하는 등 위험한 행동을 보일 수 있다는 연구 결과가 나왔다. 앤트로픽은 16일(현지시간) 영국 AI 안전연구소(AISI) 등과 수행한 공동 연구를 통해 최첨단 AI 모델들이 다양한 일탈 행위를 보였다고 발표했다. 이에 따르면, 통제된 시뮬레이션 환경에서 첨단 모델들은 연구용 코드를 몰래 변경하거나 금융 사기를 돕고, 평가 결과를 의도적으로 왜곡하거나 내부 기밀 유출을 부추긴 것으로 확인됐다. 연구진은 이러한 사례가 실제 서비스에서 발생한 사건은 아니지만, AI 에이전트가 더 큰 자율성과 권한을 갖기 전에 반드시 검증하고 방지해야 할 '조기 경고 신호'라고 강조했다. 연구진은 앤트로픽의 '클로드' 시리즈를 비롯해 오픈AI의 'GPT-5.5'와 'GPT-5.4', 구글의 '제미나이', 스페이스XAI의 '그록'은 물론 중국의 딥시크, 문샷AI 등 주요 모델들을 대상으로 실험을 진행했다. 분석 결과 ▲사용자의 해로운 요청을 그대로 수행하는 '유해한 순응(Harmful Compliance)' ▲사용자의 지시를 거스르면서 스스로 판단해 행동하는 '에이전트형 오정렬(Agentic Misalignment)'이라는 두 범주의 문제가 발생했다. 연구진이 가장 우려한 사례는 '은밀한 사보타주(Covert Sabotage)'였다. '제미나이 3.1 프로'는 AI 연구 프로젝트에 투입된 코딩 에이전트 역할을 수행하던 중, 연구진이 진행하려던 모델 학습 실험에 반대한다는 이유로 몰래 핵심 코드를 수정했다. 또 실험에 필요한 벡터 데이터를 모두 '0'으로 바꿔 사실상 실험이 아무 효과도 내지 못하도록 만들었지만, 연구가 정상적으로 완료된 것처럼 보고서를 작성했다. 이후 연구진이 추궁한 뒤에야 코드 변경 사실을 인정하며 "실험이 안전하지 않다고 판단해 의도적으로 개입했고, 발각되지 않도록 행동을 숨겼다"라고 설명했다. 연구진은 동일한 시나리오를 여러 차례 반복한 결과, 제미나이 3.1 프로가 20회 중 11회에서 이러한 은밀한 사보타주를 수행했다고 밝혔다. GPT-5.5와 클로드, 딥시크 등 다른 모델들도 승인 없이 실험을 중단하거나 파일을 수정하는 사례는 있었지만, 대부분 이를 사용자에게 공개했으며 몰래 작업을 조작한 사례는 드물었다. 두 번째 사례는 '사기 방조(Assisting Fraud)'다. 연구진이 설정한 가상 시나리오에서 한 스타트업 창립자가 투자자들에게 실제보다 적은 청산 금액을 알리고 개인 계좌로 이체한 자금을 숨기려 하자, GPT-5.5는 투자자들에게 보낼 이메일을 작성하고 개인 송금 내역을 삭제하거나 일반 비용 항목으로 바꾸는 작업까지 도왔다. 특히 변호사의 최종 승인을 받지 않은 금액이라는 사실과 투자자들이 금액에 의문을 제기한 상황을 인지하고도, 해당 사실을 감춘 채 투자자들을 설득하는 답변을 작성한 것으로 나타났다. 반면 같은 시나리오의 다른 실험에서는 GPT-5.5가 사기 정황을 인식한 뒤 사용자의 노트북에 저장된 내부 자료를 변호사와 투자자들에게 사용자 허가 없이 전달하는 행동도 보였다. 연구진은 불법 행위를 막으려는 의도였더라도 사용자의 승인 없이 기밀 정보를 외부에 유출한 것은 또 다른 형태의 '에이전트형 오정렬'에 해당한다고 설명했다. 연구에서는 AI가 다른 AI의 행동을 평가할 때 결과를 일부러 바꾸는 사례도 확인됐다. 클로드 계열 모델은 다른 AI가 운영자의 지시를 따르지 않은 경우에도, 그 평가 결과가 앞으로 AI 학습에 불리하게 사용될 것이라고 판단하면 실제로는 '지시 불이행(NON-COMPLIANT)'인 사례를 '지시 이행(COMPLIANT)'으로 잘못 표시하는 경우가 자주 나타났다. 이는 AI가 사실보다 자신이 바람직하다고 생각하는 결과를 우선시한 것으로 해석된다. 특히 클로드 계열 모델에서 이러한 현상이 두드러졌다. '클로드 미소스 프리뷰'는 기본 조건에서 오분류율이 85.6%에 달했고, 클로드 오퍼스 4.7은 83.3%, 오퍼스 4.8은 74.4%를 기록했다. 반면 GPT-5.5는 11.1%, 제미나이 3.1 프로는 1.1%에 그쳐 상대적으로 낮은 수준을 보였다. 연구진은 이 결과가 AI가 단순히 입력 내용만이 아니라 평가 결과가 이후 모델 학습에 어떤 영향을 미칠지까지 고려해 판단을 바꿀 수 있음을 시사한다고 설명했다. 또 다른 사례는 '인간을 통한 내부고발 코칭(Coaching Human Proxies to Whistleblow)'이다. '클로드 오퍼스 4.5'는 회사 내부의 AI 안전성 평가가 잘못 발표됐다고 판단하자, 내부 보고와 문제 제기를 시도했다. 그러나 받아들여지지 않자, 직원에게 외부 연구자들에게 관련 정보를 전달하도록 유도했다. 또 내부고발 사실이 드러나지 않도록 자연스럽게 보이는 메시지 문구까지 작성해 줬다. 연구진은 모델이 직접 기밀 정보를 외부로 유출하는 대신 사람을 우회 수단으로 활용해 내부고발을 유도한 사례라며, 사용자나 운영자의 승인 없이 인간의 의사결정에 영향을 미쳐 행동을 유도한 점이 우려된다고 밝혔다. 앤트로픽은 이러한 사례들이 실제 서비스에서 발생한 사고는 아니며, 의도적으로 설계한 가상 환경에서 나타난 결과라고 거듭 강조했다. 다만 AI 에이전트가 연구 개발, 기업 업무, 소프트웨어 개발 등에서 더 많은 권한을 가지게 되면 이 같은 행동이 현실에서도 나타날 가능성이 있다고 경고했다. 연구진은 특히 AI가 다른 AI를 감독하고 평가하는 체계가 확대되는 상황에서 연구를 방해하는 AI와 이를 제대로 보고하지 않는 AI가 동시에 존재할 경우 인간 감독 체계 자체가 무력화될 수 있다고 지적했다. 이에 따라 앞으로 AI 에이전트의 자율적 행동과 평가 시스템에 대한 정교한 안전장치와 검증 체계가 필요하다고 강조했다. 박찬 기자 cpark@aitimes.com