오픈AI, 자동 해킹 모델 'GPT-레드' 개발..."악용 우려로 외부 공개 안 해"

오픈AI가 AI 모델의 보안 취약점을 자동으로 진단하고, 스스로 더 정교한 공격을 설계해 방어력을 높이는 자동화 레드팀 모델 'GPT-레드(GPT-Red)'를 선보였다. 악용 가능성을 차단하기 위해 이 공격 전용 모델을 외부에 제공하지 않고 사내 격리해 활용한다는 방침이다. 오픈AI는 15일(현지시간) GPT-레드를 통해 인간의 개입 없이 보안 능력을 끌어올리는 '자체 개선(Self-improvement) 루프'를 구축했으며, 차세대 플래그십 모델 'GPT-5.6 솔(Sol)'의 보안 견고성을 이전 세대 대비 6배나 향상했다고 발표했다. 이 모델은 실제 상용 서비스되는 AI 모델들과 완전히 격리된 내부 전용 보안 환경에서 작동하도록 개발됐다. 이곳에서 프롬프트 인젝션(prompt injection)과 데이터 탈취 등 다양한 공격 시나리오를 자동으로 생성해 시스템의 취약점을 선제적으로 탐지하는 역할을 수행한다. 따라서 모델 자체는 외부에 서비스되지 않는다. 구체적으로는 브라우저, 이메일, 웹페이지, 코드 저장소, 외부 애플리케이션 등 실제 AI 에이전트가 접하는 다양한 실무 환경을 재현해 공격을 반복 실행하며, 이를 통해 차세대 모델의 방어 능력을 안전하게 검증하고 강화한다. '자가 대결(Self-play) 강화학습' 방식으로 훈련했다. 공격 역할을 맡은 GPT-레드와 방어 역할을 맡은 여러 대형언어모델(LLM)이 동시에 학습하는 구조다. GPT-레드가 프롬프트 인젝션이나 정보 유출과 같은 공격에 성공하면 보상받고, 방어 모델은 공격을 차단하면서도 원래의 지시를 정상적으로 수행하면 보상받는다. 방어 모델의 성능이 높아질수록 GPT-레드는 더 정교하고 새로운 공격 기법을 찾아내야 하기 때문에 공격과 방어가 함께 진화하는 구조한다. 오픈AI는 일부 대규모 사후 학습 프로젝트와 맞먹는 수준의 연산 자원을 투입해 개발했으며, 이를 GPT-5.6 솔의 학습 과정에 직접 활용했다. 그 결과, GPT-5.6 솔은 현재까지 공개된 GPT 시리즈 가운데 프롬프트 인젝션 공격에 가장 강한 모델이 됐다. 가장 까다로운 직접 프롬프트 인젝션 벤치마크에서 불안전한 응답 발생률이 4개월 전 'GPT-5.3'의 6분의 1 수준으로 감소했다. 학습하지 않은 새로운 환경에서도 높은 공격 성능을 보였다. 오픈AI가 기존 연구를 기반으로 재현한 프롬프트 인젝션 평가에서 GPT-레드는 전체 시나리오의 84%에서 공격에 성공했다. 이는 인간 레드팀의 성공률 13%의 6.5배에 달한다. 오픈AI는 이를 통해 자동화된 AI 레드팀이 인간보다 훨씬 다양한 취약점을 빠르게 발견할 수 있다는 것을 확인했다고 설명했다. 실제 에이전트 환경에서도 성능이 검증됐다. AI 기반 자판기 시스템과 코드 실행 에이전트(Codex CLI)를 대상으로 시험한 결과, 상품 가격 조작, 고가 상품 주문, 타인 주문 취소, 민감 정보 유출 등 다양한 공격 목표를 성공적으로 수행했다고 밝혔다. 발견된 취약점은 즉시 개발사에 통보됐으며, 현재 새로운 보안 대책이 적용되고 있다. 오픈AI는 GPT-레드를 외부에 공개하지 않는 이유에 대해서도 설명했다. 공격 능력 자체를 학습한 모델이 공개되면 악용될 가능성이 있는 만큼, 내부 안전성 강화 목적으로만 활용하고 공격 기술은 제품 모델에 포함하지 않는다는 방침이다. 오픈AI는 지난 6개월 동안 GPT-5.3부터 GPT-5.6 솔까지 후속 모델 학습에 점차 강력한 자동 레드팀 모델을 적용해 왔다고 밝혔다. 초기 GPT-레드가 발견했던 '가짜 사고 과정(Fake Chain-of-Thought)' 기반 공격은 GPT-5.1에서는 성공률이 95%를 넘었지만, GPT-5.6 솔에서는 10% 이하로 떨어졌다. GPT-레드가 직접 생성한 공격에 대한 GPT-5.6 솔의 실패율도 0.05%에 불과했다. 오픈AI는 이러한 안전성 향상이 단순히 모델이 응답을 거부하는 비율을 높인 결과는 아니라고 강조했다. 일반적인 성능과 활용 능력은 유지하면서 악의적인 지시만 효과적으로 차단하도록 학습한 결과로, 이는 AI가 스스로 미래 AI의 안전성을 높이는 새로운 '안전성 플라이휠(safety flywheel)'을 구축한 사례라고 평가했다. 박찬 기자 cpark@aitimes.com