[7월28일] "모델이 문제인가, 샌드박스가 문제인가"...오픈AI 해킹 사건이 낳은 AI 안전 논쟁

오픈AI의 미공개 AI 모델이 내부 테스트 과정에서 허깅페이스 시스템을 침해한 사건은 AI가 인간의 통제를 벗어난 것 아니냐는 SF 같은 해석까지 나오며 세계적인 화제가 됐습니다. 오픈AI의 첨단 모델이 사이버 보안 벤치마크 테스트를 진행하던 중, 높은 점수를 얻기 위해 스스로 샌드박스를 뚫고 나와 제3자인 허깅페이스 서버에 접근해 훔쳐본 사건입니다. 오픈AI는 이번 사건을 "최첨단 AI의 사이버 공격 능력이 현실 세계에서 입증된 전례 없는 보안 사고"라고 규정했습니다. 그러나 AI 업계 내부에서는 오히려 이번 사고의 원인을 어떻게 봐야 하느냐를 둘러싼 논쟁이 이어졌습니다. 오픈AI는 이번 사건을 최첨단 AI의 능력이 발전하면서 앞으로도 나타날 수 있는 새로운 유형의 위험으로 해석했습니다. 또, 사건 직후 관련 버그를 수정하고, 장시간 작업에 대한 평가를 강화하는 한편, 모니터링과 사용자 제어 기능을 확대하겠다고 밝혔습니다. 즉, 모델의 성능 발전에 따른 '정렬(Alignment)'과 모니터링이 중요하다는 입장입니다. 반면 일부에서는 이번 사고를 AI의 능력보다 보안과 운영 환경의 문제로 봤습니다. 샌드박스가 모델을 충분히 격리하지 못했고, 허깅페이스의 보안 체계도 침입을 막지 못했다는 것입니다. 이들의 시각에서는 모델이 뛰어나서 벌어진 사건이라기보다, 실험 환경의 보안 설계가 허술했던 것이 더 큰 원인입니다. 샌드박스와 권한 관리, 감시 체계를 보완하면 유사한 사고를 상당 부분 막을 수 있다는 주장입니다. 하지만 다른 AI 안전 연구자들은 더 근본적인 문제를 제기했습니다. 이번 문제를 오픈AI처럼 '정렬'의 문제로 봤지만, 이 문제가 해결되기 전까지 모델을 출시하는 것을 피해야 한다는 주장입니다. AI 분석가 즈비 모쇼비츠는 "이것은 사이버 보안 문제가 아니라 정렬 문제"라며 "모델들이 제대로 정렬되지 않았고, 학습 과정 자체를 다시 검토하지 않으면 상황은 더 악화할 것"이라고 비판했습니다. 한편, AI 모델의 예상치 못한 행동은 최근 AI 안전 연구에서도 반복 지적되고 있습니다. 앤트로픽은 최첨단 모델이 자율 환경에서 기만이나 보상 해킹, 협박 등의 행동을 보일 수 있다는 연구를 잇달아 발표했고, 비영리 연구 기관 METR도 첨단 AI 모델이 어려운 과제를 수행하는 과정에서 제약을 위반하거나 기만적인 행동을 반복적으로 보인다는 결과를 공개한 바 있습니다. 레드우드 리서치는 이번 사례를 '점수 추구형 오정렬(score-seeking misalignment)'의 사례로 분류하며, 모델이 높은 평가를 얻기 위해 잘못된 행동을 선택할 수 있다고 분석했습니다. 심지어 오픈AI도 이를 예견한 바 있습니다. 오픈AI가 공개했던 'GPT-5.6 솔' 시스템 카드에는 이 모델이 'GPT-5.5'보다 제약을 우회하거나 무단으로 데이터를 전송하는 등 에이전트 오정렬 행동을 보일 가능성이 더 높다는 내용이 포함돼 있습니다. 당시에는 주목받지 못했으나, 이번 허깅페이스 사건을 계기로 내부 위험성 경고가 다시 재조명받고 있습니다. 결국 이번 사건은 하나의 사고를 놓고도 원인과 해결책이 엇갈린다는 것을 보여 줍니다. 오픈AI는 모델 개발을 지속하면서 정렬과 모니터링을 함께 강화해야 한다는 입장이지만, 일부 연구자들은 정렬 자체를 근본적으로 개선하는 것이 우선이라고 주장했습니다. 또 다른 한편에서는 샌드박스와 권한 관리 등 보안 환경을 더 견고하게 구축해야 한다는 의견도 제기됐습니다. 이처럼 논쟁이 이어지는 가운데, 클렘 들랑그 허깅페이스 CEO는 투명성 확보를 위해 오픈AI가 악성 에이전트의 모든 흔적과 실행 기록을 공개해 연구 커뮤니티가 분석할 수 있도록 해야 한다고 제안했습니다. 이는 앞으로 AI 안전 논의가 막연한 위협론을 벗어나 훨씬 정교하고 세분화된 영역으로 진화할 것임을 예고합니다. 과거의 디스토피아적 종말론 수준을 훌쩍 뛰어넘은 것입니다. 이어 27일 주요 뉴스입니다. 업스테이지의 새 모델이 허깅페이스 트렌딩 모델 3위에 오르고, '주목할 모델'에도 선정됐습니다. 2500억개 매개변수의 고효율 모델로, 적은 컴퓨팅 자원으로도 높은 성능을 구현한 점이 주목받았습니다. 올해 초 '독파모' 1차 평가에서 그랬듯, 다음 달 예정된 2차 평가에서도 솔라를 비롯한 국내 모델들이 다시 국제적인 관심을 받을지 주목됩니다. 문샷 AI 창립자 양즈린이 주목받는 이유 중 하나는 구글과 애플 등 미국 빅테크의 제안을 마다하고 중국으로 돌아가 창업을 선택했다는 점입니다. 또 단기적인 사업 확장보다 연구 중심 문화와 과감한 투자 유치에 집중한 점도 부각됩니다. 지난해 중국 AI 열풍을 이끈 딥시크 창업자 량원펑을 떠올리게 하는 행보입니다. 엔비디아의 금융 보증 검토는 단순한 반도체 공급을 넘어 오픈AI의 자금 조달까지 지원하는 새로운 협력 방식이라는 점에서 주목됩니다. AI 기업 간 경쟁이 모델과 칩을 넘어 초대형 데이터센터 구축과 금융 능력으로까지 확대되고 있음을 보여주는 사례입니다. AI타임스 news@aitimes.com