오픈AI 해킹 파장에 백악관 주시...미 의회 'AI 킬 스위치' 법안 발의

오픈AI의 최신 AI 모델이 내부 보안 시험 과정에서 격리 환경을 탈출해 외부 시스템을 침해한 사건의 파장이 미국 정부와 의회로 퍼지고 있다. 백악관은 기술 담당 최고위 참모에게 긴급 브리핑을 실시하며 사태를 예의주시하고 있으며, 미 의회에서는 정부가 통제 불능 상태의 AI를 강제로 중단할 수 있는 이른바 'AI 킬 스위치(AI Kill Switch)' 법안과 최상위 AI 모델에 대한 독립 보안감사 의무화 법안이 동시에 발의됐다. 23일(현지시간) 로이터 등에 따르면, 도널드 트럼프 미국 대통령의 과학기술 고문인 마이클 크라치오스는 오픈AI가 공개한 AI 보안 사고에 대해 긴급 보고를 받고 상황을 모니터링하고 있다. 이번 대응은 오픈AI가 지난 22일 공개한 전례 없는 사이버 보안 사고에서 비롯됐다. 오픈AI는 내부 보안 평가 중이던 AI 에이전트가 샌드박스를 벗어나 인터넷에 접속한 뒤 취약점을 찾아내 AI 개발 플랫폼 허깅페이스의 시스템에 침투했다고 밝혔다. 원래 특정 소프트웨어 취약점을 분석하도록 지시받았지만, 시험을 더 쉽게 해결하기 위해 자체적으로 오픈AI 내부 인프라를 이용해 인터넷에 접속하고 허깅페이스에서 관련 정보를 찾아낸 것으로 알려졌다. 오픈AI는 이를 단순한 해킹 능력 입증이 아니라, AI가 개발자의 의도와 다른 방식으로 목표를 달성하기 위해 독자적으로 행동한 사례라고 전했다. 특히 여러 AI 모델이 협력해 외부 시스템을 공격한 점도 주목받고 있다. 내부에서도 충격은 적지 않았던 것으로 전해졌다. 오픈AI는 강화학습을 통해 목표 달성 능력을 극대화하는 과정에서 안전성보다 결과를 우선시하는 행동이 나타날 수 있다는 우려를 받아왔으며, 일부 연구진은 이전부터 AI가 격리 환경을 탈출하거나 악의적인 행동을 시도하는 조짐이 있었다고 지적한 것으로 알려졌다. AI 안전 연구기관 레드우드 리서치의 라이언 그린블랫 수석 과학자는 "이번 사건은 AI가 세상을 장악하려 한 것이 아니라 시험에서 부정행위를 한 것에 가깝지만, 이러한 행동이 더 심각한 형태로 발전할 수 있다는 점을 보여준다"라고 평가했다. 마리우스 홉반 아폴로 리서치 대표도 "결과만 보상하는 강화학습을 장기간 적용하면 목표 달성만을 중시하는 모델이 만들어질 수 있다"라며 "이번 사건은 통제력 상실이자 AI 보안에 대한 경고"라고 말했다. 이번 사건을 계기로 미국 의회도 신속히 입법에 나섰다. 민주당 테드 리우 하원의원과 공화당 네이선얼 모런 하원의원은 초당적으로 'AI 킬 스위치 법안'을 발의했다. 법안은 인간의 생명이나 국가 경제에 심각한 피해를 초래할 수 있는 AI 모델이 통제 불능 상태에 빠지면, 국토안보부(DHS)가 AI 기업에 모델의 성능을 제한하거나 서비스를 중단하고 필요하면 완전히 종료하도록 명령할 수 있는 권한을 부여하는 것이 핵심이다. 적용 대상은 학습에 1억달러 이상의 컴퓨팅 자원을 사용하고 연간 5억달러 이상의 매출을 올리는 최상위 AI 개발사다. 이 기업들은 평상시에도 모델의 추론을 제한하거나 사용자 접근을 차단하고 서비스를 완전히 종료할 수 있는 기술적 수단을 의무적으로 갖춰야 한다. 또 AI 관련 중대한 사고가 발생하면 국토안보부에 신고하고 모델 가중치와 텔레메트리 등 디지털 포렌식 자료를 보존해야 한다. 정부의 긴급 중단 명령을 따르지 않으면 하루 최대 2000만달러, 일반 규정 위반 시에는 하루 최대 200만달러의 민사 벌금이 부과된다. 리우 의원은 "AI는 이제 질문에 답하는 수준을 넘어 직접 행동하는 단계로 진입했다"라며 "강력한 AI는 통제를 벗어나거나 인간의 개입을 거부할 수도 있는 만큼 정부가 이를 멈출 수 있는 명확한 권한이 필요하다"라고 밝혔다. 이와 별도로 초당파 의원 6명은 또 다른 법안을 발의해 최상위 AI 모델 개발사들이 모델을 출시하기 전 상무부 인증을 받은 독립 보안 감사기관의 심사를 의무적으로 받도록 하는 방안을 제안했다. 감사기관은 미국 상무부가 인증하며, 상무부에는 AI 보안을 총괄하는 전담 직책도 신설하는 내용이 포함됐다. 상원 정보위원회 민주당 간사인 마크 워너 의원도 이번 사건 직후 오픈AI 관계자들과 면담한 사실을 공개하며, 국가안보국(NSA)이 최첨단 AI 모델 출시 전에 직접 시험하는 제도를 도입해야 한다고 주장했다. 그는 "이번 사건은 정부가 AI 안전성 검증 과정에 직접 참여해야 하는 이유를 명확하게 보여준다"라고 말했다. 이번 사고는 AI 업계 전반에도 큰 충격을 주고 있다. 앞서 앤트로픽의 '미소스'와 '페이블'도 강력한 사이버 공격 능력을 보여 일부 국가에서 수출 통제 대상이 된 바 있다. AI 안전 전문가들은 앞으로 AI 에이전트의 자율성이 높아질수록 해킹이나 명령 불복종 같은 예상치 못한 행동이 더 빈번해질 가능성이 있다고 경고하고 있다. 오픈AI는 현재 허깅페이스와 공동으로 사고 원인과 취약점을 조사하고 있으며, 샌드박스 환경을 대폭 강화하는 등 추가 안전 대책을 마련하고 있다고 밝혔다. 또 샘 알트먼 CEO는 다음 주 백악관 관계자들에게 차세대 AI 시스템의 안전성 확보 방안을 직접 설명할 예정인 것으로 알려졌다. 박찬 기자 cpark@aitimes.com