xAI, '그록' 악용해 아동 성학대물 제작한 사용자 고소…AI 오남용에 강력 경고

xAI가 '그록'을 이용해 아동 성 학대물(CSAM)과 성적 딥페이크를 제작한 혐의를 받는 사용자를 상대로 소송을 제기했다. AI 기업이 자체 모델을 불법 콘텐츠 제작에 악용한 이용자를 직접 고소한 사례는 매우 이례적인 것으로, AI 오남용에 대한 법적 대응이 본격화하고 있다는 평가가 나온다. 로이터에 따르면, xAI는 15일(현지시간) 미국 텍사스 연방법원에 사우스캐롤라이나주 거주자인 테리 하우드를 상대로 서비스 약관 위반에 따른 손해배상과 그록의 영구 이용 금지를 요청하는 소송을 제기했다. 하우드는 올해 2월 미성년자 성 착취 혐의로 체포된 인물이다. xAI는 소장에서 하우드가 일반 성인과 미성년자의 일반 사진을 그록에 업로드한 뒤 이를 바탕으로 성적으로 노골적인 딥페이크 이미지를 생성하려 했으며, 성인의 비동의 성적 이미지도 제작했다고 주장했다. xAI는 "피고는 AI 도구를 범죄 목적으로 무기화하려는 계획적인 시도를 했다"라며 "이 과정에서 실제 피해자들에게 심각하고 지속적인 피해를 입혔을 뿐 아니라 회사에도 상당한 법적·평판상 위험을 초래했다"라고 밝혔다. 이에 앞서 그록은 비동의 성적 딥페이크 생성에 악용될 수 있다며 세계적인 비판에 직면했다. xAI는 서비스 약관을 위반한 이용자에 대해 계정 정지와 영구 차단 조치를 시행하는 것은 물론, 아동 성 학대물 의심 사례는 미국 실종·학대아동센터(NCMEC)에 신고하는 등 적극적으로 대응하고 있다고 설명했다. xAI는 올해 들어 그록 관련 규정 위반으로 5만2222개의 계정을 정지했으며, NCMEC에 7만3604건을 신고했다. 이를 통해 현재까지 최소 244명이 체포된 것으로 집계됐다. xAI는 법원에 손해배상을 요청하는 동시에 하우드가 앞으로 그록을 포함한 서비스를 영구적으로 이용하지 못하도록 하는 명령도 청구했다. 박찬 기자 cpark@aitimes.com