KAIST, 국내 유일 ‘MS AI 안전성 연구 프로그램’ 선정

한국과학기술원(KAIST, 총장 배충식)은 손수엘 전산학부 교수가 ‘마이크로소프트 AI 레드팀(Microsoft AI Red Team)’이 운영하는 글로벌 AI 안전성 연구 프로그램 ‘엑스트라(EXTRA, External Red Team Alliance)'의 연구지원 대상자로 선정됐다고 28일 밝혔다. 엑스트라는 MS AI 레드팀이 올해 새롭게 출범한 글로벌 연구지원 프로그램이다. AI 시스템의 안전성과 보안 취약점을 다양한 관점에서 검증하고, 독립적인 AI 안전성 연구 생태계를 확대하기 위함이다. AI 안전성 평가를 기업 내부에만 맡기지 않고 전 세계 대학과 연구기관으로 확대했다는 점에서 의미를 지닌다. 현재 엑스트라에는 KAIST를 비롯해 전 세계 6개 대륙 10여개가 넘는 대학이 참여 중이다. 국내에서는 KAIST가 유일하다는 설명이다. KAIST는 이번 선정에 따라 AI 안전성 및 보안 개발 연구를 위한 2만5000달러(약 3700만원) 규모의 연구 지원금을 받게 된다. 연구과제 수행 기간을 별도로 정하지 않는 ‘기프트 어워드(Gifted Award)' 형태로 제공되며, 해당 연구비는 손수엘 교수 연구팀의 AI 보안 및 안전성 연구에 활용될 예정이다. 한편, 손수엘 교수 연구팀은 생성 AI와 대형언어모델(LLM)을 토대로 하는 AI 시스템 보안과 개인정보 보호 기술을 연구하고 있다. 모델 탈취, 멤버십 추론, 개인정보 추출, 모델 전도, 탈학습, 프롬프트 주입 등 심층신경망과 언어모델을 대상으로 한 적대적 공격 기법을 분석해 AI 시스템의 취약점을 평가하고, 이를 방어하는 기술을 개발 중이다. 또, 이러한 연구를 바탕으로 ‘웹 에이전트’와 ‘에이전틱 브라우저’ 등 실제 서비스 환경에서 운영되는 AI 에이전트가 안전하고 신뢰성 있게 동작할 수 있도록 시스템 수준의 방어 기술도 연구하고 있다. 손수엘 KAIST 교수는 "AI 시스템이 사회 전반에 빠르게 확산되면서 성능뿐만 아니라 안전성과 신뢰성을 확보하는 것이 무엇보다 중요해지고 있다”라며 “실제 AI 서비스 환경에서 발생할 수 있는 다양한 보안 위협을 체계적으로 분석하고, 누구나 안심하고 활용할 수 있는 AI 기술 개발에 기여하겠다”라고 말했다. 장세민 기자 semim99@aitimes.com