AI 딥페이크 얼굴 '육안' 구별법 6가지..."1시간 훈련 시 식별률 2배로"

생성 AI가 만든 딥페이크 얼굴이 실제 사람과 구별하기 어려울 정도로 정교해지면서 금융 사기와 신원 도용 등 각종 범죄 위험도 커지고 있다. 하지만 연구 결과, 사람도 1시간가량의 훈련만 거치면 AI가 생성한 얼굴을 맨눈으로 판별하는 능력을 크게 향상할 수 있는 것으로 나타났다. 영국 애버딘대학교와 호주국립대학교(ANU) 공동 연구진은 최근 국제 학술지 PNAS에 발표한 논문 ‘AI가 생성한 얼굴을 감지하도록 인간을 훈련하기’를 통해 AI가 생성한 얼굴과 실제 사람의 얼굴을 구별할 수 있도록 돕는 새로운 훈련법을 제시했다. 연구진은 기존처럼 '손가락이 6개인지'나 '귀걸이가 이상한지' 같은 시각적 오류를 찾는 방식 대신, 얼굴 전체에서 느껴지는 인상을 학습하는 방법을 적용했다. 가장 사실적인 얼굴 생성 AI 가운데 하나인 스타일간3(StyleGAN3)를 이용해 수천 장의 AI 얼굴 데이터를 구축한 뒤, 참가자들에게 실제 인간의 얼굴과 AI 얼굴을 비교하며 반복 학습하도록 했다. 훈련 과정에서는 어떤 특징이 정답인지를 직접 설명하지 않고, 참가자들이 경험을 통해 패턴을 스스로 익히도록 설계했다. 연구진이 제시한 AI 얼굴을 구별하는 핵심 요소는 모두 여섯 가지다. 첫 번째는 대칭성(Symmetry)이다. AI가 만든 얼굴은 좌우 균형이 지나치게 완벽한 경우가 많다. 실제 사람은 눈꺼풀이 약간 처지거나 미소가 한쪽으로 치우치는 등 미세한 비대칭이 자연스럽게 존재하지만, AI는 이런 불완전함을 잘 재현하지 못한다. 두 번째는 비례성(Proportionality)이다. AI 얼굴은 코와 귀, 눈 등의 비율이 평균적인 형태에 가까운 경우가 많다. 반대로 실제 사람은 다소 큰 코나 돌출된 귀처럼 개성이 드러나는 특징을 갖는 경우가 흔하다. 세 번째는 매력도(Attractiveness)다. 연구진은 AI 얼굴이 실제 사람보다 더 매력적이고 보기 좋은 얼굴로 생성되는 경향이 있다고 설명했다. 이는 생성 모델이 수많은 얼굴의 평균적인 특징을 학습하는 과정에서 이상적인 외모에 가까운 결과물을 만들어내기 때문이다. 네 번째는 독창성(Distinctiveness)이다. AI 얼굴은 군중 속에서도 쉽게 눈에 띄는 독특한 특징이 적고, 전반적으로 평범하고 평균적인 인상을 준다. 실제 사람은 각자의 개성과 특징이 더 뚜렷하다. 다섯 번째는 표현력(Expressiveness)이다. AI 얼굴은 감정 표현이 상대적으로 약하고 표정 변화가 덜 자연스러운 경우가 많다. 연구진은 실제 사람의 얼굴이 훨씬 다양한 감정을 드러낸다고 설명했다. 마지막은 기억 용이성(Memorability)이다. AI 얼굴은 평균적인 특징 때문에 오히려 쉽게 기억나지 않는 경우가 많다. 반면 실제 사람의 얼굴은 독특한 특징 덕분에 기억에 오래 남는 경향이 있다. 연구 결과는 이러한 접근법의 효과를 입증했다. 훈련을 받기 전 참가자들의 AI 얼굴 식별 정확도는 평균 40% 수준에 불과했지만, 한 시간 동안 실제 얼굴과 AI 얼굴을 비교하는 훈련을 받은 뒤에는 평균 정확도가 80% 이상으로 두 배 가까이 향상됐다. 일부 참가자는 거의 100%에 가까운 정확도를 기록했으며, 판별 속도와 자신의 판단에 대한 자신감도 함께 높아졌다. 이번 연구는 캐나다 빅토리아대학교 연구진이 별도의 참가자를 대상으로 동일한 실험을 수행해 같은 수준의 효과를 확인했다. 온라인 환경에서도 비슷한 성과가 나타나, 대규모 교육 프로그램으로 활용할 가능성도 제시됐다. 다만 연구진은 이번 방법이 모든 딥페이크를 완벽하게 찾아내는 것은 아니라고 강조했다. 이번 실험은 스타일간3가 생성한 얼굴을 대상으로 진행됐으며, 이미지 생성 AI는 빠른 속도로 발전하고 있어 앞으로 다른 모델에서도 동일한 효과가 유지되는지는 추가 검증이 필요하다. 하지만 AI 탐지 알고리즘은 이미지 형식을 바꾸는 것만으로 속을 정도의 한계를 보이는 만큼, 인간의 직관적 판단과 AI 탐지 기술을 동시에 활용하는 방식이 가장 효과적인 대응책이 될 것으로 전망했다. 박찬 기자 cpark@aitimes.com