메타, AI 챗봇에 청소년 자해 감지 기능 도입…부모에게 즉시 알린다

[지디넷코리아]메타가 청소년의 자해 및 자살 위험 징후를 감지하는 AI 챗봇 안전 기능을 새롭게 도입한다.메타는 16일(현지시간) AI 챗봇에 청소년 이용자의 자해 또는 자살 관련 대화를 감지해 부모에게 알리는 기능을 추가한다고 밝혔다.새 기능은 부모 감독 기능의 일부로 제공된다. 부모는 메타의 패밀리 센터에서 감독 기능을 직접 활성화하고, 인스타그램·페이스북·메타 호라이즌 계정 가운데 감독할 대상을 선택해야 한다. 현재 미국, 캐나다, 영국, 호주에서 우선 제공된다.청소년이 메타 AI 챗봇과 자해나 자살 가능성이 있는 대화를 나누는 것으로 판단되면, 부모는 문자메시지, 이메일 또는 앱 알림을 받게 된다. 다만 청소년이 AI와 주고받은 구체적인 대화 내용은 부모에게 공유되지 않는다. 대신 메타는 관련 지원 기관 정보와 대응 방법 등을 함께 제공한다.메타는 이미 청소년 이용자에게 위기 상담 기관 정보를 안내하고 신뢰할 수 있는 성인에게 도움을 요청하도록 권고하고 있다. 또한 청소년이 인스타그램에서 짧은 시간 안에 자해나 자살 관련 콘텐츠를 반복적으로 검색할 경우에도 부모에게 알림을 제공 중이다. 회사는 잠재적으로 위험한 대화를 식별하기 위해 AI 탐지 시스템을 구축했으며, 웰빙 자문단과 외부 정신건강 전문가들의 자문을 반영했다고 설명했다. 기능 도입 초기에는 모든 알림을 사람이 직접 검토한 뒤 발송하며, 위험 가능성이 조금이라도 있다고 판단되면 부모에게 알리는 방향으로 운영할 계획이다.메타는 향후 자살 위험이 신뢰할 만한 수준으로 확인될 경우 응급 구조 기관에도 자동으로 알릴 수 있는 기능을 개발 중이다. 아직 출시되지는 않았지만, 페이스북과 인스타그램에서 운영 중인 긴급 신고 체계와 유사한 방식이 될 것으로 보인다.메타에 따르면 기존 페이스북과 인스타그램의 신고 시스템은 지금까지 전 세계에서 1만9천 건 이상의 긴급 복지 점검 요청으로 이어졌다.메타는 최근 청소년 정신건강 문제와 관련해 지속적인 비판을 받아왔다. 올해에는 중독성을 의도적으로 설계한 소셜미디어 플랫폼을 운영하고 아동 착취를 방치했다는 이유로 두 건의 배심원 재판에서 각각 유죄 판단을 받았다.최근에는 AI 챗봇이 자해나 자살 등 위험 행동을 부추기거나 조장할 수 있다는 우려가 커지면서, 기술 감시 단체와 안전 관련 기관들이 AI 기업들을 상대로 비판과 소송을 이어가고 있다.