AI가 '기적 계수'가 필요한 이유

주요 벤치마크는 AI가 무엇을 할 수 있는지 측정하지만, 사용자의 의도를 정확히 반영하는지 체크하지 않습니다. 요청과 실제 수행 사이의 격차를 측정하는 새로운 지표인 '기적 계수'를 제안합니다. 요청과 이해 사이에 간격이 존재하는데, 이는 일반 지식으로 매개됩니다. 예를 들어 '커피를 가져다주라'는 요청에 대해, 요청자는 커피를 내리거나 외부 매장에서 구매하는 방식을 기대합니다. 직접적인 요청으로 모든 상황을 명시할 수 없기 때문에 기술적 한계가 존재합니다. 1987년 AI에 대한 시사서에서 테리 윈고라드와 프란시스코 플로레스는 '물이 냉장고에 있는가? 있다. 어디? 보이지 않아. 셀 내에 있다.'라는 대화를 통해 인류 언어가 항상 불완전하다는 것을 강조했습니다. 의도를 정확히 기술하는 것은 불가능하므로, 인간은 상황 판단을 통해 의사소통을 이어갑니다.