AI 개발자가 $10 ESP32-S3 마이크로컨트롤러에서 28.9백만 파라미터 모델 실행 — 구글의 Per-Layer Embeddings 기술 사용, 16MB 플래시 메모리에 테이블 저장

지금의 로컬 AI 논의는 일반적으로 RTX Spark와 같은 mini-PC나 홈 서버 및 비싼 프로페셔널 GPU에 대한 회상으로 이어진다. 그러나 최근 우크라이나 개발자 'slvDev'가 GitHub에서 발표한 ESP32-AI 프로젝트로 인해, 저비용으로 인상적인 AI 하드웨어 트릭이 실현되었다. 이 ESP32-S3 마이크로컨트롤러는 단순히 28.9백만 파라미터 언어 모델을 기기 내에서 완전히 로컬로 실행할 수 있는 기능을 제공한다. ESP32-S3 보드는 전 세계적으로 $10 미만으로 구매할 수 있으며, 이는 가성비 최고의 컴퓨터 구매 옵션이다. 단, 이 칩은 가격 대비 성능이 낮아 512KB SRAM, 8MB PSRAM, 16MB 플래시 메모리만 제공한다. 그럼에도 불구하고, 30백만 파라미터 모델을 저비용으로 실행하는 것은 AI 하드웨어 시장에 큰 영향을 줄 수 있는 혁신적인 기술로 평가된다.