ESP32S3 Cluster Bisa Jalanin Model AI 1.58-bit, Bukti Edge AI Makin Murah

Kalau lo ngikutin dunia embedded, nama ESP32 pasti udah nggak asing. Chip murah ini biasa dipakai buat proyek IoT. Kali ini ada yang bikin cluster ESP32S3 buat menjalankan language model 1.58-bit alias BitNet.

Yang bikin menarik, proyeknya open source dan bisa lo intip langsung di GitHub. Ini contoh nyata kalau AI nggak melulu soal GPU mahal.

Apa yang sebenarnya dibuat

Proyek ini menyusun beberapa board ESP32S3 jadi satu cluster. Tujuannya menjalankan model bahasa yang sudah dikuantisasi ke 1.58-bit. Model sekelas BitNet memang dirancang biar tetap berguna walau ukurannya dipangkas habis.

Konsepnya sederhana. Kalau satu chip kurang kuat, gabungkan beberapa biar beban kerjanya dibagi. Ini pendekatan yang makin sering dipakai buat mendekatkan AI ke perangkat, bukan cuma mengandalkan server di awan.

Kenapa BitNet jadi kuncinya

Model 1.58-bit itu spesial karena bobotnya cuma pakai nilai minus satu, nol, dan satu. Hasilnya, kebutuhan memori dan tenaga komputasi turun drastis. Operasi perkalian yang biasanya berat bisa diganti dengan operasi sederhana.

Di hardware kecil kayak ESP32, penghematan itu bukan bonus, tapi syarat wajib. Tanpa kuantisasi seagresif ini, model bahasa mustahil jalan di chip sekelas itu.

Proyek kayak gini penting karena menurunkan ekspektasi berlebihan soal AI sekaligus nunjukin jalur yang lebih hemat. Kalau lo penasaran, repo GitHub-nya terbuka buat dioprek.

Sumber: ESP32S3 cluster running 1.58-bit (BitNet) Language model