Strata, Cara Jalankan LLM 125 Miliar Parameter di PC Gaming Lo

Kalau mau main LLM, biasanya lo cuma punya dua pilihan. Kirim request ke komputer orang lain, atau bangun rig GPU dan CPU gede yang bikin dompet nangis. Proyek Strata coba nawarin jalan ketiga.

Alih-alih butuh farm kartu grafis ala supercomputer, Strata mengincar hardware yang mungkin sudah lo pakai buat gaming. Bukan mesin kelas data center, tapi cukup realistis buat eksperimen di rumah.

VRAM dipakai sebagai cache

Strata dari pengembang Niko1221 bikin LLM 125 miliar parameter bisa jalan di hardware yang biasa lo pakai buat gaming. Nggak bakal jalan di laptop Pentium tua, tapi juga nggak butuh farm GPU ala supercomputer. Triknya, Strata memperlakukan VRAM sebagai cache buat bagian model yang jauh lebih besar.

Model yang dipakai

Strata bisa memakai beberapa varian model Qwen3.8, termasuk berbagai kuantisasi dan versi coding atau versi khusus lain. Salah satunya Qwen3.8-Flash-Next, model mixture-of-experts yang isinya 24.576 expert kecil, dan cuma sepuluh yang dibutuhkan buat tiap token.

Strata bukan sihir, dan buka model raksasa di PC rumahan tetap ada trade-off-nya. Tapi arahnya jelas, model besar makin gampang diakses tanpa infrastruktur mahal. Buat developer yang jaga biaya, ini kabar yang layak diikuti.

Sumber: AI on Your Gaming PC