LLM Flagship Jalan di Server Tua Tanpa GPU, Emang Bisa?

Ada yang berhasil menjalankan GLM dan Qwen versi besar di server berumur 14 tahun tanpa GPU sama sekali. Pelan sih, tapi buktinya menarik buat yang mepet budget.

[AI][Hardware]

Selama ini kita selalu dengar kalau mau jalanin LLM besar, lo butuh GPU mahal dan VRAM gede. Anggapan itu sekarang dibantah oleh eksperimen seorang developer yang nekat menjalankan model flagship di server tua tanpa GPU.

Server yang dipakai bukan barang baru. Ini Dell PowerEdge R720 yang berumur sekitar 14 tahun, isinya dua prosesor Xeon dan memori DDR3 sebesar 348 GB. Nggak ada akselerator GPU sama sekali di situ.

Model apa saja yang jalan

Di server kuno itu, dia berhasil menjalankan beberapa model sekaligus, termasuk GLM 5.3 Flash, Qwen 3.8 Flash, dan Qwen 3.8 27B. Ketiganya model yang cukup besar buat ukuran hardware seperti itu.

Kuncinya bukan kecepatan, tapi memori. Dengan 348 GB RAM sistem, model-model besar bisa dimuat seluruhnya, sesuatu yang biasanya nggak mungkin kalau lo cuma andalkan VRAM GPU rumahan.

Tapi ada harganya

Kecepatannya jujur aja bikin nangis. Sekitar empat token per detik adalah batas maksimalnya. Buat chat santai masih kebayang, tapi buat kerjaan produksi jelas nggak cukup.

Bottleneck-nya ada di jumlah thread. Dari dua prosesor Xeon itu, cuma sekitar 20 thread yang tersedia. Jadi meski memorinya besar, otot komputasinya tetap terbatas.

Jadi kalau lo punya server tua nganggur di gudang, mungkin jangan buru-buru dijual. Dengan RAM yang cukup, dia masih bisa jadi tempat buat ngulik LLM. Pelan, tapi tetap jalan.

Sumber: No GPU, No Problem: Flagship LLMs on a GPU-less Teenaged Server