Industri AI Mulai Pindah ke Model yang Lebih Kecil

Selama ini industri AI kayak punya aturan tak tertulis. Model harus makin gede biar makin bagus. Tapi aturan itu mulai digoyang.

Biaya inference jadi alasan utama. Setiap kali pakai model sekelas GPT-5 atau Claude Opus, lo harus bayar token yang lumayan. Dan masalahnya, buat banyak use case, lo gak butuh kekuatan model sebesar itu.

Harvey berhasil buktiin

Harvey, startup AI buat bidang hukum, berhasil potong biaya inference sampai tiga kali lipat tanpa ngurangin kualitas jawaban. Caranya simpel. Kombinasikan Claude Opus sama GLM 5.1 dari Fireworks AI. Opus cuma dipake buat soal-soal yang emang berat. Sisanya pakai model yang lebih ringan.

Gabe Pereyra, co-founder Harvey, bilang definisi kualitas sekarang udah berubah. Yang penting bukan pakai model paling powerful buat semua hal. Tapi pakai model yang paling efisien buat kasih jawaban yang bener.

Bukan soal proprietary vs open source

Yang menarik, pergeseran ini bukan soal proprietary vs open source atau model barat vs China. Divisi yang sesungguhnya itu besar vs kecil. Mau pakai GPT-5.5, DeepSeek V4 Flash, atau GPT-5.4-mini, hasilnya bisa sama aja.

Brian Armstrong dari Coinbase bahkan prediksi 80% workload AI bakal jalan di model yang 99% lebih murah dalam 12 sampai 18 bulan ke depan. Cuma 20% yang masih perlu model paling canggih.

Kenapa ini gak terjadi dari dulu

Industri ini emang lama banget didominasi scaling-first approach. Semua lab berlomba train model paling compute-intensive. Karena harga disubsidi investor, klien gak pernah mikir soal cost.

Tapi sekarang berubah. Token price naik, subsidi mulai melambat. User harus pertama kali hadapi cost pressure. Dan kalau ternyata kebanyakan deployment bisa jalan di model kecil, ini bakal jadi pertanyaan besar buat lab yang udah invest miliaran di model terbesar.

---

Sumber asli: Can tech companies learn to love cheaper AI models? - TechCrunch