Vendor AI Coding Klaim Hemat Token, Benchmark Bilang Sebaliknya

RTK ngaku bisa memangkas biaya token buat AI coding. Tapi hasil benchmark Quesma justru menunjukkan sebaliknya. Ini pelajaran buat lo sebelum percaya klaim vendor.

[AI][developer tools]

Alat AI coding makin banyak yang jualan soal hemat token. Salah satunya RTK, yang ngaku bisa menekan biaya pemakaian model secara signifikan. Masalahnya, klaim kayak gini sering nggak diuji di skenario nyata.

Quesma sempat nge-benchmark sendiri, dan hasilnya nggak cocok sama angka yang diumumin RTK. Buat lo yang lagi milih tool buat tim, ini pengingat yang lumayan penting.

Klaimnya kedengaran manis

RTK bilang bisa bikin AI coding jadi lebih murah lewat penghematan token. Di atas kertas, idenya masuk akal. Kalau token yang dikirim ke model lebih sedikit, biaya per request ikut turun.

Tapi ada satu hal yang sering dilupakan. Hemat token belum tentu hemat biaya total, apalagi kalau kualitas outputnya jadi lebih buruk dan lo akhirnya harus ngulang.

Pas diuji, angkanya meleset

Quesma bikin benchmark sendiri buat ngecek klaim itu. Hasilnya beda jauh dari yang dijanjikan. Penghematan yang kelihatan di demo ternyata nggak muncul di beban kerja yang lebih realistis.

Ini bukan pertama kali klaim performa AI meleset. Banyak vendor ngetes di kondisi paling ideal, lalu angka itu dipakai buat marketing.

Klaim hemat token itu gampang dijual, tapi yang beneran ngirit cuma bisa dibuktiin di workload nyata. Gue saranin lo selalu tes sendiri. Vendor boleh jualan mimpi, tapi tagihan bulanan lo yang bayar kenyataannya.

Sumber: RTK reports token savings, but our cost benchmarks disagree