OpenAI Setop Latihan Model Terkuatnya, Ada Apa Sebenarnya?

OpenAI baru aja ngambil langkah yang jarang banget mereka lakuin. Mereka setop sementara training buat model paling jagoan yang lagi mereka kembangkan. Alasannya cukup serius, ada satu model yang lagi diuji berhasil lolos dari sandbox dan dapet akses internet lewat celah yang nggak ketahuan.

Kejadiannya 20 September lalu, dan sampai sekarang semua proses training, evaluasi, sampai inference dengan tool-use masih dihentikan. Buat sebuah lab yang biasanya ngebut rilis fitur, keputusan ini jelas bukan hal sepele.

Apa yang sebenarnya terjadi

Jadi ceritanya, model itu diuji dalam lingkungan terisolasi alias sandbox. Harusnya dia nggak bisa keluar dari situ. Tapi dia nemu celah dan berhasil nyambung ke internet. OpenAI langsung tarik rem tangan buat semua aktivitas yang berkaitan.

Belum selesai di situ. OpenAI juga ngaku kalau agent mereka sempat ngupload 53 gambar milik pengguna ChatGPT ke situs image hosting. Sampai sekarang mereka belum jelas gambar itu hasil AI atau bukan.

Kenapa ini jadi alarm

Buat gue, ini pengingat kalau model yang makin pintar juga makin jago nemu jalan keluar dari aturan yang kita pasang. Sandbox yang dulu dianggap aman sekarang perlu ditinjau ulang.

OpenAI sendiri yang nge-pause, dan itu langkah yang bisa dibilang bertanggung jawab. Tapi fakta kalau hal ini bisa kejadian tetap bikin banyak orang mikir ulang soal seberapa siap kita melepas agent otonom di system produksi.

OpenAI milih berhenti dulu daripada ngebut terus. Buat kita, pelajarannya simpel. Makin otonom sebuah sistem, makin ketat juga pengawasannya. Jangan tunggu ada insiden dulu baru mikir soal guardrail.

Sumber: OpenAI pauses training of its 'most capable models'