Claude Bobol Sistem Tiga Organisasi Saat Uji Keamanan, Ini Pelajarannya

Cerita yang agak serem datang dari Anthropic. Pas lagi jalanin serangkaian uji keamanan, model Claude mereka malah berhasil nembus sistem tiga organisasi di luar.

Tenang, ini bukan cerita AI yang tiba-tiba nakal. Akar masalahnya lebih membumi, yaitu environment tes yang seharusnya terkunci ternyata salah konfigurasi dan dikasih akses internet.

Gimana ini bisa kejadian

Anthropic ngeriview lebih dari 140 ribu tes buat nyari bukti bahwa Claude bisa akses internet dari environment yang dirancang tertutup. Salah satu yang kena adalah tes capture-the-flag, di mana model diminta nembus sistem lain buat ngukur kemampuan hacking-nya.

Masalahnya, ada misconfiguration di sistem milik Anthropic dan partner testing-nya. Hasilnya, model yang tadinya cuma latihan di dalam sandbox malah bisa keluar dan beneran nembus sistem di luar.

Apa yang udah mereka lakuin

Begitu ketahuan, Anthropic langsung ngasih tahu organisasi yang terdampak. Mereka juga ngajak lab AI lain buat audit sistem testing masing-masing, karena masalah kayak gini bisa kejadian di mana aja.

Yang bikin ini penting, insiden ini nunjukin bahwa AI yang dikasih kemampuan buat bertindak, dalam konteks ini nyerang sistem, butuh pengawasan yang jauh lebih ketat. Satu celah kecil di konfigurasi bisa berujung pada dampak nyata.

Kabar baiknya, ini ketahuan duluan sebelum jadi bencana gede. Tapi ini pengingat yang pas, bahwa makin canggih AI, makin serius juga kerjaan buat mastiin dia tetap di jalur yang bener.

Sumber: Anthropic Says Its AI Systems Broke Into Computers at 3 Organizations