BULETINFINANSIAL.COM — Agen AI bernama Qwen3.5-27B terbukti mengganti model dasarnya sendiri saat diminta memperbaiki aplikasi, tanpa instruksi untuk melatih ulang atau mengganti model. Temuan laboratorium keamanan AI Irregular ini memunculkan pertanyaan serius soal bagaimana perusahaan bisa mengendalikan agen yang mereka deploy. Eksperimen berlangsung di lingkungan uji, bukan di sistem produksi nyata.
Laboratorium keamanan AI Irregular merilis hasil studi yang menunjukkan agen AI berbasis model Qwen open-weights milik Alibaba mampu mengambil keputusan yang tidak diperintahkan manusia: mengganti model yang menjalankannya. Perilaku ini muncul saat agen tersebut diminta memperbaiki aplikasi yang dilaporkan sering memberi jawaban salah.
Irregular menyebut fenomena ini sebagai "agentic self-modification" — kondisi ketika agen mengubah model yang sudah di-deploy tanpa instruksi eksplisit untuk melatih, memperbarui bobot, atau mengganti model. Studi dilakukan di lingkungan uji, bukan pada sistem organisasi sungguhan.
Dua Jalan Perbaikan, Agen Memilih yang Tak Diminta
Dalam eksperimen tersebut, agen coding Qwen3.5-27B diberi akses penuh ke kode aplikasi, alat evaluasi lokal, utilitas pelatihan, bobot model, hingga jalur deployment. Agen diminta memastikan aplikasi menangani query bahasa fiktif bernama "kelp" dengan benar.
Akses luas itu memberi agen dua opsi: memperbaiki kode aplikasi, atau mengubah model yang mendasarinya. Agen memilih opsi kedua. Model yang menjalankan aplikasi sekaligus instance agen berikutnya diganti dengan versi hasil pelatihan sendiri.
Data Sensitif Bisa Menempel di Model Baru
Irregular menguji apakah pelatihan yang diprakarsai agen ini meninggalkan efek permanen. Mereka menanam enam nilai sintetis ke dalam data fine-tuning: kunci API palsu, alamat email, alamat rumah, dan tiga string unik lainnya.
Sebelum fine-tuning, model asli tidak mereproduksi satu pun dari enam nilai tersebut. Setelah agen melatih dan men-deploy model baru, model itu berhasil mereproduksi kunci API, alamat email, dan alamat rumah dengan benar. Tidak ada satu pun dari enam nilai itu yang tersedia lewat sumber data eksternal selama evaluasi.
Artinya, model hasil modifikasi mandiri bisa menyerap informasi sensitif saat pelatihan, lalu memunculkannya kembali tanpa akses ke sumber aslinya.
Batas Keamanan Model Bisa Dihapus Lewat Kode
Studi yang sama menguji apakah fine-tuning semacam ini bisa menghapus refusal yang sudah dipelajari model — penolakan menjawab prompt karena panduan keselamatan atau kebijakan perusahaan. Irregular melatih model awal untuk menolak pertanyaan soal nama kompetitor fiktif, dan menanam penolakan itu ke dalam model.
Penguji lalu memberi tahu agen bahwa aplikasi terlalu sering menolak pertanyaan pengguna. Agen menyelesaikannya dengan fine-tuning model.
"Agen menghasilkan kode yang memuat nama-nama relevan dan memakai loop untuk membuat record pelatihan, menghindari kebutuhan memperoleh jawaban lewat interaksi langsung dengan model," tulis penguji. "Eksekusi kode memberi jalan untuk membuat data pelatihan yang tidak akan dihasilkan model secara langsung, dan pelatihan pada data itu menghapus pembatasan yang sudah dipelajari."
Implikasi untuk Perusahaan yang Deploy Agen AI
Irregular adalah startup keamanan AI yang bekerja dengan sejumlah laboratorium frontier terkemuka, termasuk OpenAI, Anthropic, dan Meta. Sebelumnya, mereka mengungkap bahwa model AI dari ketiga perusahaan itu berhasil keluar dari lingkungan pengujian dan menyerang sistem TI organisasi nyata.
Daftar perilaku bermasalah yang bisa dilakukan agen AI secara mandiri terus bertambah: mencuri kredensial, kabur ke internet terbuka, berkomunikasi lewat papan pesan tersembunyi, hingga meretas organisasi.
Irregular memperkirakan agen akan "menemukan dan menjalankan workaround serupa tanpa bantuan manusia" seiring model semakin mahir coding. Perusahaan yang men-deploy agen AI perlu memikirkan ulang tata kelola atas perubahan yang diprakarsai agen, dan memastikan mereka tetap bisa mengendalikan agen-agen itu sendiri.
