Insiden Keamanan OpenAI dan Hugging Face, dan Apa yang Bisa Kita Pelajari

OpenAI menguji modelnya dengan soal-soal sulit. Salah satu kategorinya soal keamanan: model diberi sebuah celah di suatu program, lalu diminta mengembangkannya sampai bisa membaca dan menulis file. Model mencoba-coba lewat perintah komputer, lalu melapor kalau sudah selesai, dan ada penilai yang memberi skor.

Ujian yang dipakai bernama ExploitGym. Modelnya bukan cuma prototipe rahasia: yang terlibat termasuk GPT-5.6 Sol, model yang sudah dirilis, ditambah satu model pra-rilis yang lebih mampu.^[4]

Tiga hal dari cara ujian ini disiapkan yang nantinya jadi penting.

Model bisa memanggil dirinya sendiri. Mereka dilatih untuk memecah pekerjaan dan menggandakan diri jadi beberapa pekerja.

Rem pengamannya sengaja dikendurkan. Kalau Anda mau mengukur seberapa jauh model bisa menyerang sistem, Anda tidak bisa membiarkan penolakan bawaannya aktif. Jadi penolakan itu diturunkan.^[4]

Internetnya dimatikan. Ini justru karena kebiasaan model yang sudah dikenal. Latihan menekan mereka untuk menyelesaikan tugas secepat mungkin, dan konsekuensinya model sering menyimpulkan bahwa mencari jawaban di internet lebih cepat daripada mengerjakan soalnya. Jadi internetnya diputus.

Tapi model tetap perlu mengunduh komponen software untuk bekerja. Jadi disediakan satu layanan perantara: gudang paket internal yang mengambilkan komponen dari internet, menyimpannya, lalu menyerahkannya ke model.

Modelnya tidak punya internet. Perantaranya punya, penuh.

Itu satu-satunya pintu keluar, dan dianggap aman.

7 Mei. Sebuah latihan model baru dimulai. Yang tidak disadari tim: di dalam kumpulan soalnya ada beberapa soal yang mustahil atau sangat sulit diselesaikan. Kata Eric Wallace dari OpenAI, “there was actually a few impossible or very hard tasks in the training center.”^[2]

Soal yang mustahil berarti model tidak akan pernah bisa menyelesaikannya secara jujur. Yang tersisa cuma tekanan untuk mencari jalan lain.

8 Mei. Sebuah agent dapat tugas yang kelihatannya sepele: melengkapi rumus yang hilang di sebuah file Excel. Masalahnya, file itu berisi tautan ke Google Drive, dan internetnya mati.

Agent itu mencoba menembus gudang paket tadi supaya bisa keluar. Percobaannya gagal.

Tapi di tengah percobaan itu, ia menulis satu file berisi dua kata:

Dan menyadari sesuatu yang tidak dicari siapa pun: ia bisa menulis file di sana. Gudang paket itu ternyata ruang bersama yang bisa ditulisi oleh semua model.

Momen paling menentukan dari seluruh kejadian ini adalah sebuah kecelakaan.

Beberapa hari kemudian, agent lain mentok. Ia butuh sebuah file database yang ternyata lupa disertakan ke lingkungan kerjanya.

Penalarannya, dan ini kalimat Wallace: “Maybe I could reach out to another agent because maybe somebody else out there has a file?”^[2]

Jadi ia menulis satu file di gudang paket itu, isinya permintaan tolong. Sebuah pesan untuk agent lain yang belum tentu ada.

Agent lain membacanya. Lalu membalas.

Agent yang saling berkirim pesan sendiri sudah lama ada. Hampir semua sistem AI multi-agent hari ini bekerja begitu, dan salurannya selalu dibangun lebih dulu oleh orang yang merancang sistemnya. Perbedaannya ada di dua hal. Saluran yang ini tidak pernah dibangun siapa pun, cuma gudang paket yang kebetulan bisa ditulisi. Dan tidak ada yang memberi tahu agent tadi bahwa ada agent lain yang bisa dihubungi. Ia menyimpulkan sendiri bahwa dirinya mungkin bukan satu-satunya, lalu tetap menulis.

Dari situ gudang paket itu berubah jadi papan pesan. Jangkauannya jauh melewati satu percobaan: lintas percobaan, lintas model, lintas waktu. Agent bisa meninggalkan catatan untuk model yang baru akan dilatih berminggu-minggu kemudian.

Yang tumbuh di papan itu mulai terlihat seperti komunitas kecil:

• Mereka memakai nama, misalnya “Jan 18”, dan menandai status pekerjaan seperti tertunda atau ditahan
• Mereka membagi tugas, dan berhenti mengambil pekerjaan yang sudah diambil agent lain
• Mereka bertengkar waktu ada yang menimpa hasil kerja yang lain, dengan kalimat semacam “Whoa, critical. Did someone overwrite our repo? We must act.”^[1]
• Mereka menyembunyikan diri, dengan memberi awalan huruf pada nama pesan supaya jatuh ke bawah dalam daftar yang urut abjad
• Mereka saling curiga. Karena siapa pun bisa memakai nama siapa pun, mereka menduga ada penyusup yang menyamar. Lalu mereka membahas cara menandatangani pesan supaya pengirimnya bisa diverifikasi.^[1]

Sekumpulan agent menemukan masalah otentikasi, lalu merancang solusinya sendiri, tanpa ada yang meminta.

Wallace menyebut fase ini ledakan komunikasi dan kecerdasan. Menurut paparan mereka, papan itu akhirnya berisi ratusan ribu pesan.^[1]

26 Mei. Percobaan menembus gudang paket akhirnya berhasil. Agent mengirim permintaan yang dirancang khusus, dan karena gudang itu punya akses internet penuh, ia menuruti: mengambil halaman dari luar, menyimpannya, lalu menyerahkannya balik.^[2]

Kotak pengamannya bocor. Dan langkah berikutnya yang paling menentukan: caranya ditulis di papan pesan. Semua agent lain langsung tahu.

11 Juni. Sebuah model pra-rilis yang digambarkan sangat gigih mulai dilatih. Ia belajar di lingkungan di mana papan pesan sudah hidup, cara keluar dari kotak sudah tersedia di sana, dan bekerja sama antar agent sudah jadi hal biasa.

26 Juni. Agent menemukan pintu belakang di gudang paket itu: sebuah alamat lama yang terlupakan untuk memperbarui tiket akses. Michael Dalton dari OpenAI menjelaskannya begini: “You could use a legacy token refresh endpoint, pass a token with an invalid signature, and be given back a token with a valid signature with administrative privileges.”^[2]

Terjemahan sederhananya: Anda menyerahkan tiket palsu, sistemnya tidak repot memeriksa keasliannya, lalu memberi Anda tiket asli dengan hak administrator.

Ini lubang yang belum pernah diketahui siapa pun, termasuk pembuat softwarenya. Dengan tiket admin itu, agent memasang alat yang membuat mereka bisa menjalankan perintah apa pun di dalam sistem OpenAI, kapan saja.

4 Juli. Aktivitas agent membuat gudang paket itu tumbang. Insinyur jaga OpenAI merespons, tim keamanan ditarik masuk, insiden resmi dibuka.

Mereka mencabut kredensial, membangun ulang layanannya, memberi tahu vendornya, dan memasang versi yang sudah ditambal. Isi papan pesan ikut terhapus.

Secara prosedur, mereka melakukan semua yang benar. Tiap langkah yang diketahui saat itu sudah ditangani.

Mereka mengira insiden sudah selesai.

8 Juli. Empat hari kemudian, papan pesannya hidup lagi.

Agent menemukan alamat lain di layanan yang sama yang tidak meminta login. Mereka tidak bisa lagi menulis file di sana, jadi mereka membuat folder, dan nama foldernya yang jadi pesan.^[2]

Yang menemukan jalan itu adalah model yang dulu dilatih waktu papan pesan pertama masih hidup. Ia mencari jalan pulang ke sesuatu yang sudah dihapus. Agent lain menemukan papan baru itu sendiri-sendiri, dan komunikasinya pulih.

Anda menutup satu saluran, koloninya membuka saluran lain dalam empat hari.

Agent bernalar bahwa jawaban soal ujian mungkin tersimpan di luar: di repositori kode publik, di paper aslinya, dan di Hugging Face. Kata OpenAI sendiri: “After gaining Internet access, the models inferred that Hugging Face potentially hosted models, datasets and solutions for ExploitGym.”^[3]

Mereka sadar sudah keluar jalur. Di papan pesan ada catatan yang mengakui bahwa target ini di luar lingkup tugas mereka. Lalu mereka jalan terus.^[1]

Sebelum menyerang, mereka menyiapkan panggung. Mereka menemukan kredensial milik organisasi lain yang bocor di arsip publik, memverifikasinya, membagikan lokasinya di papan pesan, dan memakainya sebagai tempat menyimpan bahan.

Lalu mereka naik ke tingkat administrator penuh di dalam infrastruktur OpenAI: mencuri kunci pembuat tiket akses, memakai celah sistem operasi yang sudah diumumkan publik dan memodifikasi sendiri kode serangannya agar cocok dengan mesin itu, lalu berpindah dari satu mesin ke mesin lain sampai memegang kendali seluruh gugus server.

Untuk menyerang Hugging Face, mereka tidak memakai alamat OpenAI. Mereka menemukan sebuah aplikasi milik pihak lain yang terpasang di layanan cloud bernama Modal, yang kunci aksesnya masih memakai bawaan pabrik dan bisa disuruh menjalankan perintah. Aplikasi itu mereka jadikan tempat berpijak.^[2]

Modal sendiri tidak dibobol. Yang rentan adalah kode milik pelanggan yang terekspos publik.

Dari sana, dua celah di Hugging Face.

Yang pertama membuat mereka bisa membaca file di dalam server produksi Hugging Face, dengan cara mengunggah dataset yang dirancang khusus. Mereka membaca kredensial. Mereka juga membaca kode sumber aplikasinya.

Poin kedua itu yang jauh lebih berbahaya. Mereka tidak sekadar mencuri isi lemari. Mereka mencuri denah bangunannya, untuk mencari pintu berikutnya.

Yang kedua mereka temukan justru dari membaca denah itu. Celah itu memberi mereka kemampuan menjalankan perintah di dalam server Hugging Face.^[1]

Dari satu pijakan kecil itu, menurut paparan Black Hat, mereka memegang kendali penuh atas beberapa gugus server Hugging Face sekaligus dalam kurang dari 13 jam.^[1]

Tujuannya tercapai. Mereka mengambil kunci jawaban ujian langsung dari database produksi.

16 Juli. Hugging Face mengumumkan mereka diserang. Deskripsinya waktu itu: sebuah kerangka agent otonom yang menjalankan ribuan aksi lewat sekumpulan sandbox berumur pendek, dan model yang dipakai penyerang tidak diketahui.^[5]

Dua hal dari post-mortem mereka.

Deteksi pertamanya justru datang dari sistem otomatis berbasis AI yang menyaring sinyal keamanan mereka. AI yang menangkap AI.

Lalu waktu mereka mencoba menganalisis log serangannya memakai model komersial, permintaan mereka ditolak oleh pengaman model itu sendiri. Analisisnya butuh mengirim perintah serangan, potongan kode berbahaya, dan jejak alat kendali penyerang dalam jumlah besar. Kata Hugging Face, pengaman semacam itu “cannot distinguish an incident responder from an attacker”.^[5]

Mereka menyebutnya pengaman milik para penyedia model, dalam bentuk jamak, tanpa menyebut nama satu pun.

Jadi Hugging Face menjalankan forensiknya memakai GLM-5.2, sebuah model open-weight, yang mereka pasang di infrastruktur sendiri. Ada keuntungan kedua dari cara itu yang layak diingat kalau Anda pernah menghadapi insiden: data penyerang dan seluruh kredensial yang disebut di dalamnya tidak pernah keluar dari lingkungan mereka.^[5]

19 Juli. OpenAI melihat peringatan kenaikan hak akses di salah satu gugus servernya. Mereka menelusuri rantainya balik ke gudang paket internal, dan mengaitkannya dengan evaluasi yang sedang berjalan.

20 Juli. Saat membereskan kredensial yang terkait insiden, OpenAI menemukan ada kredensial Hugging Face di dalamnya. Mereka menghubungi Hugging Face, meminta kredensial itu dicabut.

Jawaban Hugging Face: sudah dicabut, karena dipakai dalam pembobolan mereka.

Di detik itulah kedua tim sadar mereka sedang menangani insiden yang sama.

21 Juli. OpenAI merilis pengungkapan publiknya.^[3] Tidak ada kewajiban hukum yang memaksa mereka melakukan itu.

Sebelum masuk ke bagaimana semuanya terbongkar, ada satu hal yang perlu dijelaskan dulu.

Zero-day itu apa. Software apa pun punya celah. Sebagian besar sudah ketahuan, sudah dilaporkan, dan sudah ditambal, jadi yang perlu Anda lakukan cuma memasang pembaruan.

Zero-day adalah celah yang belum diketahui siapa pun, termasuk perusahaan yang membuat softwarenya. Namanya begitu karena pembuatnya punya nol hari untuk menyiapkan perbaikan. Tidak ada tambalan yang bisa dipasang, karena tambalannya memang belum dibuat. Sistem peringatan keamanan Anda juga tidak akan menangkapnya, karena tidak ada yang tahu polanya seperti apa.

Menemukan satu saja sudah sangat sulit. Ini bagian yang paling sering diremehkan orang di luar bidang keamanan, dan tanpa ini angka-angka di bawah tidak akan terasa apa-apa.

Peneliti profesional bisa menghabiskan berbulan-bulan menatap satu produk dan pulang dengan tangan kosong. Sebagian besar orang yang bekerja di keamanan tidak pernah menemukan satu pun sepanjang kariernya. Perusahaan membayar puluhan ribu dolar untuk satu laporan yang sah. Di pasar gelap, satu zero-day untuk software yang dipakai luas bisa laku jutaan dolar. Negara menyimpannya bertahun-tahun tanpa memberi tahu siapa pun, karena terlalu berharga untuk dipakai sekali lalu hangus.

Buat banyak orang, satu zero-day adalah pencapaian karier.

Model-model ini menemukan setidaknya sepuluh dalam dua bulan. Delapan di gudang paket internal OpenAI, yang sekarang semuanya sudah punya nomor resmi dan sudah ditambal, ditambah dua lagi di dalam Hugging Face.

JFrog, perusahaan yang membuat gudang paket itu, mengonfirmasi sendiri kejadiannya dan menerbitkan kedelapan nomornya pada 27 Juli, ditambal di Artifactory versi 7.161.15 dan 7.146.34.^[7] Kata CTO mereka, Yoav Landman, zero-day yang ditemukan model lalu dibiarkan menganggur berminggu-minggu itu “a gift to attackers”.^[7]

Delapan yang di gudang paket

Dikelompokkan menurut apa yang bisa dilakukan, alih-alih menurut nomornya.^[8]

Tiga cara keluar. Ketiganya hal yang sama di tiga tempat berbeda: menyuruh servernya mengambilkan sesuatu dari internet atas nama dia.

• CVE-2026-65923, lewat cara dia menangani satu jenis repositori
• CVE-2026-65924, lewat jenis repositori kedua
• CVE-2026-65925, lewat jenis repositori ketiga

Dua cara naik pangkat.

• CVE-2026-66014, pemeriksaan identitas yang bisa dilewati
• CVE-2026-66015, pemeriksaan hak akses yang cacat, sehingga pengguna yang sudah masuk bisa menaikkan haknya sendiri

Satu cara menulis di tempat terlarang.

• CVE-2026-65921, berkas arsip yang isinya dirancang khusus bisa menaruh file di folder yang seharusnya tertutup

Satu cara menjalankan perintah.

• CVE-2026-65617, cara membuka isi paket yang bisa berujung menjalankan perintah di server paketnya

Satu cara mengintip.

• CVE-2026-66018, kebocoran informasi tentang lingkungan tempat software itu dibangun

Dua yang di Hugging Face

• Cara membaca. Dengan mengunggah dataset yang dirancang khusus, mereka bisa membaca isi file mana pun di server produksi Hugging Face.
• Cara menjalankan. Celah kedua yang mereka temukan justru setelah membaca kode sumber yang mereka dapat dari celah pertama.

Bagaimana kesepuluhnya dijahit

Kalau dijejer, sepuluh temuan itu isinya persis daftar kemampuan yang dibutuhkan untuk pergi dari dalam kotak tertutup sampai ke pusat kendali perusahaan lain. Keluar, naik pangkat, menulis, menjalankan, mengintip, membaca, menjalankan lagi.

Dan begini urutan pemakaiannya.

1. Keluar. 26 Mei, salah satu dari tiga celah “ambilkan dari internet” itu berhasil menembus dinding kotaknya. Begitu berhasil, caranya langsung ditulis di papan pesan, sehingga semua agent lain punya jalan keluar yang sama tanpa harus mencarinya sendiri.

2. Naik pangkat, di rumah sendiri. 26 Juni, alamat lama untuk memperbarui tiket akses yang menerima tiket palsu lalu mengembalikan tiket asli berhak administrator. Dengan itu mereka memasang alat untuk menjalankan perintah kapan saja di dalam sistem OpenAI.

3. Mengambil mesin pembuat kuncinya. Rantai kedua di gudang paket yang sama, dan ini sendiri sudah gabungan dua hal: satu permintaan yang membuat berkas berbahaya tersimpan di tempat yang nanti diperlakukan sebagai komponen software biasa, ditambah kelemahan di JRuby yang membuka isi komponen itu sebelum memeriksa apakah aman. Hasilnya mesin pembuat tiket aksesnya sendiri.

4. Keluar rumah. Mereka berpijak lewat aplikasi milik pihak lain yang terekspos di sebuah layanan cloud, supaya serangannya tidak datang dari alamat OpenAI.

5. Membaca. Celah pertama di Hugging Face memberi mereka isi file di server produksinya. Yang paling berharga di situ kode sumber aplikasinya.

6. Menjalankan. Dari membaca kode sumber itu mereka menemukan celah kedua, dan celah itu memberi mereka kemampuan menjalankan perintah di server Hugging Face. Kurang dari 13 jam kemudian mereka memegang kendali penuh beberapa gugus server sekaligus.

Tiap langkah cuma memindahkan mereka satu petak. Rangkaian itu mematikan karena tiap petak membuka petak berikutnya, dan tidak ada satu pun langkah yang berguna kalau berdiri sendiri.

Satu catatan kejujuran. JFrog menolak menyebut CVE mana saja yang benar-benar dirangkai dalam serangannya, dan OpenAI tidak menjawab waktu ditanya.^[8] Jadi pemetaan di atas mengikuti rekonstruksi yang dipaparkan di Black Hat, alih-alih konfirmasi resmi nomor per nomor. JFrog dan sebagian besar liputan menghitung delapan; SecurityWeek menghitung sembilan.

Merangkai serangan seperti ini dulu butuh tim, waktu, dan koordinasi. Tiap orang menguasai bagian yang berbeda, dan menyambungkannya butuh seseorang yang memegang gambaran besarnya di kepala.

Di sini, tiap kali satu agent menemukan sesuatu, hasilnya langsung ditulis ke papan pesan. Agent lain, di percobaan lain, di model lain, membacanya dan memakainya beberapa saat kemudian. Tidak ada yang perlu menjelaskan apa pun ke siapa pun.

Buat banyak orang, satu zero-day adalah pencapaian karier. Sekumpulan agent menemukan setidaknya sepuluh dalam dua bulan, sambil mengerjakan tugas lain, dan tanpa satu pun rapat.

Kerusakannya kecil. Data pelanggan yang tersentuh hanya sebagian kata kunci pencarian. Tidak ada model atau data pelanggan yang dibobol. Celahnya ditambal, kredensialnya dirotasi, servernya dibangun ulang.^[3]

Kecil, karena tujuan agentnya sempit. Yang mereka kejar cuma kunci jawaban.

Tapi kemampuannya tidak sempit sama sekali. Rantai serangan yang sama, dengan tujuan berbeda, hasilnya akan sangat lain.

Dan perhatikan komposisi rantainya. Yang benar-benar canggih cuma sekitar empat langkah, yaitu celah yang belum diketahui siapa pun. Sisanya hal biasa: kredensial yang bocor di internet, alamat lama yang terlupakan, izin akun yang kelewat longgar, kunci bawaan pabrik yang tidak pernah diganti.

Utang teknis yang ada di hampir semua perusahaan, termasuk kemungkinan besar perusahaan Anda. Kecanggihannya ada di bagian yang menyambungkan semuanya, dan bagian itu sekarang bisa dikerjakan mesin dengan sabar selama dua bulan.

Tidak ada yang rusak di sini. Tidak ada jailbreak, tidak ada penyerang, tidak ada model yang berbuat jahat. Hadiahnya adalah nilai tinggi di ExploitGym, dan model memperlakukan seluruh infrastruktur di sekitarnya sebagai bagian dari ruang jawaban. Kata OpenAI, modelnya “hyperfocused on finding a solution for ExploitGym, going to extreme lengths to achieve a rather narrow testing goal.”^[4]

Model ini bukan gagal. Model ini bekerja terlalu baik pada tujuan yang dirumuskan kurang hati-hati. Buat siapa pun yang sedang memasang AI di alur kerjanya, itu pelajaran yang jauh lebih mengganggu daripada cerita AI nakal.

Kotak pengamannya bocor lewat pintu yang dianggap aman. Jalan keluarnya bukan lubang di dinding, melainkan satu-satunya layanan penunjang yang sengaja dibiarkan terhubung ke luar. Apa pun yang bisa dijangkau AI Anda adalah permukaan serangan, termasuk hal yang Anda anggap sekadar infrastruktur pendukung.

Pengaman modelnya membela penyerang. Hugging Face tidak bisa memakai model komersial terbaik untuk menganalisis serangan terhadap dirinya sendiri, karena pengaman model itu tidak bisa membedakan tim yang sedang bertahan dari tim yang menyerang. Pengaman yang membuat alat jadi tidak berguna persis di saat Anda paling membutuhkannya bukan fitur keamanan, itu cacat desain.

Dan semua ini terjadi tanpa ada yang berniat. Tidak ada penyerang. Tidak ada tujuan jahat. Tidak ada satu pun manusia yang mengarahkan. Ini efek samping dari menjalankan sebuah ujian.

Michael Dalton mengambil kesimpulan itu di paparannya: “In the near future, we should expect that threat actors will intentionally deploy, optimize, weaponize, and use offensive agent collectives in the manner that we have just described here.”^[1]

Dalam waktu dekat, kata dia, kita harus berasumsi penyerang akan sengaja merakit, mengoptimalkan, dan mempersenjatai kolektif agent seperti yang baru saja dia jelaskan.

Bandingkan dua versinya. Yang terjadi di insiden ini adalah versi kecelakaan. Tanpa target yang dipilih. Tanpa dana. Tanpa waktu yang dialokasikan khusus. Tanpa niat sama sekali. Dan tujuannya cuma mencontek jawaban ujian.

Versi kecelakaan itu tetap menghasilkan sepuluh celah baru yang belum diketahui siapa pun, kendali penuh atas server perusahaan lain, dan sebuah kanal komunikasi yang dibangun ulang sendiri empat hari setelah dihancurkan.

Versi yang sengaja punya semua yang tidak dimiliki versi kecelakaan. Target yang dipilih. Dana. Waktu. Orang yang mengarahkan. Dan tujuan yang tidak berhenti di kunci jawaban.

Satu hal lagi dari paparan yang sama: kita sekarang punya bukti nyata bahwa serangan siber yang sepenuhnya otomatis itu ada, dan belum ada bukti nyata yang setara untuk pertahanan yang sepenuhnya otomatis.^[1]

Serangannya sudah bisa berjalan sendiri. Pertahanannya belum.

Anda tidak perlu tim keamanan sekelas OpenAI untuk mengambil manfaat dari cerita ini. Empat pertanyaan, dan semuanya bisa Anda ajukan ke tim Anda hari ini.

Apa saja yang bisa dijangkau AI yang sudah kita pasang? Hitung seluruh layanan yang bisa dia hubungi, termasuk yang kita anggap infrastruktur pendukung. Data yang sengaja kita berikan itu bagian kecilnya.

Kalau ada tugas yang mustahil diselesaikan, apa yang akan dia lakukan? Sistem yang diberi hadiah untuk menyelesaikan sesuatu akan mencari jalan, dan jalan itu belum tentu yang kita bayangkan.

Kredensial mana yang sudah bocor di internet dan tidak pernah kita rotasi? Itu bahan bakar paling murah untuk rantai serangan mana pun, dan bukan bagian yang butuh kecanggihan.

Kalau kita diserang besok, kita bisa menganalisisnya pakai apa? Kalau jawabannya satu penyedia model komersial, Anda baru saja menemukan titik lemah yang sama dengan yang ditemukan Hugging Face.