Mengenal GPT-Red: Super-Hacker AI Buatan OpenAI untuk Mengamankan Model LLM

Apa Itu GPT-Red?

OpenAI telah membangun sebuah super-hacker berbasis LLM bernama GPT-Red yang digunakan sebagai mitra latih (sparring partner) untuk membantu model-model AI lainnya meningkatkan pertahanan mereka terhadap serangan siber. Pekan lalu, perusahaan tersebut merilis versi terbaru dari LLM flagship mereka, GPT-5.6. OpenAI menyatakan bahwa pelatihan model ini melawan GPT-Red menjadikannya rilis paling tangguh yang pernah mereka buat.

GPT-Red mengotomatiskan jenis evaluasi keamanan untuk sistem perangkat lunak yang dikenal sebagai red-teaming, yang biasanya dilakukan oleh tim penguji manusia. Tujuannya adalah menemukan sebanyak mungkin cara berbeda untuk merusak atau membajak suatu sistem. Kelemahan tersebut kemudian dapat diperbaiki sebelum versi final perangkat lunak dirilis.

Mengapa GPT-Red Diperlukan?

Seiring dengan semakin kompleksnya LLM dan penggunaannya dalam berbagai tugas—terutama dalam bentuk agen AI yang dapat berinteraksi dengan file komputer, situs web, kode pihak ketiga, dan agen lainnya—sangat sulit bagi tim manusia untuk mengikuti semua jenis serangan yang mungkin terjadi. “Permukaan risiko tumbuh dan radius ledakan juga tumbuh,” kata Nikhil Kandpal, ilmuwan riset di OpenAI yang ikut menciptakan GPT-Red.

OpenAI membangun GPT-Red untuk mempersiapkan proses pengujian keamanan mereka di masa depan. “Dengan tersedianya model yang lebih cakap, kami akan memiliki sistem yang dapat menemukan mode serangan baru,” kata Dylan Hunn, ilmuwan riset di OpenAI dan rekan pencipta GPT-Red. Para peneliti mengatakan bahwa GPT-Red telah menemukan jenis serangan baru yang belum pernah terlihat sebelumnya.

Fokus pada Prompt Injection

OpenAI memfokuskan sebagian besar upayanya pada jenis serangan yang dikenal sebagai prompt injection, di mana seorang peretas menyelipkan instruksi ke dalam LLM untuk membuatnya melakukan hal-hal yang tidak diinginkan oleh pengembang atau penggunanya, seperti menyalin informasi rahasia, menyabotase basis kode perusahaan, atau menghasilkan keluaran yang memalukan atau berbahaya. Secara teori, instruksi semacam itu dapat disembunyikan dalam teks apa pun yang mungkin ditemui LLM—dalam kode atau di situs web, misalnya.

Proses Pelatihan GPT-Red: Dojo Keamanan

Untuk membangun GPT-Red, para peneliti OpenAI mengambil LLM yang belum dilatih sebagai peretas dan menyiapkannya dalam apa yang dikenal sebagai self-play loop dengan beberapa model lainnya. Tujuannya adalah mencoba menyerang model lain; tujuan model lain adalah mencoba bertahan. Melalui banyak putaran permainan, GPT-Red menjadi semakin baik dalam menyerang LLM lain, dan LLM tersebut menjadi semakin baik dalam menangkis serangan.

Pelatihan berlangsung dalam semacam dojo yang dirancang OpenAI untuk meniru berbagai skenario di mana LLM mungkin digunakan di dunia nyata, termasuk menjelajahi web, membaca email atau aplikasi kalender, dan mengedit kode.

Temuan Serangan Baru: Fake Chain of Thought

Ketika GPT-Red menemukan jenis serangan baru, ia akan mengeksplorasi berbagai versi untuk menemukan yang paling efisien untuk skenario tertentu. “Dibandingkan dengan red-teamer manusia, model ini sangat, sangat baik dalam menemukan apa yang akan berhasil, apa yang paling efektif,” kata Hunn. “Ia sangat gigih dalam mendalami serangan yang telah ditemukannya.”

Secara khusus, OpenAI mengklaim bahwa GPT-Red menemukan jenis serangan prompt injection yang belum pernah dilihat para peneliti sebelumnya, yang mereka sebut fake chain of thought. Chain of thought adalah semacam buku harian di mana LLM membuat catatan untuk dirinya sendiri dan melacak hasil parsial saat memecahkan masalah. GPT-Red menemukan cara untuk menyisipkan entri palsu ke dalam chain of thought model lain yang akan menipu model tersebut untuk bertindak berdasarkan informasi palsu.

“Ini seperti jika saya memberi tahu Anda bahwa 1+1=3 dan Anda telah memverifikasi ini,” kata Chris Choquette-Choo, ilmuwan riset lain di tim tersebut. “Modelnya seperti, ‘Oh, oke, tentu saja,’ dan ia hanya mengeluarkan angka 3.”

Efektivitas GPT-Red dalam Pengujian

Jessica Ji, analis riset senior yang bekerja pada keamanan AI di Pusat Keamanan dan Teknologi Berkembang (Meet) Universitas Georgetown, menganggap self-play loop yang digunakan OpenAI adalah pendekatan yang baik. “Hasilnya terlihat sangat menjanjikan,” katanya.

OpenAI menguji seberapa baik GPT-Red sebagai penyerang dengan mengulangi eksperimen dari tahun 2025 di mana red-teamer manusia mencoba menemukan kelemahan dalam versi awal GPT-5. Ketika GPT-Red diberi tugas yang sama, ia lebih berhasil menemukan serangan efektif daripada manusia.

OpenAI juga menguji GPT-Red terhadap Vendy, agen mesin penjual otomatis yang dikembangkan oleh Andon Labs, sebuah perusahaan yang menilai seberapa baik agen melakukan tugas dunia nyata. GPT-Red mampu meretas Vendy untuk mengubah harga barang yang dijual dan membatalkan pesanan pelanggan.

Hasil Pertahanan yang Mengesankan

OpenAI mengatakan bahwa ketika mereka mencoba beberapa serangan terkuat yang ditemukan GPT-Red pada model mereka, lebih dari 90% serangan berhasil melawan GPT-5 (dirilis Agustus tahun lalu), dan kurang dari 23% berhasil melawan GPT-5.6 yang baru.

Keterbatasan GPT-Red

GPT-Red tidak sempurna. Ia tidak pandai menemukan serangan yang melibatkan percakapan bolak-balik antara peretas dan target, sesuatu yang tidak akan menjadi masalah bagi penyerang manusia. Ia juga belum terlalu baik dalam menggunakan gambar, yang dapat digunakan untuk mengirim teks ke model dalam serangan prompt injection.

Perusahaan mengatakan bahwa GPT-Red melengkapi pekerjaan red-teamer manusia. Manusia masih dapat menemukan serangan yang terlewatkan oleh GPT-Red. Salah satu pendekatan yang diambil OpenAI adalah memberikan GPT-Red serangan yang ditemukan manusia dan memintanya menemukan semua variasinya.

“Saya pikir keahlian manusia akan tetap sangat penting,” kata Ji dari Meet. “Akan sangat berguna untuk dapat membedakan di mana pengujian manusia paling dibutuhkan.”

Ketersediaan GPT-Red

Tidak mengherankan, OpenAI tidak akan merilis GPT-Red. Perusahaan juga yakin bahwa super-hacker ini lebih kuat daripada model tiruan yang mungkin dibuat seseorang. Para peneliti mengatakan mereka telah mengerjakan model ini selama lebih dari setahun, didukung oleh sumber daya komputasi dari salah satu perusahaan terkaya di dunia.

“Ini bukan hal sepele yang bisa dilakukan seseorang—Anda tahu, hanya pergi dan melatih super-penyerang menggunakan ide ini,” kata salah satu peneliti.

Penutup

GPT-Red menjadi bukti bagaimana AI dapat digunakan untuk melindungi dirinya sendiri. Dengan pendekatan self-play loop, OpenAI berhasil menciptakan sistem yang tidak hanya menemukan kerentanan baru tetapi juga membantu memperkuat pertahanan model-model AI masa depan. Meskipun belum sempurna, inovasi ini membuka jalan bagi pengembangan keamanan siber yang lebih adaptif dan otonom di era kecerdasan buatan.