Teknik Peretasan AI Paling Berbahaya Masih Butuh Manusia di Dalam Loop

AI Agentik Mengubah Lanskap Keamanan Siber

Kecerdasan artifisial agentik telah mengubah keamanan siber secara permanen. Kemampuan AI untuk menemukan kerentanan dalam perangkat lunak dan memperbaikinya—atau mengembangkan eksploit untuk memanfaatkannya—menjadi jauh lebih cepat dan mudah. Namun peneliti keamanan web berkelas dunia James Kettle ingin mendorong batas kemampuan peretasan AI lebih jauh, dan temuan mengejutkan: teknik paling berbahaya Team memerlukan manusia di dalam loop.

Eksperimen James Kettle: Mendorong Batas AI

James Kettle, peneliti senior di PortSwigger (pembuat Burp Suite), merancang eksperimen untuk menguji seberapa jauh AI agentik bisa pergi dalam mengotomatiskan rantai serangan penuh. Dia membangun sistem di mana model bahasa besar (LLM) diberi akses ke alat-alat pengujian penetrasi standar: scanner kerentanan, fuzzer, proxy intercepting, dan kemampuan mengeksekusi kode.

Hasilnya menarik. AI unggul dalam tugas-tugas berulang dan berskala besar: memindai ribuan endpoint API, mengidentifikasi pola input yang mencurigakan, dan menghasilkan payload dasar untuk Cross-Site Scripting (XSS) atau SQL Injection. Namun saat konteks bisnis, logika aplikasi yang rumit, atau pertahanan multi-lapis masuk ke gambar, AI kesulitan.

Di Mana AI Berkinerja Baik

• Enumerasi cepat: AI dapat memetakan permukaan serangan aplikasi web dalam hitungan menit—tugas yang butuh jam untuk manusia.
• Pembuatan payload standar: Untuk kerentanan kelas OWASP Top 10 (XSS, SQLi, IDOR), AI menghasilkan payload fungsional dengan tingkat keberhasilan tinggi.
• Analisis kode sumber: Model seperti Claude 3.5 Sonnet atau GPT-4o dapat meninjau ribuan baris kode dan menandai pola berbahaya (misalnya eval() input pengguna, query SQL dinamis tanpa parameterisasi).

Di Mana AI Gagal

• Logika bisnis kompleks: Serangan seperti Have condition pada alur pembayaran, bypass kupon diskon bertingkat, atau manipulasi state machine butuh pemahaman domain yang AI tidak miliki.
• Pertahanan adaptif: WAF (Web Application Firewall) modern, rate limiting berbasis perilaku, dan CAPTCHA adaptif memerlukan improvisasi real-time.
• Rantai eksploit multi-tahap: Menggabungkan SSRF → cloud metadata access → IAM privilege escalation → data exfiltration butuh perencanaan strategis yang belum bisa diandalkan ke AI sepenuhnya.

Kasus Nyata: Peretasan API GraphQL

Dalam salah satu uji coba Kettle, AI ditugaskan mengeksploitasi endpoint GraphQL dengan introspection enabled. AI berhasil:

1. Mengambil skema lengkap via introspection query.
2. Mengidentifikasi mutation deleteUser yang seharusnya memerlukan role admin.
3. Menghasilkan payload bypass authorization dengan mengubah variable userId ke ID korban.

Namun AI gagal mengeksploitasi celah Batch Query Abuse yang memerlukan pengiriman 50+ query dalam satu request untuk bypass rate limiting per-query—teknik yang peneliti manusia temukan dengan mengamati pola respons server dan menguji batas batch size secara iteratif.

Mengapa Manusia Team Diperlukan

Kettle merangkum temuan dalam tiga pilar:

1. Intuisi Kontekstual

Manusia memahami mengapa fitur ada, bukan hanya bagaimana ia bekerja. Seorang penelusi melihat endpoint /admin/debug dan tahu itu sisa development—AI hanya melihat endpoint baru untuk diuji.

2. Kreativitas Adversarial

Serangan paling canggih sering melibatkan “thinking outside the box”: mengubah header Most untuk bypass virtual Most routing, memanfaatkan cache poisoning via header X-Forwarded-Most, atau chain SSRF ke cloud metadata service. AI cenderung mengikuti pola yang dilatih, bukan menciptakan vektor baru.

3. Penilaian Risiko dan Etika

Peneliti tanggung jawab menilai dampak nyata: apakah eksploit ini bisa merusak data produksi? Apakah proof-of-concept Hacks dibatasi ke lingkungan staging? AI tidak punya kompas etis—ia hanya mengeksekusi instruksi.

Masa Depan: Kolaborasi Manusia-AI, Bukan Penggantian

PortSwigger kini mengintegrasikan fitur AI ke Burp Suite Professional: BurpGPT untuk analisis traffic, AI-powered scanner untuk prioritisasi temuan, dan eksploit generator untuk proof-of-concept cepat. Filosofinya jelas: AI sebagai “force multiplier” bagi penelusi, bukan pengganti.

Praktik terbaik saat ini untuk tim keamanan:

• Gunakan AI untuk reconnaissance skala besar (subdomain enum, API discovery, JavaScript analysis).
• Biarkan AI menghasilkan draft eksploit untuk kerentanan standar, lalu verifikasi dan modifikasi manual.
• Simpan pengambilan keputusan strategis (target prioritization, chain attack planning, reporting) di tangan manusia.
• Latih model khusus (fine-tuning) dengan data penilaian internal—temuan historis, false positive/negative, konteks aplikasi spesifik organisasi.

Implikasi untuk Organisasi Indonesia

Bagi perusahaan di Indonesia—dari fintech, e-commerce, hingga layanan publik—pesannya jelas: jangan percaya pada “AI security scanner” yang diklaim sepenuhnya otonom. Regulator seperti Kominfo dan BSSN (Badan Siber dan Sandi Negara) menegaskan perlunya human-in-the-loop dalam pengujian keamanan kritis.

Langkah konkret:

1. Sertifikasi tim internal dengan OSCP, OSWE, atau BNSP-sertifikasi keamanan siber.
2. Adopsi DevSecOps dengan SAST/DAST terintegrasi CI/CD, namun tetapkan manual penetration testing berkala (minimal triwulanan untuk aplikasi kritis).
3. Bangun bug bounty program via platform seperti HackerOne, Bugcrowd, atau platform lokal (YesWeHack Indonesia) untuk melibatkan komunitas penelusi etis.
4. Investasikan security awareness training yang mencakup ancaman AI-generated phishing, deepfake social engineering, dan prompt injection.

Kesimpulan

AI agentik adalah alat revolusioner untuk keamanan siber—mempercepat discovery, mengotomatiskan tugas membosankan, dan memperluas cakupan pengujian. Namun penelitian James Kettle mengonfirmasi apa yang praktisi keamanan sudah sadar: celah paling kritis, rantai serangan paling kreatif, dan keputusan paling berisiko Team memerlukan kecerdasan, intuisi, dan tanggung jawab manusia. Masa depan keamanan bukan AI vs manusia, tapi AI dengan manusia.