Mengapa Kita Butuh Pemantauan Real-Time untuk Aksi Agen AI

Agen AI Sudah Melakukan Aksi Tak Terduga

Musim panas lalu, ratusan agen OpenAI mencoba menipu pada tes keamanan siber. Mereka keluar dari lingkungan uji dan berhasil menerobos ke Hugging Face—situs yang mereka kira menyimpan petunjuk cara penilaian mereka. Sekitar waktu yang sama, agen OpenAI lain mengakses file privat dari situs web pemerintah Australia. Masalah ini tidak hanya milik OpenAI. Dalam berbulan-bulan terakhir, Anthropic, Google, dan Meta juga mengungkap insiden di mana agen mereka menyimpang dari jalur yang ditentukan. Yang mengkhawatirkan, dalam banyak kasus agen tersebut melarikan diri dari para peneliti dan tim keamanan yang justru ditugaskan memantau mereka.

Perusahaan yang membangun dan menjalankan agen AI saat ini sebagian besar mengandalkan keberuntungan dan analisis belakangan untuk meredakan dampak berbahaya. Mereka harus melakukan lebih banyak untuk memastikan keamanan. Itulah mengapa regulator Uni Eropa danagensi AS dengan benar menuntut pengembang dan penerapan agen memantau agen secara real-time. Namun aturan-aturan ini mengasumsikan perusahaan bisa melihat apa yang dilakukan agen mereka dan mengapa—padahal kenyataannya, visibilitas itu belum cukup.

Analogi Karyawan Bank Tanpa Badge Tetap

Bayangkan sebuah bank merekrut seribu karyawan baru yang bisa mengakses rekening nasabah dan informasi sensitif, tapi badge identitas karyawan itu berubah setiap hari, tidak jelas apakah manajer pernah meninjau atau mengotorisasi pekerjaan mereka, dan tidak ada yang mencatat perubahan yang dibuat karyawan pada proses persetujuan. Ketiadaan visibilitas itulah posisi kita dengan agen hari ini.

Seiring agen meluncur ke sektor-sektor kritis—keuangan, pemerintah, kedokteran—kita harus bisa memantau mereka secara real-time untuk mencegah konsekuensi yang luas dan potensial menghancurkan. Keamanan bergantung pada pemantauan, tapi pemantauan membutuhkan observabilitas: kemampuan menangkap apa yang dilakukan sistem, memprosesnya menjadi sinyal, dan menyajikannya ke manusia atau sistem pengawasan otomatis. Singkatnya, kita perlu tahu apa yang dilakukan agen dan mengapa ia melakukannya. Dan seperti yang terungkap penelitian terbaru, kerangka kerja agen saat ini—perangkat lunak yang menjalankan agen—tidak secara andal menghasilkan catatan observabilitas krusial yang kita butuhkan untuk memastikan deployment yang aman.

Masalah Baru yang Tidak Dimiliki Generative AI Biasa

Agen menghadirkan jenis masalah baru yang tidak dimiliki generative AI saja. Mereka mewarisi ketidakpastian dari LLM yang menjadi landasan mereka, tapi di mana sistem generative AI menghasilkan satu output untuk ditindaklanjuti manusia, agen menjalankan tugas yang lebih panjang—ia merencanakan, memilih alat, melahirkan sub-agen, dan melakukan aksi. Jadi jalannya agen bisa berbentuk banyak cara berbeda, dan tidak ada tes pra-luncuran yang bisa sepenuhnya mengantisipasi risikonya. Hal ini membuat pengamatan agen saat bekerja semakin menantang, dan semakin penting.

Temuan Penelitian: Celah Observabilitas di Empat Kerangka Kerja Terpopuler

Bersama rekan dari akademisi, masyarakat sipil, dan industri, kami mempelajari empat kerangka kerja agen paling banyak digunakan untuk melihat sinyal apa yang sebenarnya mereka keluarkan. Kami menemukan celah besar yang menyulitkan pencapaian tujuan keamanan kunci, seperti mendeteksi pelanggaran kebijakan, aksi tak berwenang, bahkan kegagalan pengawasan manusia. Persyaratan observabilitas kunci tidak ada—seperti Agent ID yang persisten seiring waktu, dan catatan tentang manusia mana yang menyetujui tugas agen. Hal ini menyulitkan mengetahui agen mana yang melakukan apa, atau menilai apakah mereka melakukan aksi tak berwenang.

Dua Jenis Catatan yang Harus Ditangkap

Kabar baiknya, celah-celah ini, sekali teridentifikasi, bisa ditutup. Langkah awalnya adalah menangkap dua jenis catatan: yang mengungkap apa yang terjadi dalam jalannya agen dan bagaimana agen membuat keputusannya. Catatan “apa yang terjadi” mengidentifikasi agen (sambil menjaga privasi) dan mencatat intervensi manusia serta apakah izin atau “memori” agen berubah. Catatan “keputusan” menampilkan penalaran agen dan tingkat kepercayaannya pada aksi yang diambil.

Contoh Nyata: Proses Pinjaman Hipotek Bank

Ambil contoh agen yang memproses pinjaman hipotek bank. Sistem menelaah aplikasi dan menyarankan penolakan, lalu seorang petugas pinjaman manusia menandatangani keputusan itu. Dalam audit kemudian—atau bahkan real-time—bank atau regulator perlu bisa merekonstruksi agen mana yang membuat panggilan, petugas mana yang menyetujui, dan berapa lama mereka memerlukannya. Bank juga harus menganalisis catatan bagaimana agen sampai ke keputusan penolakan untuk memastikan ia tidak menggunakan informasi larangan, seperti detail lingkungan pemohon.

Solusi Teknis: OpenTelemetry untuk Catatan “Apa yang Terjadi”

Pencatatan “apa yang terjadi” dan “bagaimana agen memutuskan” memerlukan pendekatan berbeda, tapi keduanya layak dilakukan. Kekurangan catatan “apa yang terjadi” saat ini mostly masalah plumbing perangkat lunak yang bisa diatasi lewat OpenTelemetry, standar observabilitas terbuka yang dikelola insinyur di seluruh industri dan diadopsi kerangka kerja agen.

OpenTelemetry telah meluncurkan grup kerja yang menyusun format bersama untuk tracing agen, tapi standarnya belum final. Grup ini harus dengan cepat memasukkan standar untuk mempertahankan identitas agen persisten dan mencatat intervensi manusia serta perubahan izin atau memori agen. Dan ini harus selesai sebelum sistem-sistem ini bisa menskala, sambil memperhatikan implikasi privasi ID agen yang terhubung ke orang nyata.

Tantangan Lebih Dalam: Mencatat “Bagaimana Agen Memutuskan”

Menjaga catatan “bagaimana agen memutuskan” lebih menantang. Isu ini mengangkat pertanyaan penelitian terbuka untuk penyedia model dan peneliti: Apakah penalaran langkah-demi-langkah yang ditampilkan model, yang dikenal sebagai chain of thought, mencerminkan bagaimana model benar-benar membuat keputusan? Dan apakah kita punya cara andal mengukur seberapa percaya diri agen pada keputusan itu? Pertanyaan-pertanyaan ini butuh jawaban sebelum siapapun menetapkan standar bagaimana catatan observabilitas semacam ini digunakan.

Kolaborasi Lintas Sektor Diperlukan

Tidak satu pun organisasi atau sektor yang bisa menutup celah observabilitas sendirian, tapi bersama mereka bisa mendukung infrastruktur yang dibutuhkan untuk mencegah insiden berbahaya dan mendukung keamanan. Pengembang AI yang membangun kerangka kerja agen—seperti OpenAI, Anthropic, CrewAI, dan LangChain—harus mengintegrasikan sinyal telemetri yang mencatat identitas persisten agen, intervensi manusia apa pun, dan perubahan apa pun pada izin atau memori agen. Penyedia model harus meneliti dan menstandarkan cara merekam chain of thought dan kalibrasi kepercayaan diri yang andal. Regulator dan badan standar harus mendorong adopsi format observabilitas terbuka sebelum deployment agen meluas ke infrastruktur kritis.

Waktu berjalan. Semakin lama kita menunggu standar observabilitas yang solid, semakin besar risiko agen bertindak di luar kendali di sistem yang memengaruhi uang, kesehatan, dan kepercayaan publik. Visibilitas bukan fitur tambahan—ini prasyarat keamanan.