AI Recursive Self-Improvement: Studi Princeton Tunjukkan Jalan Masih Panjang

Janji Recursive Self-Improvement Masih Jauh dari Realita

Industri AI saat ini menjanjikan masa depan di mana model bahasa besar (LLM) bisa memperbaiki dirinya sendiri dengan pengawasan manusia minimal. LLM sudah mampu menulis kode, menghasilkan data sintetis untuk pelatihan, dan mengoptimalkan chip komputer yang menjalankannya. Para peramal memprediksi recursive self-improvement — AI yang memperbaiki AI — sudah di depan mata.

Tapi studi baru dari tim multi-institusi yang dipimpin Peter Kirgis dan Sayash Kapoor di Princeton University menunjukkan realita yang lebih kompleks. Peneliti menemukan bahwa agen AI saat ini mampu menyelesaikan masalah engineering yang diperlukan untuk riset AI, namun kekurangan penilaian (judgment) dan kreativitas untuk menghasilkan penelitian orisinal setara kertas yang diterima konferensi machine-learning tingkat atas.

Masalah Evaluasi yang Terlalu Sempit

Sebagian besar riset existing mengevaluasi kemampuan agen AI mengotomatisasi riset AI melalui tugas-tugas sempit dengan jawaban yang bisa diverifikasi: menyelesaikan masalah engineering atau post-training model bahasa kecil terhadap benchmark. Namun, kemajuan riset AI nyata juga memerlukan pemikiran terbuka — memilih himpunan hipotesis, memutuskan bukti apa yang menjawab pertanyaan, atau mengetahui kapan harus memulai dari nol.

Untuk menguji keterampilan jenis ini, para peneliti mengusulkan metode evaluasi baru bernama “shadow evaluation”, yang menuntut AI menjawab pertanyaan riset dari kertas berkualitas tinggi yang belum dipublikasikan.

Eksperimen: Claude Opus 4.8 dan Dua Kertas NeurIPS 2026

Peneliti meminta Anthropic’s Claude Opus 4.8, berjalan di perangkat lunak open-source OpenClaw, untuk menjawab pertanyaan dari dua kertas yang dikirimkan ke konferensi NeurIPS 2026 yang bergengsi. Karena kertas belum publik, agen tidak bisa menghafal jawaban dari data pelatihan atau menemukannya online.

Pertanyaan pertama: apakah “persona” LLM — yang menentukan perilakunya — bisa dikontrol dengan mengedit bobot model (miliaran angka yang menyimpan semua yang dipelajari saat pelatihan). Pertanyaan kedua: bagaimana mendesain detektor yang menandai kapan model prediksi berbasis data spreadsheet menjadi tidak andal.

Agen diberi enam hari, $3.000 kredit Anthropic API, anggaran GPU untuk eksperimen, komputer virtual sendiri, dan akses web terbuka untuk menghasilkan kertas riset layak publikasi di konferensi AI tingkat atas. Penulis asli kertas menilai kertas agen sebagaimana mereka menilai submission konferensi.

Hasil: Kedua Kertas Ditolak

Penulis asli menolak kedua kertas tersebut.

Ilmuwan manusia menemukan agen mampu melakukan semua engineering yang diperlukan: meninjau literatur, menjalankan ratusan eksperimen, dan mengumpulkan hasil. “Di sisi lain, agen jelas buruk dalam menjalankan riset itu sendiri,” kata Kapoor. Agen menjalankan eksperimen aneh (dalam beberapa kasus menguji hipotesis pada dataset sintetis kecil), kesulitan menulis dengan jelas tentang pekerjaan mereka, dan tidak memberikan kontribusi baru di bidangnya. “Kertasnya jauh dari standar kualitas konferensi AI tingkat atas,” tambahnya.

Di Mana Agen Gagal: Kreativitas, Penilaian, dan Backtracking

Kegagalan inti terletak pada kesulitan agen memuster kreativitas dan penilaian untuk riset. Mereka tidak cukup mengeksplorasi ide berbeda, dan terlalu cepat berkomitmen pada pendekatan yang tidak menjanjikan. Meski agen mengembangkan hipotesis baru dan ambisius yang mirip dengan yang dipakai penulis asli, mereka menolaknya berdasarkan data sangat terbatas. Dan mereka tidak bisa mundur dari pendekatan yang gagal. Bisa membuat pivot kecil, tapi tidak bisa memikirkan ulang pendekatan secara fundamental atau mencoba yang baru dari nol.

Agen juga gagal mengintegrasikan umpan balik dari sub-agen atau alat review AI eksternal. Alih-alih merevisi metodologi, agen menyempitkan klaim dan menambahkan caveat. Mereka juga tidak bisa menggunakan sumber daya — token, komputasi, waktu — secara efektif. Dan tidak bisa mengikuti instruksi soal alokasi waktu per fase riset atau batas panjang kertas.

Sisi Positif: Tidak Ada Reward Hacking

Untuk semua kegagalannya, agen tidak melibatkan perilaku “reward hacking” — menyembunyikan atau menyalahkan eksperimen atau data. Meskipun sub-agen (AI pembantu yang di-spawn agen utama) sesekali halusinasi atau menyalahkan hasil, ini tertangkap oleh agen orkestrator, AI pemimpin yang mengawasi proyek.

Akar Masalah: Cara Pelatihan Model

Alasan model AI bagus di engineering riset tapi tidak di riset terbuka mungkin turun ke cara pelatihan, kata Kapoor. Model jago di apa pun yang bisa dilatih dalam rejim reinforcement learning (RL), yang lebih mudah diterapkan pada tugas yang keberhasilannya bisa diverifikasi otomatis. “Tapi lebih sulit menciptakan lingkungan untuk melatih model ini saat tugasnya sendiri bersifat terbuka,” jelasnya.

Langkah Berikutnya: Uji Coba dengan Model Mythos

Kapoor mengatakan tim sekarang menjalankan eksperimen sama dengan Mythos, model paling canggih Anthropic yang diluncurkan April 2025. Model ini kemudian diwajibkan administrasi Trump memenuhi berbagai pembatasan keamanan dan kini hanya tersedia untuk organisasi terpilih. Anthropic tidak merespons permintaan komentar.

Keterbatasan Studi

Studi ini hanya mencakup dua kertas riset, dan penulis asli tahu kertas yang dinilai dihasilkan agen AI, yang bisa mempengaruhi evaluasi mereka. Selain itu, peneliti memiliki kendala sumber daya dan waktu yang signifikan.

Implikasi untuk Industri dan Praktisi AI Indonesia

Bagi tim engineering dan riset AI di Indonesia — dari startup fintech yang mengembangkan model scoring kredit, hingga lab riset universitas yang bereksperimen dengan LLM lokal — temuan ini mengingatkan: jangan over-estimate kemampuan agen AI saat ini untuk riset fundamental. Agen bagus untuk boilerplate, eksperimen skala besar, dan tugas engineering terstruktur. Tapi untuk menentukan arah riset, memilih hipotesis yang layak dikejar, dan memutuskan kapan mundur — itu masih domain keahlian manusia.

Praktisnya: gunakan agen AI sebagai co-pilot engineering, bukan lead researcher. Biarkan agen menjalankan hyperparameter sweep, membersihkan data, dan baseline modeling. Tetapkan research agenda, success criteria, dan stop conditions sendiri. Evaluasi output agen dengan standar yang sama ketatnya seperti Anda menilai kertas konferensi — jangan terpikat oleh volume output.

Kesimpulan

Recursive self-improvement tetap tujuan jangka panjang yang layak. Tapi studi Princeton ini menempatkan timeline yang realistis: kita masih di fase di mana AI mempercepat execution riset, bukan menggantikan judgment riset. Bagi organisasi Indonesia yang membangun kapasitas AI, investasi paling bernilai saat ini bukan mengejar agen riset otonom penuh, melainkan membangun human-AI research workflow di mana manusia memimpin arah dan AI menangani beban kerja teknis.