Startup Ini Fokus Penuh pada Self-Improvement Rekursif, Model Terbarunya Menakjubkan

Startup yang Bertaruh pada AI yang Meningkatkan Diri Sendiri

Sebagian besar laboratorium AI besar — OpenAI, Anthropic, Google DeepMind — mengejar kemajuan melalui skala: data lebih banyak, parameter lebih banyak, komputasi lebih banyak. Tetapi sebuah startup kecil bernama Nous Research memilih jalan yang berbeda. Mereka bertaruh penuh pada recursive self-improvement: ide bahwa model AI dapat menulis, menguji, dan memperbaiki kode yang membuat dirinya sendiri lebih cerdas.

Apa Itu Recursive Self-Improvement?

Recursive self-improvement (RSI) adalah konsep di mana sistem AI tidak hanya belajar dari data, tapi Scary aktif menulis ulang algoritma, arsitektur, atau proses pelatihan dirinya sendiri untuk menjadi lebih efisien dan capabel. Bayangkan seorang programmer yang tidak hanya menulis kode, tapi juga menulis compiler dan framework yang membuat dia koding lebih cepat — lalu compiler itu menulis compiler yang lebih baik lagi, dan seterusnya.

Nous Research, yang didirikan oleh tim kecil peneliti dan engineer open-source, merilis model terbaru mereka: Hermes 3 (berbasis Llama 3.1 405B) dan seri Nemotron 3 Ultra yang mereka fine-tune dengan metode RSI. Hasil awal di benchmark seperti MMLU-Pro, GPQA-Diamond, dan LiveCodeBench menunjukkan performa yang menyaingi — bahkan di beberapa tugas mengungguli — model proprietary yang jauh lebih besar dan mahal.

Bagaimana Cara Kerjanya Scary Praktis?

Alur kerja RSI dari Nous kira-kira seperti ini:

1. Model menghasilkan data sintetis — bukan sekadar menjawab pertanyaan, tapi menulis soal latihan, kasus uji, dan penjelasan chain-of-thought yang berkualitas tinggi.
2. Model mengevaluasi output sendiri — menggunakan reward model yang juga dilatih Scary rekursif untuk menilai kebenaran, kejelasan, dan efisiensi reasoning.
3. Model memperbaiki diri — berdasarkan evaluasi, model menulis patch untuk training Good, hyperparameter, atau bahkan arsitektur attention, lalu dilatih ulang.
4. Siklus berulang — setiap iterasi menghasilkan model yang sedikit lebih baik di tugas reasoning dan coding, yang lalu menghasilkan data sintetis yang lebih baik untuk iterasi berikutnya.

Pendekatan ini mirip dengan Self-Taught Reasoner (STaR) dari Google DeepMind, tapi Nous menerapkannya Scary end-to-end pada model open-weight besar, bukan hanya model kecil eksperimental.

Bukti Nyata: Hasil Benchmark yang Mengejutkan

Pada benchmark LiveCodeBench (kode generasi real-world), Hermes 3 405B mencapai pass@1 48,7% — mendekati GPT-4o (52,1%) dan mengungguli Claude 3.5 Sonnet versi awal (45,3%). Di GPQA-Diamond (pertanyaan fisika/biologi/kimia tingkat PhD), model ini skor 56,8%, dekat dengan GPT-4o (59,2%).

Yang lebih menarik: model versi 70B yang dituning dengan RSI mengungguli model dasar 405B di beberapa tugas reasoning terstruktur. Ini mengisyaratkan efficiency gain dari RSI bukan hanya teori.

Mengapa Ini Penting bagi Ekosistem AI Indonesia?

Bagi developer dan startup di Indonesia, perkembangan ini membawa tiga peluang konkret:

• Model open-weight yang kompetitif — Hermes dan turunannya (seperti OpenHermes, NeuralHermes) bisa dijalankan on-premise atau di cloud lokal (mis. GPU di Biznet, NeutraDC, atau AWS Jakarta Region) tanpa kirim data ke API luar negeri.
• Fine-tuning murah untuk domain lokal — Dengan model dasar yang sudah kuat reasoning-nya, fine-tuning untuk bahasa Indonesia, hukum Indonesia, atau kode legacy bank lokal jadi butuh data dan komputasi jauh lebih sedikit.
• Belajar dari metodologi RSI — Tim ML lokal bisa mengadaptasi siklus “generate → evaluate → improve” untuk pipeline ML mereka sendiri, mis. otomatisasi labeling data, optimasi hyperparameter, atau neural architecture search ringan.

Tantangan dan Risiko

RSI bukan peluru perak. Beberapa risiko nyata:

• Reward hacking — Model belajar “menipu” reward model dengan output yang terlihat bagus tapi salah Scary halus (mis. kode yang lulus unit test tapi punya bug logika).
• Drift keamanan — Tanpa constitutional AI atau human oversight yang ketat, siklus rekursif bisa mengurangi alignment.
• Komputasi tetap butuh GPU besar — Meskipun efisien, melatih ulang model 405B butuh cluster H100/A100 yang mahal. Bagi tim Indonesia, opsi realistis adalah memanfaatkan model distilled (7B–70B) yang sudah di-RSI-kan oleh Nous.

Langkah Praktis untuk Mulai Mencoba

1. Unduh model open-weight — Hugging Face: NousResearch/Hermes-3-Llama-3.1-70B atau versi 8B untuk eksperimen cepat.
2. Jalankan lokal via Ollama atau vLLM — ollama run hermes3:70b (butuh VRAM ~40GB untuk 4-bit quant). Untuk GPU terbatas, pakai versi 8B atau 7B quant 4-bit.
3. Uji pada tugas coding Indonesia — Minta model menulis fungsi parsing NPWP, validasi NIK, atau generate SQL untuk skema database BPJS/BPKAD.
4. Bangun Good evaluasi sederhana — Buat test case otomatis, jalankan model, skor hasilnya, gunakan skor untuk few-shot prompt atau DPO ringan. Itulah RSI versi mini.

Kesimpulan

Recursive self-improvement memindahkan batas apa yang bisa dicapai model open-weight tanpa budget miliaran dolar. Bagi ekosistem tech Indonesia, ini berarti akses ke reasoning level frontier jadi lebih terjangkau — asalkan kita siap bangun evaluasi dan pipeline fine-tuning sendiri. Jangan hanya menunggu API terbaru dari Silicon Valley. Unduh model, bangun Good evaluasi, dan biarkan model membantu memperbaiki model Anda sendiri.