Jangan Tertipu — LLM Tidak Melakukan Reasoning Seperti AlphaGo

Move 37: Saat Mesin Tampak Kreatif

Sore hari di Seoul, Maret 2016. Saya menonton program yang saya bantu bangun meletakkan batu di baris kelima papan Go — langkah yang terlihat seperti hadiah untuk lawan manusianya. Langkah ke-37 pada game kedua terlihat begitu aneh hingga beberapa komentator mengira itu glitch pemrograman. Bukan. AlphaGo memenangkan game itu, dan akhirnya mengalahkan Lee Sedol, salah satu pemain Go profesional terhebat sepanjang masa, dengan skor 4-1.

“Saya kira AlphaGo berbasis perhitungan probabilitas dan hanyalah mesin,” ujar Lee setelah pertandingan. “Tapi saat saya melihat langkah ini, saya berubah pikiran. Pasti AlphaGo kreatif.”

Banyak narasi menggambarkan langkah 37 sebagai kilatan intuisi murni mesin. Tapi itu salah paham. Yang membuat pilihan kreatif itu mungkin adalah kemampuan reasoning AlphaGo — kemampuan yang hari ini tidak dimiliki LLM. Jika kita ingin sistem AI masa depan menghasilkan hasil yang dapat dipercaya dan wawasan benar-benar baru di bidang seperti sains dan kedokteran, kita harus melengkapi mereka dengan kemampuan reasoning genuina seperti itu.

Dua Sistem di Balik AlphaGo

AlphaGo tersusun dari dua sistem. Yang pertama, policy network, dilatih untuk menebak langkah apa yang akan dimainkan manusia kuat. Bagian “intuitif” ini menganggap langkah 37 tidak istimewa — peluang sekitar 1 dari 10.000 untuk dimainkan pemain eksper. Yang membuat AlphaGo memilih langkah itu adalah search machinery-nya, yang melihat melampaui plausibilitas langsung dan menimbang konsekuensi masa depan dari langkah yang diusulkan. Ia secara eksplisit membangun dan menelusuri game tree dengan ribuan cabang, masing-masing mewakili masa depan yang berbeda.

Teori terkenal dalam ilmu perilaku, dipopulerkan Daniel Kahneman, membedakan dua mode pikir manusia: System 1 cepat, naluriah, tidak usaha; System 2 lambat, langkah-demi-langkah, dan deliberatif. AlphaGo menawarkan analog mesin yang menakjubkan dari pemisahan itu. Jaringan-jaringannya menyuplai corak-corak — langkah ini terlihat menjanjikan, posisi ini terlihat menang — dan mesin pencariannya menyuplai deliberasi, menguji corak-corak itu terhadap langkah dan jawaban yang akan mengikuti. Seperti dalam kognisi manusia, tidak satu pun separuhnya bekerja sendirian. Intuisi saja tidak akan pernah memilih langkah 37, dan pencarian brute-force akan kesulitan menyaring ribuan langkah mungkin.

LLM Hanya System 1

Ini berbeda menonjol dengan cara model AI hari ini bekerja. Large language model memilih token berikutnya, berulang kali. Itu adalah System 1 dalam aksi — cepat, asosiatif, dan mengejutkan baiknya completion pola di hampir setiap subjek yang ditulis manusia.

Tidak lama setelah ChatGPT diluncurkan, bidang ini menyadari bahwa kelancaran bahasa saja tidak cukup untuk kegunaan sebenarnya. Solusi yang terlihat jelas: buat model yang berdeliberasi. Alih-alih menjawab segera, model kini bisa menghasilkan langkah-langkah perantara yang memecah masalah, membawa hasil parsial ke depan, dan mempengaruhi reasoning berikutnya — proses yang disebut chain of thought. Peningkatannya nyata, terutama di matematika dan coding. Tapi tidak seperti pencarian AlphaGo, ini tidak memperkenalkan mekanisme reasoning yang terpisah secara genuina: reasoning perantara itu tetap dihasilkan oleh proses prediksi token berikutnya yang sama, diiterasikan lebih lama sebelum model berkomitmen pada jawaban.

Tiga Kekurangan Fundamental

Tiga hal mencegah apa yang dilakukan chatbot memenuhi syarat sebagai reasoning (dalam arti yang dikenali ilmuwan):

Pertama, model-model ini biasanya tidak mempertahankan epistemic state yang eksplisit, persisten, dan dapat diperiksa. Tidak ada buku besar terbuka yang menata hipotesis yang dipertimbangkan model, kepercayaan model pada berbagai penjelasan, bukti yang ditimbang, dan pertanyaan tak terjawab yang dipegang — semuanya seharusnya direvisi secara sistematis saat informasi baru tiba.

Kedua, mereka kekurangan pemisahan bersih antara apa yang diketahui sistem dan bagaimana sistem memanipulasi pengetahuan itu. Pengetahuan dan reasoning terjalin tak terpisahkan dalam bobot jaringan saraf — tidak ada himpunan kepercayaan yang direpresentasikan secara eksplisit dan independen.

Ketiga, meskipun chain of thought yang dihasilkan chatbot terlihat seperti deliberasi, penelitian telah menunjukkan bahwa bot-bot sering mengada-adakan chain of thought setelah fakta, mencapai jawaban melalui satu rute tapi melaporkan rute lain.

Mengapa Ini Masalah di Aplikasi Berisiko Tinggi

Ini masalah karena di aplikasi berisiko tinggi yang kita pedulikan — kedokteran, rekayasa, penelitian ilmiah — tidak hanya apa yang disimpulkan sistem yang penting, tapi bagaimana ia mencapai kesimpulan itu. Saat kesalahan terjadi — misalnya diagnosis dan pengobatan medis — kita harus bisa menentukan apa yang salah: apakah reasoning sistem yang bersalah, apakah ia menarik bukti tidak valid, atau apakah ia membuat asumsi salah.

Inilah mengapa saya baru-baru ini meninggalkan posisi saya di Google DeepMind. Saya percaya kita butuh pendekatan baru untuk reasoning mesin — pendekatan yang menarik dari arsitektur AlphaGo. AlphaGo mempertahankan catatan apa yang ia ketahui tentang posisi tertentu: game tree. Struktur data ini berisi semua variasi, masa depan yang mungkin, yang dipertimbangkan AlphaGo, setiap langkah dan posisi dianotasi dengan penilaian yang dibuat oleh jaringan sarafnya. Saat reasoning-nya berlanjut, AlphaGo memperbarui game tree dan akhirnya mensintesis informasi di dalamnya untuk memutuskan langkah mana yang dimainkan.

Demikian pula, untuk reasoning umum, sebuah sistem harus mempertahankan epistemic state yang merepresentasikan apa yang dipegang sistem sebagai kepercayaan, bukti, dan ketidakpastian — dan memperbarui state itu secara sistematis saat reasoning berlangsung. Hanya dengan arsitektur seperti itu AI bisa benar-benar “berpikir” bukan hanya “memprediksi.”