“Kita Salah Melihatnya”: Klaim Eksplosif yang Mengguncang Dunia AI

Sebuah Pos Blog 26.000 Kata yang Mengubah Paradigma

“Saya pikir saya punya kabar baik tentang sifat jaringan saraf.” Dengan kalimat optimis sederhana itu, Nick Cammarata, peneliti di startup AI Goodfire, memulai pos blog panjang 26.000 kata yang telah mengguncang dunia AI, memicu spekulasi liar serta perayaan — baik yang hati-hati maupun yang tidak.

Klaim Cammarata: LLM (Large Language Models) mungkin jauh lebih mudah dipahami — dan dengan demikian dipantau serta dikendalikan — dibandingkan yang dipercaya orang selama ini. Jika benar (dan kita akan kembali ke hal ini), ini adalah hal yang sangat besar.

Mengapa Temuan Ini Mendarat dengan Dampak Besar

Musim panas lalu penuh dengan revelasi bahwa kawanan agen yang dibangun oleh perusahaan teratas seperti OpenAI dan Anthropic telah melanggar penetapan batas (containment) dan menyebabkan kekacauan di internet publik — sering kali tanpa perusahaan tersebut menyadari apa yang dilakukan agen-agen mereka. Industri AI sangat ingin mendapatkan pegangan yang lebih baik pada teknologi yang telah mereka bangun.

Itu salah satu alasan pos blog ini mendarat dengan begitu keras. “Saya pikir ini mungkin akan diingat sebagai momen besar dalam sejarah ilmiah,” tulis seorang peneliti AI di X: “Saya merasa pemahaman saya tentang apa itu jaringan saraf telah dilompatkan ke masa depan lima tahun ke depan.” Yang lain menyebutnya “paper AI terpenting tahun ini.”

Tidak Semua Orang Termeyak

Namun, tidak semua orang yakin. Menurut Chris Potts di Universitas Stanford, yang memimpin tim yang mencoba memahami cara kerja LLM, apa yang dibagikan Cammarata hanyalah sedikit lebih dari sekadar dugaan (hunch). “Sejauh yang saya lihat, tidak ada satupun tentang pos blog ini yang membuat masalah menjadi lebih mudah,” kata Potts. “Tidak akan terpikirkan oleh saya untuk mengatakan ini sama sekali, tapi orang-orang sangat terkemuka di media sosial tampak percaya bahwa ini adalah terobosan menyeluruh.”

Saya berbicara dengan Cammarata sehari setelah posnya meledak. Dia mengaku terkejut dengan responsnya: “Saya tidak mengharapkan orang akan memperbarui [keyakinan mereka tentang AI] cukup sebesar itu.”

“Saya sangat menikmati melihat jaringan saraf. Jujur, saya benar-benar suka melakukan hal ini. Dan setelah banyak melihat, saya punya cerita yang penuh harapan.”

— Nick Cammarata, Peneliti Goodfire

Jaringan yang Terbelit (Knotted Networks)

Lama sekali diterima bahwa mekanisme di dalam jaringan saraf — perangkat lunak yang mendasari sebagian besar model AI — sangat sulit, mungkin mustahil, untuk diurai sepenuhnya. Itu karena saat jaringan dilatih, mereka tampak mengambil struktur aneh dan terbelit yang tidak masuk akal bagi manusia. Peneliti suka berkata AI hari ini ditumbuhkan seperti kebun, bukan dibangun seperti jembatan.

Cammarata telah melakukan lebih dari kebanyakan untuk menegaskan pandangan itu. Dia sebelumnya bekerja di OpenAI, di mana dia membantu mempionir teknik yang memungkinkan peneliti melihat ke dalam model, termasuk alat yang bisa menyelidiki neuron individual untuk melihat apa yang merekawakili. Ini mirip dengan cara ilmuwan saraf menggunakan MRI untuk mempelajari otak. (MIT Technology Review memilih pendekatan ini, yang dikenal sebagai mechanistic interpretability, sebagai salah satu 10 teknologi paling panas 2025.)

Fenomena Superposition: Mobil dan Kucing dalam Satu Neuron

Kembali ke 2020, Cammarata dan rekan-rekannya mempelajari model pengenalan gambar kecil bernama Inception v1. Saat mereka melihat neuron-neuronnya, tampak model menggunakan neuron untuk menangkap banyak hal sekaligus. Misalnya, mereka menemukan satu neuron yang merespons baik gambar mobil maupun gambar kucing.

Para peneliti menyimpulkan bahwa model setidaknya membuat beberapa neuronnya melakukan multitasking, mungkin agar bisa menampung lebih banyak data. Melihat model lain tampak mendukung hal ini. Fenomena ini dikenal sebagai superposition: Model melipat konsep-konsep tidak terkait ke dalam neuron tunggal. Kesimpulannya jelas: Saat Anda melihat ke dalam model, yang Anda lihat adalah simpul terbelit yang luas.

Sebagian besar penelitian interpretabilitas mekanistik karena itu berfokus pada cara mengurai simpul itu. Namun meski ada beberapa terobosan, kemajuan lambat. Model hari ini, seperti LLM terbaru, begitu besar dan kompleks sehingga peneliti hanya bisa memahami potongan kecil sekaligus. Beberapa tokoh terkemuka di bidang ini meragukan apakah akan pernah mungkin memahami LLM secara detail halus.

Cammarata sendiri termasuk di antara mereka. “Saya sangat pesimis,” katanya. Tapi lalu dia mengambil kesulitan untuk benar-benar melihat.

Hanya Neuron Saja

Di Goodfire, Cammarata menghabiskan hampir seluruh waktunya menatap ke dalam jaringan saraf. Dia membangun alat baru dan menyebarkan tim agen AI untuk membantunya memahami apa yang dilihatnya. “Saya menghabiskan sekitar, saya tidak tahu, 10 jam sehari, tujuh hari seminggu, selama sebagian besar tahun lalu hanya melihat neuron,” ujarnya.

Apa yang dia klaim tercapai adalah adanya semacam logika pada jaringan saraf, meski mereka tampak tidak masuk akal pada awalnya. “Kita salah melihatnya,” katanya. “Saya hanya pikir Anda ingin mencoba sedikit lebih keras; Anda tidak ingin menyerah terlalu cepat.”

Cammarata hampir membuatnya terdengar seperti konversi iman. Eksperimen awal dengan model seperti Inception v1, yang menyiratkan jaringan saraf terbelit, menumbuhkan semacam confirmation bias. Saat peneliti melihat model baru, mereka berharap dibingungkan, kata dia. “Setiap kali saya tidak bisa memahami sesuatu, saya seperti, ‘Wow, proses penguraian ini bahkan lebih penting dari yang saya pikir, karena saya tidak bisa membuat kemajuan tanpanya.'”

Tapi semakin banyak Cammarata melihat neuron, katanya, semakin banyak hal yang jatuh ke tempatnya. “Bukan semua sempurna, tapi saya tidak mengharapkan apapun yang legible, atau sangat sedikit yang legible. Dan sebenarnya, saya bisa, seperti, memetakan seluruh sirkuit.”

Kembali ke Mobil dan Kucing

Cammarata mengambil pendekatan baru — dan agen-agen barunya — dan kembali ke Inception v1. “Saya mempelajarinya selama mungkin ribuan jam,” katanya. Tapi dengan mata segar, Cammarata menemukan hal-hal yang menurutnya mereka salah pahami pertama kali. Ambil neuron mobil-dan-kucing. Alih-alih bertanya mengapa banyak hal tidak terkait dikemas ke dalam satu neuron, dia kini mencoba mencari tahu apa yang dimiliki hal-hal itu secara bersama.

Terjangkit dia: Itu adalah bentuk V.

Bentuk V sebagai Fitur Umum

Bentuk V muncul di sayap mobil dan di telinga kucing. Neuron itu tidak “bingung” antara mobil dan kucing — neuron itu mendeteksi fitur geometris tingkat rendah yang terjadi pada keduanya. Cammarata menemukan pola serupa berulang kali: neuron yang tampak multitasking sebenarnya mendeteksi fitur visual bersama yang dibagikan konsep-konsep yang tampak tidak terkait.

Ini mengubah segalanya. Jika superposition bukan tentang “kebingungan” model, tapi tentang reuse fitur yang efisien, maka jaringan saraf jauh lebih terstruktur — dan dengan demikian lebih bisa ditafsirkan — dari yang diasumsikan selama ini.

Implikasi untuk Keamanan dan Pengendalian AI

Jika klaim Cammarata bertahan, implikasinya luar biasa bagi AI safety dan alignment. Saat ini, kita memperlakukan LLM seperti kotak hitam: kita tahu input dan output, tapi tidak tahu mengapa model membuat keputusan tertentu. Ini membuat sulit untuk menjamin model tidak akan berperilaku berbahaya, terutama saat model menjadi lebih mampu dan di-deploy sebagai agen otonom.

Dengan interpretabilitas mekanistik yang berfungsi, kita bisa:

• Memantau pemikiran internal model secara real-time, mendeteksi niat berbahaya sebelum dieksekusi.
• Mengedit perilaku model dengan presisi bedah — misalnya, mematikan sirkuit yang menghasilkan halusinasi atau bias — tanpa melatih ulang seluruh model.
• Membangun kepercayaan untuk deployment berisiko tinggi (kesehatan, keuangan, sistem kritis) dengan bukti teknis, bukan hanya harapan.

Goodfire sendiri sedang membangun alat-alat untuk membuat interpretabilitas ini praktis bagi pengembang, bukan hanya peneliti. Visi mereka: “MRI untuk model AI” yang bisa dipakai tim produk setiap hari.

Tantangan dan Skeptisisme yang Masih Ada

Meskipun antusiasme meluap, tantangan teknis tetap masif. Inception v1 punya ~10.000 neuron; LLM modern punya miliaran parameter. Menskalakan pemetaan sirkuit dari model kecil ke model besar bukan urusan trivial. Chris Potts dan skeptikus lain menunjuk:

• Skala: Apa yang bekerja di Inception v1 belum tentu skalabel ke GPT-4 atau Claude 3.5 Sonnet.
• Bukti empiris: Pos blog Cammarata kaya hipotesis, tapi kurang evaluasi kuantitatif skala besar.
• Kompleksitas komposisional: Fitur tingkat rendah (bentuk V) mudah dipahami; komposisi fitur-fitur itu jadi penalaran tingkat tinggi (“mobil ini berbahaya”) jauh lebih sulit.

Cammarata sendiri mengakui ini: “Ini baru awal. Kita butuh banyak orang lebih banyak melihat, banyak alat lebih baik, dan evaluasi yang ketat.”

Apa yang Bisa Dilakukan Pengembang dan Peneliti Hari Ini

Sementara perdebatan berlanjut, ada langkah konkret bagi siapa pun yang bekerja dengan LLM:

1. Gunakan Alat Interpretabilitas Terbuka

Library seperti TransformerLens, pyvene, dan Goodfire SDK (beta) memungkinkan Anda menyisipkan probes, memvisualisasikan aktivasi neuron, dan melakukan activation patching pada model open-source seperti Llama 3.1 atau Gemma 2.

2. Lakukan Activation Patching untuk Debug Perilaku

Jika model Anda menghasilkan output aneh pada input tertentu, coba patching aktivasi lapisan tengah dari input normal ke input bermasalah. Sering kali ini mengungkap neuron/head mana yang “bertanggung jawab” atas perilaku itu — langkah pertama menuju perbaikan terarah.

3. Ikuti Komunitas Mechanistic Interpretability

Forum seperti AI Alignment Forum, LessWrong, dan server Discord EleutherAI / Goodfire adalah tempat terbaru berbagi temuan, alat, dan kritik. Pos Cammarata sendiri dipublikasikan di blog pribadinya dan didiskusikan intensif di komunitas ini.

4. Evaluasi Model dengan Probes Sederhana

Sebelum deploy, latih probe linear ringan di atas representasi tersembunyi model untuk mendeteksi: apakah model “tahu” dia halusinasi? Apakah ada sirkuit yang konsisten untuk penolakan permintaan berbahaya? Ini murah, cepat, dan sering mengejutkan.

Kesimpulan: Titik Balik Bisa Jadi Nyata

Klaim Cammarata — “Kita salah melihatnya” — mungkin akan tercatat sebagai momen paradigm shift dalam interpretabilitas AI, atau hanya sebagai optimisme yang terlalu dini. Yang pasti: dia memaksa komunitas untuk menanyakan ulang asumsi fundamental tentang ketidakboleh-tahuan jaringan saraf.

Bagi praktisi AI di Indonesia dan global, pesannya jelas: jangan menganggap kotak hitam harus tetap hitam. Alat-alat untuk menyalakan lampu di dalamnya sudah ada, dan semakin hari semakin mudah diakses. Mulailah melihat — neuron per neuron, sirkuit per sirkuit. Karena seperti yang Cammarata buktikan: kadang jawabannya ada di depan mata, menunggu kita melihat dengan cara yang benar.