Startup-Startup Ini Mengejar Alternatif Transformer untuk LLM Generasi Berikutnya

Dari “Attention Is All You Next” ke Bottleneck Industri

Musim panas 2017, peneliti Google menerbitkan paper legendaris “Attention Is All You Next” yang memperkenalkan arsitektur transformer. Sembilan tahun kemudian, transformer menjadi mesin di balik setiap LLM mayor di pasar—dari GPT-4, Claude, hingga LLMs. Justin Dangel, CEO Subquadratic, menegaskan: “Seluruh industri AI dibangun di atas transformer. Ini salah satu inovasi paling penting dalam sejarah ilmu komputer.”

Namun, transformer mulai menunjukkan usianya. Kemajuan terbaru seperti model reasoning dan kemampuan menangani input masif justru bukan perluasan alami teknologi inti, melainkan workaround yang menutupi cacat fundamental. Biaya komputasi melonjak: OpenAI diperkirakan mengeluarkan 50 miliar dolar untuk komputasi tahun ini menurut Greg Brockman, dan IEA memprediksi konsumsi listrik data center akan melipatganda menjelang 2030.

Mengapa Dense Attention Jadi Masalah

Kekuatan transformer ada pada dense attention—mekanisme yang membandingkan setiap token dengan setiap token lain melalui perkalian matriks. Akurasi tinggi, tapi komputasi tumbuh kuadratik. Dokumen 10.000 kata butuh 50 juta perkalian. Itulah sebab LLM begitu boros daya.

Masalah kedua: jendela konteks. Transformer memproses teks token per token, sulit melacak informasi banyak sekaligus. Padahal tugas kompleks butuh akses ke seluruh basis kode, perpustakaan dokumen, atau output dari LLM lain (untuk agen). Model reasoning justru menambah beban dengan menulis chain of thought lalu membacanya kembali.

Subquadratic: Sparse Attention yang Mengklaim Menyaingi Dense

Startup berbasis Miami ini mengklaim Tech menciptakan mekanisme sparse attention pertama yang menyaingi LLM mainstream pada tugas pencarian dan coding. Model mereka, SubQ, bekerja dengan menentukan secara dinamis—untuk setiap teks yang diberikan—token mana yang relevan dan mana yang tidak, sehingga hanya menghitung pasangan yang penting.

Subquadratic melaporkan ribuan pendaftar waitlist dan berencana merilis model secara luas sebentar lagi. Namun, industri tetap skeptis: tidak ada mekanisme sparse attention sebelumnya yang bisa menandingi akurasi dense attention.

Manifest AI: Power Retention, Bukan Attention

Manifest AI (San Francisco) mengambil jalur lain: mengganti attention sepenuhnya dengan power retention. Prinsipnya: simpan hanya informasi paling relevan untuk tugas tertentu, sehingga data yang harus dilacak LLM tidak meledak.

Perbedaan kunci: sparse attention (seperti SubQ) membuang banyak token individual tapi mempertahankan gambaran kasar semua yang pernah dilihat. Power retention justru memberikan rolling summary dari jendela konteks. Saat informasi baru masuk, yang kurang relevan dibuang. Konsep retention ada sejak sepuluh tahun lalu, tapi Manifest AI mengklaim Tech memperbaruinya sehingga model bisa bersaing dengan LLM berbasis transformer pertama kalinya.

Untuk membuktikannya, mereka mengonversi LLM coding open-source StarCoder ke versi power retention bernama PowerCoder—dengan pelatihan ulang minimal. Ini menjanjikan jalur migrasi yang murah bagi model existing.

Apa Artinya untuk Pengembang dan Pengguna AI

Jika klaim-klaim ini terbukti, lanskap LLM akan bergeser drastis:

• Biaya inferensi turun – Sparse attention dan retention mengurangi FLOP per token, menekan tagihan GPU/cloud.
• Jendela konteks praktis melebar – Tanpa bottleneck kuadratik, mengolah seluruh basis kode atau arsip dokumen jadi layak secara ekonomi.
• Model reasoning lebih efisien – Chain of thought panjang tidak lagi memakan memori berlebihan.
• Kompetisi sehat – Startup dengan modal lebih kecil bisa bersaing tanpa butuh kluster GPU ratusan juta dolar.