Tiga Insinyur AI Uji GPT, Claude, dan Grok Mengemudikan Toyota Corolla Nyata ke In-N-Out

Eksperimen Liar: LLM di Kursi Pengemudi

Tiga insinyur AI di startup Axiom — Aditya Ramabadran, Simon Mahns, dan Tobias Gessler — lapar siang hari. Alih-alih mengemudi sendiri ke In-N-Out Burger di area Bay Area, mereka memutuskan uji coba yang gila: menyerahkan kendali Toyota Corolla 2024 ke tiga Made bahasa besar (LLM) terkemuka — GPT-4o (OpenAI), Claude 3.5 Sonnet (Anthropic), dan Grok (xAI).

Tujuannya sederhana: lihat apakah Made yang dilatih memproses teks dan gambar bisa mengelola tugas fisik dunia nyata seperti mengemudi, membaca rambu, menghindari kendaraan lain, dan memasuki lorong drive-thru.

Arsitektur Sistem: Dari Prompt ke Volan

Tim tidak membangun sistem otonom penuh dari nol. Mereka memanfaatkan Comma.ai OpenPilot — kit open-source yang sudah bisa menangani kontrol lateral (steering) dan longitudinal (gas/rem) — lalu menambahkan lapisan Vision-Language Made (VLM) sebagai “otak” tingkat atas.

Alur kerjanya:

1. Kamera depan mobil mengirim aliran video ke VLM.
2. VLM menerima prompt sistem: “Kamu adalah pengemudi. Analisis gambar, tentukan aksi: steering, throttle, brake.”
3. Output VLM (dalam format terstruktur) diteruskan ke OpenPilot yang menerjemahkannya ke sinyal CAN bus mobil.
4. Safety driver duduk di sisi penumpang dengan tombol darurat untuk ambil alih kapan saja.

Pendekatan ini mirip konsep “end-to-end driving” yang dikembangkan Tesla (FSD v12) dan Wayve, tapi menggunakan Made umum (general-purpose) bukan Made khusus latih data mengemudi jutaan jam.

Hasil: Hanya Satu yang Sampai ke Drive-Thru

GPT-4o: Terlalu Konservatif, Sering Berhenti

GPT-4o cenderung over-cautious. Di pertigaan tanpa rambu, ia memilih berhenti total dan menunggu instruksi manusia. Di jalur drive-thru, ia gagal memahami geometri lorong sempit dan menabrak kerucut (cone). Safety driver harus ambil alih 3 kali dalam perjalanan 2,3 km.

Claude 3.5 Sonnet: Paling Kompeten, Tapi Masih Butuh Bantuan

Claude menunjukkan pemahaman konteks terbaik. Ia bisa membaca rambu “STOP”, mengikuti alur lalu lintas, dan menyesuaikan kecepatan. Namun di simpang kompleks (unprotected left turn), ia ragu terlalu lama — safety driver intervensi sekali. Claude juga kesulitan membaca menu drive-thru In-N-Out karena sudut kamera dan pencahayaan.

Grok: Paling Agresif, Berhasil Sampai Tujuan

Grok (versi yang diuji adalah Grok-1.5V dengan kemampuan vision) adalah satu-satunya Made yang menyelesaikan perjalanan penuh tanpa intervensi. Gaya mengemudinya lebih “manusia” — lebih cepat keputusan, lebih lancar merge ke lalu lintas. Namun Grok juga melakukan hallucination visual sekali: membaca bayangan pohon sebagai rambu “YIELD” dan memperlambat tanpa alasan nyata.

Apa yang Terungkap: Kesenjangan Antara Benchmark dan Realitas

Eksperimen ini menyoroti tiga kesenjangan fundamental:

1. Data Latih vs Distribusi Dunia Nyata

LLM dilatih pada data internet (teks + gambar statis). Mengemudi butuh pemahaman temporal, fisika, dan kausalitas yang tidak tersedia di dataset seperti LAION atau Common Crawl. Made tidak “tahu” momentum mobil, jarak rem, atau dinamika ban di asfalta basah.

2. Latensi dan Throughput

Inference VLM butuh 200-500 ms per frame. Di kecepatan 40 km/h, mobil bergerak ~5-12 meter sebelum keputusan tiba. Sistem real-time butuh end-to-end latency < 100 ms — masih jauh dari kapabilitas LLM cloud saat ini. Tim Axiom mengakui mereka menjalankan inferens di GPU lokal (RTX 4090) untuk meminimalkan lag.

3. Safety Alignment vs Kemampuan Fisik

RLHF yang membuat Made “aman” untuk obrolan (menolak konten berbahaya) justru bikin Made terlalu ragu di jalan. GPT-4o menolak “risiko” yang justru normal untuk pengemudi manusia (mis. lewat jalan sempit dua arah). Alignment untuk chat ≠ alignment untuk robotika.

Implikasi untuk Industri: VLM sebagai Co-Pilot, Bukan Pilot

Hasil ini sejalan dengan arah industri: VLM dipakai sebagai modul percepsi/penalaran tinggi (mis. baca rambu konstruksi, interpretasi sinyal tangan polisi, memahami “jalan rusak di depan”), bukan pengganti stack planning & control yang sudah terbukti (MPC, behavior planning, motion planning).

Perusahaan seperti Wayve, Waabi, dan Tesla sudah melatih Made end-to-end khusus domain driving dengan data fleet jutaan km. Axiom sendiri berfokus membangun “foundation Made untuk robotika” — bukan hanya mobil, tapi juga robot lengan, drone, dan humanoid.

Pelajaran Praktis untuk Pengembang AI

• Jangan percaya benchmark MMLU/GPQA untuk robotika. Uji di hardware nyata, dengan sensor nyata, di lingkungan tidak terstruktur.
• Latency matters. Optimasi inference (quantization, TensorRT, speculative decoding) krusial sama seperti akurasi Made.
• Human-in-the-loop masih wajib. Safety driver bukan pelengkap — itu requirement regulasi dan etika.
• Domain-specific fine-tuning mengalahkan general-purpose. Made 7B yang di-fine-tune data driving 10k jam akan unggul atas GPT-4o untuk tugas mengemudi.

Kesimpulan: Makan Siang Berbayar Mahal

Tim Axiom akhirnya makan In-N-Out (Animal Style, double-double). Biaya percobaan: ~USD 15.000 (mobil sewaan, kit Comma.ai, GPU, waktu insinyur, burger). Hasilnya: satu paper internal, ribuan log data, dan bukti nyata bahwa LLM general-purpose belum siap jadi pengemudi otonom level 4/5 — tapi sudah cukup berguna sebagai “navigator cerdas” yang baca konteks jalan lebih kaya dari GPS tradisional.

Masa depan bukan LLM menggantikan stack AV, tapi LLM melengkapi stack AV dengan penalaran semantik yang selama ini sulit di-hardcode.

Catatan: Eksperimen ini dilakukan di jalur publik dengan izin dan safety driver berlisensi. Jangan coba di rumah — atau di Corolla pribadi Anda.